Architecture Determines Observability in Transformers

토머스 카마이클의 논문 "Architecture Determines Observability in Transformers"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

자기회귀형 대규모 언어 모델 (LLM) 은 종종 **확신에 찬 오류 (confident errors)**를 범합니다. 이는 모델이 높은 소프트맥스 확률 (높은 확신) 을 가진 토큰을 출력하지만, 그 정답이 틀린 경우를 의미합니다. 출력 확신 (예: 최대 소프트맥스 확률) 에 의존하거나 최종 레이어에서 훈련된 예측기에 의존하는 표준 모니터링 기법들은 이러한 오류를 식별하지 못합니다.

이 논문은 활성화 기반 모니터링이 성공하려면 모델이 출력 확신 신호와 구별되며, 출력 확신 신호로 완전히 복원할 수 없는 "토큰별 결정 품질 (per-token decision quality)"에 대한 내부 신호를 보존해야 한다고 주장합니다. 그러나 이 신호가 트랜스포머의 보편적 속성인지, 아니면 특정 아키텍처 선택과 훈련 역학에 의존하는지는 명확하지 않습니다. 핵심 문제는 표준 프로빙 (probing) 방법들이 종종 "결정 품질"과 "출력 확신"을 혼동하여 모니터링 가능성에 대한 과장된 추정을 초래한다는 점입니다.

2. 방법론

저자들은 출력 확신을 통제한 후 고정된 중간 레이어 활성화에서 결정 품질의 선형 가독성을 정의하는 **관측 가능성 (Observability)**을 격리하고 측정하기 위한 엄격한 프레임워크를 제안합니다.

주요 정의 및 지표

• 관측 가능성 ($\rho_{partial}$): 숨은 상태 ($h^{(l)}$) 에 대한 선형 프로브와 토큰별 교차 엔트로피 손실 ($\ell$) 간의 부분 스피어만 상관관계로, 다음 두 가지 교란 변수를 통제합니다:
  1. 최대 소프트맥스 확률 ($\hat{p}_{max}$).
  2. 활성화 노름 ($\|h\|$).
     이는 "확신 잔차화 (confidence-residualized)"된 신호를 격리합니다.
• 출력 통제 잔차 ($r_{OC}$): 최종 레이어 표현에 대해 훈련된 다층 퍼셉트론 (MLP) 예측기를 추가로 통제하는 더 엄격한 지표입니다. $r_{OC} > 0$인 경우, 중간 레이어 신호에는 최종 출력 레이어가 폐기하거나 활용하지 못하는 결정 품질에 대한 정보가 포함되어 있음을 의미합니다.
• 관측 가능성 붕괴 (Observability Collapse): $\rho_{partial}$이 탐지 임계값 (약 $\le 0.15$) 으로 떨어지고 $r_{OC}$가 0 에 가까워지는 상태로, 아키텍처가 출력과 무관한 오류 신호를 보존하지 못했음을 나타냅니다.

실험 프로토콜

• 데이터: 프로브 훈련용 WikiText-103; 운영 검증용 하위 작업 (SQuAD, MedQA, TruthfulQA).
• 프로빙: 고정된 활성화에 대해 훈련된 간단한 선형 헤드 ($w^T h + b$) 를 사용하여 이진 목표를 예측합니다: 잔차 손실 ($\ell - \hat{\ell}$) 이 양수인지 여부 (즉, 모델이 자신의 확신보다 더 틀린 경우).
• 통제: 아티팩트를 배제하기 위해 비선형 MLP, 로그 확률 엔트로피 통제, 셔플 테스트 등을 포함한 광범위한 통제를 적용합니다.
• 데이터셋: Pythia, GPT-2, QWEN 2.5, LLAMA, Mistral, Gemma, Phi-3 등 6 개 계열의 25 개 모델.

3. 주요 기여

A. 프로브의 "확신 오염"

이 논문은 표준 선형 프로브가 출력 확신에 의해 심각하게 오염됨을 보여줍니다. 13 개 모델을 대상으로 한 결과, 최대 소프트맥스와 활성화 노름을 통제하면 **57.7%**의 원시 프로브 신호가 흡수됩니다. 이는 숨은 상태 내에서 "추론 신호"를 발견했다고 주장한 이전 연구들이 단순히 모델의 자체 확신 수준을 감지했을 뿐일 수 있음을 시사합니다.

B. 아키텍처 구성이 관측 가능성을 결정함

가장 중요한 발견은 관측 가능성이 트랜스포머의 일반적 속성이 아니며, 특정 아키텍처 구성과 훈련 레시피에 의해 결정된다는 점입니다.

• 붕괴 현상: Pythia 계열 (통제된 훈련) 에서 (24 레이어, 16 헤드) 구성 클래스는 파라미터 수 (410M~1.4B) 나 데이터셋 변형 (Pile 대 Deduplicated Pile) 에 관계없이 일관되게 $\rho_{partial} \approx 0.10$으로 붕괴합니다.
• 건강한 범위: 다른 구성들 (예: 16L/8H, 32L/32H) 은 $\rho_{partial} \in [0.21, 0.38]$의 "건강한" 신호 범위를 유지합니다.
• LLAMA 대 QWEN: 규모가 일치할 때 (3B 파라미터), QWEN 2.5는 강력한 관측 가능성 ($\rho_{partial} \approx 0.26$) 을 보존하는 반면, LLAMA 3.2는 붕괴합니다 ($\rho_{partial} \approx 0.09$). 프로브 시드 분포가 겹치지 않아 근본적인 아키텍처 차이가 있음을 나타냅니다.

C. 훈련 중 발생하는 붕괴

Pythia 1B(건강함) 대 Pythia 1.4B(붕괴됨) 의 체크포인트 분석을 통해 저자들은 두 구성 모두 훈련 초기에 신호를 형성함을 보여줍니다. 그러나 훈련 중간에 (24L, 16H) 아키텍처는 예측 손실 (퍼플렉시티) 이 계속 개선되는 동안 이 신호를 지워버립니다. 건강한 구성은 신호를 회복하고 유지합니다. 이는 붕괴가 아키텍처의 정적 불능성이 아니라 훈련 역학과 아키텍처의 상호작용 결과임을 증명합니다.

D. 운영적 유용성 (배타적 포착)

이 연구는 하위 작업 (QA, 의료, 진실성) 에서 이러한 프로브의 실용적 유효성을 검증합니다.

• 배타적 포착률 (Exclusive Catch Rate): 20% 플래그 비율에서 관찰자는 확신 모니터링이 놓치는 오류의 **10.9%~13.4%**를 포착합니다.
• 전이성: WikiText 에서 훈련된 프로브는 작업별 재훈련 없이 하위 작업으로 전이되어 의료 QA 및 독해 과제에서 "확신에 찬 틀린" 답변을 포착합니다.
• 한계: 관찰자는 모델이 거짓을 확신 있게 주장하는 "유창한 환각 (TruthfulQA)"을 감지하지 않습니다. 이는 내부 상태가 출력 확신과 모순되는 토큰 수준 예측 실패를 구체적으로 포착합니다.

4. 주요 결과

• 비선형성: 비선형 프로브 (MLP) 도 붕괴된 구성에서 신호를 복원하지 못하므로, 손실은 선형 판독의 한계가 아닌 표현적 문제임을 증명합니다.
• 규모 독립성: 건강한 계열 내 (예: QWEN 2.5) 에서 관측 가능성은 28 배 파라미터 범위 (0.5B~14B) 에 걸쳐 안정적입니다.
• 레시피 의존성: 붕괴하는 특정 구성은 훈련 레시피에 따라 다릅니다 (예: Pythia 는 24L/16H 에서 붕괴; LLAMA 는 28L/24H 에서 붕괴).

5. 중요성과 함의

1. 모니터링 결정으로서의 아키텍처 선택: 이 논문은 모델 아키텍처 선택이 단순히 성능 결정이 아니라 모니터링 가능성 결정이라고 주장합니다. 특정 구성 (예: LLAMA 3B 또는 Pythia 24L/16H) 을 선택하면 모니터링 도구가 얼마나 정교하든 확신에 찬 오류에 대한 활성화 기반 모니터링이 불가능해집니다.
2. 프로빙 타당성의 재정의: 이 연구는 결정 품질을 대상으로 하는 향후 프로빙 연구는 반드시 출력 확신을 통제해야 함을 확립합니다. 이러한 통제가 없으면 결과가 "출력 독립적" 신호를 2~3 배 과대평가할 가능성이 높습니다.
3. 훈련 역학: 훈련이 초기에 존재하던 신호를 능동적으로 지운다는 발견은 관측 가능성 보존이 단순하지 않은 최적화 문제임을 시사합니다. 현재 훈련 목표 (손실 최소화) 는 안전 모니터링에 필요한 내부 신호를 부수적으로 파괴할 수 있습니다.
4. 보완적 모니터링: 관찰자는 출력 확신에 대한 보완적 신호를 제공합니다. 확신 모니터링이 "불확실한" 오류를 포착하는 반면, 활성화 모니터링은 "확신하지만 틀린" 오류를 포착합니다. 그러나 이 능력은 아키텍처가 신호를 보존할 수 있는 능력에 의해 제한됩니다.

결론:
이 논문은 아키텍처가 관측 가능성을 결정한다고 결론 내립니다. 확신에 찬 오류에 대해 모니터링될 수 있는 모델의 능력은 구성과 훈련 레시피의 상호작용에 의해 결정되는 상류 (upstream) 속성입니다. 일단 모델이 "붕괴된" 구성으로 훈련되면, 사후 프로브 설계로 잃어버린 신호를 복원할 수 없습니다. 따라서 모니터링 가능성을 보장하려면 이러한 내부적, 확신 독립적 신호를 보존하는 아키텍처와 훈련 레시피를 선택해야 합니다.