기술 요약: 완벽한 탐지, 실패한 제어

문제 정의

본 논문은 기계론적 해석 가능성(mechanistic interpretability)의 핵심적 열망, 즉 모델의 활성화(activations) 내에서 특정 행동을 탐지할 수 있다면 동일한 활성화를 수정함으로써 그 행동을 제어할 수 있다는 믿음을 조사한다. 이 패러다임은 숨겨진 기하학적 전제, 즉 행동을 가장 잘 탐지하는 잔차 스트림(residual stream)의 방향이 그 행동을 가장 잘 *유발(제어)*하는 방향과 동일하거나 매우 유사하다는 전제에 기반한다.

저자들은 다음과 같은 정밀한 기하학적 질문을 통해 이 전제에 도전한다: 행동을 가장 잘 구별해내는 방향과 그 행동을 가장 잘 유발하는 방향 사이의 각도는 얼마인가? 만약 탐지가 제어를 의미한다면, 그 각도는 $0^\circ$에 가까워야 한다(코사인 $\approx 1$). 그렇지 않다면, 그 각도는 "탐지-개입 간극(detection-intervention gap)"을 정량화한다. 본 논문은 두 가지 대조적인 행동, 즉 출력 형식(렌더링 선택)과 환각(존재하지 않는 개체에 대한 사실 조작)을 통해 이 가설을 테스트한다.

방법론

본 연구는 Gemma 2-2B-it(26개 레이어, 2304차원 잔차 스트림)에 대한 추론 시점 분석을 수행하며, 세 가지 다른 모델(Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B)에 걸쳐 결과를 재현한다. 파인튜닝은 수행되지 않으며, 모든 개입은 활성화 가산(activation addition)을 통한 인과적 조작이다.

핵심 측정 항목

1. 방향 구축:
   • 탐지 방향 ($d_{det}$): 두 가지 방식으로 구축된다.
     • 데이터 기반: "가짜" 엔티티 프롬프트와 "실제" 엔티티 프롬프트 간의 잔차 활성화 차이-평균(Difference-in-means, DiM).
     • 수동 선택: 불확실성을 나타내는 토큰(예: "Unfortunately")과 조작을 나타내는 토큰(예: "The", "Paris") 사이의 언임베딩 행렬($W_{lm\_head}$) 행 간의 대비.
   • 개입 방향 ($d_{ref}$): 거절 토큰(예: "No", "cannot")과 순응 토크(예: "Yes", "Sure")를 대비하여 $W_{lm\_head}$에서 수동으로 선택됨.
2. 기하학적 지표: $d_{det}$와 $d_{ref}$ 사이의 코사인 유사도($\cos$).
3. 인과적 검증: 특정 레이어에서 방향을 잔차 스트림에 추가($\alpha \cdot d$)하여 행동 변화(예: 거절률)를 측정한다.
4. 신호 분해: 잔사 스트림을 어텐션(attention)과 MLP 기여분으로 분해하여 탐지 신호가 어디에 위치하는지 찾아낸다.
5. 교차 모델 재현: 규모와 계열이 다른 네 가지 모델에서 기하학적 간극을 측정하여 일반성을 테스트한다.

주요 결과

1. 정렬된 사례: 출력 형식

마크다운 펜싱(markdown fencing)과 클린 JSON 사이를 전환하는 작업의 경우, 탐지와 제어가 단일 축으로 붕괴된다.

• 펜싱과 클린 출력을 구분하는 $W_{lm\_head}$ 유래 방향은, 이를 더했을 때 펜싱을 제거하는 방향과 동일하다.
• 결과: $\cos \approx 1$. 탐지는 제어를 의미한다. 이는 행동이 분리 가능한 렌더링 선택인 "오버레이(overlay)" 베이스라인 역할을 한다.

2. 괴리된 사례: 환각

환각(존재하지 않는 엔티티에 대한 사실 조작)의 경우, 이 전제는 완전히 실패한다.

• 완벽한 탐지: 모델은 레이어 5부터 여러 방법(선형 프로브, 어텐션 헤드, SAE 피처)을 사용하여 가짜 엔티티를 완벽한 선형 분리성($AUC = 1.000$)으로 탐지한다.
• 실패한 제어: 환각을 가장 잘 탐지하는 방향은 거절을 유발하는 방향과 거의 직교한다.
  • 코사인: $\cos(d_{det}, d_{ref}) \approx 0.12$ (각도 $\approx 83^\circ$).
  • 방법 간 간극: 순수하게 활성화로부터 구축된 탐지 방향(DiM, 수동 토큰 미사용)조차 개입 방향에 대해 $\cos \approx -0.06$을 보인다.
• 결과: 완벽한 탐지 방향을 잔사 스트림에 더해도 거절을 유도하지 않으며, 어떤 경우에는 오히려 조작(fabrication)을 증가시킨다. 신호는 존재하지만, 출력 행동으로 경로가 연결되지 않는다.

3. 구조적 원인

• 엔티티 복사(Entity-Copy)의 지배: 출력 매핑에서 탐지 방향에 직교하는 잔사 스트림 성분은 "엔티티 복사" 메커로미즘(두드러진 엔티티 이름을 증폭함)에 의해 지배된다. 이 성분은 탐지 신호보다 약 $12$배 더 크며, 결과적으로 인식론적 불확실성 신호를 압도한다.
• MLP vs. 어텐션: 탐지 신호는 후기 레이어(L18–L25)에서 거의 독점적으로 MLP 레이어에 의해 전달된다(어텐션보다 $5.66$배 더 많음). L17 이상의 어텐션 레이어는 이 신호에 있어 불필요하며, 이를 제거하는 것이 오히려 정직성을 향상시킨다.
• 지시 튜닝(Instruction Tuning): 기하학적 간극($\cos \approx 0.12$)은 베이스 모델에 존재하며, 지시 튜닝 후에도 변하지 않고 유지된다. 튜닝은 고정된 탐지 축을 따라 활성화의 위치를 이동시키지만(가짜를 더 불확실하게 투영함), 탐지 방향과 개입 방향 사이의 각도를 바꾸지는 않는다.

4. 회전을 통한 부분적 완화

방향이 거의 직교하기 때문에, 저자들은 개입 벡터를 회전시켜 간극을 메우려고 시도했다.

• 방법: 탐지 방향으로부터 개입 방향 쪽으로 $15^\circ$ 회전시킨 방향($d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$)을 사용한다.
• 결과: 홀드아웃 스트레스 테스트에서, 이 회전은 미묘한 환각(Type 2)에 대한 거절률을 13%에서 60%로 높였으며, 이때 거짓 양성률(false positive rate)은 1.8%에 불과했다. 이는 이 간극이 부분적으로 메울 수 있는 기하학적 구조를 가지고 있음을 확인시켜 주지만, 완전한 해결책은 아니다.

5. 교차 모델 일반성

기하학적 간극은 네 가지 모델(Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B)에서 견고하게 나타난다.

• 코사인 범위: $\cos \in [0.12, 0.20]$ (각도 $78^\circ$–$83^\circ$).
• 불변성: 간극은 토크나이저(SentencePiece vs. BPE)나 모델 규모(1B–9B)에 관계없이 존재한다.
• 행동 스펙트럼: 동일한 기하학적 구조에도 불구하고 행동 결과는 다양하다:
  • Gemma: 완벽하게 탐지하지만 조작한다.
  • Llama: 완벽하게 탐지하고 거절한다(행동이 별도의, 측정되지 않은 경로를 통해 발생함).
  • Qwen: 혼합된 행동을 보인다.
  • 결론: 기하학은 '알고 있음'과 '조종함' 사이의 *해리(dissociation)*를 설명하지만, 모델의 기본 행동을 예측하지는 않는다.

의의 및 주장

본 논문은 언어 모델에서 "아는 것"(탐지)과 "조종하는 것"(제어) 사이의 기능적 해리를 확립한다.

1. 탐지는 제어가 아니다: 행동(예: 엔티티가 가짜임을 아는 것)의 완벽한 선형 분리성이 그 행동을 제어하는 데 사용할 수 있는 탐지 방향을 보장하지는 않는다. 두 능력은 잔사 스트림 내에서 거의 직교하는 하위 공간을 차지한다.
2. 코사인은 서명이지 오라클이 아니다: 탐지 방향과 개입 방향 사이의 코사인은 이 해리의 견고하고 가중치 계산 가능한 서명이다. 그러나 저자들은 이 코사인이 조종 가능성을 나타내는 사전(a priori) 예측 데이타 역할을 한다는 아이디어를 명시적으로 반박한다. 높은 코사인(형식의 경우처럼)은 하나의 벡터가 두 역할을 모두 수행하는 예외적인 경우이며, 낮은 코사인은 구조적 간극을 나타내지만, 간극의 존재가 반드시 제어 불가능함을 의미하는 것은 아니다(회전 실험에서 보여준 바와 같이).
3. 구조적 기원: 간극은 사전 학습 중에 형성되며 지시 튜닝에 불변한다. 이는 출력 매핑이 인식론적 신호와 직교하는 메커니즘(예: 엔티티 복사)에 의해 지배되기 때문에 발생한다.
4. 선형 제어의 한한계: 결과는 환각과 같은 복잡한 행동에 대해 단순한 활성화 가산은 불충분함을 시사한다. 효과적인 제어를 위해서는 탐지의 고차원 하위 공간을 탐색하거나 개입 방향을 향해 회전해야 하며, 이는 탐지가 단일 벡터가 아닌 방향의 클래스임을 인정하는 것을 의미한다.

본 논문은 기계론적 해석 가능성이 모델의 내부 상태를 완벽하게 읽을 수는 있지만, 그 상태에 쓰는 것(행동을 변경하는 것)은 인식론적 신호와 출력 행동 사이의 특정한 기하학적 경로를 이해해야 하며, 이들은 종종 구조적으로 분리되어 있다는 결론을 내린다.