Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

기술 요약: 함수-벡터 헤드는 두 개의 모집단이다: 인컨텍스트 러닝에서의 Writer와 Canceller

1. 문제 제기

기계론적 해석 가능성(mechanistic interpretability) 분야에서 함수-벡터(Function-Vector, FV) 헤드는 일반적으로 인컨텍스트 러닝(ICL) 규칙 태스크에 큰 인과적 기여를 하는 희소한 어텐션 헤드 집합으로 식별됩니다. 표준적인 식별 파이프라인(예: Todd et al., 2024)은 이러한 헤드들을 크기(magnitude)(예: Direct Logit Attribution 또는 AIE)에 따라 순위를 매기고, 상위 순위에 위치한 집합을 하나의 **동질적인 기능적 클래스(homogeneous functional class)**로 취급합니다.

본 논문은 높은 크기를 가진 헤드들이 모델을 시연된 규칙 쪽으로 일관되게 밀어붙인다는 암묵적인 가정에 이의를 제기합니다. 저자들은 크기만을 기준으로 한 순위 매기기가 중요한 구조적 이질성을 가릴 수 있다고 주장합니다. 즉, 상위 집합에는 서로 반대되는 인과적 효과를 가진 헤드들이 포함될 수 있다는 것입니다. 만약 이 가정이 실패한다면, 스티어링 벡터(steering vectors)와 같은 표준적인 집합 방법은 상충하는 힘들을 의도치 않게 혼합하여 최적화되지 않거나 모순적인 개입을 초도할 수 있습니다.

2. 방법론

저자들은 세 가지 모델 제품군(Pythia, Qwen2.5, GPT-2)과 여섯 가지 규모(410M–12B)에 걸쳐 부호 보존 식별 파이프라인과 엄격한 검증 프레임워크를 제안합니다.

• 정교화된 직접 로짓 속성(Refined Direct Logit Attribution, DLA): 절대적 크기로 순위를 매기는 대신, 저자들은 각 헤드가 정답 로짓과 오답 로짓의 차이($\Delta \ell$)에 기여하는 부호가 있는 기여도를 계산합니다. 이들은 순열 기반의 허위 발견율(False Discovery Rate, FDR) 제어($q=0.10$)를 적용하여, 양(+)과 음(-)의 기여자를 모두 포함하는 후보 FV 헤드 집합을 식별합니다.
• 경로 패칭 검증(Path Patching Validation): 후보들은 직접적인 효과를 격리하기 위해 경로 패칭을 통해 검증됩니다. 헤드들은 프롬프트 스윙(prompt swing)에 대한 직접 효과의 크기에 따라 두 모집단으로 나뉩니다.
  • Writer ($W$): 정답 토큰의 로짓을 높이는 양의 직접 효과($\ge +5\%$ swing)를 가진 헤드.
  • Canceller ($C$): 정답 토큰의 로짓을 낮추는 음의 직접 효과($\le -5\%$ swing)를 가진 헤드.
• 표준 판정(The Canonical Verdict): 두 개의 상충하는 모집단의 존재는 그룹 절제(ablation, zeroing 또는 mean-ablation)에 대한 4가지 조건 테스트를 통해 검증됩니다.
  1. $W$를 절제하면 정답 로짓이 유의미하게 감소합니다 ($\Delta \ell_W < 0$).
  2. $C$를 절제하면 정답 로짓이 유의미하게 증가합니다 ($\Delta \ell_C > 0$).
  3. 두 부호는 반대입니다.
  4. 공동 절제($W \cup C$)는 **감쇄(attenuation)**를 보여줍니다 (효과가 개별 효과의 합보다 작음). 이는 이들이 동일한 리드아웃(readout)에서 작동하지만 서로 반대 방향으로 작동함을 나타냅나다.
• 아티팩트 거부(Artifact Rejection): 저자들은 "canceller" 신호에 대한 여섯 가지 대안적 설명을 배제합니다.
  1. 유도 중첩(Induction Overlap): Canceller 헤드는 단순히 induction head가 아닙니다.
  2. 어텐션 싱크(Attention Sinks): 이 효과는 포맷 접두사나 BOS 토큰에 주의를 기울이는 아티팩트가 아닙니다 (per-source DLA 버케팅을 통해 검증됨).
  3. 일반적 중요성(Generic Importance): Cancellers는 단순히 무작위 부호를 가진 높은 어텐션 헤드가 아닙니다.
  4. Rank-1 복사-억제(Rank-1 Copy-Suppression): 이 메커니즘은 단순한 rank-1 복사 토큰 억제가 아닙니다 (GPT-2 L10.H7와는 다름).
  5. V-Cascade: 이 효과는 특정 V-composition cascade를 통해 상류의 writer를 억제하는 결과가 아닙니다.
  6. Rank-Nearest Controls: 유사한 크기를 가진 무작위 헤드들은 동일한 cancellation 동작을 보이지 않습니다.

3. 주요 결과

• 모집단 분리: 15개 셀(6개 주요 Pythia 셀 + 9개 확장 셀) 전체에서 FV 헤드 집합은 writer와 canceller로 명확하게 나뉩니다. 표준 판정은 15/15 셀에서 성립합니다.
• 기존 연구와의 비대칭적 중첩: 크기만을 고려한 순위 매기기(Todd et al., 2024)는 국지적으로 지배적인 하위 모집단에 편향되어 있습니다.
  • Hierarchical 태스크에서, Todd의 상위 20개는 **cancellers의 64%**를 포착하지만 **writers의 4%**만을 포착합니다.
  • Modular 태스크에서, Todd의 상위 20개는 **writers의 59%**를 포착하지만 **cancellers의 8%**만을 포착합니다.
• Cancellers의 인과적 영향: Canceller 모집단을 zero-ablation 하면 일관된 로짓 이득(logit gain) +0.13 ~ +0.29 nats와 6/6 주요 셀에서 +2 ~ +7 퍼센트 포인트의 정확도 향상을 얻습니다.
• 구조적 구별:
  • QK 소스(Sources): Writers는 데몬스트레이션 레이블에 주의를 집중시키는 반면, Cancellers는 주의 질량을 포맷-접두사 토큰으로 이동시키고 레이블로부터 멀어지게 합니다.
  • OV 기하학(Geometry): Write 방향(OV)에서 writers와 cancellers는 거의 직교합니다 (perpendicular fraction 평균 0.96). 이는 이들이 잔차 스트림(residual stream)에서 서로를 완전히 상쇄하지 않고도 공존할 수 있게 합니다.
  • 레이어 분포: Cancellers는 초기-중기 레이어에 클러스터링되며, 종종 동일한 셀 내의 writer 하류에 위치하여 후기 단계의 억제가 아님을 입증합니다.
• 사례 연구 (L11.H4): Pythia-410M의 지배적인 canceller는 "분산된 편향 콘텐츠 리더(distributed-bias content reader)"로 식별되었습니다. 이의 역할은 태스크 템플릿에 따라 바뀝(rule 태스크에서는 canceller, antonym 태스크에서는 writer). 이는 이 모델이 무조건적인 로짓 억제를 수행하는 것이 아니라 "시연된 것"을 억제한다는 가설을 뒷받침합니다. 이는 rank-1 copy-suppression이나 V-cascade 템플릿에 부합하지 않습니다.

4. 의의 및 주장

본 논문은 FV 헤드 모집단이 동질적인 클래스가 아니라, 두 개의 상충하는 서킷으로 구성된 구조적 특성임을 주장합니다.

• 방법론적 교정: 표준적인 "크기 전용" 순위 매기기는 FV 헤드의 전체 기능적 풍경을 식별하기에 불충분합니다. 이는 지배적인 신호에 반대하는 하위 모집단을 체계적으로 놓치며, 결과적으로 불완전한 회로 모델을 초래합니다.
• 개입의 함의: 논문은 절제(ablation), 이식(transplant), **가산적 스티어링(additive steering)**을 구분합니다.
  • 절제(Ablation): Cancellers를 제거하면 성능이 향려됩니다.
  • 이식(Transplant): 헤드를 해당 태스크 평균으로 교체하는 것(이는 cancellers의 특정 per-prompt 동작을 효과적으로 중립화함)이 writer-only 이식보다 성능을 향상시킵니다.
  • 스티어링(Steering): 저자들은 집합된 스티어링 벡터(W와 C를 결합)가 실질적인 스티어링을 위한 올바른 연산이라고 주장하지 않습니다. W와 C는 서로 반대되는 부호를 가지므로, 이들을 단일 벡터로 통합하면 스티어링 효과가 희석될 수 있기 때문입니다. 모집단 수준의 식별은 어떤 헤드에 개입할지를 정의하는 것이지, 반드시 어떻게 집합할지를 정의하는 것은 아닙니다.
• 일반성: 이 현상은 다양한 모델 아키텍처(GPT-NeoX, Llama-style, Conv1D)와 규모에서 관찰되며, 이는 이것이 특정 모델이나 태스크의 아티팩트가 아니라 트랜스포머가 인컨텍스트 규칙 준수를 구현하는 근본적인 속성임을 시사합니다.

5. 한계점

저자들은 연구 결과의 범위에 대해 다음과 같이 겸허한 입장을 유지합니다.

• 태스크 범위: 주요 분석은 짧고 폐쇄된 레이블을 가진 합성 ICL 태스크(hierarchical 및 modular rules)와 두 가지 어휘-ICL 템플릿(antonyms, country-capital)에 국한됩니다. 이는 긴 형태의 생성이나 개방형 지시 이행을 다루지 않습니다.
• 메커니즘 일반화: 두 모집단의 존재는 모집단 수준의 발견이지만, 지배적인 canceller(L11.H4)를 "분산된 편향 콘텐츠 리더"로 규정한 구체적인 메커니즘적 특징을 전체 canceller 모집단으로 확장하여 적용하지는 않습니다.
• 스티어링 주장: 논문은 식별된 모집단을 사용한 벡터 기반 스티어링이 관찰된 특정 로짓 변화 이상의 실질적인 모델 제어를 개선한다는 긍정적인 주장을 하지 않습니다. 절제를 통한 정확도 향상이 추가적인 튜닝 없이 가산적 스티어링 벡터를 위한 이점으로 자동 변환되는 것은 아닙니다.