Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models

기술 요약: 패턴 선택성은 과업-인과적 구조가 아니다

문제 제기
본 논문은 메커니즘적 해석 가능성(mechanistic interpretability)의 확립된 "스크린-앤-어블레이트(screen-and-ablate)" 레시피—즉, 과업-패턴 선택성을 통해 어텐션 헤드 회로를 식별한 후 인과적 제거(causal ablation)를 수행하는 방식—가 서로 다른 모델 제품군에 대해 일관된 메커니즘적 주장을 도출할 수 있는지 조사한다. 기존 연구(예: Wang et al., 2023)는 GPT-2 small에서 간접 목적어 식별(IOI)과 같은 과업에 대한 정형화된 회로를 확립했지만, 이 특정 회로들이 서로 다른 코퍼스와 아키텍처로 훈련된 다른 1B급 언어 모델으로 일반화될 수 있는지는 알려진 바 없다. 핵심 질문은 단일 과업-패턴 스크린이 서로 다른 모델에서 동일한 인과적 회로를 식별하는지, 아니면 구성된 과업의 메커니즘적 구현이 모델마다 고유한 것인지 여부이다.

방법론
저자들은 $4 \times 3$ 경험적 그리드에 걸쳐 통합된 스크린-앤-어블레이트 프로토콜을 적용한다:

• 과업: 네 가지 구성 과업: 간접 목적어 식별(IOI), 크기 비교(Greater-Than), 후속 시퀀스(Successor Sequences), 변수 바인딩(Variable Binding).
• 모델: 서로 다른 파이프라인을 가진 세 가지 1B급 모델:
  • Pythia 1B: 데로스(Dense) 아키텍처, The Pile로 훈련됨.
  • OLMo 1B: 데로스 아키텍처, DCLM로 훈련됨.
  • OLMoE 1B-7B: 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처 (64개 전문가, top-8), DCLM로 훈련됨.
• 절차:
  1. 스펙트럼 신호(Spectral Signal): 특화된 연산을 식별하기 위해 참여 비율(participation-ratio, PR) 적분을 사용하여 헤드를 사전 스크리닝함.
  2. 과업-패턴 스크린(Task-Pattern Screen): 특정 어텐션 패턴(예: 이전 토큰, 유도(induction), 이름 이동(name-mover), S-억제(S-Inhibition))에 대한 선택성을 기준으로 후보 헤드를 필터링함.
  3. 인과적 검증: 후보 회로의 그룹 제거(group ablation)를 수행함(헤드 출력을 배치 평균 활성화 값으로 교체).
  4. 대조군(Control): 10개의 독립적인 시드를 사용하여 모든 셀에 대해 **매치드-랜덤 널(matched-random null)**을 생성하며, 선택된 헤드와 겹치지 않는 동일한 레이어의 무작위 헤드를 샘플링함.
• 지표: 성능은 $\Delta$top-1 정확도와 $\Delta$logit-diff(정답과 오답 로짓 간의 차이)를 통해 측정됨.

주요 기여

1. 경험적 그리드: 1B급 프런티어에서의 12개 (과업, 모델) 셀에 대한 포괄적인 분석을 통해, 방법론은 전이되지만 특정 인과적 회로는 그렇지 않음을 입증함.
2. 5가지 범주 분류 체계: 스크린 결과를 분류하기 위한 정량적 프레임워크:
   • 주요 원인(Primary Cause): 높은 특이성($\ge 3\times$ 매치드-랜덤 대비)을 가진 가장 큰 비포화 효과.
   • 이차 원인(Secondary Cause): 유의미한 효과를 보이지만 주요 스크린보다 작음; 흔히 중복된 경로임.
   • 상관 관계(Correlate): 헤드가 기대되는 패턴을 보이지만, 제거 시 인과적 영향이 거의 없거나 없음 (이미 상류에서 답이 인코딩됨).
   • 간섭자(Interferer): 제거 시 과업 성능이 오히려 향상됨; 주로 과업과 경쟁하는 BOS-클래스(첫 토큰) 어텐션 싱크에 의해 발생함.
   • 널(Null): 인과적 역할이 없음; 효과 크기가 무작위 노이즈와 구별되지 않음.
3. OLMoE 이전 토큰 우선순위 가설(Prev-Token-Primacy Hypothesis): MoE 모델이 1B-활성 규모에서 기초적인 이전 토큰 위치 기질(prev-token positional substrate) 위에 구성된 과업 회로를 구축한다는 검증 가능한 가설. 과업 특화 연산은 이 기질 위에 계층적으로 구축되나, 과업 구조가 다른 패턴(예: IOI의 최종 위치 이름 복사)을 직접 탐색하는 경우는 예외임.
4. 방법론적 개선:
   • 진정한 인과성을 단순한 탐색(fishing expeditions)과 구별하기 위해 매치드-랜덤 대조군이 필수적임을 입증함. 특히 L0에 집중된 스크린이 높은 분산을 가진 널(null)을 가짐을 밝혀냄.
   • 마진-낫-아규맥스(margin-not-argmax) 시그니처 식별: 일부 모델에서는 제거 시 top-1 예측은 바꾸지 않으면서 로짓 마진을 압축(신뢰도 감소)하는데, 이는 능력이 게이팅 결정보다는 분포적 편향으로서 구현됨을 시사함.

주요 결과

• 교차 아키텍처 회로 전이 부재: $4 \times 3$ 그리드의 어떤 두 셀도 유사한 효과 크기를 가진 동일한 주요 인과 스크린을 공유하지 않음.
  • IOI: Pythia는 **이전 토큰(prev-token)**이 주원인이며, OLMo는 **S-억제(S-Inhibition)**가 주원인이고, OLMoE는 **이름 이동(name-mover)**이 주원인임.
  • 크기 비교(Greater-Than): Pythia는 **GT-특화(GT-specific)**가 주원인이며, OLMo는 마진-전용(margin-only) 효과를 보이고, OLMoE는 이전 토큰이 주원인임.
  • 후속 시퀀스(Successor): Pythia는 혼합되어 있으며, OLMo는 L0 집중형(신뢰할 수 없는 널)이고, OLMoE는 이전 토큰이 주원인임.
  • 변수 바인딩(Variable Binding): Pythia의 나이브 스크린은 **간섭자(interferers)**인 BOS-클래스 헤드를 식별함; OLMo와 OLMoE는 이전 토큰이 주원인임.
• OLMoE 패턴: OLMoE에서 이전 토큰 회로는 크기 비교, 후속 시퀀스, 변수 바인딩의 주요 인과적 동인임. 예외적으로 IOI의 경우, 과업 구조(최종 위치 이름 복사)가 이름 이동 회로를 직접적으로 활용함.
• BOS-클래스 혼란(Confounds): Pythia의 변수 바인딩 과업에서, 상위 스크린 후보들은 실제 지지자가 아닌 간섭자로 작용하는 BOS-클래스 헤드였음. 이를 구분하기 위해서는 개별 헤드 제거가 필요했으며, 이는 BOS가 지배적인 환경에서 일반화되는 진단법임.
• 지표 민감도: top-1 정확도에만 의존하면 중요한 메커니즘적 효과를 놓칠 수 있음. 예를 들어, OLMo의 크기 비교 과업에서 GT-특화 스크린을 제거했을 때 top-1은 최소한으로 감소($\Delta$-0.6)했으나, 로짓 마진은 크게 압축($\Delta$-1.98)됨.

의의 및 주장
본 논문은 "X라는 능력에 대한 회로는 무엇인가?"라는 질문이 1B급 프런티어에서는 단일하고 전이 가능한 솔루션을 전제한다는 점에서 잘못된 질문이라고 주장한다. 대신 저자들은 다음과 같이 제안한다:

1. 메커니즘적 디커플링(Mechanistic Decoupling): 서로 다른 모델은 동일한 행동적 능력을 달성하기 위해 완전히 다른 메커니즘적 구현을 사용한다. "레시피"(스크린-앤-어블레이트)는 유효한 생성 절차이지만, 특정 회로는 각 모델에 대해 다시 도출되어야 한다.
2. 모델-클래스 규칙성: 특정 회로는 다르더라도, 구조적 패턴은 아키텍처 제품군 내에서 지속될 수 있다. OLMoE 이전 토큰 우선순위 가설은 MoE 아키텍처가 라우팅을 위한 안정적인 위치 기질에 의존하며, 그 위에 과업 특화 로직이 구축된다는 것을 시사한다.
3. 방법론적 정직성: 저자들은 스펙트럼 신호만으로는 불충분하며, 지지자와 상관 관계 또는 간섭자를 구별하기 위해 과업-패턴 스크린과 인과적 검증(특히 BOS가 지배적인 환경에서의 개별 헤드 제거)이 필요함을 강조한다.

저자들은 이러한 발견을 더 넓은 경험적 프로그램의 시작점으로 규정하며, OLMoE 가설이 다른 MoE 모델(예: Mixtral, DBRX)에서도 검증되어야 함을 언급한다. 또한 12개 셀 그리드가 충분히 동기를 부여하지만 완전한 교차 과업 일반화를 확립하기에는 부족하다는 점을 명시한다.