Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components

기술 요약: 중요성을 넘어: Interchange-Sobol 민감도는 트랜스포머 구성 요소의 작업 특화적 콘텐츠 채널을 밝혀낸다

문제 정의
현재의 기계론적 해석 가능성(mechanistic interpretability) 방법론들은 일반적으로 단일 스칼라 중요도 점수(예: Direct Logit Attribution, zero ablation, 또는 gradient-based attribution 활용)를 통해 트랜스포머 구성 요소를 요약합니다. 저자들은 이러한 접근 방식이 두 가지 구별되는 기능적 역할을 혼동한다고 주장합니다:

1. 콘텐츠 운송(Content Transport): 구성 요소가 작업 관련 정보를 운반하기 때문에 중요하다. 즉, 해당 활성화 값을 대안적인 콘텐츠로 교체하면 모델의 출력이 방해를 받는다.
2. 계산 기질(Computational Substrate): 구성 요소가 순방향 계산(forward computation)이 작동하는 데 필수적이기 때문에 중요하다. 즉, 이를 제거하면(예: zero ablation을 통해) 성능이 저하된다.

표준 중요도 지표는 이러한 역할들을 구분하지 못하는 경우가 많습니다. 예를 들어, 사실적 회상(factual recall) 작업에서 표준 방식들은 초기 레이어의 구성 요소들을 낮게 평가할 수 있지만, 이들의 활성화 값을 일치하는 도너(donor) 활성화 값으로 교체했을 때 정답이 붕괴된다면, 이는 삭제 기반 지표들이 과소평가하는 중요한 콘텐츠 채널임을 의미합니다.

방법론: Interchange-Group Sobol Decomposition (IGSD)
본 논문은 콘텐츠 운송과 삭제 민감도를 분리하기 위해 설계된 쌍체 개입(paired-intervention) 프레임워크인 IGSD를 소개합니다.

• 쌍체 개입(Paired Interventions): 특정 레이어 로컬 그룹 $g$ (attention 또는 MLP)와 베이스 프롬프트 $x_A$에 대해, IGSD는 일치하는 도너 프롬프트 $x_B$를 사용하여 두 가지 개입을 수행합니다:
  1. 교체 개입(Swap Intervention): 활성화 $h_g(x_A, t)$를 일치하는 도너 활성화 $h_g(x_B, t)$로 교체합니다.
  2. 제로 개입(Zero Intervention): 동일한 활성화 값을 제로 벡터로 교체합니다.
• 분산 지수(Variance Indices): 이 방법은 출력 분산에 의해 정규화된 두 가지 Sobol 스타일 분산 지수를 추정합니다:
  • $ST_{swap}(g)$: 일치하는 콘텐츠 교체에 대한 민감도.
  • $ST_{zero}(g)$: 삭제(zeroing)에 대한 민감도.
• 역할 분해(Role Decomposition): 핵심 지표는 부호가 있는 차이인 $\delta(g) = ST_{swap}(g) - ST_{zero}(g)$입니다.
  • $\delta(g) > 0$: 구성 요소가 콘텐츠 운송 채널로 작용함 (잘못된 콘텐츠가 부재보다 더 파괴적임).
  • $\delta(g) < 0$: 구성 요소가 삭제 민감 기질로 작용함 (부재가 대안적 콘텐츠보다 더 파괴적임).
• 유효성 진단(Validity Diagnostics): 개입이 데이터 매니폴드(manifold) 내에 머물도록 하기 위해 $\hat{ST} > 1$을 모니터링합니다. 만약 추정치가 1을 초과하면, 이는 이상적인 Sobol 지수의 곱측도 가정(product-measure assumption)을 위반하는 오프-매니폴드(off-manifold) 개입임을 나타내며, 해당 그룹은 해석에서 제외됩니다.
• 이론적 보장(Theoretical Guarantees): 본 논문은 다음을 제공합니다:
  • 일치하는 쌍(matched-pair) 지수와 이상적인 Sobol 지수 사이의 오지정 경계(mis-specification bound) (Proposition 1).
  • $\delta(g)$에 대한 짝지은 붓스트랩 추론(paired-bootstrap inference)의 점근적 정규성 및 일관성 (Proposition 2).
  • 계수 버킷 대조(factorial bucket contrasts)의 우세한 콘텐츠 요인(주체 vs 관계)을 연결하는 식별 결과 (Proposition 3).
  • $\delta(g)$가 콘텐츠 질량($C_g$)과 기질 질량($N_g$)의 지배력을 격리하는 잠재적 콘텐츠-기질 분해 (Proposition 4).

주요 기여

1. 프레임워크 공식화: IGSD는 일치하는 쌍 추론과 팩토리얼 도너 설계를 갖춘 쌍체 개입 프레임워크로 공식화되었으며, 이는 교환 충실도(interchange fidelity)와 의존성 오류에 대한 이론적 경계에 의해 뒷받침됩니다.
2. 작업 특화적 채널의 발견: 다양한 작업에 걸쳐, IGSD는 정답과 정렬된 엔드-토큰(end-token) 위치에서 국소적이고 작업 특화적인 콘텐츠 운송 프로파일을 식별합니다.
   • 사실적 회상: GPT-2 small과 Qwen2.5-1.5B 모두에서, IGSD는 표준 중요도 방법이 낮게 평가하는(예: #11–#13위) 초기 레이어 콘텐츠 채널(특히 GPT-2 small의 $MLP_{L0}$)을 #1로 식별합니다.
   • 세밀도(Granularity): 이 방법은 헤드 단위로 정밀화되어, 알려진 사실적 검색 헤드인 $Attn_{L9H8}$을 복구합니다.
   • 콘텐츠 해리(Content Dissociation): 통제된 도너 설계를 통해 초기 채널($MLP_{L0}$)이 관계 프레임 콘텐츠(예: "X는 ~의 시민이다"라는 템플릿)를 운반함을 밝혀냅니다. 반면 후기 어텐션($Att_ {L9}$)은 주체 추출 콘텐츠를 운반합니다.
3. 다운스트림 검증:
   • 후기 레이어 클램핑(Late-layer Clamping): 실험을 통해 초기 신호가 단순히 잔차(residual)를 통해 전달되는 것이 아니라, 후속 레이어 계산(특히 후기 MLP)에 의해 기능적으로 변형됨을 확인했습니다.
   • 가지치기 유용성(Pruning Utility): 콘텐츠 운송 채널로 식별된 구성 요소는 지식 편집(knowledge editing)의 자연스러운 대상이며, 콘텐츠를 운반하지도 않고 삭제에도 민감하지도 않은 구성 요소는 구조적 가지치기의 후보입니다. 실험 결과, IGSD 순위에 기반한 가지치기는 제로-아블레이션 순위에 기반한 가지치기(57.4%)보다 훨씬 높은 정확도(70.0%)를 유지했습니다.

결과

• 사실적 회상: GPT-2 small에서 $MLP_{L0}$를 교체하면 정답 순위가 #1에서 #95로 떨어지는 반면, 제로 아블레이션은 훨씬 적은 영향을 미칩니다. IGSD는 이를 콘텐츠 민감 채널($\hat{\delta} = 0.103$)로 정확히 식별하지만, 표준 지표(DLA, AtP*)는 이를 우선순위에 두지 못합니다.
• 작업 특이성: 구성 요소의 역할은 고정되어 있지 않습니다. 간접 목적어 식별(IOI) 작업에서는 우세한 양(+)의 대조가 후기 어텐션 레이어($Attn_{L9}, Attn_{L10}$)로 이동하는 반면, $MLP_{L0}$는 음(-)의 성격을 띱니다.
• 강건성: 발견된 결과는 무작위 시드와 아키텍처(GPT-2 small 및 Qwen2.5-1.5B) 전반에서 안정적입니다. "교체 vs 제로" 대조 프로파일은 각 작업(Factual, IOI, Induction)마다 뚜렷하게 다릅니다.

의의 및 주장
본 논문은 교체(replacement)와 삭제(deletion)가 상호 대체 가능한 통제 도구가 아님을 주장합니다. 이들의 괴리는 트랜스포머 구성 요소의 콘텐츠 운송을 식별하기 위한 실용적인 통계적 진단을 제공합니다.

• 기계론적 통찰: IGSD는 사실적 회상에서 초기 레이어가 "관계 프레임"(쿼리의 템플릿)을 구축하는 데 결정적이라는 점을 밝혀냈으며, 이는 삭제 기반 지표에서 과소평가되었던 역할입니다.
• 방법론적 전환: 이 연구는 정적인 중요도 점수를 넘어, 작업, 도너 분포, 그리고 출력 함수에 의해 결정되는 동적인 개입 수준의 역할 분류로 나아갑니다.
• 실용적 응용: 콘텐츠와 기질 역할의 분해는 모델 편집(콘텐츠 채널 타겟팅)과 효율적인 추론(기질 구성 요소 가지치기)을 위한 원칙적인 근거를 제공합니다.

저자들은 도너 매칭 충실도에 따라 개입의 유효성이 달라진다는 점, 제로 아블레이션이 유일한 삭제 연산자가 아니라는 점, 그리고 현재 결과가 단일 토큰 작업 및 블록 수준의 다운스트림 검증에 국한되어 있다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지하고 있습니다. 그러나 그들은 이 프레임워크가 멀티 토큰 출력 및 의미론적 등가 클래스로 확장 가능하다고 주장합니다.