기술 요약: 속성 패칭(Attribution Patching)이 거짓말을 할 때

문제 정의

기계론적 해석 가능성(Mechanistic interpretability)은 특정 모델 행동을 주도하는 내부 구성 요소(뉴런, 어텐션 헤드)를 식선별하기 위해 **인과적 국소화(causal localization)**에 의존한다. 이를 위한 골드 스탠다드는 **활성화 패칭(activation patching)**으로, 이는 오염된 입력(corrupted input) 하에서의 구성 요소 활성화 값을 깨끗한 입력(clean input)으로부터의 값으로 교체했을 때 발생하는 인과적 효과를 측정한다. 그러나 활성화 패칭은 구성 요소의 수에 따라 비용이 선형적으로 증가하기 때문에 대규모 모델 적용 시 계산적으로 매우 부담스럽다.

결과적으로 실무자들은 오염된 활성화 주변에서 개입(intervention)을 선형화하는 1차(first-order), 그래디언트 기반 근사법인 **속성 패칭(attribution patching)**에 의존한다. 효율적이기는 하지만, 속성 패칭의 신뢰성은 아직 충분히 이해되지 않았다. 체계적인 오차(systematic errors)는 밑바닥의 회로를 잘못 식별하게 만들 수 있다. 기존 연구들은 특정 실패 모드(예: 활성화 영역 불일치, 소프트맥스 재분포)를 식별하고 부분적인 해결책을 제안했으나, 근본적인 질문은 여전히 남아 있다: 언제 속성 패칭이 신뢰할 수 있는가, 오차가 얼마나 커질 수 있는가, 그리고 이를 어떻게 교정해야 하는가?

방법론 및 핵심 통찰

저자들은 2차 테일러 전개(second-order Taylor expansion)를 사용하여 속성 패칭 오차의 구조를 분석한다. 이들은 실제 인과적 효과($\Delta$)와 1차 추정치($\hat{\Delta}$) 사이의 오차 $E$를 다음과 같이 두 가지 성분으로 분해한다:
$$E = \underbrace{\frac{1}{2} \delta^\top H \delta}_{\text{지배적인 이차항}} + \underbrace{\Phi(\delta)}_{\text{삼차 나머지 항}}$$
여기서 $\delta$는 섭동 방향(perturbation direction)이며, $H$는 활성화에 대한 스칼라 출력 메트릭의 헤시안(Hessian)이다.

핵심 통찰: 다운스트림 대 로컬 곡률(Curvature)

핵심적인 발견은 지배적인 오차 항이 패치된 구성 요소 자체의 **로컬 곡률(local curvature)**보다는 개입에 대한 네트워크 수준의 반응(개입이 모델의 나머지 부분으로 어떻게 전파되는지)에서 기인한다는 점이다.

• 기존 해결책의 실패: 이전 방법들(예: AtP*, GIM)은 로컬 활성화 곡률(예: 활성화 함수의 2차 도함수)을 사용하여 오차를 교정하려고 시도한다. 저자들은 로컬 곡률이 실제 오차를 예측하는 데 있어 매우 부적절하며, 상관관계가 거의 없고($r=0.04$), 실제 오차 원인을 2~66배까지 과소평가함을 입증했다.
• 네트워크 수준의 교정: 실제 오차는 전체 계산 그래프의 헤시안-벡터 곱(HVP)에 달려 있다.

제안된 솔루션: Screen–Flag–Fix

이러한 분해를 바탕으로 저자들은 확장 가능한 워크플로우를 제안한다:

1. Screen (선별): 모든 구성 요소에 대해 표준 속성 패칭을 계산한다 (역전파 1회 수행).
2. Flag (표식): 1차 추정치 대비 이차항의 크기로 정의되는 **신뢰도 점수($\tilde{R}$)**를 계산한다:
   $$\tilde{R} = \frac{|\delta^\top H \delta|}{2 |\hat{\Delta}|}$$
   $\tilde{R}$이 높으면 생략된 이차항이 유의미하다는 것을 의미하며, 해당 추정치가 신뢰할 수 없음을 나타낸다.
3. Fix (교정): 표식된 구성 요소에 대해서만 HVP 기반 2차 교정을 적용한다.
   • 표준 HVP: 추정치에 $\frac{1}{2} \delta^\top H \delta$ 항을 더한다. 이는 두 번의 역전파(그래디언트 계산을 위한 1회, HVP 계산을 위한 1회)를 필요로 한다.
   • 다단계 HVP (MS-HVP): 단일 테일러 단계가 오버슈팅(overshoot)하여 국소 매끄러움 가정(local smoothness assumption)을 위반할 수 있는 큰 섭동의 경우, 교정을 $K$개의 하위 단계로 나눈다. 이는 잔여 오차를 $O(\|\delta\|^2)$에서 $O(\|\delta\|^3/K^2)$로 줄여준다.

주요 기여

1. 속성 신뢰성의 재정의: 저자들은 지배적인 오차 원인을 로컬 비선형성이 아닌 다운스트림 네트워크 반응으로 추적함으로써, 왜 기존의 로컬 교정 방식들이 구조적으로 불완전한지를 설명한다.
2. 확장 가능한 2차 교정: 저자들은 HVP와 MS-HVP를 대규모 모델(최대 9B 파라미터)에서도 실행 가능한 최초의 2차 교정법으로 도입한다. 통합 그래디언트(Integrated Gradients, IG)가 이 규모에서 계산적으로 불가능한 것(태스크당 약 25 GPU-일 소요)과 달리, HVP는 실행 가능하다.
3. 설계 공간 및 워크플로우: 저자들은 정교화 방법들을 그 목적에 따라 분류하고, 계산 노력을 신뢰할 수 없는 구성 요소에만 집중하는 "Screen-Flag-Fix" 파이프라인을 제안하여 정확성과 효율성의 균형을 맞춘다.

실험 결과

저자들은 다섯 가지 모델 제품군(124M–9B 파라미터)과 여러 태스크(IOI, Greater-Than, Factual Completion)에서 이 방법을 평가했다.

• 오차 감소: 표준 HVP 교정은 저-중도 곡률 영역에서 어텐션 헤드의 top-5 상대 오차를 72–90%, pre-activation MLP 뉴런의 오차를 56–67% 감소시킨다. 병리적인 고곡률 영역(예: Pythia-410M IOI)에서는 단일 단계 HVP가 오버슈팅할 수 있으나, **MS-HVP (K=5)**는 안정성을 회복하여 오차를 최대 82%까지 줄인다.
• 베이스라인과의 비교:
  • vs. Integrated Gradients (IG): 동일한 계산 비용에서 MS-HVP는 IG의 정확도와 대등하거나 이를 능가한다. GPT-2 IOI에서 MS-HVP(비용 10)는 IG(비용 35)보다 3.5배의 효율성 이득을 얻으면서도 성능이 훨씬 뛰어나다.
  • vs. Integrated Hessians (IH): IH는 특징 상호작용을 위해 설계된 가중치 방식 때문에 속성 패칭에 관련된 특정 오차 항을 체계적으로 과소 교정하므로, MS-HVP보다 일관되게 낮은 성능을 보인다.
  • vs. GIM/AtP:* 이러한 방법들은 완만한 개선을 보이거나, 특히 높은 차수의 네트워크 곡률이 지배하는 대규모 모델에서는 성능이 저하된다.
• 회로 복구: 구성 요소당 정확도 향상은 개선된 회로 복구로 이어진다. GPT-2 Greater-Than 벤치마크에서 MS-HVP (K=5)는 ground truth와의 top-5 헤드 중첩도를 70.1%에서 83.2%로 향상시켜 IG와 GIM을 능가했다.
• 확장성: 8B 이상의 파라미터 규모에서 IG는 실행이 불가능하지만, HVP는 여전히 실용적이다. MS-HP는 이 규모에서 입증된 유일한 2차 교정법이다.

의의 및 주장

본 논문은 속성 패칭이 본질적으로 신뢰할 수 없는 것이 아니라, 다운스트림 네트워크 곡률의 무시라는 구체적이고 교정 가능한 오차 원인으로 인해 문제가 발생한다고 주장한다. 저자들은 초점을 로컬 활성화 특성에서 네트워크 수준의 헤시안-벡터 곱으로 전환함으로써, 속성 패칭이 언제 실패하는지, 그리고 이를 어떻게 교정할 수 있는지에 대한 일반적인 설명을 제공한다.

이 연구의 의의는 엄격한 인과적 테스트가 이전에는 접근 불가능했던 규모에서 **고충실도 회로 복구(high-fidelity circuit recovery)**를 가능하게 한다는 데 있다. 제안된 Screen-Flag-Fix 워크플로우를 통해 실무자들은 신뢰할 수 있는 구성 요소에 대해서는 1차 근사법의 속도를 유지하면서, 필요한 곳에만 계산 효율적인 2차 교정을 선택적으로 적용할 수 있다. 이 접근법은 통합 그래디언트(IG)와 같은 경로 적분 방식이나 전면적인 활성화 패칭의 막대한 비용 없이도 현대 대규모 언어 모델의 기계론적 회로 발견을 지원한다.