기술 요약: 다중 매개체의 저주: 활성화 패칭에서의 숨겨진 상호작용 효과

1. 문제 제기

활성화 패칭(Activation patching)은 개별 신경망 구성 요소에 대한 인과적 책임을 귀속시키기 위해 사용되는 기계론적 해석 가능성(mechanistic interpretability) 분야의 사실상 표준(de facto standard)입니다. 이는 특정 구성 요소의 활성값을 반사실적 값(일반적으로 'clean' 입력값)으로 대체하고 그에 따른 출력의 변화를 측정함으로써, 인과적 매개 분석(causal mediation analysis)의 **자연 간접 효과(Natural Indirect Effect, NIE)**를 구현합니다.

그러나 본 논문은 트랜스포머 모델에 이 방식을 적용할 때 발생하는 근본적인 결함을 지적합니다. 즉, NIE가 특정 구성 요소만을 통해 흐르는 인과적 효과를 온전히 포착하지 못한다는 점입니다. 모든 구성 요소 주변에 바이패스 경로(skip connections)를 제공하는 트랜스포머의 잔차 스트림(residual stream) 구조로 인해, NIE는 구성 요소의 직접적인 기여도와 **상호작용 효과(Interaction Effect, INT)**를 혼재시킵니다. 이러한 상호작용은 한 구성 요소의 인과적 효과가 다른 구성 요소(바이패스)의 상태에 어떻게 의존하는지를 측정합니다. 결과적으로, 표준적인 활성화 패칭 순위는 오해를 불러일으킬 수 있으며, 기능적으로 중요한 "백업(backup)" 메커니즘을 보이지 않게 만들거나(위음성), 다른 요소의 중요도를 인위적으로 부풀릴 수 있습니다.

2. 방법론

저자들은 트랜스포머의 스킵 연결에 내재된 "철회하는 증인(recanting witnesses)" 구조적 조건을 다루며, 인과적 매개 분석의 관점에서 활성화 패칭 추정량(estimand)을 재도출합니다.

• 이론적 분해: 본 논문은 표준 "노이징(noising)" 추정량(기본 활성화 패칭 방법)을 두 가지 뚜렷한 인과적 양으로 수학적으로 분해합니다:

  1. 순수 간접 효과 (Pure Indirect Effect, PIE): 대상 구성 요소를 통해서만 독점적으로 흐르는 경로 특정적 효과이며, 모든 바이패스 경로를 효과적으로 차단합니다.
  2. 상호작용 효과 (Interaction Effect, INT): 구성 요소와 그 바이패스 사이의 매개된 상호작용입니다.
     이들의 관계는 $NIE = PIE + INT$로 정의됩니다. 또한, 저자들은 "디노이징(denoising)" 추정량을 정의하며, 이것이 노이징을 통해 계산되는 NIE와 대조적으로 PIE를 직접 계산함을 보여줍니다.

• 이론적 분석:

  • 2차 근사 (Second-Order Approximation): 저자들은 INT가 clean 및 패칭된 활성화 사이의 거리에 따라 스케일링됨을 증명합니다. 구체적으로, INT는 구성 요소와 그 바이패스의 섭동(perturbation)에 대한 하류 함수(downstream function)의 혼합 2차 방향 미분(Hessian bilinear form)으로 근사됩니다. 만약 하류 맵이 국소적으로 아핀(affine)이거나 섭동이 0이라면 INT는 소멸합니다.
  • 다중 구성 요소 분해: 포함-배제 원리(inclusion-exclusion principles)를 사용하여, 저자들은 이를 여러 구성 요소 집합으로 확장합니다. 이들은 한 세트의 노드를 패칭하는 총 효과가 개별 PIE, 개별 INT, 그리고 노드 부분 집합 간의 **교차 구성 요소 상호작용($xINT$)**의 합으로 분해됨을 보여줍니다.

• 실증적 검증:

  • 데이터셋: GPT-2 IOI (Indirect Object Identification) 회로, 성별 편향(Gender Bias), 크기 비교(Greater Than), SVA 태스크를 활용한 실험을 수행합니다.
  • 모델: GPT-2 Small, Pythia-70M, Qwen2.5-0.5B를 사용합니다.
  • 지표: NIE와 PIE를 기반으로 한 순위 비교, 충실도 점수(faithfulness scores)의 분산 분석, 다양한 기능적 헤드 그룹(예: Name Movers, Induction heads) 간의 INT 크기 분석을 수행합니다.

3. 주요 기여 및 결과

A. NIE와 PIE 순위의 괴리

본 논문은 NIE와 PIE가 구성 요소의 중요도 순위에 대해 실질적으로 다른 순위를 유도함을 보여줍니다.

• 순위 상관관계: GPT-2 IOI 태스크에서 NIE와 PIE 사이의 스피어만 순위 상관계수는 $\rho = 0.51$만큼 낮게 나타납니다.
• 프롬프트 의존성: 이러한 괴리는 clean 프롬프트와 counterfactual 프롬프트 사이의 의미론적 거리에 의해 결정됩니다. 의미론적으로 가까운 프롬프트(예: 성별 편향)를 가진 태스크는 높은 상관관계($\rho \approx 0.99$)를 보이지만, 더 큰 섭동(예: pABC corruption이 포함된 IOI)을 가진 태스크는 낮은 상관관계를 보입니다.

B. 상호작용 효과(INT)의 역할

• 백업 메커니즘: IOI 회로에서 "Backup Name Mover Heads (BNMH)"는 높은 PIE 점수를 갖지만, 음(-)의 INT로 인해 NIE 순위에서는 억제됩니다. 이들의 기여는 주요 Name Mover Heads가 제거되었을 때 조건부로 발생합니다. 즉, 주요 헤드들이 활성화되어 있을 때(clean input), 백업 헤드의 한계 기여도는 축소되며, 이는 결과적으로 NIE 점수를 낮추는 음의 상호작용 항을 생성합니다.
• 문맥 특화 메커니즘: Duplicate Token (DTH), Induction, Previous Token (PTH)와 같은 헤드들은 PIE 점수가 거의 0에 가깝습니다. 이는 이들의 기여가 전적으로 다른 활성 구성 요소의 존재에 의존하기 때문입니다. 따라서 이들은 PIE 기반 순위에서는 보이지 않지만, NIE(양의 INT를 포함함)에는 포착됩니다.
• 유해한 메커니즘: Negative Name Mover Heads (NNMH)는 음의 PIE(성능 저하)를 보이지만 양의 INT(다른 헤드들에 의해 부분적으로 상쇄됨)를 보이며, 이는 INT가 어떻게 유해한 구성 요소를 은폐할 수 있는지 보여줍니다.

C. 충실도(Faithfulness) 불안정성의 설명

본 논문은 "충실도 점수"(회로가 모델 성능을 얼마나 잘 복구하는지 평가하는 지표)의 높은 변동성에 대한 기계론적 설명을 제공합니다.

• 교차 상호작용 분산: 충실도 점수는 PIE, 개별 INT, 그리고 교차 구성 요소 INT($xINT$)로 분해됩니다. 저자들은$xINT$ 항이 PIE 항보다 다양한 프롬프트 템플릿(예: ABBA vs BABA)에 대해 현저히 높은 분산을 보임을 발견했습니다.
• 규모: IOI 태스크에서 개별 PIE의 합은 실제 회로 성능보다 훨씬 큰 효과를 예측합니다. 이 불일치는 거대한 음의 교차 상호작용($xINT$)에 의해 설명되며, 이는 헤드들이 비선형적 결합으로 인해 각자의 개별 부분의 합보다 적은 효과를 집합적으로 생성함을 나타냅니다.

D. 해결책의 한계

저자들은 단순히 INT를 제거하여 PIE로 순위를 매기는 것이 새로운 실패 모드를 도입한다고 주장합니다. PIE는 백업 메커니즘을 올바르게 식별하지만, 필수적임에도 불구하고 경로 특정적 효과가 0인 문맥 특화 메커니즘(예: Induction heads)을 식별하는 데 실패합니다. 따라서 NIE와 PIE 중 어느 것도 단독으로는 완전한 그림을 제공하지 못합니다.

4. 의의 및 주장

본 논문은 상호작용 효과(INT)가 제거해야 할 방해 요소가 아니라, 트랜스포머의 인과적 매개에 대한 **진단적 특징(diagnostic feature)**이라고 주장합니다.

• 통합 이론: INT의 존재는 탐욕적 구성 요소 순위(greedy component ranking)의 실패, 프롬프트에 따른 충실도 점수의 불안정성, 조합적 탐색 없이 메커니즘을 발견하기 어려운 문제 등 알려진 여러 기계론적 해석 가능성의 병리 현상에 대한 통합적인 설명을 제공합니다.
• 해석 가능성의 재정의: 저자들은 INT가 활성화 패칭 가정의 검증 가능한 진술이라고 주장합니다. 이는 인과적 결론이 프롬프트에 의존적인지, 그리고 탐욕적 순위가 조합적 탐색을 통해서만 발견 가능한 메커니즘을 놓치고 있는지를 알려주는 신호입니다.
• 실용적 유용성: INT가 모든 병리 현상을 해결하기 위한 조합적 탐색의 필요성을 없애지는 못하지만, 다양한 입도(granularity)에서 측정이 가능합니다. 연구자들은 INT의 크기와 부호를 사용하여, 전수 조사를 수행하지 않고도 자신의 결론이 신뢰할 수 있는지, 혹은 문맥 의존적 또는 백업 메커니즘을 놓치고 있는지를 식별할 수 있습니다.

결론적으로, 본 논문은 "다중 매개체의 저주"가 트랜스포머 구조와 인과적 매개의 내재적 속성이며, 구성 요소를 고립된 개체로 보는 관점에서 벗어나 이들의 상호작용적이고 상태 의존적인 역할을 이해하는 방향으로 전환해야 함을 시사합니다.