논문 요약: 신경망의 인과적 개입에서 발생하는 이산적 표현 (Divergent Representations) 해결

논문 제목: ADDRESSING DIVERGENT REPRESENTATIONS FROM CAUSAL INTERVENTIONS ON NEURAL NETWORKS
저자: Satchel Grant, Simon Jerome Han, Alexa R. Tartaglini, Christopher Potts (Stanford University)
발표: ICLR 2026 (가상)

---

1. 문제 제기 (Problem)

기계적 해석 가능성 (Mechanistic Interpretability) 의 핵심 목표는 신경망 (NN) 의 내부 표현이 무엇을 인코딩하는지 이해하고, 이것이 어떻게 모델의 행동으로 이어지는지 규명하는 것입니다. 이를 위해 인과적 개입 (Causal Interventions) (예: 활성화 패칭, 분산 정렬 탐색 (DAS) 등) 이 널리 사용됩니다.

그러나 이러한 개입 방법론은 다음과 같은 근본적인 가정에 의존합니다: "개입을 통해 생성된 반사실적 (counterfactual) 모델 상태는 대상 모델의 자연스러운 상태와 유사하다."

본 논문은 이 가정이 종종 위배됨을 지적합니다.

• 문제: 인과적 개입 (특히 활성화 패칭) 은 종종 모델의 자연스러운 표현 분포 (natural distribution) 에서 벗어난 이산적 표현 (Divergent Representations, OOD) 을 생성합니다.
• 위험성: 이러한 이산적 표현이 모델의 자연스러운 메커니즘에 대한 해석의 신뢰성 (faithfulness) 을 훼손할 수 있습니다. 즉, 개입 실험이 모델의 실제 작동 원리를 왜곡하여 잘못된 결론을 이끌어낼 수 있습니다.

2. 방법론 및 이론적 분석 (Methodology & Analysis)

저자들은 이산적 표현이 얼마나 흔한지, 그리고 언제 해롭고 언제 무해한지를 이론적, 실증적으로 분석했습니다.

2.1 이산적 표현의 보편성 (Empirical & Theoretical Evidence)

• 이론적 증명: 좌표 기반 패칭 (coordinate patching) 을 수행할 때, 대부분의 매니폴드 (manifold) 기하학 구조 (구, 타원체 등) 에서 자연스러운 표현과 개입된 표현의 조합은 매니폴드 밖 (off-manifold) 으로 벗어날 수밖에 없음을 증명했습니다. (단, 축 정렬된 초직사각형인 경우만 예외)
• 실증적 분석: 평균 차이 패칭 (Mean Difference Patching), 희소 오토인코더 (SAE), 분산 정렬 탐색 (DAS) 등 세 가지 주요 인과적 개입 방법을 적용한 결과, 자연스러운 표현과 개입된 표현 사이의 분포 차이 (EMD, Earth Mover's Distance) 가 유의미하게 증가함을 확인했습니다.

2.2 이산적 표현의 유형: 무해함 vs 치명적 (Harmless vs Pernicious)

저자들은 이산적 표현을 두 가지 범주로 분류했습니다.

1. 무해한 이산 (Harmless Divergence):

   • 정의: 개입된 표현이 다음 레이어의 가중치 행렬의 영공간 (Null-space) 에 있거나, 행동적 결과에 영향을 주지 않는 방향으로의 변동인 경우.
   • 특징: 전체적인 행동 (Output) 은 변하지 않으므로, 특정 기능적 주장 (functional claims) 에 대해서는 무해할 수 있습니다.
   • 주의: 하위 계산 (sub-computations) 에 대한 메커니즘적 주장에는 해로울 수 있습니다.

2. 치명적인 이산 (Pernicious Divergence):

   • 정의: 자연스러운 데이터에서는 활성화되지 않았던 숨겨진 경로 (Hidden Pathways) 를 활성화하거나, 잠재적 행동 변화 (Dormant Behavioral Changes) 를 유발하는 경우.
   • 위험성:
     • 숨겨진 경로 활성화: 개입된 표현이 자연 상태에서는 존재하지 않는 뉴런이나 서킷을 활성화시켜, 마치 해당 경로의 인과성을 증명하는 것처럼 보이는 오해의 소지가 있는 확인 (misleadingly confirmatory) 결과를 낳을 수 있습니다.
     • 잠재적 행동 변화: 특정 컨텍스트에서는 행동이 변하지 않는 것처럼 보이지만, 다른 컨텍스트에서는 급격한 행동 변화를 일으켜 모델의 실제 메커니즘에 대한 오해를 초래할 수 있습니다.

2.3 해결 방안: 반사실 잠재 공간 손실 (Counterfactual Latent Loss)

치명적인 이산을 완화하기 위해 Grant (2025) 에서 제안된 반사실 잠재 (CL) 손실 (Counterfactual Latent Loss) 을 적용 및 수정했습니다.

• CL Loss: 개입된 표현 ($\hat{h}$) 이 자연스러운 분포 내에서 동일한 인과적 변수 값을 가진 표현 ($h_{CL}$) 과 가깝도록 유도하는 보조 손실 함수입니다.
• 수정된 CL Loss: 전체 표현 공간이 아닌 인과적 하위 공간 (causal subspaces) 에만 초점을 맞춰 이산을 최소화하도록 수정했습니다.

3. 주요 기여 (Key Contributions)

1. 이산적 표현의 보편성 입증: 다양한 인과적 개입 방법 (패칭, SAE, DAS) 에서 자연스러운 표현과 개입된 표현 사이의 이산이 이론적으로나 실증적으로 빈번하게 발생함을 보였습니다.
2. 이산의 유형화 및 이론적 분석:
   • 영공간 (null-space) 내의 이산은 무해할 수 있음을 이론적으로 증명했습니다.
   • 숨겨진 경로 활성화 및 잠재적 행동 변화를 유발하는 치명적인 이산의 사례를 합성 데이터와 이론적 모델을 통해 제시했습니다.
3. 해결책 제안 (CL Loss 적용):
   • DAS 실험 설정 (Boundless DAS) 에 CL 손실을 적용하여, 이산 (EMD) 을 줄이면서도 행동 정확도 (IIA) 를 유지하거나 향상시켰습니다.
   • 인과적 하위 공간만을 타겟으로 하는 수정된 CL 손실을 제안하여, 합성 작업에서의 Out-of-Distribution (OOD) 개입 성능을 개선했습니다.

4. 실험 결과 (Results)

• DAS 실험 (Llama 7B): CL 손실 가중치 ($\epsilon$) 를 증가시키면, 개입된 표현과 자연스러운 표현 간의 거리 (EMD) 가 감소하면서도 교체 개입 정확도 (IIA) 는 유지되거나 오히려 향상되었습니다. 이는 이산을 줄여도 해석력 (interpretability) 이 손상되지 않음을 의미합니다.
• 합성 데이터 실험:
  • CL 손실만 사용한 DAS 는 행동 손실만 사용한 DAS 대비 이산 (EMD) 을 크게 줄였습니다 (0.032 $\to$ 0.007).
  • OOD 일반화: 훈련된 정렬 행렬을 다른 클래스 분포 (OOD) 에 적용했을 때, CL 손실을 사용한 모델이 행동 손실만 사용한 모델보다 훨씬 높은 정확도를 보였습니다.
  • 상관관계 분석: 훈련 데이터에서의 이산 (EMD) 과 OOD 성능 (IIA) 사이에는 강한 부정적 상관관계 ($R^2 = 0.73$) 가 존재함이 확인되었습니다. 즉, 이산이 클수록 OOD 환경에서의 해석 신뢰도가 낮아집니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 기계적 해석 가능성 분야에서 인과적 개입의 신뢰성을 높이기 위한 중요한 이정표를 제시합니다.

• 신뢰성 있는 해석의 필요성: 단순히 개입이 행동을 변화시킨다고 해서 그 경로가 모델의 자연스러운 메커니즘임을 증명하는 것은 아닙니다. 이산적 표현이 숨겨진 경로를 활성화하거나 잠재적 변화를 일으킬 수 있기 때문입니다.
• 실용적 가이드라인: 연구자들은 개입 실험 시 이산 (divergence) 을 모니터링하고, 가능하면 매니폴드 보존 (manifold-preserving) 기법이나 CL Loss 와 같은 방법을 사용하여 개입된 표현이 자연스러운 분포에 가깝도록 제한해야 함을 강조합니다.
• 미래 전망: 완전한 메커니즘적 이해를 위해서는 이산적 표현을 체계적으로 분류하고 완화하는 방법론의 발전이 필요하며, CL Loss 와 같은 접근법이 그 첫걸음이 될 수 있습니다.

결론적으로, 이 논문은 인과적 개입이 "자연스러운" 모델 상태를 왜곡하지 않도록 하는 것이 해석 가능성 연구의 핵심 과제임을 강조하며, 이를 위한 구체적인 수학적 도구와 실험적 증거를 제공합니다.