기술 요약: 인증된 개입 충실도 (Certified Interventional Fidelity, CIF)

문제 정의

기계론적 해석 가능성(Mechanistic Interpretability)은 신경망에 대한 인과적 주장을 검증하기 위해 **개입 평가(interventional evaluations)**에 점점 더 의존하고 있습니다. 이러한 실험은 제안된 설명(예: 압축된 모델, 회로, 또는 특정 뉴런 집합)이 원래 모델의 동작을 얼마나 충실하게 재현하는지 테스트하기 위해 내부 상태를 수정(예: 활성화 패칭, 절제, 은닉 상태 교체)하는 과정을 포함합니다.

현재의 평가 관행은 통계적 엄밀함이 부족합니다. 일반적으로 연구자들은 고정된 수의 입력과 개입을 샘플링하고, 점 추정치(예: 교환 개입 정확도 또는 패칭 복구율)를 계산한 뒤, 이를 확정적인 주장으로 보고합니다. 그러나 해석 가능성 워크플로우는 본질적으로 **순차적이고 적응적(sequential and adaptive)**입니다. 연구자들은 결과를 모니터링하고, 평가 세트를 조정하며, 반례를 추적하고, 증거가 강력해 보이면 중단합니다. 이러한 적응성을 고려한 불확실성 정량화 없이 보고된 충실도는 유한한 샘플링이나 "p-해킹(데이터 의존적 중단)"의 결과물일 수 있으며, 이는 과장된 주장이나 방법론 간의 순위 오류를 초래할 수 있습니다.

방법론: 인증된 개입 충실도 (CIF)

저자들은 **인증된 개입 충실도(CIF)**를 제안합니다. 이는 개입 기반의 해석 가능성 평가를 언제든 유효한(anytime-valid) 보증을 갖춘 정식 인과 추론 문제로 변환하는 통계적 프레임워크입니다. CIF는 기존의 평가 파이프라인을 감쌀 수 있는 "통계적 레이어"로 설계되었습니다.

1. 인과적 추정량으로서의 공식화

CIF는 모든 보고된 지표가 명시적으로 **유계된 인과적 추정량(bounded causal estimand)**으로 정의될 것을 요구합니다.

• 대상: $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$인 기댓값이며, 여기서:
  • $\mathcal{D}$는 선언된 입력 분포입니다.
  • $\Pi$는 선언된 개입 분포입니다.
  • $Y$는 유계된 점수(일반적으로 $Y \in [0, 1]$)로, 불일치 지표나 정규화된 복구 점수와 같습니다.
• 주장의 분류:
  • 추상화/축소 충실도(Abstraction/Reduction Fidelity): 상위 수준 모델 $M_H$와 원래 모델 $M_L$ 사이의 대응하는 개입 하에서의 불일치를 측정합니다.
  • 구성 요소 효과/복구(Component-Effect/Recovery): 특정 구성 요소를 복원(예: 패칭을 통해)했을 때 원래의 동작이 어느 정도 복구되는지를 측정합니다.

2. 언제든 유효한 신뢰 구간 (Confidence Sequences, CS)

모니터링 및 적응적 중단의 문제를 해결하기 위해, CIF는 고정 샘플 신뢰 구간 대신 **신뢰 구간 시퀀스(Confidence Sequences)**를 활용합니다. 시퀀스 $(C_n)_{n \ge 1}$이 다음을 만족하면 유효합니다: $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$. 이를 통해 평가자는 제1종 오류율을 높이지 않고도 언제든 결과를 확인하고 조기에 중단할 수 있습니다.

• Hoeffding 방식 CS: 점수의 범위와 샘플 크기 $n$에 기반한 단순하고 투명한 경계값을 제공합니다.
• 베팅 기반(Betting-based) CS: 자본 프로세스(마틴게일, 특히 Online Newton Step 전략)를 사용하여 관측된 점수의 경험적 분산에 적응합니다. 이 방법은 Hoeffding 경계에 비해 인증에 필요한 샘플 수를 크게 줄여줍니다.

3. 유계된 중요도 가중치를 이용한 적응적 샘플링

CIF는 개입 분포 $\Pi$를 시간에 따라 수정하여 발생 가능한 실패나 영향력이 큰 구성 요소에 집중하는 **적응적 실패 지향 샘플링(adaptive failure-directed sampling)**을 지원합니다.

• 메커니즘: 변화하는 샘플링 분포에도 대상 추정량 $\theta$의 유효성을 유지하기 위해, CIF는 **혼합 중요도 가중치(mixture importance weighting)**를 사용합니다. 각 단계 $t$에서 샘플러는 혼합 분포 $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$에서 추출하며, 여기서 $\tilde{q}_t$는 이력을 바탕으로 한 적응형 제안 분포입니다.
• 보증: 중요도 가중치 $w_t = \Pi(I_t)/q_t(I_t)$는 $W_{max} = 1/(1-\alpha)$에 의해 유계됩니다. 프레임워크는 호르비츠-톰슨(Horvitz-Thompson) 스타일의 추정량과 마틴게일 기반 경계값을 사용하여, 적응적으로 샘플링하더라도 원래의 타겟 $\Pi$에 대한 신뢰 구간이 유효함을 보장합니다.

4. 다중 비교 및 선택

여러 구성 요소나 회로를 스캔할 때, CIF는 다음과 같은 방법을 통해 선택 편향 문제를 해결합니다.

• 본페로니 교정(Bonferroni correction, 각 구성 요소에 $\delta/K$ 할당).
• 순차적 "박리(peeling)" (명백히 열등한 후보에 대한 샘플링 중단).
• 언제든 유효한 허위 발견율(FDR) 제어 방법.

주요 기여

1. 재정의: 본 논문은 개입 기반의 해석 가능성 지표를 순차적 인과 추론 문제로 재구성하여, 과학적 질문(추정량)과 샘플링 절차를 분리합니다.
2. 통계적 보증: 데이터 의존적 중단 및 임의의 모니터링 하에서도 유효한, 유한 샘플 기반의 언제든 유효한 신뢰 구간 시퀀스를 제공합니다.
3. 적응적 효율성: 유계된 혼합 중요도 가중치를 사용하는 적응형 CIF를 도입하여, 통계적 유효성을 유지하면서도 효율적인 실패 탐색을 가능하게 합니다.
4. 분산 적응형 베팅: 경험적 분산을 활용함으로써 베팅 기반 신뢰 구간이 표준 Hoeffding 경계보다 인증 비용을 10~30배 줄일 수 있음을 입증합니다.
5. 실용적 도구: 인증, 쌍 비교(paired comparisons), 적응적 샘플링을 위한 알고리즘과 함께, 새로운 평가에 CIF를 적용하기 위한 보고 체크리스트를 제공합니다.

실험 결과

저자들은 두 가지 주요 벤치마크에서 CIF를 평가했습니다.

1. MNIST 신경 추상화(Neural Abstractions):

   • 설정: 3계층 MLP에 대한 다양한 프루닝 및 압축 방법의 추상화 충실도(교환 개입 정확도)를 평가했습니다.
   • 결과: 공격적인 개입($p=0.5$) 하에서는 어떤 방법도 높은 충실도($F \ge 0.90$)를 인증할 수 없었으며, 이는 점 추정치만으로는 가려졌을 부정적인 결과였습니다. 완만한 개입($p=0.1$) 하에서는 베팅 기반 CS가 Hoeffding보다 훨씬 적은 수의 순전파(forward pass)로 높은 충실도를 인증했습니다(예: 64개 샘플 vs 1,141개 샘물). 적응적 샘플링은 이미 높은 충실도를 인증하는 것보다 실패를 찾는 데 더 효과적인 것으로 나타났습니다.

2. GPT-2 Small IOI 회로:

   • 설정: ACDC, 속성 패칭(attribution patching), 그리고 수동 식별 방법으로 발견된 회로들의 패칭 복구 점수를 간접 목적 식별(IOI) 태스크에 대해 평가했습니다.
   • 결과: 모든 회로가 높은 점 추정치($\hat{\mu} \in [0.959, 0.972]$)를 보였습니다. 그러나 Hoeffding 경계는 2,000개의 샘플 예산 내에서 높은 임계값을 인증하기에는 너무 넓었습니다. 반면, 베팅 기반 CS는 357개의 샘플만으로 전체 13-헤드 회로에 대해 $\mu \ge 0.95$를 성공적으로 인증했습니다(Hoeffding은 2,000개 이상 필요).

3. 민감도 및 커버리지:

   • 민감도 분석 결과, 높은 섭동 수준에서는 불일치 지표(예: 0-1 손실 vs KL 발산)의 선택에 따라 신뢰 구간이 겹치지 않을 수 있으며, 이는 지표의 선택이 질적 결론에 결정적인 요소임을 보여줍니다.
   • 커버리지 검증을 통해, 공격적인 피킹(peeking) 프로토콜 하에서도 Hoefding과 베팅 CS 모두 명목 수준(예: 95%) 이상의 경험적 커버리지를 달야함을 확인했습니다.

의의 및 주장

본 논문은 CIF를 새로운 회로나 추상화를 발견하는 방법이 아니라, 기계론적 해석 가능성의 검증 레이어로 포지셔닝합니다.

• "잃어버린 조각" 해결: 저자들은 인과적 프레임워크는 확립되었으나 통계적 관행은 종종 비공식적이라고 주장합니다. CIF는 적응적 탐색 전략 하에서도 견고한 불확실성 정량화를 제공함으로써 이 간극을 메웁니다.
• 비용 절감: 핵심적인 실용적 주장은 통계적 구성(Hoeffding vs Betting)의 선택이 인증 비용을 수십 배 변화시킬 수 있다는 것이며, 이는 GPT-2와 같이 비용이 많이 드는 모델에 대한 엄격한 평가를 가능하게 합니다.
• 투명성: CIF는 연구자들이 입력 및 개입 분포를 명시하도록 강제하여, 주장의 범위를 명확히 하고 이러한 설계 선택에 대한 민감도를 드러내게 합니다.
• 한계: 저자들은 CIF가 식별 문제(즉, 선택된 추상화가 정말 관심 있는 인과 구조를 포착하는가)를 해결하는 것이 아니라, 오직 추정 문제(특정 지표와 분포가 주어졌을 때 제안된 주장의 충실도를 신뢰할 수 있게 추정하는 것)를 해결한다는 점을 명시합니다. 또한 점수가 유계되어 있다고 가정하지만, 클리핑(clipping)이나 서브 가우시안(sub-Gaussian) 변형을 통해 확장될 수 있습니다.

요약하자면, CIF는 "점 추정치"를 "인증된 주장"으로 전환하는 프레임워크를 제공하여, 기계론적 설명에 대한 결론이 유한한 샘플링, 모니터링 및 적응적 탐색 전략에 대해 견고함을 보장합니다.