기술 요약: 스칼라 상호작용의 표현 한계 (The Representational Limit of Scalar Interactions)

1. 문제 정의

본 논문은 딥 뉴럴 네트워크에서 특징량 간의 협력(feature cooperation)이 어떻게 정량화되는지에 관한 설명 가능한 AI(XAI)의 근본적인 한계를 다룬다. 현재의 패러다임은 특징 결합을 설명하기 위해 부호가 있는 쌍별 상호작용 점수(signed pairwise interaction scores, 예: Shapley Interaction Index, Faith-SHAP)에 의존한다. 이러한 방식은 특징 쌍에 단일 스칼라 값을 할당하며, 양수 값은 시너지(synergy)로, 음수 값은 중복성(redundancy)으로 해석한다.

저자들은 이러한 스칼라 접근 방식이 세 가지 서로 다른 협력 메커니즘을 혼동하기 때문에 근본적으로 결함이 있다고 주장한다. 이 세 가지는 다음과 같다:

1. 고유성 (Uniqueness, U): 다른 어떤 특징도 제공할 수 없는 특징이 제공하는 예측 가치.
2. 중복성 (Redundancy, R): 여러 특징들 사이에서 공유되는 예측 가치.
3. 시너지 (Synergy, S): 특징들이 결합될 때만 나타나는 예측 가치로, 개별 특징들의 기여도 합을 초과하는 가치.

핵심 문제는 단일 스칼라가 이 세 가지 직교하는 차원을 동시에 인코딩할 수 없다는 점이다. 본 논문은 최소 차원의 고차 구조적 인과 모델(SCM), 특히 3-way XOR 모델에서 충실한(faithful) 지표들은 신호를 지워버려 0을 반환하는 반면, 투영적(projective) 지표들은 고차 신호를 허구적인 저차 계수로 재분배하여 근본적인 메커니즘을 구분하지 못한다는 것을 증명한다.

2. 방법론: Stochastic Hi-Fi

이러한 표현적 병목 현상을 해결하기 위해, 저자들은 특징 중요도를 각 특징의 U/R/S 프로필로 분해하는 사후(post-hoc), 재학습 불필요(retraining-free) 추정기인 Stochastic Hi-Fi를 도입한다.

핵심 운영 변화

모델의 부분 집합에 대해 모델을 재학습시키는 방식(모델이 학습할 수 있는 것에 대한 답을 줌)이나 관측된 분산 분해 방식(개입 없이 시너지와 중복성을 구분할 수 없음)과 달리, Stochastic Hi-Fi는 **개입적 마스킹 추론(interventional masked inference)**을 사용한다.

• 개입적 손실 (Interventional Loss): 특징 집합(coalition) $S$에 대해, 이 방법은 $S$에 속한 특징들을 마스킹하고 이를 배경 분포 $p_{bg}$(비활성 특징들의 주변 분포)로부터 추출한 샘플로 대체하여 기대 손실 $L(S)$를 계산한다. 이는 실제로 배포된 모델이 무엇을 사용하는지 감사(audit)한다.
• LOCO 분해: 이 방법은 컨텍스트 $C$ 내에서의 특징 $i$에 대한 Leave-One-Covariate-Out (LOCO) 이득을 $i$를 $C$에 추가했을 때의 손실 감소량으로 정의한다.
  • 고유성 ($U_i$): 모든 컨텍스트에 대한 최소 LOCO 이득 (가장 불리한 컨텍스트에서의 예측 가치).
  • 1차 효과 ($\pi_i$): 빈 컨텍스트에서의 LOCO 이득.
  • 최대 예측 능력 ($L^{\max}_i$): 모든 컨텍스트에 대한 최대 LOCO 이득.
  • 중복성 ($R_i$) 및 시너지 ($S_i$): 대수적으로 $R_i = \pi_i - U_i$ 및 $S_i = L^{\max}_i - \pi_i$로 도출된다.

추정 전략

모든 $2^n$개의 집합을 평가하는 것은 불가능하다. Stochastic Hi-Fi는 확률적 어휘(stochastic vocabulary) 접근 방식을 채택한다.

1. 집합 어휘 (Coalition Vocabulary): 방문한 집합들의 테이블을 유지하며, Welford 알고리즘을 사용하여 온라인으로 평균 손실과 분산을 추정한다.
2. 탐색 정책 (Exploration Policy): 소프트맥스(softmin) 항이 포함된 $\epsilon$-greedy 전략을 사용하여, 모든 집합이 샘플링될 확률을 0이 아니게 보장하면서도(positive-mass condition) 샘플링이 부족한 집합을 우선순위에 둔다.
3. 다이아몬드 샘플링 (Diamond Sampling): 쌍별 상호작용(혼합 차이 $\Delta_{ij}$)의 분산을 줄이기 위해, 이 방법은 동일한 배경 배치(background batch)를 사용하여 네 개의 구조적으로 인접한 집합($C, C\cup\{i\}, C\cup\{j\}, C\cup\{i,j\}$)을 평가한다. 이 "다이아몬드" 결합은 인접성-지배 코버리언스(adjacency-dominance covariance) 조건이 충족될 때, 인접한 집합들 사이의 양의 공분산을 활용하여 노이즈를 상쇄함으로써 분산을 줄인다.

3. 주요 기여

1. 혼동 정리 (The Conflation Theorem, 이론적 측면)

저자들은 최소 3-way XOR SCM에서 어떤 스칼라 지표도 U, R, S를 공동으로 표현할 수 없음을 보여주는 **정리 1(Theorem 1)**을 증명한다.

• 충실한 지표들(예: Shapley-Taylor)은 모든 쌍에 대해 정확히 0을 반환하여 고차 신호를 지워버린다.
• 투영적 지표들(예: 표준 SII)은 삼항 효과를 $\pm 1/4$ 크기의 허구적인 쌍 계수로 재분배한다.
• 결론: 실패의 원인은 계산 능력이 아니라 표현(representational)의 문제이다. 출력 공간은 스칼라에서 벡터(U, R, S)로 변화해야 한다.

2. Stochastic Hi-Fi 추정기 (방법론적 측면)

재학습이 필요 없는 엄격한 통계적 보증을 갖춘 추정기를 도입한다.

• 개입적 의미론 (Interventional Semantics): 재학습 대신 마스킹 추론을 통해 배포된 모델을 감사한다.
• 유한 샘플 경계 (Finite-Sample Bounds): 집합 손실의 몬테카를로 근사를 위한 호프딩(Hoeffding) 스타일의 집중 경계(concentration bounds)를 제공한다.
• 분산 감소: 특정 공분산 조건 하에서 "다이아몬드" 샘플링이 독립 샘플링보다 분산을 엄격하게 줄임을 증명한다(정리 3).
• 수렴성: 유한한 어휘 집합에 대해 U/R/S 프로필의 균등 수렴 보증을 확립한다.

3. 경험적 검증

이 방법은 세 가지 뚜렷한 도메인에서 검증되었다:

• Tabular SCMs: Stochastic Hi-Fi는 XOR 및 AND-OR 모델의 실제 U/R/S 구조를 복구하는 반면, 스칼라 베이스라인은 메커니즘을 구분하지 못한다(베이스라인보다 최대 411배 높은 복구 비율).
• Transformer Circuits (GPT-2): 간접 목적어 식별(IOI) 회로에 적용되어, 중복 지배적인 백업 헤드(backup heads)와 시너지 헤드 쌍을 분리한다. 이는 1차 활성화 패칭(activation patching)에서는 보이지 않지만(낮은 단일 효과), 상당한 쌍 수준 시너지를 운반하는 헤드를 식별한다.
• Medical Imaging (ChestX-ray14): DenseNet121 모델에 적용했을 때, 이 방법은 Pointing Game(국소화)에서 GradCAM과 유사한 성능을 보이지만, 삭제 AUC(Deletion AUC, 인과적 충실도)에서는 GradCAM을 크게 능가하며, 거친 그리드 형태의 U/R/S 프로필이 표준 살리언시 맵보다 인과적 충실도를 더 잘 보존함을 보여준다.

4. 결과 및 주장

성능 지표

• SCMs: 3-way XOR에서 스칼라 베이스라인은 최대 411배의 비율로 서로 다른 역할을 혼동한다. Stochastic Hi-Fi는 활성 특징에 대해 올바른 시너지 지배적 프로필을 복구하고 관찰자(spectator) 특징을 분리한다.
• GPT-2 IOI: 분해 결과, 역할 내 쌍(예: S-Inhibition 헤드)은 중복 지배적(redundancy-dominated)인 반면, 역할 간 쌍(예: Induction + S-Inhibition)은 시너지 지배적(synergy-dominated)이다. 또한 낮은 1차 점수에도 불구하고 높은 시너지를 가진 헤드를 성공적으로 식별한다.
• ChestX-ray14:
  • 국소화 (Localization): Pointing Game 정확도는 GradCAM과 통계적으로 구별할 수 없다($p=0.140$). IoU@15는 격자 크기($14\times14$)로 인한 미세한 열세를 보인다.
  • 인과적 충실도 (Causal Faithfulness): 삭제 AUC가 0.332(GradCAM)에서 0.269($p=1.61 \times 10^{-78}$)로 크게 개선되어, 특징 제거가 모델 성능을 얼마나 저하시키는지 식별하는 데 있어 우수한 성능을 입증했다.

의의 및 범위

본 논문은 부호가 있는 쌍별 상호작용은 유용한 투영이지만, 협력에 대한 완전한 설명은 아니다라고 주장한다.

• 메커니즘 분리: 주요 기여는 출력 코도메인(codomain)을 스칼라에서 메커니즘이 분리된 프로필(U, R, S)로 전환하여, 연구자들이 고유한, 중복된, 시너지적인 기여를 구분할 수 있게 한 것이다.
• 모델 충실도: 재학습을 피함으로써, 가상의 모델이 아닌 실제 배포된 특정 모델을 감사한다.
• 한계점: 저자들은 어휘가 완전하지 않을 때 고유성($U_i$) 추정치가 보수적인 상한선이 될 수 있음을 명시한다. 영상 분야에서는 거친 그리드가 인과적 충실도를 위해 공간 해상도를 희생한다. 또한 이 방법은 추정 대상(estimand)을 정의하는 배경 분포 $p_{bg}$의 선택에 의존하며, 이에 대한 명시적인 민감도 보고가 필요하다.

논문은 상호작용 설명이 단순한 부호가 아니라 메커니즘을 보고해야 한다고 결론지으며, Stochastic Hi-Fi가 이를 수행하기 위한 엄격한 개입적 의미론을 갖춘 실행 가능한 사후 프레임워크를 제공한다고 밝힌다.