기술 요약: 속성 할당의 무한 반복? 해석 가능성의 메타게임

문제 제기

속성 할당 (attribution) 방법은 특정 변수 (예: 입력 토큰, 학습 데이터) 가 모델 행동에 미치는 영향을 정량화하는 기계 학습 해석 가능성의 핵심 요소입니다. 1 차 방법 (예: Shapley 값, 통합 기울기, 어텐션) 은 널리 사용되지만, 단일 변수의 영향력만 포착할 수 있어 시너지 및 반시너지와 같은 고차 역학을 종종 누락한다는 한계가 있습니다.

기존 상호작용 방법들은 2 차 영향력 (예: Shapley 상호작용, 통합 헤시안) 을 측정함으로써 이를 해결하려 시도했습니다. 그러나 이러한 접근법들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 상호작용 누출 (Interaction Leakage): 시리얼 방법 (자신의 출력에 속성 할당 방법을 적용하는 방식) 은 순수 개별 효과와 상호작용 효과를 명확히 분리하지 못해, 상호작용 항이 개별 구성 요소로 누출됩니다.
2. 방향성 부재: 집합 기반 상호작용 지수 (예: Shapley 상호작용) 는 상호작용을 방향성이 없는 부분집합 $\{i, j\}$으로 취급하여, 한 특징이 다른 특징의 속성 할당에 미치는 영향의 방향적 위계를 포착하지 못합니다.
3. 계산 및 구조적 제약: 입력 헤시안에 의존하는 방법은 아키텍처 수정을 요구하며, 대규모 입력에 대해 과도한 계산 비용을 초래하고, 표준 ReLU 네트워크에서는 종종 소멸합니다.
4. 결합적 복잡성: 상호작용 항의 수는 결합적으로 증가 ($O(d^k)$) 하여 고차 상호작용의 해석을 어렵게 만듭니다.

본 논문은 이러한 한계 없이 고차 상호작용을 포착하기 위해 임의의 1 차 속성 할당 방법을 첫 번째 원리 (first principles) 에서 일반화할 수 있는지 질문합니다.

방법론: METAGAME 프레임워크

저자들은 2 차 상호작용 효과를 정량화하기 위해 속성 할당 방법 자체를 협력 게임으로 취급하는 개념적 프레임워크인 METAGAME을 소개합니다.

핵심 개념: 메타 속성 할당 (Meta-Attributions)

모델 $f$를 설명하는 임의의 1 차 속성 할당 $\phi_i(f)$에 대해, 프레임워크는 특징 $j$가 특징 $i$의 속성 할당에 미치는 방향적 영향을 나타내는 메타 속성 할당 $\phi_{j \to i}(f)$를 정의합니다.

1. 메타게임 구성:

   • 모델 $f$를 직접 평가하는 대신, 프레임워크는 새로운 협력 게임의 가치 함수로서 1 차 속성 할당 $\phi_i$를 평가합니다.
   • 이 게임의 "플레이어"는 입력 특징 (또는 토큰) 입니다.
   • 메타게임에서 연합 $S$의 가치는 $S \cup \{i\}$에 속한 특징들이 존재하고 나머지는 (기준선을 사용하여) 마스킹되었을 때 특징 $i$의 속성 할당으로 정의됩니다.

2. 방향적 분해:

   • 메타 속성 할당 $\phi_{j \to i}$는 $i$가 고정된 상태에서 $j$가 $\phi_i$에 기여하는 한계 기여도를 엄격히 측정하는 이 메타게임 내에서의 $j$의 Shapley 값으로 계산됩니다.
   • 위계적 효율성: 프레임워크는 원래 1 차 속성 할당이 순수 개별 효과와 방향적 상호작용의 합과 정확히 일치함을 증명합니다:
     $$\phi_i(f, x) = \phi_{i \to i}(f, x) + \sum_{j \neq i} \phi_{j \to i}(f, x)$$
   • 이 분해는 시리얼 방법에서 관찰된 누출을 해결하며, 대각선 항 (순수 개별 효과) 과 비대각선 항 (상호작용 효과) 을 분리합니다.

3. 이론적 통합:

   • 저자들은 기존 집합 기반 상호작용 지수들이 1 차 속성 할당의 암묵적 위계적 분해임을 증명합니다.
   • 구체적으로, 메타 Shapley 값은 Shapley-Taylor 상호작용 지수 (STII) 의 방향적 변형이며, 메타 통합 기울기는 Sum of Power (SOP) 지수의 방향적 변형임이 밝혀졌습니다.
   • 집합 기반 방법과 달리, 메타 속성 할당은 방향성을 유지합니다 (예: 기울기 기반 방법의 경우 $\phi_{j \to i} \neq \phi_{i \to j}$), 비대칭적 영향을 드러냅니다.

실용적 구현

이 프레임워크는 기존 속성 할당 방법 (예: AttnLRP, Grad-ECLIP, ConceptAttention) 을 위한 범용 래퍼로 설계되었습니다.

• 효율성: 작은 게임 ($d < 20$) 의 경우 정확한 Shapley 값을 계산합니다. 더 큰 게임의 경우, 저자들은 최첨단 근사기 (예: 몬테카를로 샘플링 또는 shapiq 라이브러리의 회귀 기반 추정기) 를 권장합니다.
• 트랜스포머: 이 방법은 생성된 시퀀스 전반에 걸쳐 토큰 속성 할당을 집계 (LLM 의 경우) 하거나 텍스트 토큰과 이미지 패치 간의 교차 모달 상호작용을 계산 (시각 - 언어 인코더의 경우) 함으로써 현대 아키텍처에 맞게 적응되었습니다.

주요 기여

1. 원칙적 일반화: Shapley 값을 통해 2 차 상호작용을 정량화하기 위해 임의의 1 차 속성 할당을 일반화하는 방법인 메타 속성 할당을 제시합니다.
2. 위계적 분해: 속성 할당을 방향적 상호작용으로 분해함으로써 결합적 복잡성을 극복하는 관점을 제공하며, Shapley 상호작용 및 통합 헤시안과 같은 기존 지수들이 암묵적으로 이 분해를 수행함을 증명합니다.
3. 방향적 확장: 기존 집합 기반 상호작용 지수 (STII 및 SOP) 의 방향적 확장으로 입증된 새로운 방향적 상호작용 지수인 METAGAME 과 메타 속성 할당을 도입합니다.
4. 실증적 검증: 세 가지 서로 다른 AI 도메인에서 프레임워크의 유용성을 입증합니다:
   • 지시 미세 조정된 대규모 언어 모델 (LLM) 에서 토큰 상호작용 정량화.
   • 시각 - 언어 인코더에서 교차 모달 유사성 설명.
   • 멀티모달 확산 트랜스포머에서 텍스트 - 이미지 개념 해석.

실험 결과

본 논문은 세 가지 적용 시나리오에서 METAGAME 을 검증합니다:

1. 언어 모델 (Gemma 3):

   • 메타 AttnLRP를 사용하여, 1 차 방법들이 놓치는 방향적 토큰 상호작용 (예: 비건 맥락에서 "꿀"이 "버터"의 속성 할당에 미치는 영향) 을 식별합니다.
   • 모델이 "색전증"이 존재할 때 "폐"에 더 많은 주의를 기울이는 반면, "폐"를 제거하면 "색전증"의 중요도가 증가함을 감지합니다.
   • 정량적 평가는 1 차 기준선 대비 인간이 라벨링한 토큰 상호작용 탐지에서 향상된 재현율 (recall) 을 보여줍니다.

2. 시각 - 언어 인코더 (CLIP, SigLIP-2, MetaCLIP-2):

   • 메타 Grad-ECLIP과 메타 MaskSigLIP을 유사성 지도 설명에 적용했습니다.
   • ImageNet-1k 지시 상호작용 인식 지표에서 메타 속성 할당은 1 차 방법 (어텐션, MaskCLIP, Grad-ECLIP) 과 2 차 블랙박스 기준선인 FIxLIP 보다 일관되게 우수한 성능을 발휘했습니다.
   • 특히, 메타 MaskSigLIP 은 SigLIP-2 에 대해 가장 높은 충실도 (faithfulness) 를 달성했으며, 메타 어텐션은 대규모 MetaCLIP-2 모델에서 메타 Grad-ECLIP 보다 우수한 성능을 보였습니다.

3. 멀티모달 확산 트랜스포머 (FLUX.1):

   • 메타 ConceptAttention을 텍스트 - 이미지 생성의 개념 해석에 사용했습니다.
   • 이 방법은 원래 ConceptAttention 의 맥락 의존성 한계를 완화했습니다.
   • Pascal VOC 및 MS COCO 분할 벤치마크에서 메타 ConceptAttention 은 컨텍스트 내 개념의 수가 증가함에도 불구하고 정확도, mIoU, mAP 지표 전반에서 원래 방법을 파레토 우위 (Pareto-dominated) 했습니다.

의의 및 주장

본 논문은 METAGAME 프레임워크가 기존 방법들의 누출 및 방향성 문제 없이 2 차 상호작용을 이해하기 위한 수학적으로 원칙적인 경로를 제공한다고 주장합니다. 속성 할당을 협력 게임으로 취급함으로써, 이 프레임워크는 이산적 게임 이론 원칙과 현대 해석 가능성 방법의 연속적 역학 간의 간극을 메웁니다.

저자들은 이 작업을 더 신뢰할 수 있는 기계 학습 시스템을 향한 한 걸음으로 위치시킵니다. 그들은 프레임워크가 계산 비용과 인지 부하를 증가시키지만, 특징들이 서로의 기여도에 어떻게 영향을 미치는지를 정확히 드러내는 엄격한 위계적 분해를 제공한다고 강조합니다. 이 작업은 그 범위에 대해 겸손하게, 언어 모델 분석은 예시적 적용에 불과하며 더 넓은 비교를 위한 엄격한 충실도 측정 (예: 삽입/삭제 곡선) 은 향후 필요하다고 명시합니다. 프레임워크는 제공된 특정 예시를 넘어 임의의 1 차 속성 할당 방법에 적용 가능한 범용 도구로 제시됩니다.