Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

1. 문제 제기 (Problem Statement)

멀티모달 대규모 언어 모델 (MLLMs) 은 이미지 캡셔닝, 시각적 질문 응답 (VQA) 등 다양한 작업에서 뛰어난 성능을 보이지만, 그 결정 과정의 투명성과 신뢰성에는 여전히 한계가 있습니다.

• 투명성 부족: MLLM 이 특정 토큰을 생성할 때 시각적 입력의 어느 부분이 영향을 미쳤는지, 혹은 언어적 사전 지식 (Language Priors) 에 의존했는지를 명확히 추적하기 어렵습니다.
• 할루시네이션 (Hallucination) 문제: 모델이 존재하지 않는 객체를 생성하거나 잘못된 정보를 말하는 경우가 빈번하며, 특히 안전이 중요한 분야 (의료, 자율주행) 에서 신뢰를 저해합니다.
• 기존 방법의 한계:
  • Attention 시각화: 복잡한 교차 모달 상호작용을 포착하지 못함.
  • 기반 (Gradient) 기반 방법: 긴 시퀀스에서의 누적 효과에 민감하고 텍스트 사전 지식에 의해 혼동됨.
  • 활성화 맵 (Activation Map) 기반 방법: 입력과 출력 간의 직접적인 인과 관계를 제공하지 못하며, 중간 레이어의 선호도만 반영할 뿐임.
  • 기존 서브셋 선택 (Subset Selection) 방법: 시각적 그라운딩 (Grounding) 에는 효과적이지만, MLLM 의 autoregressive(자기회귀적) 토큰 생성 특성을 설명하는 데는 직접 적용하기 어려움.

2. 제안 방법: EAGLE (Methodology)

저자들은 MLLM 의 자기회귀적 토큰 생성을 설명하기 위한 경량화된 블랙박스 프레임워크인 EAGLE (Explaining Autoregressive Generation by Language priors or Evidence) 를 제안합니다.

핵심 아이디어 및 알고리즘

1. 이미지 희소화 (Sparsification): 입력 이미지를 SLICO 슈퍼픽셀 (Super-pixel) 분할을 통해 의미 있는 하위 영역 (Sub-regions) 집합 $V$ 로 분할합니다.
2. 목적 함수 설계 (Objective Function):
   • Insight Score (충분성): 특정 하위 영역 집합 $S$ 가 목표 토큰 생성 확률을 최대화하는 데 충분한지 측정합니다.
   • Necessity Score (필수성): 하위 영역 $S$ 를 제거했을 때 생성 확률이 얼마나 감소하는지 측정하여, 해당 영역이 필수적인지 확인합니다.
   • 통합 목적 함수: 위 두 점수를 결합하여 $F(S) = \text{Insight}(S) + \text{Necessity}(V \setminus S)$ 를 정의합니다. 이는 모델이 '어디를 보았는지 (Where MLLMs Attend)'를 설명합니다.
3. 탐색 전략 (Greedy Search): NP-hard 문제인 최적 부분 집합 선택을 위해 Greedy Search 를 적용합니다. 하위 영역을 순차적으로 추가하며 목적 함수의 증가분을 계산하여 중요도 순위를 매깁니다.
4. 모달리티 의존성 분석 (Modality Relevance Analysis):
   • 생성된 토큰이 시각적 증거 (Perceptual Evidence) 에 기반했는지, 아니면 언어적 사전 지식 (Language Priors) 에 의존했는지를 정량화합니다.
   • 중요도가 높은 영역을 점진적으로 노출시키며 토큰의 로그 확률 (Logit) 변화를 추적하여 Influence Score를 계산합니다. 점수가 높으면 시각적 의존도가 높음을 의미합니다.

3. 주요 기여 (Key Contributions)

1. EAGLE 프레임워크 제안: MLLM 의 자기회귀적 토큰 생성을 설명하는 최초의 블랙박스 어트리뷰션 (Attribution) 프레임워크로, 낮은 GPU 메모리 비용으로 임의의 토큰 집합을 설명 가능합니다.
2. 통합 목적 함수: '충분성 (Insight)'과 '필수성 (Necessity)'을 통합한 새로운 목적 함수를 설계하여, 기존 방법보다 더 신뢰할 수 있는 (Faithful) 어트리뷰션을 제공합니다.
3. 모달리티 분리 분석: 각 토큰이 시각적 입력에 의존하는지 언어적 맥락에 의존하는지를 정량적으로 분리하여 분석함으로써, 모델 결정에 대한 미세한 해석 (Fine-grained Interpretability) 을 가능하게 합니다.
4. 할루시네이션 진단: 모델이 잘못된 정보를 생성한 원인이 되는 시각적 영역을 정확히 식별하고, 최소한의 영역 제거만으로 할루시네이션을 교정할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

저자들은 LLaVA-1.5, Qwen2.5-VL, InternVL3.5 등 다양한 오픈소스 MLLM 과 MS COCO, MMVP, RePOPE 데이터셋을 사용하여 실험을 수행했습니다.

• 신뢰성 (Faithfulness):
  • 이미지 캡셔닝 및 VQA 작업에서 기존 최첨단 방법 (LLaVA-CAM, IGOS++, TAM) 보다 Insertion 및 Deletion 메트릭에서 평균 20% 이상 향상된 성능을 보였습니다.
  • 특히 민감한 토큰 (Sensitive Tokens) 에 대한 설명에서 더 큰 개선을 보였습니다.
• 국소화 (Localization):
  • 객체 위치를 정확히 지시하는 'Pointing Game' 메트릭에서 TAM 보다 36~42% 향상된 성능을 기록했습니다.
  • 기존 방법들이 불필요하게 넓은 영역을 강조하는 반면, EAGLE 은 핵심 객체에 집중된 희소한 (Sparse) 맵을 생성했습니다.
• 할루시네이션 진단:
  • RePOPE 벤치마크에서 할루시네이션을 유발하는 시각적 요인을 정확히 찾아냈습니다.
  • AMCR (Average Minimal Correction Region) 및 CSR@10% 메트릭에서 기존 방법 대비 80% 이상의 교정 성공률을 보이며, 매우 적은 영역 제거만으로 오류를 수정할 수 있음을 증명했습니다.
• 효율성:
  • IGOS++ 등 기존 방법들이 90GB 이상의 GPU 메모리를 소모하는 반면, EAGLE 은 16GB 미만의 메모리로 실행 가능하여 현대적인 MLLM 에 적용하기 용이합니다. (단, 추론 시간은 기존 방법보다 다소 길지만, 해석 가능성 측면에서 실용적입니다.)

5. 의의 및 결론 (Significance)

이 논문은 MLLM 의 '블랙박스' 성격을 해소하기 위한 중요한 진전을 이루었습니다.

• 해석 가능성의 심화: 단순히 "어디를 보았는지"뿐만 아니라 "무엇에 의존하여 생성했는지 (시각 vs 언어)"를 구분하여 설명함으로써, 모델의 오류 원인을 더 깊이 이해할 수 있게 합니다.
• 안전성 및 신뢰성 강화: 할루시네이션의 원인을 시각적 영역 수준에서 정확히 진단하고 제거할 수 있는 방법을 제시하여, 의료나 자율주행 등 안전이 중요한 분야에서 MLLM 의 신뢰성을 높이는 데 기여합니다.
• 실용성: 블랙박스 방식이면서 낮은 메모리 요구사항을 갖추어, 다양한 MLLM 아키텍처에 쉽게 적용 가능한 범용적인 도구로 평가받습니다.

결론적으로 EAGLE 은 MLLM 의 의사결정 과정을 투명하게 만들고, 모델의 오류를 진단 및 수정하는 데 있어 현재까지 가장 효과적이고 신뢰할 수 있는 방법론 중 하나임을 입증했습니다.