1. 문제 정의 (Problem)

비전 - 언어 모델 (VLM) 은 다양한 작업에서 뛰어난 성능을 보이지만, 신뢰성 (Trustworthiness) 과 해석 가능성 (Interpretability) 에 대한 우려가 지속되고 있습니다. 주요 문제점은 다음과 같습니다.

• 텍스트 편향 (Text Bias): 모델이 시각적 증거보다 텍스트 단서 (cues) 에 과도하게 의존하는 경향이 있습니다.
• 할루시네이션 (Hallucination): 이미지에 존재하지 않는 내용을 생성하거나, 근거 없는 답변을 내놓는 문제가 발생합니다.
• 불일치하는 추론 과정: Chain-of-Thought (CoT) 와 같은 추론 과정을 생성하더라도, 실제 모델이 시각 정보를 어떻게 처리했는지와 생성된 텍스트 설명이 일치하지 않는 경우가 많습니다. 즉, "생각하는 과정"이 실제 시각적 근거를 반영하지 못합니다.

이러한 문제들은 자율 주행, 의료 진단 등 고위험 분야에서 VLM 의 배포를 제한합니다.

2. 방법론 (Methodology)

저자들은 Saliency-R1이라는 새로운 프레임워크를 제안하여 VLM 의 추론 과정에 대한 해석 가능성과 충실도 (Faithfulness) 를 향상시킵니다. 이 프레임워크는 크게 세 가지 핵심 기술로 구성됩니다.

2.1. 토큰 수준의 할로시니 맵 생성 (Logits Decomposition)

• 기존 방법의 한계: 기존 할로시니 맵 (Grad-CAM, Integrated Gradient 등) 은 그라디언트 계산이나 입력 변형을 위해 여러 번의 순방향/역방향 전파가 필요하여 계산 비용이 높습니다.
• 제안 방법: Transformer 아키텍처의 로짓 (Logits) 분해 기법을 활용합니다.
  • 최종 로짓을 각 컨텍스트 토큰 (특히 시각 토큰) 의 1 차 기여도 (first-order contributions) 로 분해합니다.
  • 추가적인 순방향/역방향 전파 없이 Attention 가중치와 KV 캐시 (KV cache) 만을 사용하여 시각 토큰이 생성된 각 토큰에 미치는 직접적인 영향을 계산합니다.
  • 이를 통해 실시간으로 효율적인 할로시니 맵을 생성할 수 있습니다.

2.2. 생각 (Thinking) 토큰을 병목으로 한 전체적 할로시니 맵 집계

• VLM 은 일반적으로 "생각 (Chain-of-Thought)" 과정을 거쳐 최종 답변을 생성합니다.
• 저자들은 시각 정보가 생각 토큰 (Thinking Tokens) 을 거쳐 답변 토큰 (Answer Tokens) 으로 전달되는 경로를 추적합니다.
• Attention Rollout 메커니즘을 사용하여 시각 토큰 $\rightarrow$ 생각 토큰 $\rightarrow$ 답변 토큰 간의 Attention 가중치를 누적합니다.
• 이를 통해 모델이 질문을 해결하기 위해 이미지의 어떤 영역을 실제로 주시했는지를 시각화하고, 불필요한 배경이나 관련 없는 객체에 집중하는지 여부를 파악합니다.

2.3. GRPO 를 통한 할로시니 맵 정렬 보상 (Saliency-map Alignment Reward)

• 보상 함수 설계: 생성된 할로시니 맵과 인간이 주석 (Bounding Box) 으로 표시한 중요한 영역 간의 겹침 (Overlap) 을 계산하여 보상 신호로 사용합니다.
  • $Reward = \frac{\text{Bounding Box 내 할로시니 점수 합}}{\text{전체 이미지 내 할로시니 점수 합}}$
• 최적화 알고리즘: GRPO (Group Relative Policy Optimization) 를 적용합니다.
  • 주어진 질문에 대해 여러 개의 응답을 생성한 그룹 내에서, 할로시니 정렬 점수가 높은 응답이 더 높은 보상을 받도록 정책을 업데이트합니다.
  • 이 과정은 모델이 추론 시 관련 있는 시각 영역에 집중하도록 유도하며, 할루시네이션을 줄이고 해석 가능성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 할로시니 맵 기술: 추가적인 전파 (Forward/Backward pass) 없이 토큰 단위로 중요한 영역을 강조하는 새로운 Attention 기반 할로시니 맵 기법을 개발했습니다.
2. 추론 경로 추적 메커니즘: 생각 토큰을 병목으로 활용하여 시각 정보가 어떻게 답변으로 전달되는지를 추적하는 Attention Rollout 방식을 제안했습니다.
3. GRPO 기반 정렬 학습: 할로시니 맵과 인간 주석의 정렬 점수를 보상 신호로 활용하여, VLM 의 추론 충실도와 해석 가능성을 강화하는 포스트 트레이닝 (Post-training) 프로세스를 제안했습니다.

4. 실험 결과 (Results)

저자들은 Qwen2.5-VL (3B, 7B) 을 베이스 모델로 하여 다양한 벤치마크에서 실험을 수행했습니다.

• 할로시니 맵 충실도 (Faithfulness):
  • Deletion (중요 픽셀 제거 시 성능 저하) 및 Insertion (중요 픽셀 추가 시 성능 향상) 테스트에서 기존 SOTA 방법 (Grad-CAM, Attention Rollout 등) 과 비교해 동등하거나 더 우수한 성능을 보였습니다.
  • 특히 계산 효율성이 매우 뛰어났습니다.
• 일반 VQA 성능 향상:
  • MMMU-Pro, MMBench, POPE (할루시네이션 평가), ChartQA 등 10 개 이상의 벤치마크에서 SFT(지도 미세조정) 만을 거친 모델보다 Saliency-R1 을 적용한 모델이 더 높은 성능을 기록했습니다.
  • 특히 시각적 이해가 중요한 작업 (OCR, 차트 분석, 환각 테스트) 에서 성능이 크게 개선되었습니다.
  • 일부 벤치마크 (MME, ScienceQA 등) 에서 GPT-4o, Claude-3.5 Sonnet 과 같은 상용 모델보다 우수한 성능을 보였습니다.
• 해석 가능성 (Interpretability):
  • Pointing Game 및 Energy-PG 지표를 통해 생성된 할로시니 맵이 정답 영역 (Ground Truth Bounding Box) 에 얼마나 잘 집중하는지 평가했습니다.
  • Saliency-R1 모델은 베이스 모델 대비 에너지-PG 가 10.82%, PG 정확도가 14.14% 향상되었으며, 추론 과정이 더 간결하고 관련 영역에 집중하는 것을 시각적으로 확인했습니다.
• Ablation Study:
  • SFT 콜드 스타트, 할로시니 정렬 보상, Attention Rollout 기법 등 각 구성 요소가 성능 향상에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 VLM 구축: 모델이 "왜" 그 답을 냈는지에 대한 시각적 근거를 명확히 제시하도록 강제함으로써, 고신뢰도 환경 (의료, 자율주행 등) 에서의 VLM 활용 가능성을 높였습니다.
• 효율적인 학습 파이프라인: 추가적인 계산 비용 없이 할로시니 맵을 생성하고 이를 강화학습 (GRPO) 에 통합할 수 있어, 대규모 모델의 학습 파이프라인에 쉽게 적용 가능합니다.
• 할루시네이션 감소: 시각적 근거가 부족한 답변을 생성하는 것을 억제하고, 모델이 이미지의 핵심 영역에 집중하도록 유도하여 할루시네이션을 효과적으로 줄였습니다.

결론적으로, Saliency-R1 은 VLM 이 단순히 정답을 맞추는 것을 넘어, 시각적 증거에 기반한 충실하고 해석 가능한 추론을 수행하도록 만드는 강력한 프레임워크입니다.