[기술 요약] 시스템 매개 주의력 불균형이 시각-언어 모델의 'Yes-Bias'를 유발한다

1. 문제 정의 (Problem Statement)

시각-언어 모델(VLM)의 환각(Hallucination) 현상, 특히 질문에 상관없이 무조건 "Yes"라고 답하는 **'Yes-bias'**는 모델의 신뢰성을 떨어뜨리는 주요 요인입니다.

기존 연구들은 이러한 환각의 원인을 **'이미지 중심 가설(Image-centric hypothesis)'**로 설명해 왔습니다. 즉, 모델이 이미지에 충분한 주의력(Attention)을 할당하지 않기 때문에 발생한다는 것입니다. 따라서 기존의 완화 전략은 주로 이미지에 대한 주의력을 높이는 데 집중되어 왔습니다.

하지만 본 논문은 기존 가설이 불완전하다고 지적하며, **'시스템 매개 가설(System-mediated hypothesis)'**을 제안합니다. 이는 모델의 입력 중 '시스템(System)' 모달리티(예: <BOS> 토큰, 시스템 메시지 등)가 불필요하게 많은 주의력을 독점(Attention Sinks)함으로써, 정작 중요한 이미지와 텍스트 모달리티에 할당되어야 할 주의력을 빼앗아 환각을 유발한다는 것입니다.

2. 연구 방법론 (Methodology)

2.1 가설 검증을 위한 인과적 개입 (Causal Intervention)

연구진은 모델의 텍스트 디코더(Text Decoder)의 마지막 4개 층(Q4, 25~32층)을 대상으로 주의력 가중치를 재분배하는 **인과적 개입(Causal Intervention)**을 설계했습니다.

• 비례적 재분배 (Proportional Redistribution): 특정 모달리티(Source)의 주의력을 0으로 만든 후, 그 가중치를 나머지 두 모달리티(Recipient)의 원래 비중에 맞춰 다시 나누어 주는 방식입니다.
  • 시스템 $\to$ 이미지/텍스트: 시스템 매개 가설 검증 (시스템의 중복 주의력을 유용한 곳으로 이동)
  • 텍스트 $\to$ 이미지: 이미지 중심 가설 검증 (이미지 주의력 부족 해결)
• 비교 대상: 기존의 이미지 가중치 스케일링 방식(PAI, Image $\times$ 2.0) 및 텍스트 주의력 억제 방식(AD-HH)과 성능을 비교했습니다.

2.2 평가 벤치마크

Yes-bias를 측정하기 위해 미세한 차이로 정답이 'Yes' 또는 'No'로 갈리는 쌍체 프롬프트(Paired-prompt) 기반의 6개 벤치마크(BEAF, HallusionBench, MME, NaturalBench, SugarCrepe, Winoground)를 사용했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 시스템 매개 가설의 입증

실험 결과, 시스템 주의력을 이미지와 텍스트로 재분배했을 때(Q4 system redistribution) Yes-bias가 가장 효과적으로 억제되었습니다.

• 이는 이미지 주의력만 높이는 방식보다 훨씬 뛰어난 성능 향상을 보였습니다.
• 특히 '시스템 $\to$ 텍스트' 재분배가 가장 큰 효과를 보였는데, 이는 이미지뿐만 아니라 텍스트 모달리티에 대한 주의력 부족도 환각의 핵심 원인임을 시사합니다.

3.2 환각의 메커니즘 규명: 거친 표현(Coarse Representation)으로의 회귀

연구진은 왜 시스템 주의력이 환각을 유발하는지에 대한 심층 분석을 수행했습니다.

• 현상: 시스템 주의력이 높으면 모델은 이미지와 텍스트의 세부 사항을 분석하기보다, 두 모달리티를 뭉뚱그린 **'거친(Coarse) 통합 표현'**에 의존하게 됩니다.
• 결과: 세부적인 분석이 필요한 복잡한 작업(Compositional tasks)에서 모델은 정보를 제대로 추출하지 못하고, 결국 가장 안전하고 편향된 답변인 "Yes"를 내뱉는 기본 동작(Default behavior)으로 회귀하게 됩니다.
• 증거: 주의력을 재분배했을 때 이미지와 텍스트 표현 간의 코사인 유사도(Cosine Similarity)가 유의미하게 낮아졌는데, 이는 모델이 정보를 더 개별적이고 세밀하게 처리하기 시작했음을 의미합니다.

3.3 모델 규모 및 아키텍처에 따른 일반화

• LLaVA-1.5 7B, NeXT-7B, 13B 등 다양한 규모에서 실험을 진행하여, 시스템 주의력 불균형이 모델 규모와 상관없이 나타나는 보편적인 현상임을 확인했습니다. (단, 13B와 같은 대형 모델에서는 효과가 다르게 나타날 수 있어 추가 연구의 필요성을 제시함)
• Qwen2-VL과 같은 다른 아키텍처에서도 시스템 매개 가설이 이미지 중심 가설보다 우월함이 입증되었습니다.

4. 연구의 의의 (Significance)

1. 새로운 시각 제공: VLM의 환각 문제를 단순히 '이미지를 못 봐서'가 아니라, '시스템 토큰이 주의력을 독점하여 모달리티 간 균형을 깨뜨리기 때문'이라는 보다 통합적이고 정교한 관점을 제시했습니다.
2. 효과적인 완화 전략 제시: 이미지에만 집중하던 기존의 편향된 완화 방식에서 벗어나, 시스템 주의력을 조절함으로써 환각을 줄일 수 있는 새로운 레버(Lever)를 발견했습니다.
3. 메커니즘적 이해: 주의력 불균형이 어떻게 모델의 내부 표현(Representation)을 거칠게 만들고, 이것이 어떻게 행동적 편향(Yes-bias)으로 이어지는지에 대한 인과적 연결 고리를 밝혀냈습니다.

---

요약 결론: 본 논문은 VLM의 Yes-bias가 시스템 모달리티의 과도한 주의력 점유로 인한 모달리티 간 주의력 불균형에서 기인함을 증명하였으며, 이를 재분배하는 것이 환각을 줄이는 매우 강력한 방법임을 보여주었습니다.