Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 은 시각 정보를 해석하는 핵심 메커니즘으로 '시각 주의 (Visual Attention)'를 사용하지만, 이 메커니즘의 국소화 (localization) 능력이 제한적입니다. 이로 인해 모델은 실제 이미지와 모순되는 내용을 생성하는 할루시네이션 (Hallucination) 현상이 빈번하게 발생합니다.

기존의 할루시네이션 완화 방법들은 다음과 같은 한계가 있었습니다:

• 학습 기반 방법: 데이터셋 구축이나 손실 함수 설계에 의존하여, 모델 아키텍처의 빠른 변화에 따라 비용 대비 효율이 떨어집니다.
• 추가 전파 (Forward Pass) 기반 방법: 외부 도구를 사용하거나 추가적인 추론 단계를 거치는 경우, 계산 오버헤드가 커지고 실용성이 떨어집니다.
• 주의 분포 최적화 방법: 기존 연구들은 모델의 내재적 주의 분포에 의존하거나, FlashAttention 과 같은 효율적인 어텐션 구현체와 호환되지 않는 경우가 많습니다 (FlashAttention 은 명시적인 어텐션 가중치를 노출하지 않음).

2. 제안 방법론 (Methodology)

저자들은 **시각적 의미 신뢰도 (Visual Semantic Confidence, VSC)**라는 새로운 개념을 도입하고, 이를 기반으로 한 **비학습 (Training-free) 방식인 '비전 가이드 어텐션 (Vision-Guided Attention, VGA)'**을 제안합니다.

핵심 메커니즘: 시각적 의미 신뢰도 (VSC)

• MLLM 은 시각 토큰 (visual tokens) 에서 시각적 의미를 정확하게 추출하여, 해당 토큰이 현재 문맥과 얼마나 일치하는지를 '비전 로짓 (visual logits)'의 확률 분포로 나타낼 수 있습니다.
• VSC는 이러한 로짓을 활용하여 각 시각 토큰이 특정 객체나 의미와 얼마나 강하게 연관되어 있는지 정량화합니다.
• 객체 지향적 그라운딩 (Object-Directed Grounding): VQA 작업과 같이 특정 객체가 언급된 경우, 해당 객체의 첫 번째 토큰에 대한 VSC 를 계산하여 객체의 위치를 정밀하게 파악합니다.
• 객체 무관 그라운딩 (Object-Agnostic Grounding): 이미지 캡셔닝과 같이 특정 객체가 명시되지 않은 경우, 시각적 정보가 풍부한 토큰을 식별하기 위해 **시각적 의미 saliency (VSS)**를 사용합니다 (출력 불확실성을 측정).

비전 가이드 어텐션 (VGA)

VGA 는 VSC 를 통해 도출된 정밀한 시각적 그라운딩을 활용하여 모델의 주의를 가장 정보량이 많은 영역으로 유도합니다.

1. 단일 전파 (Single Forward Pass): VSC 계산은 추론 시 고정된 비전 로짓을 사용하므로 추가적인 전파가 필요 없습니다. 각 토큰은 단 한 번의 전파만 거칩니다.
2. FlashAttention 호환성: VGA 는 개별 토큰의 어텐션 가중치를 직접 계산하지 않고, 시각적 그라운딩 벡터 ($\bm{G}$) 를 기존 어텐션 가중치에 더하는 방식 ($\hat{\bm{\alpha}} = \bm{\alpha} + \beta \cdot \bm{G}$) 으로 작동합니다. 따라서 명시적인 가중치 계산이 불필요하여 FlashAttention 과 완전히 호환됩니다.
3. 어텐션 헤드 균형 (Attention Heads Balancing): 모델의 내재적 시각 기능을 방해하지 않도록, 시각 기능이 강한 어텐션 헤드에는 약한 가이드를, 비시각적 헤드에는 강한 가이드를 적용하는 가중치 균형 기법을 사용합니다.
4. 프로그래밍된 비전 가이드 (Programmed Vision-Guidance, PVG): 이미지 캡셔닝과 같이 생성 과정에서 시각적 요구사항이 동적으로 변하는 경우, 이미 설명된 영역의 주의를 억제하고 아직 설명되지 않은 영역으로 주의를 이동시키는 동적 조정 메커니즘을 적용합니다.

3. 주요 기여 (Key Contributions)

1. Visual Semantic Confidence (VSC) 도입: 외부 도구 없이 모델 내부의 시각적 토큰 의미 특징을 활용하여 정밀한 시각적 그라운딩을 가능하게 하는 새로운 메커니즘을 제안했습니다.
2. Vision-Guided Attention (VGA) 제안: VSC 기반 그라운딩을 활용하여 MLLM 이 가장 관련성 높은 시각 토큰에 집중하도록 유도하는 비학습, FlashAttention 호환 방법을 개발했습니다.
3. 성능 및 효율성 입증: 다양한 MLLM 과 할루시네이션 벤치마크에서 SOTA 성능을 달성했으며, 지연 시간 (latency) 오버헤드가 미미함을 증명했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (POPE, CHAIR, AMBER) 와 모델 (LLaVA-1.5, LLaVA-Next, Qwen2.5-VL) 에서 실험이 수행되었습니다.

• POPE (객체 할루시네이션 평가): VGA 는 모든 모델에서 기존 방법 (PAI, VAF, TARAC 등) 보다 높은 정확도 (Accuracy) 와 F1 점수를 기록했습니다. 특히 LLaVA-7B 에서 Random Baseline 대비 약 2% 이상, SOTA 대비도 더 나은 성능을 보였습니다.
• CHAIR (이미지 캡셔닝 할루시네이션 평가): VGA 는 모든 평가 모델에서 가장 낮은 전체 할루시네이션율 ($C_s, C_i$) 을 기록하면서도 F1 점수를 유지했습니다.
• AMBER (혼합 평가): VGA 는 종합 점수 (AMBER) 에서 최상의 성능을 보이며 할루시네이션 감소와 정보 보존 사이의 균형을 잘 맞추고 있음을 입증했습니다.
• 효율성: VGA 는 추가적인 전파가 필요 없어 TTFT(First Token Time) 는 4.36%, TPOT(Output Token Time) 는 6.01% 만 증가하는 매우 낮은 오버헤드를 보입니다.

5. 의의 및 결론 (Significance)

• 내재적 시각 이해력 증대: MLLM 이 이미 추출한 시각적 특징을 충분히 활용하지 못한다는 점을 발견하고, 이를 VSC 를 통해 활성화함으로써 모델의 시각적 이해 능력을 극대화했습니다.
• 실용성: 외부 도구나 추가 학습 없이 플러그 앤 플레이 (Plug-and-play) 방식으로 적용 가능하며, FlashAttention 과 같은 최신 최적화 기술과 호환되어 실제 배포에 매우 유리합니다.
• 할루시네이션의 근본적 해결: 단순히 출력을 수정하는 것이 아니라, 모델이 '어디를 봐야 하는지 (Where to look)'를 정확히 지시함으로써 할루시네이션의 원인을 근본적으로 완화합니다.

이 논문은 MLLM 의 할루시네이션 문제를 해결하기 위해 모델 내부의 시각적 신호를 정교하게 활용하는 새로운 패러다임을 제시하며, 효율적이고 강력한 비학습 기반 해결책을 제공합니다.