See Fair, Speak Truth: Equitable Attention Improves Grounding and Reduces Hallucination in Vision-Language Alignment

1. 문제 정의 (Problem Statement)

다중 모달 대규모 언어 모델 (MLLMs) 의 객체 할루시네이션 (Object Hallucination)
최근 MLLM 은 이미지 캡셔닝, 시각적 질문 응답 (VQA) 등에서 뛰어난 성능을 보이지만, 여전히 시각적 입력에 존재하지 않는 객체를 생성하거나 (할루시네이션), 실제로 존재하는 객체를 누락하는 문제가 발생합니다.

• 근본 원인: 저자들은 이 문제가 단순히 시각 인코더의 인식 실패가 아니라, **디코딩 단계에서의 '주의 (Attention) 할당의 불공정성'**에서 기인한다고 주장합니다.
• 불균형 현상: 모델은 시각적으로 두드러진 (크고, 자주 등장하는) 객체에 과도한 주의를 집중하는 반면, 작거나 드물거나 주변부에 있는 객체에는 충분한 주의를 기울이지 못합니다.
• 결과: 이로 인해 디코딩 과정에서 '주의 붕괴 (Attention Collapse)'가 발생하여, 모델은 주요 객체에만 집중하고 나머지 시각적 증거를 무시하게 되어 할루시네이션이 발생합니다. 기존의 균등한 주의 분배는 이러한 구조적 불균형을 해결하지 못합니다.

2. 제안 방법: DOP-OBC (Methodology)

저자들은 학습이 필요 없는 (Training-free) 및 아키텍처에 독립적인 (Architecture-agnostic) 디코딩 전략인 DOP-OBC를 제안합니다. 이 방법은 추론 (Inference) 시 주의 행렬 (Attention Matrix) 에 직접 개입하여 불공정한 주의 할당을 재조정합니다.

핵심 메커니즘은 다음과 같습니다:

가. 지배적 객체 페널티 (Dominant Object Penalty, DOP)

• 목적: 시각적으로 지배적인 (Dominant) 객체에 과도하게 집중되는 것을 완화합니다.
• 작동 원리: 객체의 크기 (Size), 시간적 지속성 (Temporal Persistence), 그리고 이미 할당받은 주의 비율 (Attention Share) 을 기반으로 '지배도 점수 (Dominance Score)'를 계산합니다.
• 적용: 지배도가 높은 객체에 해당하는 어텐션 행 (Row) 의 로그트 (Logit) 진폭을 부드럽게 감쇠 (Suppression) 시켜, 표현 능력 (Representational Capacity) 을 다른 객체에게 자유롭게 합니다.

나. 아웃라이어 부스트 계수 (Outlier Boost Coefficient, OBC)

• 목적: 드물지만 확신 있게 감지된 (Rare yet Confident) 객체의 주의를 증폭시킵니다.
• 작동 원리: 장면 내 객체 특징의 분포와 비교하여 '희귀도 (Rarity)' 점수를 산출합니다. 이때 객체 검출의 신뢰도 (Confidence) 가 임계값을 넘어야만 보강됩니다.
• 적용: 희귀하고 신뢰할 수 있는 객체에 해당하는 어텐션 행의 로그트 진폭을 증폭 (Amplification) 시킵니다.

다. 통합 메커니즘 (Integration)

• 상삼각형 위치 감쇠 레지스터 (Upper-Triangular Positional Decay Register): DOP 와 OBC 신호를 적용할 때, 자기회귀적 (Autoregressive) 인과성을 유지하기 위해 상삼각형 위치 감쇠 레지스터를 활용합니다.
• 작동: 각 어텐션 행 (Row) 에 대해 DOP 와 OBC 신호가 로그트 (Logits) 를 조정하고, 이를 통해 생성된 어텐션 행렬은 시각적 증거를 전체 장면에 걸쳐 균형 있게 분배합니다.
• 장점: 모델 가중치 업데이트가 필요 없으며, 기존 모델에 플러그인 (Plug-in) 형태로 즉시 적용 가능합니다.

3. 주요 기여 (Key Contributions)

1. 할루시네이션의 새로운 원인 규명: MLLM 의 객체 할루시네이션이 시각적 인식 실패가 아니라, 디코딩 시 지배적 객체로 인한 주의 할당의 구조적 불균형에서 비롯됨을 체계적으로 규명했습니다.
2. DOP-OBC 프레임워크 제안: 학습 없이 적용 가능한, 지배적 객체 억제 (DOP) 와 희귀 객체 증폭 (OBC) 을 결합한 최초의 플러그인 디코딩 전략을 제시했습니다.
3. 광범위한 검증: 이미지 및 비디오 MLLM (LLaVA-1.5, Video-LLaVA, InstructBLIP 등) 에서 CHAIR, POPE 벤치마크를 통해 할루시네이션 감소와 일반적 성능 향상을 동시에 입증했습니다.

4. 실험 결과 (Results)

다양한 벤치마크와 모델에서 일관된 성능 향상을 보였습니다.

• 할루시네이션 감소 (CHAIR & POPE):

  • CHAIR (할루시네이션 지표): LLaVA-1.5 기준 CHAIRS 점수가 48.0 에서 39.7로 크게 감소 (↓8.3), CHAIRI 도 13.9 에서 11.2로 감소했습니다.
  • POPE (정확도 지표): POPE-P(정밀도) 가 82.8 에서 89.3으로, POPE-R(재현율) 이 87.0 에서 92.0으로 향상되어 시각적 근거 기반 생성이 강화됨을 확인했습니다.
  • Video-LLaVA 모델에서도 유사한 개선이 관찰되었습니다.

• 일반적 성능 향상:

  • 이미지 벤치마크: MMBench, LLaVA-W, MM-Vet, VizWiz, ScienceQA 등 일반 멀티모달 벤치마크에서 정확도가 모두 향상되었습니다 (예: LLaVA-1.5 에서 MMBench 64.3 → 69.6).
  • 비디오 벤치마크: MSVD-QA 및 ActivityNet-QA 에서 정확도가 상승했으며, GPT-4o 가 평가한 비디오 캡셔닝의 정확성 (Correctness), 일관성 (Consistency), 세부 사항 (Detail), 맥락 (Context), 시간적 이해 (Temporal) 모든 차원에서 점수가 개선되었습니다.

• 정성적 분석:

  • 복잡한 장면 (광장, 교차로 등) 에서 기존 모델이 주변부 객체 (신호등, 차량 등) 를 누락하거나 일찍 주의가 붕괴되는 반면, DOP-OBC 는 생성 과정 전반에 걸쳐 모든 객체에 안정적으로 주의를 분배하여 완전하고 정확한 설명을 생성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 할루시네이션 해결의 패러다임 전환: 할루시네이션은 모델의 표현 능력 부족이 아니라, 디코딩 과정에서의 자원 할당 불균형에서 비롯된다는 점을 증명했습니다.
• 실용성: 추가 학습 (Fine-tuning), 보조 모델, 아키텍처 수정 없이 **추론 시간 (Inference-time)**에만 적용 가능한 경량 솔루션을 제공하여, 기존 배포된 MLLM 시스템에 즉시 도입 가능합니다.
• 공정성 (Equity) 의 중요성: 시각적 요소의 크기나 빈도에 관계없이 모든 객체가 동등한 표현 기회를 가져야 함을 강조하며, '공정한 주의 할당'이 더 신뢰할 수 있는 멀티모달 생성의 핵심 열쇠임을 입증했습니다.

이 논문은 MLLM 의 신뢰성을 높이기 위해 시각적 근거를 강화하는 새로운 방향성을 제시하며, 특히 할루시네이션을 줄이면서도 일반적 성능을 저하시키지 않는 효율적인 방법을 제시했다는 점에서 의미가 큽니다.