Revealing Multi-View Hallucination in Large Vision-Language Models

1. 문제 정의 (Problem Statement)

다중 뷰 환각 (Multi-View Hallucination, MVH)
기존의 대규모 시각 - 언어 모델 (LVLM) 은 단일 이미지가 아닌, 다양한 시점 (Multi-view) 에서 촬영된 이미지 집합을 입력으로 받는 경우가 늘고 있습니다. 그러나 현재 LVLM 들은 서로 다른 인스턴스 (Instance) 나 시점 (Viewpoint) 에서 유래한 시각 정보를 혼동하거나 잘못 매칭하는 경향이 있습니다. 이를 저자들은 **다중 뷰 환각 (MVH)**이라고 명명했습니다.

MVH 는 크게 두 가지 유형으로 분류됩니다:

1. 교차 인스턴스 환각 (Cross-Instance Hallucination): 모델이 질문된 특정 인스턴스 (예: 흰 상의를 입은 사람) 대신 다른 인스턴스 (예: 검은 상의를 입은 사람) 의 정보를 참조하여 잘못된 답변을 생성하는 현상.
2. 교차 뷰 환각 (Cross-View Hallucination): 모델이 특정 시점 (예: 뷰 1) 에 대한 질문을 받았음에도 불구하고, 다른 시점 (예: 뷰 2) 의 정보를 기반으로 답변을 생성하는 현상.

이는 기존 환각 (Prior knowledge 에 의존하거나 존재하지 않는 객체를 생성) 과는 구별되며, **시각적 간섭 (Visual Interference)**으로 인해 발생하는 오류입니다.

2. 방법론 (Methodology)

A. MVH-Bench (벤치마크 구축)

MVH 문제를 체계적으로 분석하기 위해 저자들은 MVH-Bench라는 새로운 평가 데이터셋을 구축했습니다.

• 데이터 소스: Ego-Exo4D 및 LEMMA 데이터셋에서 동기화된 다중 뷰 비디오를 활용하여 1 인칭 (FPV) 과 3 인칭 (TPV) 시점을 조합한 이미지 쌍을 추출했습니다.
• 구성: 총 4,800 개의 질문 - 답변 쌍으로 구성되며, 3,200 개의 이진 질문 (Binary) 과 1,600 개의 객관식 질문 (Multiple-choice) 으로 나뉩니다.
• 생성 프로세스:
  1. 인스턴스 - 기술자 쌍 추출: GPT-4o 를 사용하여 각 뷰에서 인스턴스 (사람/사물) 와 그 기술자 (행동, 속성, 위치 등) 의 쌍을 추출합니다.
  2. 자동 질문 생성: 추출된 쌍을 교차하거나 동일 인스턴스를 다른 뷰에서 질문하는 방식으로 교차 인스턴스 및 교차 뷰 환각을 유발하는 질문을 생성합니다.
  3. 인간 검증: 생성된 QA 쌍에 대한 인간 검증을 통해 오류를 제거하고 신뢰성을 확보했습니다.
• 평가 지표:
  • p-Acc (Pair Accuracy): 한 이미지 쌍에서 생성된 모든 관련 질문에 대해 올바르게 답변했는지 평가.
  • q-Acc (Quadruplet Accuracy): 4 개의 이진 질문 (Yes/No) 을 모두 정확히 맞추었는지 평가.
  • YER/AER: 모델이 'Yes'라고 잘못 대답하거나 (YER), 오답인 디스트랙터 (Adversarial option) 를 선택하는 비율 (AER) 을 측정하여 편향을 분석합니다.

B. RSCD (Reference Shift Contrastive Decoding)

MVH 를 해결하기 위해 훈련이 필요 없는 (Training-free) 새로운 디코딩 기법인 RSCD를 제안했습니다.

• 핵심 아이디어: 모델이 질문의 전체 문맥을 완전히 이해하지 못할 때 발생하는 '불완전한 이해' 상태를 인위적으로 유도하여, 이를 기반으로 생성된 **부정 로그 (Negative Logits)**를 추출한 후, 원래 로그와 대조 (Contrast) 시켜 시각적 간섭을 억제합니다.
• 작동 원리:
  1. 레이어 분석: 텍스트 토큰 간의 어텐션 (Attention) 을 중간 레이어 (예: LLaVA-OneVision 의 13~20 레이어) 에서 차단했을 때 모델의 시각적 근거 (Grounding) 능력이 급격히 떨어짐을 발견했습니다. 이는 질문 문맥 형성에 해당 레이어가 중요함을 의미합니다.
  2. Reference Shift Mask (RSM): 중간 레이어에서 텍스트 토큰 간의 어텐션 중 상위 $\rho$% 를 차단하는 마스크를 적용합니다. 이는 모델이 질문의 일부만 이해하고 잘못된 시각적 단서 (Distracting Visual Cue) 에 의존하도록 유도합니다.
  3. 대조 디코딩: 원래 모델의 로그 ($\logit$) 와 RSM 적용 후의 부정 로그 ($\logit_{neg}$) 를 다음과 같이 결합하여 최종 확률을 조정합니다.
     $$\logit_{rscd} = (1 + \alpha) \logit - \alpha \logit_{neg}$$
     이를 통해 비대상 시각 단서에 기반한 예측을 억제하고, 올바른 시각적 증거에 집중하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. MVH 현상의 정의 및 분류: LVLM 에서 발생하는 다중 뷰 환각을 '시각적 간섭'으로 정의하고, 교차 인스턴스와 교차 뷰 두 가지 유형으로 체계화했습니다.
2. MVH-Bench 제안: 다양한 시나리오를 포괄하는 4.8k 규모의 벤치마크와 정밀한 평가 지표 (p-Acc, q-Acc 등) 를 개발하여 15 개의 최신 LVLM 을 평가했습니다.
3. RSCD 알고리즘 개발: 훈련 없이 적용 가능한 효율적인 디코딩 기법을 제안하여, 기존 환각 완화 방법들보다 월등히 높은 성능 개선을 달성했습니다.

4. 실험 결과 (Results)

• 기존 모델의 한계: GPT-4o, Gemini, LLaVA, Qwen 등 최신 SOTA 모델들도 MVH-Bench 에서 낮은 점수를 기록했습니다. 특히 p-Acc 와 q-Acc 가 낮아 모델이 특정 뷰나 인스턴스에 대한 정확한 근거를 찾기 어려워함을 보였습니다.
• RSCD 의 성능:
  • Qwen2.5-VL: 기존 최상위 방법 (AvisC) 대비 21.1 포인트 향상.
  • LLaVA-OneVision: 기존 최상위 방법 대비 34.6 포인트 향상.
  • 모든 평가 지표 (Binary, Multiple-choice, Cross-Instance, Cross-View) 에서 일관된 개선을 보였습니다.
• 효율성: RSCD 는 이미지 입력을 변경하거나 재계산하지 않고 캐시된 키 - 밸류 상태를 재사용하므로, 기존 대비 연산 오버헤드가 거의 없습니다 (추론 시간 증가 약 0.08 초).
• 정성적 분석: 어텐션 맵 시각화를 통해 RSCD 가 적용되면 모델이 잘못된 시각적 단서 (예: 다른 뷰의 사물) 로부터 어텐션을 줄이고, 질문된 대상에 집중하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LVLM 이 다중 뷰 환경에서 겪는 시각적 간섭 문제를 처음으로 체계적으로 규명하고 해결책을 제시했습니다.

• 이론적 기여: 텍스트 토큰 간의 상호작용이 질문 이해와 시각적 근거 형성에 핵심적임을 증명했습니다.
• 실용적 기여: RSCD 는 추가적인 학습 없이도 기존 모델의 성능을 획기적으로 개선할 수 있는 경량화된 솔루션을 제공합니다. 이는 embodied AI, 디지털 트윈, 감시 시스템 등 다중 뷰 입력이 필수적인 응용 분야에서 LVLM 의 신뢰성을 높이는 데 기여할 것입니다.

결론적으로, 이 연구는 다중 뷰 환경에서의 LVLM 환각 문제를 해결하기 위한 새로운 벤치마크와 효과적인 디코딩 전략을 제시함으로써, 향후 다중 뷰 이해 (Multi-view Understanding) 연구의 중요한 이정표가 됩니다.