Distorted or Fabricated? A Survey on Hallucination in Video LLMs

1. 문제 정의 (Problem Definition)

비디오 대형 언어 모델 (Vid-LLMs) 은 정적 이미지 기반의 비전 - 언어 모델 (VLM) 을 넘어 시계열적으로 일관된 비디오 입력을 처리하여 행동 인식, 시간적 추론, 오디오 - 비주얼 이해 등의 작업을 수행할 수 있게 되었습니다. 그러나 이러한 모델들은 여전히 할루시네이션 (Hallucination) 이라는 심각한 문제에 직면해 있습니다.

• 할루시네이션의 정의: 입력 비디오의 관측 가능한 시공간적 증거와 모순되지만, 언어적으로 일관되고 문맥상 그럴듯한 텍스트 출력을 생성하는 현상.
• 고유한 복잡성: 정적 이미지와 달리 비디오는 시간적 인과관계, 운동 역학, 오디오 - 비주얼 통합 등 추가적인 차원을 포함합니다. 기존 이미지 기반 VLM 의 할루시네이션 연구는 이러한 비디오 특유의 시간적 구조와 다중 모달리티 상호작용을 충분히 설명하지 못합니다.
• 위험성: embodied AI(구체적 AI) 나 자율 주행과 같은 안전이 중요한 분야에서 모델의 신뢰성과 안전성을 위협합니다.

2. 방법론 및 분류 체계 (Methodology & Taxonomy)

이 논문은 Vid-LLM 의 할루시네이션을 분석하기 위해 메커니즘 기반 (Mechanism-driven) 의 체계적인 분류 체계 (Taxonomy) 를 제안합니다. 입력 속성 (오디오, 길이 등) 이 아닌 시각적으로 관찰 가능한 실패 모드를 기준으로 다음과 같이 2 가지 주요 유형과 4 가지 하위 유형으로 분류합니다.

A. 동적 왜곡 (Dynamic Distortion)

모델이 엔티티 (객체, 인물) 를 올바르게 감지하지만, 그 시간적 진화나 참조 일관성을 잘못 표현하는 경우입니다. 시각적 증거는 존재하지만 관계 모델링에 실패한 것입니다.

1. 시공간적 역동성 (Spatiotemporal Dynamics):
   • 사건 순서 오류 (Order): 행동의 인과관계 반전, 운동 방향/궤적 오해석.
   • 지속 시간 왜곡 (Duration): 행동 길이의 과대/과소 평가.
   • 빈도 혼동 (Frequency): 반복되는 행동의 횟수 잘못 세기.
2. 참조 불일치 (Referential Inconsistency):
   • 캐릭터 혼동 (Character Conflation): 서로 다른 인물을 동일 인물로 착각.
   • 장면 혼동 (Scene Conflation): 서로 다른 맥락의 행동이나 설정을 하나의 서사로 잘못 결합.

B. 콘텐츠 위조 (Content Fabrication)

모델이 시각적 증거가 부족하거나 없을 때, 학습된 사전 지식 (Prior) 이나 우세한 오디오 신호에 의존하여 내용을 만들어내는 경우입니다.

1. 맥락 기반 위조 (Context-Driven Fabrication):
   • 객체 - 행동 (Object-Action): 객체의 존재만으로 해당 행동이 일어났다고 추론 (예: 물이 있는 것만으로 '씻는다'고 추론).
   • 장면 - 사건 (Scene-Event): 배경 장면만으로 특정 사건이 발생했다고 추론 (예: 주방 배경만으로 '요리 중'이라고 추론).
2. 오디오 - 비주얼 충돌 (Audio-Visual Conflict):
   • 행동 귀인 (Action Attribution): 배경 소리 (새 지저귐 등) 에 의해 시각적으로 존재하지 않는 행동을 생성.
   • 감정 추론 (Emotion Inference): 표정이 아닌 목소리 톤에 기반하여 잘못된 감정 상태를 추론.

3. 주요 기여 (Key Contributions)

1. 최초의 Vid-LLM 전용 할루시네이션 분류 체계: 기존 MLLM(다중 모달 LLM) 서베이들이 비디오를 단순히 다른 모달리티 중 하나로만 언급했던 것과 달리, 비디오 특유의 시간적·다중 모달 특성을 반영한 체계적인 분류를 제시했습니다.
2. 포괄적인 벤치마크 및 메트릭 리뷰: 19 개의 기존 벤치마크를 분석하여 각 할루시네이션 유형별 평가 도구, 데이터셋 규모, 성능 한계를 정리했습니다.
3. 근본 원인 분석 및 완화 전략:
   • 동적 왜곡 원인: 제한된 시간적 표현 능력 (Temporal representation capacity), 긴 비디오에서의 장기 기억 부족, 시간적 국소화 실패.
   • 콘텐츠 위조 원인: 시각적 근거 (Visual grounding) 부족, 사전 지식 (Pretrained priors) 과 우세한 오디오 신호의 지배.
   • 해결책: 시간적 특징을 보존하는 모션 인식 아키텍처, 반사실적 (Counterfactual) 학습 기법 등을 통한 완화 전략을 제안했습니다.
4. 미래 연구 방향 제시: 비디오 네이티브 인코더 개발, 명시적 메모리 메커니즘 통합, 반사실적 학습을 통한 추론과 사전 지식의 분리 등을 제안했습니다.

4. 결과 및 분석 (Results & Analysis)

• 벤치마크 현황: 현재 벤치마크는 시공간적 역동성 (Spatiotemporal Dynamics) 평가에 집중되어 있으며, 대부분 짧은 클립을 대상으로 합니다. 반면 참조 불일치와 오디오 - 비주얼 충돌은 상대적으로 연구가 부족하며, 긴 형식 (Long-form) 비디오에 대한 평가 도구는 거의 없습니다.
• 모델 성능 한계: 최신 모델 (GPT-4o, Gemini 등) 은 일부 작업 (예: VidHalluc, EventHallusion) 에서 80% 이상의 높은 정확도를 보이지만, 미세한 시간적 추론 (VideoHallucer: 37.8%) 과 긴 문맥 일관성 (ELV-Halluc: 53.1%) 에서는 여전히 심각한 어려움을 겪습니다.
• 완화 전략의 효과:
  • 강화 학습/지시 미세 조정 (Training-based): VistaDPO, AVHModel-Align-FT 등은 30~36% 까지 성능 향상을 보였으나, 높은 학습 비용이 듭니다.
  • 추론 시간 전략 (Training-free): SEASON, SmartSight 등은 모델 수정 없이 적용 가능하지만, 성능 향상 폭이 상대적으로 작고 지연 시간이 발생할 수 있습니다.
  • 불균형: 시간적 오류와 맥락 기반 위조는 잘 다루어지고 있으나, 참조 불일치와 오디오 - 비주얼 충돌에 대한 완화 전략은 부족합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 Vid-LLM 의 할루시네이션 문제를 단순한 오류가 아닌, 모델의 시간적 표현 능력 부족과 시각적 근거 부재라는 근본적인 메커니즘에서 접근했습니다.

• 이론적 기여: 정적 이미지와 비디오 할루시네이션의 차이를 명확히 구분하고, 비디오 특유의 오류를 체계적으로 분류함으로써 향후 연구의 표준적인 프레임워크를 제시했습니다.
• 실용적 기여: 안전이 중요한 분야 (자율 주행, 로봇 등) 에서 Vid-LLM 을 신뢰할 수 있게 사용하기 위해, 모션 인식 비주얼 인코더, 장기 기억 메커니즘, 반사실적 학습 등의 구체적인 기술 방향을 제시했습니다.
• 미래 지향성: 비디오 길이가 길어지고 상호작용이 복잡해지는 환경에서도 적용 가능한 범용적인 분류 체계를 제안하여, 견고하고 신뢰할 수 있는 비디오 - 언어 시스템 구축의 기초를 마련했습니다.

요약하자면, 이 논문은 Vid-LLM 의 할루시네이션을 "왜곡 (Distortion)"과 "위조 (Fabrication)"로 구분하여 그 원인과 해결책을 체계적으로 규명함으로써, 차세대 비디오 이해 모델의 신뢰성 향상을 위한 로드맵을 제시한 중요한 연구입니다.