1. 문제 정의 (Problem)

비전 대형 언어 모델 (VLLMs) 은 이미지와 비디오 이해 분야에서 뛰어난 성능을 보이고 있지만, 생성된 응답이 시각적 사실과 모순되는 '환각 (Hallucination)' 현상에 매우 취약합니다. 기존 연구는 주로 정적 이미지에 초점을 맞추었으며, 비디오의 풍부한 시공간적 (Spatiotemporal) 동역학을 고려한 평가는 부족했습니다.

특히 비디오 기반 VLLMs 는 다음과 같은 고유한 도전 과제에 직면해 있습니다:

• 시간적 역동성: 사물의 이동 방향, 사건의 시간적 순서 등 정적 이미지가 아닌 비디오만의 고유한 요소에서 오류가 발생하기 쉽습니다.
• 세밀한 오류 포착의 부재: 기존 평가 방법 (이진 분류 등) 은 미묘한 수준의 환각 (예: 방향의 미세한 차이, 사건의 순서 왜곡) 을 포착하는 데 한계가 있습니다.

2. 방법론 (Methodology)

가. VidHal 데이터셋 구축

저자들은 비디오 기반 환각을 평가하기 위해 VidHal이라는 새로운 벤치마크를 제안했습니다.

• 데이터 소스: TempCompass, Perception Test, MVBench, AutoEval-Video 등 4 개의 공개 비디오 데이터셋에서 1,000 개의 비디오 인스턴스를 수집했습니다.
• 5 가지 시간적 측면 (Temporal Aspects): 비디오 특유의 동적 요소를 포괄하기 위해 다음 5 가지 카테고리를 정의했습니다.
  1. Action (행동): 사물의 움직임과 행동.
  2. Direction (방향): 사물이나 주체의 이동 경로 및 방향.
  3. Order (순서): 사건의 시간적 발생 순서.
  4. Attribute (속성): 크기, 모양, 색상, 개수, 상태 변화 등.
  5. Object (객체): 객체 인식 및 객체 간 상호작용.
• 환각 캡션 생성 (Hallucinatory Caption Generation):
  • 각 비디오에 대해 **정답 캡션 (Anchor Caption)**을 생성합니다.
  • GPT-4o 를 활용하여 정답 캡션을 기반으로 다양한 수준의 환각을 포함하는 캡션을 생성합니다.
  • 환각의 심각도는 **Lexical Semantics (L-Sem, 단어/속성 오류)**와 Clause Semantics (C-Sem, 사건 순서/구조 오류) 두 수준으로 세분화하여 '중등도 (Moderate)'와 '고도 (High)' 환각을 구분합니다.
• 검증: 자동 생성된 캡션의 순서와 품질을 검증하기 위해 인간 어노테이터를 통한 다중 검증 (Inter-Rater agreement 87%) 을 수행했습니다.

나. 평가 프로토콜 (Evaluation Protocol)

기존의 이진 질문 (Yes/No) 방식의 한계를 극복하기 위해 두 가지 새로운 평가 태스크를 도입했습니다.

1. 다중 선택 질문 (MCQA): 비디오에 가장 적합한 캡션을 선택하는 과제로, 거시적인 이해도를 평가합니다.
2. 캡션 순서 매기기 (Caption Ordering):
   • 핵심 아이디어: 모델이 제공된 여러 캡션 (정답 + 다양한 수준의 환각 캡션) 을 환각의 심각도 순서대로 정렬하도록 요구합니다.
   • 세부 태스크:
     • Naive Ordering: 모든 캡션을 한 번에 정렬 (어려운 과제).
     • Relative Ordering: 캡션 쌍 (Pairwise) 을 비교하여 최종 순서를 도출 (모델의 추론 안정성 확보).
   • 메트릭: 단순 정확도 대신 **NDCG (Normalized Discounted Cumulative Gain)**를 사용하여, 정답과 완전히 일치하지 않더라도 부분적으로 올바른 순서를 매긴 경우에도 점수를 부여하는 세밀한 평가 방식을 채택했습니다.

3. 주요 기여 (Key Contributions)

1. VidHal 벤치마크 제안: 비디오 특유의 시간적 개념 (방향, 순서 등) 을 포괄하고, 다양한 심각도의 환각을 포함하는 최초의 대규모 비디오 환각 평가 데이터셋.
2. 새로운 평가 태스크 및 메트릭: 이진 분류가 아닌 '캡션 순서 매기기' 태스크와 NDCG 기반 메트릭을 통해 VLLM 의 미세한 환각 생성 능력을 정량화.
3. 광범위한 실험 및 통찰: 오픈소스 (VideoLLaMA2, Qwen2.5-VL 등) 와 상용 (GPT-4.1, Gemini 2.5 등) 모델을 포함한 23 개의 VLLM 을 평가하여 현재 모델들의 한계를 규명.

4. 실험 결과 (Results)

• 전반적 성능: 평가된 모든 VLLM 은 비디오 기반 환각을 구별하는 데 어려움을 겪었습니다. 특히 **Direction (방향)**과 **Order (순서)**와 같은 시간적 특이성 측면에서 성능이 현저히 낮았습니다.
• 모델 비교:
  • 오픈소스 모델 중 LongVU와 Qwen2.5-VL 계열이 상용 모델 (GPT-4.1, Gemini 2.5) 과 경쟁하거나 이를 능가하는 성능을 보였습니다.
  • 모델 파라미터 수 증가가 반드시 환각 감소로 이어지지는 않았습니다 (예: 일부 7B 모델이 32B/72B 모델보다 좋은 성능을 보임).
  • 시각적 이해를 위한 특수 아키텍처 (동적 해상도 스케일링, 시간적 압축 등) 를 도입한 모델들이 더 나은 성능을 보였습니다.
• 세부 분석 (Ablation Study):
  • 미세한 환각 구별 실패: 모델들은 정답과 심한 환각 캡션은 구분하지만, 정답과 경미한 환각 캡션을 구분하거나 서로 다른 수준의 환각 캡션 사이를 구별하는 데 실패했습니다.
  • 단일 프레임 편향 (Image Prior Reliance): 비디오 전체를 입력받았을 때보다 **단일 프레임 (가장 중요한 프레임)**만 입력받아도 모델의 응답이 크게 변하지 않는 경우가 많았습니다. 이는 모델이 시간적 맥락보다 정적 이미지 정보에 과도하게 의존하고 있음을 시사합니다.
  • 상대적 순서 매기기의 효과: Naive Ordering 보다 Pairwise 비교를 기반으로 한 Relative Ordering 태스크가 모델의 성능을 더 정확하게 측정하고 안정성을 높였습니다.

5. 의의 및 결론 (Significance)

• 연구 방향 제시: 현재 VLLM 이 비디오의 시간적 역동성을 이해하는 데 여전히 미흡함을 입증하여, 향후 시공간적 추론 (Spatiotemporal Reasoning) 강화와 단일 프레임 편향 완화가 중요한 연구 과제임을 강조했습니다.
• 평가 패러다임 전환: 단순한 정답/오답을 넘어, 모델이 얼마나 '미묘한' 오류를 범하는지 계층적으로 평가할 수 있는 새로운 기준을 제시했습니다.
• 실용적 가치: VidHal 은 비디오 이해가 필요한 실제 응용 분야 (감시, 의료, 자율 주행 등) 에서 VLLM 의 신뢰성을 높이기 위한 필수적인 평가 도구로 활용될 수 있습니다.

이 논문은 비디오 기반 VLLM 의 '환각' 문제를 정량화하고 해결하기 위한 체계적인 벤치마크와 평가 방법론을 제시함으로써, 해당 분야의 발전에 중요한 기여를 하고 있습니다.