VidHal: ビジョン大規模言語モデル（VLLM）における時間的幻覚の評価ベンチマーク

技術的サマリー（日本語）

本論文は、Vision Large Language Models（VLLM）が画像入力だけでなく、動画入力においても「幻覚（Hallucination）」、すなわち視覚的コンテキストと矛盾する情報を生成する問題に直面していることを指摘し、この問題を評価するための新しいベンチマーク「VidHal」を提案するものです。既存の研究の多くは画像ベースの幻覚評価に限定されており、動画特有の時間的ダイナミクスを捉える評価手法が不足しているという課題に対処しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義：動画における時間的幻覚の欠落

VLLM は画像理解において高い性能を示していますが、動画理解においては「時間的幻覚（Temporal Hallucinations）」という特有の課題に直面しています。

• 既存研究の限界: 従来の幻覚評価ベンチマーク（CHAIR, MMHalBench など）は主に画像ベースであり、物体や属性の誤認識に焦点を当てています。
• 動画の複雑さ: 動画には空間的な要素に加え、動きの方向、出来事の順序、状態変化などの「時間的ダイナミクス」が含まれます。これらの要素は、VLLM が単一のフレームの空間情報に依存しすぎることや、時間的な文脈の理解が不十分である場合に、微妙な誤り（ニュアンスのある幻覚）を引き起こします。
• 評価手法の不備: 既存の評価は二値（正解/不正解）の質問形式が主流であり、モデルが「どの程度の幻覚」を含んでいるか、あるいは「どの程度の誤り」を区別できているかという微細なレベルでの評価が困難でした。

2. 提案手法：VidHal ベンチマーク

VidHal は、VLLM の動画ベースの幻覚を包括的に評価するために設計されたデータセットおよび評価プロトコルです。

A. データセット構築

• 時間的アスペクトの網羅: 動画の 5 つの主要な時間的アスペクトをカバーしています。
  1. Action（動作）: 主体の動きや行動。
  2. Attribute（属性）: 物体のサイズ、形状、色、数、状態変化（L-Sem: 語彙的意味）。
  3. Direction（方向）: 物体や主体の移動方向や軌道（L-Sem）。
  4. Object（物体）: 物体の認識および物体間の相互作用（L-Sem）。
  5. Order（順序）: 出来事の時間的順序（C-Sem: 節の意味）。
• 多段階の幻覚キャプション: 各動画インスタンスに対して、1 つの正解（アンカー）キャプションと、幻覚のレベルが異なる複数のキャプション（中程度の幻覚、重度の幻覚）を生成します。これにより、モデルが「完全な正解」と「わずかな誤り」、あるいは「異なる程度の誤り」を区別できるかを評価できます。
• 生成パイプライン: GPT-4o を用いて自動生成を行い、その後、複数の LLM（Gemini-1.5, LLaMA2 など）による自動フィルタリングと人間の検証（87% の合意率）を経て、品質を担保しています。

B. 評価タスクと指標

従来の二値分類を超えた、微細な評価を可能にする 2 つのタスクを提案しています。

1. Multiple-Choice Question Answering (MCQA):
   • 動画と複数のキャプション（正解＋幻覚を含むもの）を提示し、最も適切なキャプションを選択させるタスク。
   • 指標: 精度（Accuracy）。
2. Caption Ordering（キャプション順序付け）:
   • 提示された複数のキャプションを、「幻覚の程度（正解に近い順）」に基づいて並べ替えるタスク。
   • ナティブ順序付け: 一度に全キャプションを並べ替える。
   • 相対順序付け: ペアごとの比較を繰り返し、最終的な順序を導出する（モデルの指示追従能力や一貫性を高めるため）。
   • 指標: 正規化割引累積利得（NDCG）。これは、完全な順序付けができなくても、部分的に正しいペアが正しく順序付けられていれば加点されるため、微細な幻覚の区別能力を捉えるのに適しています。

3. 主要な実験結果

13 のモデルファミリーに属する 23 の VLLM（オープンソースモデルと GPT-4.1, Gemini-2.5 などのプロプライエタリモデルを含む）を評価しました。

• 全体的な性能: 多くのモデルが MCQA や相対順序付けタスクで一定の性能を示しましたが、完全な正解には程遠く、特に時間的なニュアンスの理解に課題があることが示されました。
• アスペクトごとの分析:
  • Action（動作）と Object（物体）: 比較的高い性能を示す傾向があります。これは、既存のトレーニングデータが物体認識や粗粒度の動作分類に偏っているためと考えられます。
  • Direction（方向）と Order（順序）: 多くのモデルで性能が低下しました。これらは動画特有の時間的要素であり、VLLM が時間的ダイナミクスを捉えることに依然として苦労していることを示唆しています。
• モデルサイズとアーキテクチャ:
  • 単にパラメータ数を増やすこと（例：7B から 72B）が幻覚の減少に直結するとは限りませんでした。
  • 特定のアーキテクチャ革新（動的解像度スケーリングや時間的圧縮技術など）を取り入れたモデル（LongVU, InternVL2.5, Qwen2.5-VL など）が、時間的幻覚の軽減において優れた性能を発揮しました。
• 画像事前知識への依存: 動画全体を入力する代わりに、代表的な 1 フレームのみを入力した場合でも、モデルの回答が大幅に変わらない（オーバーラップ率が高い）ことが確認されました。これは、モデルが時間的コンテキストよりも空間的な画像の事前知識に過度に依存していることを示しています。
• 幻覚の区別感度: 高度なモデルでも、「正解」と「軽微な幻覚」の区別、あるいは「軽微な幻覚」と「重度の幻覚」の区別において困難を抱えていることが明らかになりました。

4. 貢献と意義

1. VidHal ベンチマークの提案: 動画の時間的アスペクト（特に方向や順序）を網羅し、多段階の幻覚レベルを持つキャプションを備えた、初の包括的な評価データセットです。
2. 新しい評価タスクの導入: 「キャプション順序付け」タスクと NDCG ベースの指標を導入することで、従来の二値評価では捉えられなかった「微細な幻覚」や「ニュアンスのある誤り」を定量的に評価可能にしました。
3. VLLM の現状の限界の解明: 既存の VLLM が動画の時間的ダイナミクス、特に方向性や出来事の順序において幻覚を起こしやすいこと、および画像ベースのバイアスに依存していることを実証しました。
4. 将来の研究への指針: 時間的特徴のより広範な統合や、単一フレームバイアスの軽減に向けた研究の必要性を提起し、実世界での動画理解アプリケーションの信頼性向上に貢献します。

結論

VidHal は、VLLM が動画理解において直面する「時間的幻覚」という未解決の課題を浮き彫りにし、それを評価するための厳格な基準を提供します。このベンチマークを用いた評価により、現在の最先端モデルであっても、動画の時間的構造を正確に理解し、幻覚を抑制することには依然として大きな改善の余地があることが示されました。