VideoZeroBench: 時空間証拠検証による動画 MLLM の限界探求

本論文「VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification」は、現在の動画マルチモーダル大規模言語モデル（Video MLLM）が、高度な時空間推論と証拠に基づく検証において依然として大きな課題を抱えていることを示すベンチマークと評価手法を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

近年の Video MLLM は、Video-MME や LongVideoBench などの既存ベンチマークで高いスコアを記録し、動画理解の分野で目覚ましい進歩を遂げています。しかし、これらの評価には以下の 2 つの重大な限界が存在します。

1. スコアの過大評価と微細な理解の欠如: 既存のベンチマークでは、モデルが「正解」を出せても、その答えがどの視覚的証拠に基づいているか（時空間的な根拠）が検証されていません。これにより、モデルがハルシネーション（幻覚）や推測に基づいて偶然正解しているケースが「理解」として評価されてしまう可能性があります。
2. 証拠に基づく推論の欠如: 現在の評価は、答えの正誤のみを重視しており、モデルが「いつ（Temporal）」そして「どこに（Spatial）」の証拠を見つけて答えを導き出したかを確認していません。

特に、長尺動画における微細な物体の認識、複雑な時空間関係の推論、そして「藁の中の針（Needle-in-a-Haystack）」のような特定の証拠の特定能力は、現状のモデルでは十分に評価されていません。

2. 提案手法：VideoZeroBench

本研究では、動画理解の限界を明らかにし、証拠に基づく推論能力を厳密に評価するための新しいベンチマーク「VideoZeroBench」を提案します。

データセットの構成

• 規模: 138 本の長尺動画（平均 667.1 秒、最長 3037 秒）と、これらに基づいて作成された 500 問のオープンエンド形式の質問。
• ドメイン: スポーツ、教育動画、ライフログ、ゲームなど 13 の多様な分野を網羅。
• アノテーション: 人間による手動アノテーション。各質問には、**時間的証拠（タイムスタンプの区間）と空間的証拠（Bounding Box）**が厳密に付与されています。
• 難易度: 単純な物体認識やイベント認識ではなく、微細な手がかりの発見、非顕著な証拠の統合、複雑な因果関係の推論を必要とする高難度な問題群。
• 原子的能力（Atomic Abilities）: 11 の能力に分類（例：小物体の知覚、空間的方位の識別、カウント、マルチセグメント依存関係など）。

5 レベル階層評価プロトコル

モデルの「回答生成能力」と「証拠の特定能力」を解きほぐすため、証拠の要求レベルを段階的に厳しくする 5 つの評価レベルを導入しました。

1. Level-1 (証拠提示付き回答): 動画全体に加え、正解のための「時間的区間」と「空間的領域（Bounding Box）」をテキストで提供。モデルはこれらを統合して回答する能力を評価。
2. Level-2 (時間的証拠のみ提示): 時間的区間のみを提供し、空間的ヒントは与えない。空間的知覚の難易度を評価。
3. Level-3 (標準 QA): 動画と質問のみを提供。ヒントなしでの標準的なエンドツーエンド評価。
4. Level-4 (正解＋時間的グラウンディング): 正解を出すだけでなく、その根拠となる時間的区間を正確に特定（IoU > 0.3）できるかを評価。
5. Level-5 (正解＋時空間グラウンディング): 正解に加え、時間的区間と空間的 Bounding Box の両方を正確に特定できるかを評価。これが「信頼できる動画理解」の究極の目標。

3. 主要な結果

最先端のモデル（Gemini-3-Pro, GPT-5.2, Qwen3-VL など）を対象に大規模な評価を行いました。

• 標準評価（Level-3）の限界: 最上位モデル（Gemini-3-Pro）でも正答率は**17.0%**に留まり、既存ベンチマークの 80% 超という結果とは対照的な低さでした。
• 証拠グラウンディングの崩壊: 証拠の特定を要求するレベルにすると、性能は劇的に低下します。
  • Level-5（時空間グラウンディング必須）: どのモデルも1.0% 以下（多くのモデルは 0%）という壊滅的な結果となりました。
  • Level-4（時間的グラウンディング）: 最上位モデルでも 8.0% 程度にとどまりました。
• ハルシネーションの存在: 正解を出している場合でも、その根拠となる時空間証拠を正しく特定できていないケースが多数見られました。これは、モデルが「答えを当てている」だけで「理解している」わけではないことを示唆しています。
• 思考プロセス（Thinking-with-Video）の限界: 反復的なズームインや推論を行う「Thinking-with-Video」アプローチ（VideoChat-R1.5 など）は、単純な推論ではわずかな改善が見られましたが、時空間グラウンディングの精度（Level-4/5）にはほとんど寄与しませんでした。

4. 考察と発見

• ボトルネックの特定: 動画理解の主なボトルネックは、粗い意味認識ではなく、**微細な空間的知能（Small-object perception）と長距離の時空間検索（Temporal search）**にあることが明らかになりました。
• 入力モダリティの影響: 音声入力を含めることで音声認識は向上しますが、視覚的証拠の特定精度は低下する傾向があり、マルチモーダル統合の難しさが示されました。
• 人間との比較: 人間のアノテーターは同様のタスクで約 67.6% の正答率を達成しており、現在の AI モデルと人間の間には依然として大きなギャップが存在します。

5. 意義と貢献

1. 真の理解の評価基準の確立: 単なる正解率だけでなく、「証拠に基づく推論（Evidence-grounded reasoning）」を評価指標として確立し、モデルの信頼性を測る新しい基準を提示しました。
2. 研究の方向性の転換: 現在の Video MLLM が「ハルシネーション」や「証拠の欠如」に悩まされていることを浮き彫りにし、今後の研究が「微細な視覚的グラウンディング」や「正確な時空間推論」に焦点を当てるべきであることを示しました。
3. オープンベンチマークの提供: 高品質な手動アノテーションデータと評価コードを公開し、動画理解分野の次の世代のモデル開発を促進します。

結論

VideoZeroBench は、現在の Video MLLM が「答えられる」ことと「証拠に基づいて理解している」ことの間に大きな乖離があることを暴きました。特に、長尺動画における微細な証拠の特定と時空間グラウンディングは、依然として未解決の重大な課題です。このベンチマークは、信頼性が高く検証可能な動画知能の実現に向けた重要な第一歩となります。