技術的概要：HAVEN – 統合ビデオ理解のための階層的に整列したマルチモーダルベンチマーク

問題提起

マルチモーダル大規模言語モデル（MLLM）は、要約、キャプション付け、質問応答などの標準的なビデオタスクにおいて高い性能を示しているが、複雑な物語を忠実に要約し推論する能力については、未だ十分に評価されていない。現在のビデオベンチマークは、以下の 2 つの構造的な限界に苦しんでいる：

1. 断片的な監督信号： 既存のデータセットのほとんどは、単一の時間粒度（例えば、キーフレーム、クリップ、またはビデオレベルの要約）で動作しており、フレームがショットを構築し、ショットが一貫した物語を構成するという、現実世界のビデオが本質的に持つ階層構造を無視している。
2. 精密なクロスモーダルグラウンディングの欠如： テキスト注釈は通常、視覚コンテンツと弱くしか整列していない。これにより、モデルは関連する視覚証拠を正確に局所化したり推論したりすることなく、言語の事前知識を利用することで成功してしまう。

その結果、現在の評価プロトコルは MLLM の能力を体系的に過大評価しており、モデルが流暢なテキストを生成する一方で、その出力を正しい視覚証拠に基づいてグラウンディングできないという「能力の錯覚」を生み出している。

手法：HAVEN ベンチマーク

これらのギャップに対処するため、著者は HAVEN（Hierarchically Aligned multimodal benchmark for unified Video undErstandiNg：統合ビデオ理解のための階層的に整列したマルチモーダルベンチマーク）を導入する。これは、階層的完全性とクロスモーダル連続性という 2 つの核心原則に基づいて構築されたデータセットおよび評価フレームワークである。

データセット構築

HAVEN は、6 つの既存のビデオ要約データセット（SumMe、TVSum、OVP、YouTube、VideoXum、MR.HiSum）を拡張することで構築された。構築プロセスには以下が含まれる：

• 階層的注釈： 各ビデオインスタンスは 3 つのレベルで注釈付けられる：
  • フレームレベル： 均一にサンプリングされたフレーム（ビデオあたり平均 164.9 枚）が、LLM によって生成されたテキスト記述（$D_V$）と人間によって注釈付けられたキーフレーム（$V_{key}$）と対になっている。
  • ショットレベル： フレームは Kernel Temporal Segmentation（KTS）を用いて時間的に一貫したショット（$H$）に分割される。各ショットには、LLM によって生成された記述（$D_H$）と人間によって注釈付けられたキーショット（$H_{key}$）がある。
  • ビデオレベル： ショットレベルの記述を集約してグローバルなドキュメント（$T$）と簡潔な要約（$S$）を生成し、明示的な文からショットへの整列を行う。
• 整列： このデータセットは、すべてのレベルにわたって視覚コンテンツとテキスト記述の間に明示的かつ連続的な整列を備えており、言語が時間的に局所化された証拠に基づいてグラウンディングされていることを保証する。
• 品質管理： 15 件のサンプリングされたビデオに対する人間による評価により、すべての注釈レベルにおいて精度、情報量、完全性に関して高いスコアが確認された。

評価スイート

HAVEN は、ビデオ理解の異なる側面を評価するための 4 つのタスクファミリーからなる統合スイートを定義する：

1. マルチモーダル要約： ビデオからテキストへ（V2T）、キーフレーム選択（V2V）、および結合ビデオ・テキスト（V2VT）要約を含む。
2. 時間的理解： 文書レベルのコンテキストの有無にかかわらず、シャッフルされたビデオショットの時間的順序をモデルに回復させることを要求する。
3. マルチモーダルグラウンディング： シャッフルされた要約文を、対応する視覚ショットと整列させるタスクをモデルに課す。
4. 顕著性ランキング： 文書コンテキストの有無にかかわらず、ビデオショットを重要度順にランク付けすることをモデルに要求する。

主要な貢献

1. 新規データセット： HAVEN は、既存の高品質な人間注釈データセットから派生し、明示的かつ連続的なクロスモーダル整列を備えた、完全に粒度化された（フレーム、ショット、ビデオ）かつ完全にマルチモーダルなフレームワークを先駆的に導入する。
2. 厳格なテストフレームワーク： 著者は、要約、グラウンディング、時間的推論、顕著性の 4 つの中核次元を網羅する多面的な評価を確立し、抽象化レベル全体にわたるモデルの行動の制御された分析を可能にする。
3. 実証的分析： 本論文は、最先端の MLLM に関する広範な分析を提供し、表面的なテキストの流暢さと真のマルチモーダルグラウンディングの間に深刻な不一致が存在することを露呈させる。

実験結果

著者は、ゼロショット設定において、いくつかの商用およびオープンソースの MLLM（GPT-5.2、Qwen3-VL、VideoLLaMA3、InternVideo2.5 などを含む）をベンチマークした。主要な知見は以下の通りである：

• 「能力の錯覚」： モデルは一貫して流暢なテキスト要約を生成するが、これらの出力を正しい視覚証拠に基づいてグラウンディングすることに頻繁に失敗する。テキスト生成における高いスコアは、正確な視覚理解とは相関しない。
• タスク感受性： モデルの性能はタスクの定式化に非常に敏感である。例えば、V2T 要約で強力なモデルは、キーフレーム選択（V2V）やマルチモーダルグラウンディングタスクでは大幅に性能が低下することが多い。
• 結合生成の限界： 結合マルチモーダル生成（V2VT）は、独立した生成と比較して、テキスト出力と視覚出力の間の整列を一貫して改善するわけではない。場合によっては、テキストの質が向上する代わりに視覚選択の精度が犠牲になるというトレードオフをもたらす。
• テキストプロキシベースライン： 驚くべきことに、フレーム記述を使用したテキストのみのベースラインは、グラウンディングや時間的推論タスクにおいてマルチモーダルモデルを上回る性能を示すことが多く、これは現在の MLLM が視覚データへのアクセスを有しているにもかかわらず、モダリティ間で正確な意味的対応関係を確立することに苦労していることを示唆している。
• 顕著性対要約： 要約と顕著性ランキングの性能には明確なギャップが存在する。強力な要約性能は、正確な顕著性の理解を意味しない。これは、要約が重要性のより包括的な概念に依存しているのに対し、顕著性ランキングには明示的な視覚モデリングが必要であることを示している。

意義と主張

本論文は、HAVEN が従来の質問応答（QA）形式を超えてマルチモーダルシステムの評価を前進させると主張する。明示的な階層的整列を備えた厳格で標準化されたテストベッドを提供することにより、HAVEN は以下を目指している：

• 粗雑または弱くグラウンディングされた評価プロトコルによって隠蔽されている、現在の MLLM の限界を明らかにする。
• 解釈可能で階層的なビデオ理解に向けた将来の研究を推進し、モデルがテキスト情報と視覚情報の両方を統一的にグラウンディングし、整列させ、推論することを可能にする。
• 「説得力のある」言語生成を超えて、真のマルチモーダル理解へと移行するモデルを開発するためのリソースを提供する。

著者は限界を認め、ベンチマークはソースデータセットからバイアスを継承しており、現在オーディオモダリティを含まず、比較的短いビデオに焦点を当てていることを指摘している。長編ビデオの理解や（オーディオを含む）マルチモーダル統合は、将来の課題として残されている。