Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models

技術的サマリー：Video Active Perception (VAP)

問題定義
大規模視覚言語モデル（VLM）は、動画質問応答（QA）などのマルチモーダルタスクを高度化させてきたが、長編動画への適用においては重大な障壁に直面している。著者らは、主に以下の 2 つの課題を特定している：

1. フレームの有効性：標準的な推論は、均一サンプリング（例：1 秒あたり 1 フレーム）に依存することが多い。このアプローチは、すべての動画領域を同等に扱うため、無関係なフレームを選択し、情報密度が高くタスクに関連するセグメントを見逃す可能性があり、最適ではない。実証結果によれば、均一にサンプリングされたフレーム数が増加するにつれて、性能は頭打ちになるか、むしろ低下することさえある。
2. フレームの効率性：長編動画を処理すると、膨大な数のトークン（1 時間あたり約 400 万）が生成され、自動運転や患者モニタリングなどの現実世界のシナリオにおける VLM の実用的な展開を妨げている。

既存の解決策は、反復的なエージェントベースの推論、動画キャプション化、または複雑なデータ構造（例：グラフや木構造）に依存することが多く、これらは高い遅延をもたらしたり、中間キャプションモデルの品質に依存したり、広範な計算リソースを必要としたりする。

手法：Video Active Perception (VAP)
本論文では、長編動画 QA におけるフレーム選択の有効性と効率性の両方を向上させるために設計された、トレーニング不要の推論時手法であるVideo Active Perception (VAP) を導入する。能動的知覚理論（インテリジェントなエージェントは、情報獲得を最大化するために期待と異なるデータを取得するという仮説に基づく）に触発された VAP は、キーフレーム選択を、事前の世界的知識によって導かれるデータ取得プロセスとして再定義する。

この手法は、VLM の微調整を行わずに、主に 3 つの段階で動作する：

1. 事前の世界的知識生成：

   • VAP は、事前の視覚的知識を表現するために、軽量な事前学習済みテキスト条件付き動画生成モデル（具体的にはCogVideoX）を利用する。
   • システムは、ユーザーの質問と可能な回答を条件信号として、均一にサンプリングされた初期フレームの小さな部分集合（例：32 フレーム）を受け取る。
   • 3D 因果 VAE とフレーム補間モジュール（RIFE）を用いて、モデルは動画全体のダイナミクスに関する潜在表現を生成し、初期コンテキストとクエリに基づいて動画がどのように展開すると予想されるかを予測する。

2. データ取得（フレーム選択）：

   • システムは、同じ 3D VAE エンコーダを使用して、すべての実際の動画フレームを同じ潜在空間にエンコードする。
   • 次に、実際のフレームの潜在表現と生成された（予想される）フレームの潜在表現を比較する。
   • 選択は発散に基づいて行われる：実際の動画ダイナミクスが生成モデルの予測と最も大きく異なるフレームは「驚き」と見なされ、したがって最も情報豊富であると判断される。
   • この手法は、生成された対応フレームとのコサイン類似度が最も低い $n$ フレーム（例：32 フレーム）を選択する。

3. VLM 推論：

   • 選択されたキーフレームは、質問と回答とともに、主要な VLM（例：GPT-4o、Gemini 1.5 Pro、LLaVA-OV）に入力され、最終的な推論を実行する。
   • このプロセスは使用される特定の VLM に依存せず、反復ループを回避して単一の選択ラウンドで動作する。

主な貢献

• トレーニング不要のフレームワーク：VAP は大規模 VLM の微調整を必要としないため、既存のモデルに即座に適用可能である。
• 新規選択メカニズム：キャプションや反復エージェントに依存する以前の手法とは異なり、VAP は生成モデルを用いて「事前」を作成し、期待と現実の不一致に基づいてフレームを選択する。
• 統合アプローチ：選択プロセスを単一の比較ラウンドに簡素化し、複雑なデータ構造や複数の LLM 呼び出しの必要性を排除する。
• 効率性：最も関連性の高いフレームのみを選択することで、推論に必要なトークン数を劇的に削減する。

実験結果
著者らは、VAP を 5 つのベンチマークデータセット（EgoSchema、NExT-QA、ActivityNet-QA、IntentQA、CLEVRER）で評価した。

• 性能：VAP は、すべてのデータセットで最先端のゼロショット結果を達成した。例えば、EgoSchema で68.1%、NExT-QA で81.4%、CLEVRER で**40.5%**を記録した。
• 推論能力：VAP は、時間的および因果的推論を必要とするタスク（CLEVRER における説明や反事実的な質問など）において、VideoTree や VideoAgent などのベースラインを上回る優れた性能を示した。
• 効率性の向上：
  • VAP は、標準的なベースラインよりも大幅に少ないフレーム数でこれらの結果を達成した。例えば、EgoSchema においては、標準的な180 フレーム（1 fps）に対して32 フレームを使用し、フレーム効率で5.6 倍の改善を実現した。
  • 遅延比較（等計算量および等精度）において、VAP は標準的な GPT-4o mini サンプリングよりも低い遅延で、同等またはそれ以上の精度を達成した。
• 頑健性：実験により、この手法は生成に使用される初期フレームの特定のセットに対して頑健であり、選択されるフレーム数を 32 以上増やしても限界効率が逓減することが示された。

意義と主張
本論文は、VAP が長編動画理解を向上させるために能動的知覚の原理を利用する実証的な有効性を示していると主張している。生成モデルを用いて事前の世界的知識をエンコードし、これらの期待から逸脱するフレームを選択することで、この手法は複雑な質問に答えるために不可欠な決定的な瞬間（衝突や特定の動作など）を成功裏に特定する。

著者らは、このアプローチが VLM 推論のためのよりインテリジェントなデータ取得戦略を提供し、高い性能と計算効率のバランスを取っていると強調している。彼らは、拡散モデルからの事前知識を統合することが、長編動画 QA、特に推論を重視するタスクにおけるフレームの有効性と効率性を向上させるための viable な道筋であると結論付けている。この研究は、動画生成モデルの将来の進歩が、非常に長い動画に対する VLM の空間的・時間的推論能力をさらに強化する可能性を示唆している。