技術要約: 長尺動画理解のための GenEvA

1. 問題提起

長尺動画の理解におけるビデオ・マルチモーダル大規模言語モデル（Video-MLLM）は、「ポスト選択（post-selection）」段階において決定的なボトルネックに直面しています。既存の手法は、コンテキストウィンドウに収めるために、長い動画を少数の明示的な視覚トークン（フレーム）へと圧縮する「フレーム選択」に重点を置いています。これらの手法は、潜在的に関連する視覚的証拠がモデルに対して「利用可能」であることを保証しますが、モデルがその証拠を効果的に「活用」できることを保証するものではありません。

著者らは、単に関連するフレームを保持するだけでは、Video-MLLMが、時間的に離れた瞬間における補完的な手がかりをクエリに合わせて統合できるとは限らないことを指摘しています。むしろ、モデルは明示的な視覚的コンテキストを無視し、言語的な事前知識や偽の手がかりに依存してしまうことがよくあります。核心となる課題は、**「Video-MLLMがいかにして、選択されたフレームから、選択された視覚的コンテキストを補完するためのクエリに関連する潜在的証拠を構築できるか。具体的には、証拠の可用性と証拠の活用との間のギャップをどのように解決するか」**という点にあります。

2. メソドロジー: GenEvA

本論文では、フレーム選択と回答生成の間に「潜在的証拠インターフェース（latent evidence interface）」を挿入するフレームワークである GenEvA (Generative Latent Evidence Aggregation) を提案しています。GenEvAは、凍結された時間的セレクターによって選択されたフレーム上で動作し、以下の3つの主要なコンポーネントで構成されています。

A. 証拠予算の割り当て (Evidence-Budget Allocation)

固定された $K$ 個の選択フレームと潜在トークン予算 $B$ が与えられたとき、GenEvAはクエリに対する各フレームの関連性に基づいて、潜在容量を動的に割り当てます。

• メカニズム: 学習可能なアロケーター（割り当て器）が、各フレームの視覚的埋め込みと質問の埋め込みの間の適合度スコアを計算します。
• 出力: これらのスコアは分布 $\alpha$ に正規化され、その後、各フレーム $i$ の整数トークン予算 $n_i$ に投影されます。これにより、全潜在スロットの合計が $B$ となり、かつカバレッジを保証するために各フレームに最低1つのトークンが割り当てられるようになります。

B. クエリ認識型潜在的証拠の集約 (Query-Aware Latent Evidence Aggregation)

予算 $n_i$ が割り当てられた後、フレームワークは視覚情報をコンパクトな潜在表現へと集約します。

• コンテキストの形成: 未プーリングの視覚トークンを質問の埋め込みと共にクロスアテンションによって集約することで、共有された「クエリ・ビジュアル・コンテキスト」が作成されます。
• バンドル（束）の構築: 各フレームについて、学習可能な潜在基底（例を横断して共有されるもの）と、局所的なフレーム埋め込みおよび共有クエリ・ビジュアル・コンテキストから派生した条件付けベクトルを組み合わせることで、可変長の潜在バンドルが形成されます。
• 統合: これらのフレーム固有のバンドルは連結され、凍結されたLLMに付随する軽量なLoRAアダプターを通過します。このステップにより、潜在的証拠がモデル固有の隠れ空間内にコンテキスト化され、潜在トークンが生成前に完全なマルチモーダル・コンテキストを吸収することを可能にします。

C. 適応的な証拠呼び出し (Adaptive Evidence Invocation)

常に潜在的証拠を挿入するのではなく（これはトークンのオーバーヘッドを増加させます）、GenEvAは割り当て分布の**分散（dispersion）**を内在的な信号として使用し、潜在ルートを使用するかどうかを決定します。

• ロジック: 残差割り当てが少数のフレームに高度に集中している場合（低分散）、モデルは局所的な手がかりに依存している可能性が高いため、明示的ルート（Explicit Route）（フレームのみ）が使用されます。割り当てが多くのフレームに分散している場合（高分散）、すなわちフレーム間の統合が必要であることを示す場合、潜在ルート（Latent Route）（フレーム ＋ 集約された潜在的証拠）が呼び出されます。
• 利点: この適応メカニズムは、証拠構造がフレーム間の統合を必要とする場合にのみ潜在的証拠を挿入することで、デコーダー側の平均トークン・オーバーヘッドを削減します。

3. 主な貢献

1. ポスト選択におけるボトルネックの特定: 著者らは、証拠の可用性が証拠の効果的な使用を意味しないことを示し、選択されたフレームが回答生成プロセスに統合されないというギャップを明らかにしました。
2. 潜在的証拠インターフェース: 選択されたフレームをクエリに関連するクロスフレームの証拠へと整理する、新しい段階を定式化しました。
3. GenEvA フレームワーク: 以下の機能を通じてこのインターフェースを実装する、軽量で分布ガイド型のフレームワークを提供します：
   • 証拠予算の割り当て: クエリの関連性に基づいて潜在トークンを動的に分配。
   • クエリ認識型集約: フレーム固有のコンテキストとグローバルなクエリ・コンテキストを組み合わせたコンパクトな潜在的証拠の構築。
   • 適応的な証拠呼び出し: 割り当ての幾何学的形状に基づいて推論ルートを選択する、ルーターフリーのメカニズム。
4. 実証的検証: BaseとなるVideo-MLLMの再学習を必要とせずに、性能を向上させることを示す包括的な評価。

4. 実験結果

GenEvAは、2つのVideo-MLLMバックボーン（LLaVA-VideoおよびQwen2.5-VL）を用い、4つのベンチマーク（Video-MME, MLVU, LongVideoBench, LVBench）で評価されました。

• 性能向上:
  • 8フレームにおいて、GenEvAは4つのベンチマークにおけるLLaVA-Videoの平均を**+5.2ポイント**向上させました。
  • LVBenchにおいて、Qwen2.5-VLの精度を**+10.1ポイント**向上させました。
  • 16フレームにおいて、GenEvAを用いたLLaVA-Videoは、大幅に大きなフレーム予算（例：1024フレームを使用するVamba）を用いる手法を凌駕し、特化した推論モデルに匹敵またはそれを上回る結果を出しました。
• 効率性:
  • これらの向上は最小限のオーバーヘッドで達成されました。デコーダー側での平均ビデオ・トークン・オーバーヘッドはわずか 0.11%–0.40% です。
  • 推論レイテンシの増加は、約2.0%（1例あたり約0.057秒）に留まりました。
• アブレーション研究:
  • 適応的呼び出し (Adaptive Invocation): 「Full」（常に挿入）および「Random」（ランダムに挿入）の呼び出し戦略の両方を上回り、割り当ての分散信号が、いつクロスフレームの統合が必要かを効果的に識別できることを確認しました。
  • 割り当ての学習 (Allocation Learning): 学習された割り当てパターンがタスクの種類（例：エンティティ認識よりも要約タスクの方が高い分散を示す）と相関しており、モデルが証拠の要求に応じて潜在容量を割り当て、推論ルートを選択できることを検証しました。

5. 意義と主張

本論文は、GenEvAが、選択されたフレームをクエリに関連するクロスフレームの証拠へと整理する、必要かつ補完的なポスト選択段階としての潜在的証拠インターフェースを確立したと主張しています。その意義は以下の通りです：

• 選択と統合の分離: 選択されたフレームをどのように「使う」かを改善することが、適切なフレームを「選ぶ」ことと同じくらい重要であることを証明しました。
• コスト効率: コンパクトなフレーム予算（8–16フレーム）と極めて小さな潜在トークン予算（32トークン）を用いて、長尺動画ベンチマークで最先端の結果を達成し、数千フレームを処理する計算コストを回避しました。
• タスク認識型の適応: 本フレームワークは、モデルがクエリの特定の証拠要件に基づいて、潜在容量の割り当てと推論ルートの選択を学習できることを示しており、静的な圧縮パイプラインを超えた進化を示しています。

著者らは、GenEvAが、静的なフレーム選択を動的なクエリ条件付きの証拠集約プロセスへと変換することで、長尺動画理解に対する軽量かつ効果的なソリューションを提供すると結論付けています。