技術要約: MERIT (Multi-key Episodic Retrieval with Inference-time Temporal expansion)

問題提起

マルチモーダル大規模言語モデル（MLLM）の急速な進化により、ビデオ理解は短時間のクリップから、数時間あるいは数日間に及ぶ超長時間ストリームへとシフトしています。しかし、このような超長時間ビデオをエンドツーエンドで直接処理することは、コンテキストウィンドウの制限により計算上不可能です。RAG（検索拡張生成）フレームワークは解決策を提供しますが、従来のアプローチは、超長時間の設定において以下の2つの決定的な非効率性を抱えています：

1. クエリ非依存のオーバーヘッド（Query-Agnostic Overhead）: 既存の手法（階層的要約やグラフベースのメモリなど）は、下流のクエリを知る前に、高レベルのセマンティックな関係や構造を事前モデル化するために多大な計算リソースを投入します。これは、特定の必要とされる情報と一致しない可能性のある「クエリ非依存の抽象化」を強制することになります。
2. インテリジェンスの誤配分（Intelligence Misallocation）: 強力なMLLMを使用して、複雑で静的なメモリ構築（例：セグメントを日単位の要約に統合したり、知識グラフを構築したりすること）を行うことは、後回しにできるはずのタスクに対して高い能力を持つ推論能力を浪費させています。

著者らは、ボトルネックを「事前に複雑な静的セマンティクスを構築すること」から、「適切な細粒度の証拠を一貫して届けるための高再現率な検索を可能にすること」へとシフトすべきであると主張しています。つまり、セマンティックな構成を、クエリが既知である推論時にまで遅延させるのです。

手法: MERIT

MERITは、超長時間ビデオ理解のために設計された軽量でエージェント的なフレームワークです。これは、エピソードメモリ構築（クエリ非依存）と、エージェントによる検索および回答（クエリ依存）という、最小限の2段階パラダイムを採用しています。

1. エピソードメモリ構築 (ステージ 1)

複雑な階層的グラフやマルチスケールの要約を構築する代わりに、MERITはビデオ $V$ を重複のない30秒のクリップに分割します。各クリップに対して、密なキャプションを生成し、一連のマルチキー ($K_i$) を抽出します。

• マルチキー表現: 各クリップは、多様な視点を捉えるために、4つの異なる補完的なキーによってインデックス化されます：
  • イベント/アクション・キー (Event/Action Key): 観察可能な物理的動作や相互作用。
  • ダイアログ/メンション・キー (Dialogue/Mention Key): 発話内容、コマンド、または特定の単語。
  • オブジェクト・キー (Object Key): 取り扱われた、要求された、または移動された特定のアイテム（状態遷移を含む）。
  • サマリー・キー (Summary Key): コアとなるナラティブのコンパクトなキーワード形式の抽象化。
• メモリ・ストア: メモリ $M$ は単純なキー・バリュー・ストアであり、キー ($K_i$) が検索を可能にし、値 ($v_i, d_i$) が生の証拠を提供します。

2. エージェントによる検索および回答 (ステージ 2)

推論時、システムは反復的なマルチターン・ループ内で動作します：

• マルチキー検索 (Multi-Key Retrieval): ソルバー（解決器）は検索クエリ $q^{(j)}$ を生成し、文章埋め込みモデルを用いて保存されたキーと照合します。検索の関連性は、特定のクリップに対する全キーの中での最大類似度によって決定されます：
  $$S_i^{(j)} = \max_{k \in K_i} \text{sim}(E(q^{(j)}), E(k))$$
  これにより、いずれかのキーがクエリと一致すればそのクリップが検索可能となり、再現率が大幅に向上します。
• 近傍フィルタリング（時間的拡張） (Neighbor Filtering / Temporal Expansion): 証拠はしばしば隣接する複数の瞬間にまたがることを認識し、MERITは検索された30秒のアウンカー（核となる部分）だけに依存しません。一連のクリップが検索されると、システムは隣接するクリップ（例：$\pm \Delta$ クリップ）を含めることで、動的に時間的コンテキストを拡張します。
• クエリ依存フィルタリング (Query-Aware Filtering): ソルバーは、この拡張されたローカル・コンテキストに対するフィルターとして機能し、特定のクエリに関連する情報のみを抽出します。これにより、事前計算されたグローバル構造なしに、一貫したコンテキストを再構成します。
• 反復推論 (Iterative Reasoning): エージェントは、蓄積された証拠が十分であるかどうかを判断します。不十分な場合は、クエリを洗練させて検索を繰り返し、十分な場合は証拠を統合して最終的な回答を生成します。

主な貢献

1. インテリジェンス配分のパラダイムシフト: 本論文は、クエリ非依存の前処理に投資するのではなく、セマンティックな構成を推論時にまで遅延させることを提案しています。これにより、タスクが指定された時にのみ、MLLMの全推論能力を活用できます。
2. シンプルかつ効果的なマルチキー・インデキシング: 最小限のエピソード・セグメントに4つの異種混合キーを付与することで、MERITは階層的またはグラフベースのメモリ構築に伴う計算オーバーヘッドなしに、高再現率の検索を実現しています。
3. オンデマンドの時間的拡張: 「近傍フィルタリング」メカニズムは、検索されたセグメントの周囲に限定して時間的範囲を拡張することで、より広いセマンティック・コンテキストを捉えます。これにより、グローバルなメモリ構築に伴う膨大なコストを回避しています。
4. ミニマリストなアーキテクチャ: MERITは、高価なマルチステージのメモリ集約を排除し、単純なキー・マッチング・メカニズムと動的なコンテキスト拡張に依拠しています。

実験結果

MERITは、3つのロングビデオ・ベンチマーク（EgoLifeQA（超長時間、一人称視点）、LVBench（1時間級）、Video-MME (Long)）で評価されました。

• 最先端（SOTA）の性能: MERITはすべてのベンチマークで新たなSOTAを達成しました。
  • EgoLifeQAにおいて、ソルバーとしてGPT-5を使用したMERITは、平均精度**71.2%を達成し、従来のSOTA（GPT-5を用いたWorldMM）を+5.6%**上回りました。
  • LVBenchにおいて、MERIT（GPT-5）は**71.8%に達し、従来のSOTAを+9.9%**上回りました。
  • **Video-MME (Long)において、MERITは77.7%**を達成し、WorldMM（76.6%）を上回りました。
• 効率性: MERITはメモリ構築において顕著な効率向上を示しました。WorldMMと比較して、入力トークン数を8.4倍、出力トークン数を8.6倍削減し、LLMの呼び出し回数を約23,700回から約6,200回へと削減しました。
• 検索の質: MERITは、階層型（EgoRAG: 0.15）やグラフベース（WorldMM: 0.53）のベースラインと比較して、より高いヒット率（0.56）を達成しました。これは、精密で細粒度な検索がQA性能にとって極めて重要であることを裏付けています。
• アブレーション研究:
  • 近傍フィルタリング: このコンポーネントを削除すると、特に広いコンテキストを必要とするカテゴリ（例：RelationMap, HabitInsight）において、性能が大幅に低下しました。
  • マルチキーの組み合わせ: 4つのキーすべてを同時に使用することで最高の精度が得られ、キーの相補性が検証されました。
  • ソルバーへの依存性: パフォーマンスはより強力なソルバー（例：GPT-5 vs Qwen3-VL-8B）とともに大幅に向上し、メモリは軽量であるべきであり、複雑な推論はソルバーが担うべきであるという仮説を強化しました。

意義と主張

本論文は、セマンティックな構成をクエリ時にまで遅延させることが、クエリ非依存の前処理に投資することよりも、より原理的かつ効果的なアプローチであると主張しています。結果は以下を示唆しています：

1. シンプルさは効果的である: 単純なエピソード・マルチキー・メモリとオンデマンドの時間的拡張を組み合わせることで、複雑な階層的およびグラフベースのアーキテクチャを凌駕できます。
2. 検索がボトルネックである: 事前計算されたセマンティック構造よりも、細粒度の証拠の高再現率な検索の方が重要です。
3. スケーラビリティ: ビデオの長さが増加するにつれて、複雑なグローバルメモリ構造を更新するための連鎖的な計算コストが発生しないため、本フレームワークは任意の長さのビデオに対して高いスケーラビリティを持ちます。

著者らは、複雑な推論に必要な「インテリジェンス」は、クエリが適切な抽象化を定義する推論ステージに割り当てられるべきであることを強調し、MERITを将来の超長時間ビデオ理解のための実用的かつスケーラブルな基盤として位置づけています。