技術要約：Watch, Remember, Reason: MLLMによる人間視点のビデオ理解

1. 問題提起

ビデオ理解の分野は、マルチモーダル大規模言語モデル（MLLM）によって駆動されるパラダイムシフトの最中にあります。初期のビデオモデルは短いクリップや孤立した知覚タスクに焦点を当てていましたが、現在の研究は、入力が数分から数時間に及ぶ長期間の理解（long-horizon comprehension）へと移行しています。このシフトは、冗長性（長いビデオには多くの反復的なフレームが含まれる）とエビデンスの希薄さ（決定的な証拠はしばく短時間、遠隔、あるいは散在している）という根本的な緊張関係をもたらします。

既存のアプローチはビデオタスクを孤立したベンチマークとして扱うことが多く、映画、スポーツ中継、医療処置といった実世界のシナリオにおけるシステム要件に対処できていません。これらのシナリオでは、以下の能力を持つモデルが求められます：

• 限られた計算予算の下で、有用な瞬間を選択的に知覚すること。
• 有限なコンテキストウィンドウを超えて、顕著な情報を保持すること。
• 回答を明示的な時空間的エビデンスに結びつけることで、忠実な推論を行うこと。
• 非同期的なマルチモーダル信号（視覚、音声、テキスト）を処理すること。

既存のサーベイは、ビデオ理解のシステムにおける知覚、メモリ、推論を統合した統一的なフレームワークを提供できておらず、特定のタスク、技術、または学習パラダイムに焦点を当てすぎている傾向があります。

2. メソドロジー：「人間視点」のタクソノミー（分類学）

本論文は、ビデオ理解システムを分析するための統一的なフレームワークとして、プロセスをWatching（見る）、Remembering（覚える）、**Reasoning（考える）**という3つの核となる機能的能力に分解する「人間視点」のフレームワークを提案しています。

2.1 統一された定式化

著者らは、ビデオ理解システム $F_{VU}$ を、一連の機能モジュールとして定式化しています：

1. Watching ($F_{watch}$): クエリ ($q$) に基づいて、マルチモーダル・ストリーム ($V, A, T$) からタスクに関連する知覚的エビデンス ($Z$) を抽出します。これには、時空間的なグラウンディング、クエリに応じたフレーム選択、およびクロスモーダルなアライメントが含まれます。
2. Remembering ($F_{remember}$): 有用なエビデンスを蓄積し、冗長性をフィルタリングすることで、時間の経過とともにメモリ状態 ($m_t$) を更新します。これは、短期的なコンテキストと長期的なメモリ ($M$) を橋渡しします。
3. Reasoning ($F_{reason}$): 知覚的エビデンスとメモリに基づいて推論の痕跡 ($R$) を生成します。これには、テキストによるステップ、グラウンディングされたタイムスタンプ、またはツール使用のアクションが含まれます。
4. Output ($F_{out}$): 統合された状態に基づいて、最終的な予測 ($O$) を生成します。

システムは通常、教師あり微調整（SFT）や、Group Relative Policy Optimization (GRPO) のような強化学習（RL）技術を用いて訓練された、自己回帰的なMLLM内で実現されます。

2.2 メソッドのタクソノミー

本サーベイは、代表的な手法をこれら3つの機能的能力に従って整理しています：

• Watching (知覚):

  • 細粒度 (Fine-grained): 精密な時空間グラウンディング（例：TimeChat, LITA）やオブジェクト・トラッキングに焦点を当てます。
  • 包括的 (Comprehensive): ビデオ全体のキャプション生成、高密度ビデオキャプション、およびリージョンレベルの記述をカバーします。
  • オーディオ・ビジュアル (Audio-Visual): 全方位的な知覚のために聴覚信号を統合します（例：Qwen2.5-Omni, LLaMA-Omni）。
  • 効率的 (Efficient): フレーム選択、トークン圧縮、および疎なアテンション・メカニズムを通じて冗長性に対処します（例：AKS, Video-XL-2）。

• Remembering (メモリ):

  • オフライン・メモリ (Offline Memory): エージェンティック (Agentic)（LLMが自律的にツールを呼び出してメモリを構築・検索する、例：VideoAgent）と、非エージェント (Non-Agent)（圧縮と構造化されたストレージを用いた決定論的なパイプライン、例：MovieChat, LongVU）に分けられます。
  • ストリーミング・メモリ (Streaming Memory): スライディングウィンドウ、KVキャッシュの最適化、および階層的メモリバンクを通じて、無制限のビデオストリームを処理します（例：Flash-VStream, StreamMem）。

• Reasoning (推論):

  • テキストのみの推論 (Text-only Reasoning): モデルは言語のみで中間的な思考プロセスを生成します。これには、エージェンティック（反復的なプランニングとツール使用、例：DoraemonGPT）と、非エージェント（RLまたはCoTによる事後学習、例：Video-R1）のアプローチが含まれます。
  • ビデオを用いた思考 (Thinking with Videos): モデルは推論と明示的な視覚的グラウンディング（再視聴、ズーム、バウンディングボックスなど）を交互に行います。これには、エージェンティックなアプローチ（エビデンスを調査するためにツールを使用する、例：VITAL）と、非エージェントなアプローチ（タイムスタンプやボックスを含む構造化された出力を生成する、例：Open-o3-Video）が含まれます。

3. 主な貢献

本論文は、この分野に対して主に3つの貢献を行っています：

1. 人間視点のタクソノミー: 多様なビデオMLLMの手法を、孤立したタスクごとにグループ化するのではなく、その機能的役割を明確にする「Watch–Remember–Reason」という一貫したフレームワークを導入しました。
2. 包括的な網羅性: 長期ビデオ理解、細粒度グラウンディング、メモリ・モデリング、エージェンティック・システム、ストリーミング処理、およびグラウンデッド・リーズニングを具体的にカバーし、MLLM時代における主要な技術を幅広くレビューしています。
3. 体系的なリソースの要約: 学習データセット、評価ベンチマーク、およびドメイン固有のアプリケーション（一人称視点、スポーツ、インストラクショナル、医療、ナラティブ）を統合し、モデル開発と評価のための実践的なガイダンスを提供しています。

4. 結果と知見

本論文は新しい実験結果を提示するものではなく、そのタクソノミーを通じて最先端の技術を合成しています。主な知見は以下の通りです：

• パラダイムの転換: 分野は、単純な入力圧縮と回答生成から、構造化されたメモリ、ストリーミング・システム、およびエビデンスに基づいた推論へと移行しています。
• RLの有効性: 強化学習（特にGRPOや選好最適化）は、時間的グラウンディングの向上、ハルシネーションの低減、および忠実な推論プロセスの促進に効果的であることが証明されています。
• メモリの課題: オフライン・メモリの手法は成熟しつつありますが、一定のレイテンシとメモリ予算内で無制限の入力を処理するためのストリーミング・メモリは依然として重要な課題です。
• 推論の忠実性: 「ビデオを用いた思考」（視覚的エビデンスと推論を交互に行う）アプローチは、テキストのみの推論と比較してハルシネーションを抑制する上で優れた性能を示していますが、計算コストが高くなる傾向があります。
• ドメイン固有性: 異なるドメインは独自の制約を課します。例えば、医療ビデオはグローバルな手順のコンテキストと局所的な解剖学的エビデンスを必要とし、スポーツビデオは高速な動作の精密な時間的ローカリゼーションを要求します。

5. 重要性と今後の方向性

本論文は、手法の機能的役割を理解し、なぜ知覚、メモリ、推論が連携しなければならないのかを説明するために、「人間視点」の観点が不可欠であると主張しています。また、いくつかの未解決問題と将来の方向性を特定しています：

• 空間的推論: オブジェクトレベルのトラッキングとシーンレベルの3D理解の間のギャップを埋めること。
• マルチビデオ・グラウンディング: 単一のクリップ入力を超えて、ハイライトの編集物やマルチセグメントの検索を扱うこと。
• 時間スケールでの理解: 長距離の依存関係を失うことなく、数時間にわたる稀で決定的な瞬間を扱うことができる、構造化されたマルチレベルのメモリ・システムを開発すること。
• 効率的かつ検証可能な推論: 推論を「予算化されたエビデンス探索」として扱うことで、計算コストと忠実性のバランスを取ること。
• ストリーミング一人称視点ビデオ: プロアクティブなアシスタントやエンボディド・エージェントのための、ステートフルで目標指向のストリーミング・メモリを作成すること。

著者らは、ビデオ・インテリジェンスの未来は、スケーラブルで、メモリを意識し、エビデンスに基づいたシステムにあると結論付けており、キュレーションされたリポジトリを通じて関連研究を継続的に追跡することを推奨しています。