Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval

技術的概要：視覚的エージェントメモリ（VAM）

問題定義
長動画の理解は、根本的な課題に直面しています。高帯域幅の動画キャプチャは実用的である一方で、無制限のストリームを安定した、検索可能で検証可能なメモリ基盤へと変換することは依然として困難です。既存のパラダイムは、特定の限界に悩まされています。直接の長コンテキストモデルは、動画の長さが増すにつれて注意の希薄化の影響を受けやすくなります。圧縮メモリ方式は処理可能性を向上させますが、しばしば微細な視覚証拠を破棄し、「回復性の崩壊」を招きます。これは、意味的な要旨は保持されるものの、検証に必要な生データが失われる状態です。再帰的エージェントアプローチは、中間推論が保持された観測に対して検証できない場合、メモリドリフトを蓄積する可能性があります。さらに、オンライン調整設計は過度に圧縮する傾向があり、長距離調整設計は高コストなオフライン前処理に依存しています。核心的な問題は、圧縮された潜在状態のみに依存することなく、数時間から数日にわたるアーカイブを、検索可能、監査可能、かつ下流の推論に有用な形で維持する方法です。

手法：視覚的エージェントメモリ（VAM）
著者は、生動画ストリームを検索可能な長視野メモリへと変換し、かつ元のフレームを第一級の証拠として保持するように設計された、学習不要なフレームワーク「視覚的エージェントメモリ（VAM）」を提案します。このシステムは、連続的なインデックス作成とクエリ時の推論を分離し、3 つの連動するコンポーネントを通じて動作します。

1. オンラインインデックス作成: このコンポーネントは、ストリーミング制約下で入力フレームをフィルタリングし、視覚的に重要な遷移を保持します。これは 3 段階のプロセスを採用します。

   • フレームフィルタリング: 高コストなニューラル処理に先立ち、ラプラシアン分散を介してぼやけたフレームを、事前埋め込みの類似性チェックを介して視覚的に冗長なフレームを除去します。
   • 埋め込み抽出: 保持されたフレームは、事前学習されたマルチモーダルモデルを用いて高密度埋め込みへとエンコードされます。
   • 境界保持コミットメント: システムは、埋め込み距離のオツュ分割に基づく適応的な重複排除ゲートを用いて、「モーメント」（メタデータ付きの保持フレーム）をいつコミットするかを決定します。これにより、遷移は保持されつつ、準静的な間隔は圧縮されます。

2. 階層的メモリ: 保持されたモーメントは、並列的な時空間表現を通じて「イベント」として組織化されます。

   • 空間表現: 直接視覚検査のために、保持された生フレームとその埋め込みを格納します。
   • 時間表現: 時間的に限定された証拠から MLLM によって生成されたイベント要約を格納します。これらの要約は、重要な活動、エンティティ、時間的手がかりを捉えます。
   • 年齢認識型ストレージ: システムはストレージ階層（最近、中程度、長期）を管理し、古いセグメントはコンパクトな手がかりに統合され、最近のウィンドウは高密度なペイロードを保持します。これにより、生フレームのわずかな割合のみを格納することで、月単位のストリーム（例：51 日）へのスケーリングが可能になります。

3. エージェント検索: クエリ時、MLLM は限定されたマルチターンループで動作する検索エージェントとして機能します。これは「観測–仮説立案–検査」のパラダイムに従います。

   • ハイブリッド検索: エージェントは、時間経路（イベント要約）と空間経路（フレーム埋め込み）の両方を検索し、候補証拠を特定します。
   • 根拠に基づく検査: 検索された候補は暫定的です。エージェントは inspect アクションを呼び出し、生フレーム上で直接視覚検証を実行し、曖昧さを解消し、検索信号間の矛盾を裁定します。
   • 回答合成: エージェントは、十分な根拠に基づく証拠が見つかった場合にのみ終了し、特定の回復可能な視覚間隔にアンカーされた回答を生成し、証拠を引用します。

主要な貢献

1. 定式化: 本論文は、オンライン長動画理解を証拠回復可能な視覚メモリ問題として再定義し、単にコンテキストウィンドウを拡張することから、検索可能かつ検査可能なメモリの構築へと焦点を移します。
2. フレームワーク: VAM は、ストリーミング動画からメモリを漸進的に構築し、インデックス作成と推論を分離する、学習不要で検索優先のフレームワークとして導入されます。
3. 表現: イベントレベルの要約と保持された生フレームを整合させ、効率的なタイムライン検索と直接視覚検証の両方を支援する、階層的な並列時空間表現が提案されます。
4. 実証的検証: このフレームワークは、生データの最小限の割合を格納しながら、オンラインおよび長視野環境における性能向上を実証しています。

結果
著者は VAM を 2 つのベンチマークで評価しました。

• OVO-Bench（オンライン評価）: VAM は、報告されたすべてのベースラインにおいて、最高となる RT+BT（リアルタイム＋バックワード追跡）平均68.41を達成しました。これは、同じ基盤 MLLM（Gemini 3 Flash）のエンドツーエンド使用（スコア 67.46）を上回っており、アーキテクチャコンポーネント（インデックス作成、メモリ、検索）がモデル容量のみよりも体系的な利益を提供することを示しています。
• MM-Lifelong（長視野評価）: 月単位の分割（51 日間の 105.6 時間）において、VAM は**17.11%**の精度に達しました。これは報告された結果の中で 2 番目に高く、GPT-5 を用いた ReMA（17.62%）に次ぐものであり、エンドツーエンドの MLLM ベースラインを大幅に上回っています。
• 効率性: 月単位の実行において、VAM は生データ 1140 万フレームのわずか6,876 フレーム（0.06%）のみを格納し、均一固定レートサンプリングベースラインと比較して 27.7 倍から 55.3 倍の削減を実現しました。

意義と主張
本論文は、長視野動画理解が、圧縮された潜在状態のみに依存するのではなく、明示的、検査可能、かつ検索可能な基盤として視覚メモリを扱うことで恩恵を受けることを主張しています。生フレームを第一級の証拠として保持することで、VAM は回答を元の観測に対して検証可能な根拠に基づく推論を可能にします。結果は、明示的な証拠保持とエージェント検索が、単にコンテキストウィンドウを拡大することや、証拠保持なしの再帰的推論に依存することよりも、月単位の動画理解における性能格差をより効果的に狭めうることを示唆しています。著者は、人間とモデルの間の格差は依然として大きい（MM-Lifelong において 82.5% 対 17.11%）と指摘しつつも、VAM の証拠保持アプローチは、現在の代替手段よりもこの課題を解決するためのより効果的な道を提供すると述べています。

著者はまた、モダリティの非対称性（音声保持の欠如）、アーカイブの成長に伴う微細な曖昧さ解消の難易度増大、連続的なインデックス作成と反復的検査に伴う運用コストといった限界も認めています。彼らは、将来の展開においては、生視覚証拠の保持に関連するプライバシー懸念に対処する必要があることを強調しています。