💬 NLP

MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Hierarchical Graph Memory and Agentic Retrieval Mechanism

MemDreamerは、階層的なグラフメモリを構築し、エージェント的な検索メカニズムを採用することで、知覚と推論を分離し、コンテキストウィンドウの要件を劇的に削減しながら、長いビデオ理解において最先端の性能を達成するプラグアンドプレイのフレームワークです。

原著者： Cong Chen, Guo Gan, Kaixiang Ji, ChaoYang Zhang, Zhen Yang, Guangming Yao, Hao Chen, Jingdong Chen, Yi Yuan, Chunhua Shen

公開日 2026-06-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Cong Chen, Guo Gan, Kaixiang Ji, ChaoYang Zhang, Zhen Yang, Guangming Yao, Hao Chen, Jingdong Chen, Yi Yuan, Chunhua Shen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

概要：MEMDREAMERの解説

大きな問題：「バベルの図書館」

想像してみてください。あなたは超天才的な司書（AI）に、あらゆる本が書き込まれ、一本の100マイルにも及ぶ巨大な巻物として繋ぎ合わされた「あらゆる本が存在する図書館」の中から、特定の事実を見つけ出すよう依頼しています。

現在のAIモデルはこの問題に対し、巻物全体を一度に読み込もうとすることで解決を図っています。

結果： 司書は圧倒されてしまいます。中盤に到達する頃には冒頭の内容を忘れてしまい（「中だるみ/Lost in the middle」現象）、膨大な言葉の量に重要な手がかりが埋もれてしまいます。これは、積み上げられた干し草の山全体を食べて、その中の特定の針を探そうとするようなものです。

解決策：MEMDREAMER

著者らは、長いビデオ（数時間に及ぶ映画など）を扱うための新しい手法であるMEMDREAMERを開発しました。動画全体を一度に読み込ませる代わりに、彼らは作業を**「オブザーバー（観察者）」と「ディテクティブ（探偵）」**という2つの明確な役割に分割しました。

1. オブザーバー（知覚：Perception）

役割： このAIは、カメラマンのようにリアルタイムでビデオを観察します。
トリック： 単に生の映像を記録するわけではありません。代わりに、**「賢いメモ作成者」**として機能します。観察しながら、映画を構造化された「マップ」や「グラフ」へと分解していきます。
マップの構造：
- トップレベル（映画全体）： 全体のプロットに関する一文の要約。
- ミドルレベル（チャプター）： 主要なシーンや「スーパーイベント」の要約。
- ボトムレベル（シーン）： 特定のキャラクター、行動、およびそれらのつながりに関する詳細なメモ（例：「ジュディがアイスキャンディーを買った」ことが「ニックを怒らせた」原因である、など）。
比喩： 探偵に生のビデオテープを渡すのではなく、詳細かつ整理されたインデックスカードのシステムを作成し、ビデオテープ自体は片付けておくのです。

2. ディテクティブ（推論：Reasoning）

役割： 実際に質問に答えるのはこのAIです。
トリック： このAIはビデオを一度も見ません。オブザーバーが作成した**インデックスカード（テキストメモリ）**のみを見ます。
ツールベルト： ディテクティブはこのインデックスを操作するための特別な道具セット（「エージェンティック・ツールキット」）を持っています。
- ナビゲーション・ツール： 「映画全体の要約を見せて」「『チェイスシーン』のチャプターを表示して」など。
- 検索ツール： 「キャラクター『ニック』が登場する場面をすべて探して」など。
- グラフ・ツール： 「爆発につながった一連の出来事の連鎖を示して」など。
ループ： ディテクティブは質問を投げ、ツールを使って手がかりを見つけ、それについて考え、さらに詳細を得るために別のツールを使い、答えが出るまでこれを繰り返します。

なぜこれが優れているのか

論文では、この「デカップル（分離）」されたアプローチ（観察者と思考者を分けること）が、2つの大きな悩みを解決すると主張しています。

「トークンの爆発」の回避：
- 従来の方法： 2時間の映画を理解するために、AIは一度に160万語以上の単語を処理しなければなりませんでした。
- MEMDREAMER： ディテクティブは、問題を解決するために約6,000語（インデックスカード）を読むだけで済みます。これは、処理すべき情報量が40倍から120倍も少ないことを意味します！
「推論」能力の解放：
- 論文では驚くべき発見がありました。AIモデルにビデオ全体を無理やり読ませると、その「賢い推論」スキルがノイズによってブロックされてしまうのです。
- しかし、MEMDREAMERのクリーンなインデックスカードを使用させると、彼らの論理パズルを解く能力が、ビデオの理解へと直接的に変換されます。
- 比喩： これは、目隠しをされた（ビデオのノイズに溺れている）天才的な探偵から目隠しを外し、明確な地図を与えてあげるようなものです。突然、彼らは事件を解決するために全能力を発揮できるようになります。

結果

論文では、このシステムを4つの主要なベンチマーク（AIのビデオ理解に関する標準テストのようなもの）でテストしました。

パフォーマンス： MEMDREAMerは、現在利用可能な最も高価で強力なAIモデルを含む、これまでのあらゆる手法を打ち破りました。
人間レベル： AIと人間の専門家の差をわずか3.7ポイントまで縮めました。
効率性： 従来のメソッドが必要とするコンピュータメモリ（コンテキストウィンドウ）のわずか**2%**の計算量で、これらの高いスコアを達成しました。

まとめ

MEMDREAMERは、AIに映画全体を「暗記」させようとするのをやめさせます。代わりに、一つのAIに映画を整理させて検索可能なマップを作成させ、もう一つのAIにそのマップを探索する探偵として振る舞わせます。これにより、AIは明確に思考し、長いビデオ内の複雑な論理パズルを解き、ごくわずかな計算能力でそれを実現できるのです。

技術サマリー: MEMDREAMER

問題提起

現在の視覚言語モデル（VLM）は、数時間に及ぶビデオを処理する際に重大なボトルネックに直面しています。主な課題は、**トークンの爆発（Token Explosion）とアテンションの希釈化（Attention Dilution）**です。

トークンの爆発: 標準的なフレームレート（例：1 FPS）で2時間のビデオを処理すると、160万個を超えるトークンが生成され、最先端のモデルのコンテキスト制限さえも超えてしまいます。
アテンションの希釈化と「Lost in the Middle」: 既存のエンドツーエンドのパラダイムは、力任せのフレームサンプリングと超ロングコンテキストウィンドウに依存しています。これはビデオを膨大なトークンストリームへと平坦化してしまい、重要な推論信号がノイズの中に埋没する原因となります。モデルは長距離の依存関係や、関連する情報が大量の冗長なトークンの間で失われる「Lost in the Middle（中間の消失）」現象に苦慮します。
構造的限界: 現在のメモリベースのアプローチの多くは、フラットまたはチャンクベースのストレージを使用しており、ビデオコンテンツの階層的な性質（プロット $\to$ シーン $\to$ イベント $\to$ アクション）を捉えることができず、不可欠な時空間的および因果的なつながりを断絶させてしまいます。

メソドロジー: MEMDREAMER

MEMDREAMERは、**知覚（Perception）と推論（Reasoning）を分離（Decoupling）**することによってパラダイムシフトをもたらします。これは、長尺ビデオの理解を、受動的なトークン取り込みタスクから、**エージェンティックな探索プロセス（Agentic Exploration Process）**へと変貌させます。本フレームワークは、2つの明確なステージで構成されています。

1. 階層的グラフメモリ構築（知覚）

知覚モデル（ $P$ ）がビデオストリームをストリーミング方式で処理し、純粋にテキストベースの持続的な階層的グラフメモリ（Hierarchical Graph Memory）（ $G$ ）を構築します。このメモリは、粗から密へと向かう3層のトポロジーで構成されています。

ビデオルート（Video Root）: タイトル、テーマ、主要なエンティティを捉えたグローバルな要約。
スーパーイベント（Super Events）: より広い時間スケールにわたる物語のフェーズ。
マクロイベント（Macro Events）: エピソードレベルの要約。
ローカルサブグラフ（リーフ層 / Local Subgraphs）: 各マクロイベントは、以下の要素を含むローカルサブグラフとしてインスタンス化されます。
- エンティティノード（Entity Nodes）: 持続的な参照対象（人物、物体、場所）。
- マイクロイベントノード（Micro-Event Nodes）: 明示的な時間的範囲を持つ原子的なアクション。
- トポロジカルエッジ（Topological Edges）: これらのノードを接続する3つの異なるエッジタイプ：
  1. 空間属性（Spatial-attribute）: 静的なレイアウトと照応関係。
  2. 主客関係（Subject-object）: エンティティをそのアクションに結びつける。
  3. 時間・因果関係（Temporal-causal）: マイクロイベント間の時系列的な進行および因果的依存関係。

構築プロセス:

ストリーミング適応型セグメンテーション: 固定長のチャンクではなく、意味論に基づいたスライディングウィンドウを使用することで、マクロイベントが自己完結し、意味的に完全であることを保証します。
下方へのサブグラフ抽出（Downward Subgraph Extraction）: 細粒度の視覚的詳細が、各マクロイベントのローカルサブグラフへと抽出されます。
上方への階層的集約（Upward Hierarchical Aggregation）: ローカルな記述が蒸留・クラスタリングされ、スーパーイベントおよびビデオルートを形成することで、グローバルなナビゲーションのバックボーンを構築します。

2. エージェンティックなツール拡張型検索（推論）

別の推論モデル（ $R$ ）が、テキストベースのメモリ $G$ と観察・推論・行動（Observation-Reason-Action）ループを介して相互作用します。このモデルは、推論中に生のビデオフレームにはアクセスしません。代わりに、以下の3つのカテゴリからなる専用の**エージェンティック・ツールバンク（Agentic Tool Bank）**を利用します。

ナビゲーションツール: グローバルなコンテキストから特定の詳細へと垂直方向の移動（例：GetSummary, GetSuperEvent, GetMacroEvent, GetSubgraph）を可能にします。
検索ツール: 意味的類似性による迅速なノード特定（SearchNodes）や、時間フィルタリング（SearchByTime）を可能にします。
グラフ探索ツール: 論理的な連鎖に沿ったマルチホップ推論（GetRelationGraph）を可能にし、因果関係や空間関係を追跡します。

各ステップにおいて、モデルはツールを選択・実行し、生の観察結果をタスクに関連する証拠の手がかり（ $c_t$ ）のみへと**蒸留（Distill）**してから、その軌跡を更新します。これにより、無関係なテキストノイズの蓄積を防ぎます。

主な貢献

分離されたパラダイム: 長尺ビデオ理解において、知覚（メモリ構築）と推論（エージェンティックな検索）を明示的に分離した初のフレームワークであり、コンテキストウィンドウの制限を回避します。
階層的グラフメモリ: グローバルな物語構造とローカルな時空間・因果関係の両方を保持する、斬新な3層アーキテクチャを提供し、フラットまたはチャンクベースのストレージの限界に対処します。
エージェンティックな検索メカニズム: 受動的な消費から能動的なマルチステップ探索へと理解をシフトさせる、ツール拡張型のループを実現し、複雑な論理チェーンのナビゲーションを可能にします。
エージェンティックな相関の発見: 本論文は、VLMの固有のエージェンティック推論能力（AIME 2025などの論理ベンチマークで測定）と、長尺ビデオ理解性能との間に強い正の線形相関があることを経験的に確立しました。これは、エージェンティックな容量をスケールさせることが、マルチモーダル理解における新しいパラダイムであることを示唆しています。

実験結果

MEMDREAMERは、4つの主要なベンチマーク（LVBench, LongVideoBench, Video-MME, EgoSchema）で評価されました。

最先端（SOTA）の性能: 本フレームワークはすべてのベンチマークでSOTAの結果を達成しました。LVBenchにおいて、Gemini-3.1-Proをバックボーンとして使用した場合、90.7%の精度に達し、人間のエキスパート（94.4%）との差をわずか3.7ポイントにまで縮めました。
効率性: MEMDREAMERは、推論コンテキストウィンドウを、エンドツーエンドモデルが必要とするフルコンテキスト取り込み量のわずか2%（約6Kトークン vs 240K–784Kトークン）に抑制しています。
性能向上: 同じバックボーンを使用するエンドツーエンドのベースラインと比較して、MEMDREAMERはLVBenchにおいて12.5ポイントの絶対的な精度向上を実現しました。例えば、Qwen3-VLは63.6%から84.8%へと向上しました。
相関分析: 統計分析により、エージェンティックな推論スコアと、MEMDREAMERパラダイム下での長尺ビデオ性能との間に、ピアソンの相関係数 0.90 ( $p < 0.01$ ) が認められました（エンドツーエンドモデルでは 0.70 ( $p = 0.052$ ) でした）。これは、分離を行うことでモデルが推論能力を最大限に活用できることを裏付けています。
アブレーション研究:
- 階層構造またはグラフエッジを削除すると、性能が著しく低下しました。
- フルツール拡張型検索は、静的な埋め込み検索よりも20.2ポイント高い性能を示しました。
- システムは堅牢性を示しました。知覚モデルを入れ替えても最終的な性能への影響は最小限であり、知覚フェーズにおける高いエラー耐性を示しています。

重要性

本論文は、MEMDREAMERがマルチモーダルメモリシステムにおける新しい設計原則を確立していると主張しています。知覚と推論を分離することで、長コンテキスト処理の構造的なボトルネックを克服しています。エージェンティックな能力のスケールアップが長尺ビデオ理解の性能と直接相関するという発見は、将来の研究に向けた新しい最適化の方向性を示唆しています。すなわち、単にコンテキストウィンドウを拡張するのではなく、将来のVLMは、構造化されたメモリ環境内でのエージェンティックな検索および推論ループを強化することに焦点を当てるべきであるということです。このアプローチは、トークンの爆発という法外なコストを伴うことなく、エンボディード・インテリジェンス（身体化された知能）やオープンワールドでのインタラクションへのスケーラブルな道筋を提供します。