技術要約: MemoryVAM

問題提起

ビデオ・ワールドモデル・ポリシーは、将来の観測を予測することで、短く固定された長さの観測ウィンドウに基づき、行動に関連する表現を学習する。これは近似的にマルコフ的なタスクには効果的であるが、この設計は、現在のウィンドウ内に見えない過去のイベントに正しい行動が依存するような、長期的なホライゾンを持つマルチステージの操作タスクにおいては失敗する。このようなシナリオ（例：「赤いブロックを3回拾う」）では、視覚的に類似した状態であっても、隠れたタスクの進行状況（例：現在のカウント数）に基づいて異なる行動が必要となる。エピソード記憶がなければ、これらのタスクは非マルコフ的となり、ポリシーは反復的なシーケンスの異なる段階を区別できなかったり、空間的な履歴を想起できなかったりすることで失敗を引き起こす。

手法: MemoryVAM

著者らは、ビデオ・ワールドモデル・ポリシーに履歴を統合するために設計されたエピソード記憶メカニズムであるMemoryVAMを提案している。核心となる革新は、コンパクトなメモリトークンのセットがビデオ・バックボーンの将来予測とアクション・デコーダの制御決定の両方に影響を与える**デュアル・メモリ・コンディショニング（二重メモリ条件付け）**である。

1. エピソード履歴のエンコーディング

各タイムステップ $t$ において、システムは過去のフレームのCLIP視覚埋め込みからなるエピソード履歴 $\mathcal{H}_t$ を保持する。CLIP埋め込みを使用することで、メモリは低レベルのピクセル差分ではなく、タスクに関連する意味的な変化を追跡することが可能になる。

2. Recap-Cue (RC) モジュール

RCモジュールは、可変長の履歴を固定サイズのメモリ表現へと処理する：

• Recap Compressor（リキャップ・コンプレッサー）: Perceiverベースのリサンプラーが、エピソード履歴をコンパクトなメモリトークンの行列 $\mathbf{G}$ へとマッピングする。学習されたクエリを使用することで、タスクの進行を説明するイベントを選択的に注意深く捉え、順序を考慮した位置エンコーディングを通じて「何が起きたか」と「いつ起きたか」の両方を捕捉する。
• Cue Gate（キュー・ゲート）: 軽量なモジュールが、バックボーンのプーリングされた特徴、メモリトークン、および言語指示に基づき、タスク完了スコア $q_\omega$ を推定する。これにより、トレーニング中にフレームごとの進行ラベルを必要とせずに、自律的なタスク終了が可能となる。なお、監督（supervision）はデモンストレーションのエピソード境界から導出される。

3. デュアル・メモリ・コンディショニング（注入）

メモリトークン $\mathbf{G}$ は、2つの補完的な経路を介して注入される：

• 経路1（ビデオ・バックボーン）: $\mathbf{G}$ はビデオ・バックボーンのクロスアテンション層に注入される。
  • Cosmos DiT バックボーンの場合、メモリトークンはテキスト条件付け行列に付加される。
  • SVD UNet バックボーン（例：VPP）の場合、テキストブランチの他に、独立したメモリブランチが導入される。
  • 効果: これにより、予測される将来のフレームと中間的なバックボーンの特徴が、エピソード全体の履歴に基づいて条件付けられ、モデルの「想像（imagination）」がタスクの進行状況と一致することを保証する。
• 経路2（アクション・デコーダ）: 同じメモリトークン $\mathbf{G}$ が、観測トークン（バックボーンから派生したもの）と結合され、アクション・デコーダに供給される。
  • 効果: これにより、エピソード記憶に基づいた行動分布が直接制約され、ポリシーが履歴と整合した制御を選択することを確実にする。

4. トレーニング戦略

本モデルは、2段階のトレーニング手順を採用している：

1. ステージ1: ビデオ予測目的関数、デルタ再構成補助損失、およびCue Gate損失を用いて、ビデオ・バックボーンとメモリ・モジュールを訓練する。これにより、メモリに将来の状態を予測し、タスク完了を判断するために有用な情報をエンコードさせる。
2. ステージ2: バックボーンを安定させたまま、得られたメモリ条件付き特徴量を用いてアクション・ポリシーを訓練する。

このメカニズムはアーキテクチャに依存せず、UNet (VPP) と Diffusion Transformer (DiT) (Cosmos) の両方のビデオ・バックボーンで実証されている。

主な貢献

1. デュアル注入インターフェース: コンパクトなRecapトークンをビデオ・バックボーンとアクション・デコーダの両方に統合し、履歴が「想像された未来」と「制御特徴量」の両方に共同で影響を与えることを可能にする二経路のメカニズム。
2. Recap-Cue (RC) モジュール: 歴史の要約のためのPerceiverベースのコンプレッサーと、明示的なステップごとの進行ラベルなしで動作する自律的タスク完了のためのCue Gateを組み合わせた新しいモジュール。
3. バックボーンへの非依存性: 本手法は、異なるビデオ・バックボーンのパラダイム（UNetおよびDiT）にわたって検証されており、エピソード記憶が長期ホライゾンのビデオ・ワールドモデル・ポリシーにとって一般的な要件であることを示している。

実験結果

著者らは、シミュレーション・ベンチマークおよびエピソードの想起を必要とする実ロボット・タスクにおいてMemoryVAMを評価した。

• LIBERO-Mem ベンチマーク:

  • エピソードの想起（カウント、シーケンシング、空間推論）を必要とするタスクにおいて、UNetバックボーンでは平均成功率が 5% から 42.5% へ、DiTバックボーンでは 3.0% から 40.5% へ向上した。
  • アブレーション研究によれば、経路1（バックボーン注入）のみを使用した場合の成功率は28.5%であり、経路2（アクション・デコーダ注入）のみの場合はわずか7.5%であった。最適な性能を得るためには、完全なデュアル注入が必要であった。
  • MemoryVAMは、メモリ拡張型VLAベースライン（例：MemoryVLA、Gated Memory Policy）およびメモリレスのベースラインを上回った。

• 実ロボット実験:

  • Toy Pickup ($k\times$): カウントタスク（1回、3回、5回の繰り返し）において78.3%の成功率。
  • Place and Return: 空間的想起タスクにおいて80.0%の成功率。
  • Shell Game: 遮蔽されたオブジェクトを含む逐次トラッキング・タスクにおいて75.0%の成功率。
  • 対照的に、タスクの進行が直接観察できない場合、メモリレスのポリシーはこれらのタスクにおいて崩壊した（成功率0%）。

• ビデオ予測の品質:

  • メモリ注入は、長期の自己回帰的ロールアウトの忠実度を大幅に向上させた。例えば、UNetバックボーンにおいて、FVDスコアはシングルホライゾンで43.36から18.32へ、8倍ホライゾンでは37.81から19.84へと改善した。
  • Cue Gateは「停止比率（完了後の動き）」を効果的に減少させ、目標達成後に不要な動作を想像することを防いだ。

意義と主張

本論文は、エピソード記憶を単なるアクション・ポリシーへの補助的な入力としてではなく、ワールドモデルの状態の不可欠な構成要素として扱うべきであると断じている。エピソード履歴が「ロボットが何を想像するか（未来予測）」と「どのように行動するか（制御デコーディング）」の両方を形成することを可能にすることで、MemoryVAMは長期ホライゾンのタスクにおける非マルコフ性を解決している。

著者らは、このアプローチがスケーラブルなメモリ・システムの道筋を提供すると主張している。なぜなら、メモリ・モジュールはアクションラベル付きのデモンストレーションだけに依存するのではなく、生成ビデオ目的関数（将来のフレームの予測）によって監督されるためである。これにより、メモリは環境の視覚的ダイナミクスと一貫したタスク進行シグナルを学習することができる。本研究は、複雑でマルチステージのロボット操作において、多様なビデオ・バックボーン・アーキテクチャが成功するためには、明示的なエピソード記憶が極めて重要であることを示している。