MEM: Multi-Scale Embodied Memory for Vision Language Action Models

本論文は、ビデオに基づく短期記憶とテキストに基づく長期記憶を組み合わせることで、15 分を超える長期的なタスクの実行や文脈に応じた適応的な操作戦略の構築を可能にする、ロボット制御のためのマルチスケール具現化記憶（MEM）を提案しています。

要約

この論文は、ロボットに「記憶」を持たせるための新しい仕組み**「MEM（Multi-Scale Embodied Memory：多スケール具現化メモリ）」**について紹介しています。

一言で言うと、**「ロボットが長い時間かけて複雑な作業をするとき、ただの『写真』と『メモ帳』を上手に組み合わせて、忘れずに作業を完結させる技術」**です。

これを一般の方にもわかりやすく、いくつかの比喩を使って説明しますね。

1. ロボットが抱える「記憶の悩み」

これまでのロボットは、目の前の映像を見て「今、何をするか」を決めるのが得意でした。しかし、**「15 分もかけてキッチンを片付ける」や「レシピ通りに料理を作る」**ような長い作業になると、ロボットはすぐに混乱してしまいます。

• 悩み A（直近の記憶）： 手が動いて視界を遮った瞬間、さっき持っていたお皿がどこにあったか忘れる。
• 悩み B（遠い記憶）： 料理の途中、「あ、バターは入れたっけ？」と、数分前にやったことを忘れる。

これまでの技術では、過去の映像をすべて記憶しようとすると、ロボットが「頭（計算能力）」を使い果たしてフリーズしてしまったり、逆に情報を詰め込みすぎて「何が一番重要か」を見失ったりしていました。

2. MEM の解決策：2 つの「記憶ツール」

MEM は、ロボットに**「2 つの異なる記憶ツール」を持たせることでこの問題を解決します。まるで、私たちが「スマホのカメラ」と「手帳」**を使い分けるようなものです。

① 短期記憶：「高機能なカメラ（動画エンコーダー）」

• 役割： 直近の数秒〜数十秒の出来事を、**「映像」**として鮮明に覚えます。
• 比喩： これは**「スマホのカメラ」**のようなものです。
  • 手が動いてお皿が見えなくなっても、直前の映像を思い出し、「あ、お皿はここにあったはずだ」と再確認できます。
  • 「お皿を掴もうとしたけど滑ったな」という失敗をすぐに覚えて、「次はもっと強く掴もう」とその場で戦略を変えられる（文脈適応）のが得意です。
  • ポイント： 映像データは重いので、長時間保存するのは大変ですが、MEM はこれを**「超高速で圧縮」**する技術を使って、リアルタイムで処理できるようにしました。

② 長期記憶：「賢いメモ帳（言語メモリ）」

• 役割： 数分〜15 分前の出来事を、**「言葉」**として要約して覚えます。
• 比喩： これは**「手帳」や「日記」**のようなものです。
  • 料理中に「バターを入れた」「卵を割った」といった重要なステップだけを、**「バターと卵を入れた」**という短い言葉でメモします。
  • 「緑色のボウル、青いボウル、黄色いボウルを棚に入れた」という細かい詳細は捨てて、「3 つのボウルを棚に入れた」と要約します。
  • ポイント： 映像をすべて覚えるのではなく、**「必要なことだけ言葉で残す」**ので、長時間の作業でも記憶が溢れず、ロボットは「次に何をするべきか」を冷静に判断できます。

3. この技術で何ができるようになった？

この「カメラ（映像）」と「メモ帳（言葉）」を組み合わせることで、ロボットは以下のような驚くべきことができるようになりました。

• 15 分間の料理大作戦：
  グリルチーズサンドイッチを作る際、「パンを焼いて、チーズを挟み、ひっくり返す」という手順を、15 分間かけて正確に実行できます。途中で「バターは入れたか？」と迷うこともありません。
• キッチンの大掃除：
  散らかったキッチンを片付ける際、「食器を洗ったか」「棚にしまったか」「拭き掃除は終わったか」をすべて記憶し、完璧に片付けられます。
• 失敗からの学習（その場での適応）：
  もし「箸を掴もうとしたけど、高さが合っていなくて失敗した」ということがあれば、ロボットはその失敗を短期記憶として覚えて、「次はもっと低い位置で掴もう」と即座に戦略を変えます。以前のロボットは同じ失敗を繰り返していましたが、MEM を使えば賢く対応できます。

4. なぜこれがすごいのか？

これまでのロボットは、記憶を持たせると「頭が重くなって動きが遅くなる」か、「記憶がごちゃごちゃになって失敗する」というジレンマがありました。

MEM は、**「短い時間は映像で詳しく覚える」「長い時間は言葉で要約して覚える」という、人間の脳の仕組みに似た「使い分け」を実現しました。これにより、ロボットは「リアルタイムで素早く動ける」まま、「15 分もの長い間、忘れずに作業を続けられる」**ようになったのです。

まとめ

この論文は、ロボットに**「目の前の映像（カメラ）」と「過去の要約（メモ帳）」という 2 つの武器を持たせることで、「長い時間がかかる複雑な家事や料理」**を、人間のように柔軟に、かつ賢くこなせるようになったことを示しています。

これからのロボットは、単に「目の前のもの」を見るだけでなく、「過去の経験」を思い出しながら、より長く、より複雑な任務を遂行できるようになるでしょう。

技術概要

MEM: Multi-Scale Embodied Memory for Vision Language Action Models の技術的サマリー

本論文は、Physical Intelligence などの研究チームによって提案された**MEM（Multi-Scale Embodied Memory）**という新しいアーキテクチャについて述べています。MEM は、ビジョン・ランゲージ・アクションモデル（VLA）に、タスクの長さと抽象度に応じて異なるモダリティ（視覚と言語）を組み合わせた「マルチスケールな記憶」を付与する手法です。これにより、ロボットは最大 15 分に及ぶ長期のタスクを遂行し、部分的な観測性への耐性を高め、文脈に応じた適応（インコンテキスト適応）を可能にします。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

従来のエンドツーエンドのロボット学習における記憶の扱いは、過去の観測シーケンスをそのままポリシーに入力するものでした。しかし、複雑な実世界のタスク（例：キッチン全体の片付け、レシピの作成）において、このアプローチには以下の重大な課題があります。

• 計算コストと遅延: 数十分間の高密度な画像観測をすべてコンテキストに含めると、推論遅延が許容範囲を超え、リアルタイム制御が不可能になります。
• 表現の粒度の不一致:
  • 短期記憶: 自己遮蔽（アームが物体を隠すなど）の解消や、把持の微調整には、数秒間の高密度な画像情報が必要です。
  • 長期記憶: レシピの進行状況や、どの工程が完了したかといった抽象的な意味論的（セマンティック）な情報のみを保持すればよく、生の画像データは不要です。
• 既存手法の限界: 単一のモダリティ（例えば、言語のみ、またはキーフレームのみ）に依存する手法は、空間的な精度の欠如や、長期コンテキストの圧縮不足により、複雑なタスクで失敗しやすいというトレードオフを抱えています。

2. 手法 (Methodology)

MEM は、VLA のポリシーを**低レベルポリシー（$\pi_{LL}$）と高レベルポリシー（$\pi_{HL}$）**に分解し、それぞれに最適な記憶モダリティを割り当てるハイブリッドアーキテクチャを採用しています。

A. 二重の記憶システム

1. 短期記憶（ビデオベース）:

   • 目的: 数秒間の高密度な視覚情報を保持し、自己遮蔽の解消や微細な操作の適応を可能にする。
   • 実装: 効率的なビデオエンコーダを使用。従来の Vision Transformer (ViT) を拡張し、空間アテンションと因果的な時間アテンションを交互に適用する構造を採用しています。
   • 特徴: 時間次元でのアテンションを効率的に行うことで、計算量を $O(n^2K^2)$ から $O(Kn^2 + nK^2)$ に削減。また、過去のフレームのトークンを丢弃（drop）し、現在のフレームの表現に時間情報を統合することで、VLA のバックボーンへの入力トークン数を単一フレーム時と同程度に抑えています。これにより、推論遅延を 300ms 以下に抑えつつ、最大 18 フレーム（54 秒）の観測履歴を処理可能です。

2. 長期記憶（言語ベース）:

   • 目的: 数分〜15 分に及ぶタスクの進行状況やセマンティックなイベントを圧縮して保持する。
   • 実装: 高レベルポリシーが、過去のセマンティックイベントを要約した自然言語のテキスト（$m_t$）を生成・更新します。
   • 特徴: 単に過去の指示を連結するのではなく、LLM を用いて「不要な情報を圧縮・削除」し、必要なセマンティック情報（例：「3 つのボウルをキャビネットに入れた」）のみを保持するトレーニングを行います。これにより、推論時の分布シフト（失敗の繰り返しによる入力パターンの変化）を軽減し、効率的な長期記憶を実現します。

B. 統合アーキテクチャ ($\pi_{0.6}$-MEM)

• 既存の汎用 VLA である $\pi_{0.6}$ をベースに、上記のビデオエンコーダと言語記憶メカニズムを統合しました。
• 事前学習には、ロボットのデモンストレーション、ポリシーロールアウト、人間の修正データ、およびインターネット上の多様な動画・テキストデータを混合して使用し、記憶能力の汎化性を高めています。

3. 主要な貢献 (Key Contributions)

• マルチモーダルな長期記憶アーキテクチャの提案: 短期の視覚記憶（ビデオ）と長期の言語記憶を組み合わせることで、計算効率を維持しつつ、最大 15 分間のタスク遂行を可能にしました。
• 効率的なビデオエンコーダの設計: 既存の VLM 重みを初期値として利用しつつ、時間アテンションを効率的に組み込むことで、リアルタイム制約を満たす高密度な視覚記憶を実現しました。
• 文脈適応（In-Context Adaptation）の実現: 短期記憶を活用し、過去の失敗（例：把持の失敗、ドアの開け方の誤り）を文脈として認識し、その場で戦略を修正する能力をモデルに学習させました。
• 大規模な評価: 多様なロボットタスク（レシピ作成、キッチン片付け、洗濯物たたみなど）において、既存の記憶手法やメモリなしの SOTA モデルと比較する包括的な評価を行いました。

4. 実験結果 (Results)

実験は、最大 15 分間の長期タスク、文脈適応タスク、および多様な記憶能力（部分観測性、数え上げ、タイミングなど）を含むベンチマークで行われました。

• 長期タスクの遂行:
  • レシピセットアップ（材料の準備）やキッチン片付け（洗い物、拭き掃除、収納）において、メモリなしの $\pi_{0.6}$ や単純な記憶手法は失敗しましたが、MEM を採用したモデルは高い成功率を達成しました。
  • 言語記憶の圧縮（要約）を行わない「Naive」なアプローチは、失敗の繰り返しによる分布シフトで性能が低下しましたが、MEM の圧縮メカニズムはこれを回避しました。
• 文脈適応:
  • 箸の把持高さの調整や、冷蔵庫の開け方の修正など、失敗後の戦略変更が必要なタスクにおいて、MEM モデルは成功率が 11%〜62% 向上しました。メモリなしモデルは同じ失敗を繰り返すのに対し、MEM は過去の失敗文脈から学習して適応しました。
• 多様な記憶能力:
  • 部分観測性（隠れた物体の位置記憶）、数え上げ（コーヒーの scoop 数）、タイミング（トーストの焼き時間）など、多様な記憶タスクにおいて、MEM は他の記憶手法（Pool Memory, Proprio Memory）を凌駕する性能を示しました。
• 事前学習の重要性:
  • 記憶機能を持つエンコーダを事前学習段階で多様なデータで訓練することが、推論時の性能向上に不可欠であることが示されました（事後学習のみでは性能が大幅に劣ります）。
• 汎用性の維持:
  • 記憶機能を追加しても、メモリなしの SOTA モデルと同レベルの、記憶を必要としない複雑な操作タスクの性能を維持できました（因果的混乱の発生を回避）。

5. 意義と結論 (Significance & Conclusion)

MEM は、ロボットが実世界の複雑で長時間にわたるタスクを自律的に遂行するための重要な一歩です。

• 実用性の向上: 単一のモダリティに依存せず、タスクの性質（短期の視覚的詳細 vs 長期のセマンティックな進行）に合わせて最適な記憶形式を選択するアプローチは、実環境でのロボット運用において極めて重要です。
• スケーラビリティ: 推論遅延を維持しつつ、記憶の時間的スパンを数十分にまで拡張できることは、ロボットが単一のエピソードを超えた学習や、より複雑な家事支援タスクを実行する可能性を開きます。
• 将来展望: 本論文は、ロボットが部署（デプロイ）中に継続的に学習し、数週間、数ヶ月、あるいは数年にわたる記憶を管理するための基盤技術を提供しています。

結論として、MEM は VLA に効率的かつ効果的な長期記憶を付与し、部分的な観測性への耐性、文脈適応能力、そして複雑な長期タスクの遂行能力を劇的に向上させる画期的な手法です。