技術要約: NativeMEM – 長期的なロボット操作のためのネイティブメモリ圧縮

1. 問題提起

学習済みのVision-Language-Action (VLA) モデルは、エンボディド（身体性を持つ）意思決定において有望な成果を示しているが、その本質的な性質である「反応的（reactive）」な性質によって根本的な制限を受けている。既存のほとんどのVLAは、現在の観測と言語指示のみに基づいて行動を決定しており、長期的な視覚的履歴を保持する能力を欠いている。この制限は、オブジェクトの個数追跡、遮蔽された状態の記憶、失敗した試みの想起、あるいはタスク進行状況の監視など、過去の相互作用に正しい行動が依存する非マルコフ的な操作タスクにおいて極めて重要となる。

現在のメモリ拡張アプローチは、以下のような重大なトレードオフに直面している：

• VLM駆動型メモリ: 高レベルの外部Vision-Language Model (VLM) を使用してテキストによるメモやサブタスクを生成する手法は、コストの高いアノテーションを必要とし、言語による微細な視覚的詳細の忠実な符号化に苦慮することが多い。
• 外部メモリモジュール: ポリシー内部に新たに初期化されたメモリモジュール（例：リカレント状態、リトリーバル・バンク）を導入するアプローチは、アーキテクチャの複雑性を増大させる。これらのモジュールはVLAの事前学習時に見られていないため、事前学習済みポリシーの性能を低下させるリスクがあり、「圧縮のジレンマ」を引き起こす（不十分な圧縮は計算コストを高め、過剰な圧縮は行動に不可欠な詳細を破棄してしまう）。

核心となる課題は、事前学習済みのポリシーのトークンスペースおよびアテンション・メカニズムと完全に互換性を保ちつつ、最小限のメモリコストで、長期的かつ微細な視覚的履歴をVLAが保持できるメカニズムを設計することである。

2. 手法: NativeMEM

著者らは、外部のプランナーや新しいメモリモジュールを導入することなく、長期的な、リアルタイムで更新されるメモリを事前学習済みモデルのアーキテクチャに直接統合するVLAポリシーであるNativeMEMを提案する。その核心的な革新は**ネイティブ・メモリ圧縮（Native Memory Compression）**である。

2.1 ネイティブ・メモリ圧縮

別個のメモリ・アーキテクチャを導入する代わりに、NativeMEMはVLA自身のビジョンエンコーダを再利用して、各カメラビューからの各履歴フレームを単一のネイティブ・メモリ・トークンへと圧縮する。

• ワン・トークン圧縮: 各フレーム・ビューのペアは単一のトークン（$M=1$）に集約され、全視覚トークンを保持する場合と比較してシーケンス長を劇的に削減する。
• ネイティブな統合: これらのトークンは、現在の観測と同じ視覚経路によって生成され、元のトークンシーケンスに付加される。これにより、事前学習済みのVLAは既存のアテンション・メカニズムを用いて長期的な履歴に注意を向けることが可能となり、これらのトークンを外部の状態ではなく「ネイティブな視覚的証拠」として解釈できる。

2.2 二段階の学習パイプライン

これらのコンパクトなトークンが情報豊富であり、かつ事前学習済みポリシーと整合していることを確実にするために、著者らは二段階の学習プロセスを導入している。

1. ステージ1: ジェネリック・メモリ・トークナイザの学習（行動による監督）

   • 事前学習済みVLAは**凍結（frozen）**される。
   • VLAのネイティブ・ビジョンエンコーダから初期化されたメモリ・トークナイザが、過去の観測を圧縮するように学習される。
   • 目的: トークナイザは、VLAの元の**行動予測損失（action prediction loss）**を用いて最適化される。これにより、圧縮されたトークンが「再構成による監督（reconstruction-supervised）」（無関係な視覚的詳細を保持してしまう可能性があるもの）ではなく、「行動による監督（action-supervised）」（行動予測に関連する情報を符号化するもの）となるようにする。
   • データ: トークナイザは、標準的な操作データとメモリを必要とするタスクの混合データを用いて学習され、VLAのトークンスペースに整合した一般的な表現を学習する。

2. ステージ2: タスク固有のファインチューニング

   • 学習されたメモリ・トークナイザは凍結される。
   • VLAのバックボーンと行動ヘッドは**アンフリーズ（unfrozen）**され、限定的なデモンストレーションを用いて特定のターゲットタスクに対してファインチューニングされる。
   • 入力: 入力シーケンスは、現在の観測、言語指示、固有受容状態、および履歴から派生して付加されたキャッシュされたメモリ・トークンのシーケンスで構成される。
   • このステージにより、単一フレームのVLAを、最小限のタスク固有データを用いてメモリ拡張型ポリシーへと変換する。

2.3 リアルタイム推論

展開時、メモリ・トークナイザはVLAポリシーから独立して動作する。新しい観測が入ってくるたびに、トークナイザは高頻度（例：10Hz以上）でそれらをメモリ・トークンへと変換する。VLAポリシーは、最新のコンパクトなメモリ・キューを単に入力トークンに結合するだけである。このデカップリング（分離）により、無視できるほどのレイテンシ・オーバーヘッドで、分単位の履歴保持が可能になる。

3. 主な貢献

• ネイティブ・メモリ圧縮: VLA自身のビジョンエンコーダを使用して履歴フレームを単一のトークンに圧縮する新しいスキームを提供し、外部のメモリモジュールやプランナーを排除した。
• 行動による監督付きトークナイゼーション: 行動予測というVLAの目的関数を通じて直接メモリ表現を学習するトレーニング戦略により、圧縮された履歴が意思決定に関連することを保証した。
• 効率的な長期的保持: 本手法は、低レイテンシと低いGPUメモリ使用量を維持しながら、従来の手法よりも9倍から40倍長いホライゾン（160フレーム以上）にわたるアテンションを可能にする。
• 高いデータ効率: 本手法は、従来の最先端手法と比較してわずか20%の訓練データで競争力のある性能を達成した。

4. 実験結果

著者らは、シミュレーションおよび実世界の両方におけるメモリ依存型の操作タスクを用いてNativeMEMを評価した。

• シミュレーション性能: RMBenchタスクやボタン押しタスクを含むベンチマークにおいて、NativeMEMは平均成功率**84.0%**を達成し、最良のベースライン（Mem-0の32.4%）や他のメモリ拡張型手法を大幅に上回った。
• 実世界性能: 実ロボットにおいて、NativeMEMは3つのタスク（ボタンクリック、ブロックを戻す、食料品のレジスキャン）において98.7%の成功率を達成した。特筆すべきは、「食料品レジスキャン」タスクにおいて、第一段階のトークナイザ学習中に未知であったにもかかわらず良好な性能を示したことであり、これは強い汎化性能を証明している。
• 効率性:
  • 推論: NativeMEMは32 GBのメモリ予算内で最大5,000個の履歴フレームをサポートし、リアルタイムの反応性（約200フレームに対して100ms以下のレイテンシ）を維持する。
  • データ: わずか10回のデモンストレーションで、NativeMEMは60%の平均成功率に達し、Mem-0を3.5倍上回った。
• アブレーション研究:
  • 二段階の学習プロセスを除去した場合（トークナイザ学習中にVLAをアンフリーズした場合）、性能は23.2%に低下し、事前学習された事前知識を保持するためにVLAを凍結しておくことの必要性が浮き彫りになった。
  • ジェネリックな視覚特徴（平均プーリング）を学習されたネイティブ・トークンの代わりに使用した場合、微細な詳細を必要とするタスク（例：ブロックを戻す）において失敗した。
  • スパースな更新や短いホライゾンは性能を著しく低下させ、高密度で長期的なカバレッジの必要性を裏付けた。

5. 意義と主張

本論文は、VLAの既存のビジョンエンコーダを再利用することで、NativeMEMが長期的な操作のための統一的なソリューションを提供すると主張している。その意義は以下の点にある：

1. 互換性: アーキテクチャの変更や外部モジュールなしに、事前学習済みの単一フレームVLAが長期的な履歴にアクセスすることを可能にし、ポリシーの「ネイティブ」な性質を維持する。
2. スケーラビリティ: 履歴をフレームあたり単一のトークンに圧縮することで、トランスフォーマーにおけるコンテキスト長と計算上のボトルネックを克服する。
3. 実用性: 複雑なメモリ依存タスクが、最小限のファインチューニングデータと低い計算オーバーヘッドで、実際のロボット上で解決可能であることを示している。

著者らは限界についても認めており、本システムは数時間や数日間にわたる持続的なメモリを想定して設計されたものではないこと、また、行動による監督への依存が、将来のより複雑なタスクにおける高度に抽象的なメモリ要件に対してセマンティックなギャップを生む可能性があることを指摘している。しかしながら、彼らはNativeMEMが、反応的なVLAポリシーと長期的なロボット操作のニーズとの間の溝を効果的に埋めるものであると断言している。