技術要約：干渉下におけるロボットメモリのベンチマーク

問題提起

ロボットが現実的な環境に導入される際、それらは数多くのセッションや無関係なタスクをまたいで動作しなければなりません。実世界への展開における重要な課題は、過去に発生した、無関係なインタラクションの履歴に埋もれた情報を、かなり前のセッションから想起する能力です。現在のロボットメモリ・ベンチマーク（例：RoboMME）は、単一のエピソード内または短いコンテキスト内でのメモリを評価していますが、関連する過去のセッションが長い無関係なセッションの履歴の中に埋もれている場合のシステムの堅牢性を測定できていません。核心となる問いは、現在のロボットメモリ・システムが、無関係なセッションによる干渉によって遮蔽された場合でも、有用な過去の情報を正常に想起できるかどうかという点です。

メソドロジー

著者らは、既存のRoboMMEフレームワーク [Dai et al., 2026] に基づいたクロスセッション・ベンチマークであるRoboMME-Interferenceを導入しています。このメソドロジーでは、各クエリ・エピソードに対して、Vision-Language-Action (VLA) ポリシーのメモリ入力として機能する「ヒストリー・バッファ」を構築します。

ベンチマークの構築

• 構造: 各クエリにおいて、ヒストリー・バッファには関連する過去のデモンストレーション（「レッスン」）と、それに続く $k$ 個の無関係なディストラクタ（妨害）セッションが含まれます。
• 干渉レベル: ディストラクタ・セッションの数 ($k$) は、$\{0, 1, 3, 7\}$ でスイープされます。これらはそれぞれ、干渉なし、軽度、中程度、および強度の干渉を表します。「履歴なし」のベースラインとして、空のバッファも含まれています。
• ディストラクタの設計: ディストラクタは、クエリとは異なるタスクファミリーから抽出されます。これは、解釈不能な性能低下を招くような矛盾する事実（例：相反するターゲット）を導入することを避けるためです。各ディストラクタは、比較可能性を確保するために、固定長である32フレームのセクションを寄与します。
• タスクの選択: 本ベンチマークでは、必要な事前情報が実行フェーズとは別の自己完結したデモンストレーションビデオに含まれている、RoboMMEの9つのタスクファミリーを利用しています。これらには以下が含まれます：
  • Imitation (模倣): MoveCube, InsertPeg, PatternLock, RouteStick.
  • Video-conditioned Reference (ビデオ条件付き参照): VideoRepick, VideoPlaceButton, VideoPlaceOrder.
  • Video-conditioned Permanence (ビデオ条件付き永続性): VideoUnmask, VideoUnmaskSwap.
  • 除外: 他の7つのRoboMMEタスクは、手がかりが単一の実行エピソード内にインターリーブされており、分離可能な事前セッションの隔離ができないため、除外されました。

評価対象システム

本研究では、$\pi_{0.5}$ ポリシー [Physical Intelligence et al., 2025] の9つのメモリ拡張バリアントを評価し、これらを修正なしでベンチマークに実行させています。これらのシステムは、メモリ表現と統合メカニズムによって異なります：

• 表現 (Representations): Perceptual (FrameSamp, TokenDrop), Recurrent (TTT, RMT), および Symbolic (この特定の評価では、事前定義されたアノテーションへの依存のため除外)。
• 統合メカニズム (Integration Mechanisms): Context concatenation (コンテキスト結合), Modulator (適応型LayerNorm), および Expert (ブロック単位の因果アテンション)。
• ベースライン: メモリを持たない標準的な $\pi_{0.5}$ ポリシー。

主な貢献

1. クロスセッション干渉ベンチマーク: 関連するメモリとクエリの間に制御された数の無関係なセッションを挿入することで、セッションの長さと無関係なメモリが精度に与える影響を明示的に測定する、RoboMMEの拡張版。
2. 包括的な結果グリッド: 9つのタスクファミリーにわたる9つのメモリ・システムのフル評価を提供し、干渉が増加するにつれての性能低下の詳細な内訳を示します。これには、論文と共に公開されるコード、データ、図、および分析が含まれます。

結果

評価により、クリーンなメモリを用いた場合と干渉下でのパフォーマンスとの間の極端なコントラストが明らかになりました。

• クリーンなメモリでの性能 ($k=0$): ヒストリー・バッファに関連するレッスンのみが含まれる場合、知覚的メモリのバリアントは、履歴なしのベースラインを大幅に上回ります。最も優れた性能を示したシステムである FrameSamp-Modulator は、45.3% の成功率を達成しました（これは、履歴なしのベースラインである18.2%から27.1ポイントの向上です）。
• 干渉下での劣化: 無関係なセッションが蓄積するにつれ ($k=1, 3, 7$)、すべてのシステムの性能は着実に低下します。
  • FrameSamp-Modulator は、$k=0$ から $k=7$ にかけて約 26ポイント 低下し、元の履歴なしのフロア付近である約 19.3% に戻ります。
  • TokenDrop-Modulator も同様に約16ポイント低下し、19.8% で終了します。
• 統合メカニズムの感受性: 同じ表現を持つシステムであっても、統合方法によって挙動が異なります。例えば、FrameSamp は、Modulator 統合を用いた場合に $k=0$ で Context や Expert 統合を用いた場合よりも大幅に優れた性能を示しますが、干渉が増加するとすべてがベースラインへと収束します。
• 再帰的バリアント (Recurrent Variants): 再帰的バリアント (TTT) は、どのセッション長においても履歴なしのベースラインに対して意味のある利点を示さず、成功率は18%以下に留まっています。
• タスクと難易度の差異: メモリの恩恵はタスクファミリーや難易度によって一様ではありません。利得は Easy および Medium 難易度のエピソードで最も顕著ですが、Hard エピソードではすべてのシステムが性能のフロア付近に留まります。

意義と主張

本論文は、知覚的メモリのバリアントはクリーンな履歴が提供された場合には成功率を向上させるものの、堅牢性を維持できていないと主張しています。現在のシステムは、無関係なセッションが蓄積するにつれて、長期コンテキストのメモリと干渉への堅牢性に大きく失敗しており、十分な数のディストラクタが導入されると、メモリを持たないシステムと同レベルまで性能が崩壊します。

著者らは、本研究を、大規模言語モデル (LLM) において長期的な想起がベンチマークされているのと同様に、ロボット・ポリシーに対して長期ホライゾンのクロスセッション想起を測定可能にするための必要なステップとして位置付けています。彼らは、信頼できるクロスセッション想起は現在のロボット・ポリシーにとってはまだ手の届かない範囲にあると結論付けていますが、ロボットメモリ・システムが進化した際に、LLMのメモリ文献が成熟した基盤を提供していることにも言及しています。

著者らが指摘する限界事項:

• 評価は、公開されたチェックポイントを用いたシミュレーション内で行われており、実機ロボットによる検証は今後の課題です。
• 結果はエピソードのサンプリングを反映していますが、実行ごとの変動や学習の変動（各システムにつき単一のシード）は反映していません。
• ベンチマークは、分離可能な事前デモンストレーションを持つタスクファミリーに限定されています。