💻 computer science

Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks

本論文は、ゲート付きアテンションと階層的圧縮を備えたトランスフォーマーベースのアーキテクチャであるPRISMを導入するものであり、これは大規模な事前学習に依存することなく、長期間のタスクにおける視覚運動方策の短期記憶を効果的にスケールさせ、体系的な評価のためのReMemBenchベンチマークとともに、既存のベースラインに対して大幅な性能向上を達成している。

原著者： Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑な料理を作ろうとしている場面を想像してみてください。しかし、スパイスを取ろうと顔を向けるたびに、直前まで何をしていたかを瞬時に忘れてしまうのです。コンロをつけた後、フライパンを取りに離れた途端、コンロを切るのを忘れてしまったり、あるいは、すでに塩を入れたことすら忘れてしまったりするかもしれません。これが、現在の多くのロボットが直面している問題です。彼らは目の前にあるものを捉えることには非常に長けていますが、「短期的な記憶」がほとんどありません。

この論文は、この問題を解決するために開発された新しいロボットの脳、PRISMと、新しいテストであるREMEMBENCHを紹介しています。その仕組みを簡単に説明します。

問題点：金魚のような記憶を持つロボット

現代の多くのロボットは、人間が作業を行う様子を観察することで学習します（教師の真似をする生徒のようなものです）。しかし、彼らは通常、現在のビデオフレーム（一瞬の映像）しか見ていません。もしタスクが「コンロをつけたのだから、消す前に2分間待つ必要がある」といった、30秒前に起きたことを記憶する必要がある場合、ロボットには過去の行動を保持する記憶がないため、失敗してしまいます。

もし、単に長いビデオの履歴を見せることでこれを解決しようとすると、2つの悪いことが起こります。

ノイズの問題： ロボットは情報過多になり、混乱します。背景にある無関係な物体などの役に立たない詳細な情報を、自分の判断に結びつけてしまい、ミスを誘発する可能性があります。
重労働の問題： 長いビデオの履歴を処理するには、膨大な計算能力とメモリが必要になります。そのため、ロボットの動作は遅くなり、コストも高くなってしまいます。

解決策：PRISM（賢い司書）

著者たちは、単なる情報の蓄積者ではなく、賢い司書のように振る舞うロボット・ポリシー、PRISMを構築しました。PRISMは、本のすべてのページを頭の中に保持するのではなく、2つの巧妙なトリックを使用します。

「ゲート付きアテンション」フィルター（ボディーガード）：
ロボットの記憶を混み合った部屋だと想像してください。PRISMには、誰を残し、誰を追い出すかを決定するボディーガードがいます。もしロボットが「赤いリンゴを手に取った」ということを覚えていても、現在のタスクが青いボウルに関するものであれば、ボディーガードは赤いリンゴの記憶がロボットの邪魔をしないようにブロックします。これにより、過去の無関係な出来事と現在の行動を、愚かに関連付けてしまうことを防ぎます。
「階層的」要約器（ニュースキャスター）：
長い物語のすべての単語を読み上げる代わりに、PRISMはまず物語を小さな塊ごとに読み、それぞれに対して短い要約を作成します。次に、その要約を読むことで全体の筋書きを理解します。これは、ニュースキャスターが個々の生の警察レポートをすべて読み上げるのではなく、その日の出来事を要約して伝えるのと似ています。これにより、ロボットはより高速に動作し、より少ないコンピュータメモリで済み、最大2分間の履歴を記憶できるようになります。

テスト：REMEMBENCH（ロボット記憶試験）

ロボットに本当に記憶があることを証明するために、著者たちはREMEMBENCHを作成しました。これは、ロボットの記憶力を測るための「運転免許試験」のようなものです。単に腕を動かせるかどうかをテストするのではなく、4つの特定の短期記憶をテストします。

空間記憶： 「あの果物をどこに置いたっけ？」（現在見えていない物体を見つける必要があります）。
展望記憶： 「2分後にコンロを消さなければならない」（過去のトリガーに基づいて将来の行動を記憶する必要があります）。
物体連想記憶： 「このリンゴを洗ったのだから、必ずこの特定のボウルに戻さなければならない」（どの物体がどの容器に対応するかを記憶します）。
物体セット記憶： 「ブレッドスティックをすべて移動させなければならないが、移動しながら数を数えなければならない」（グループのアイテムの累計を保持します）。

結果：明確な勝利

彼らがPRISMを他のロボット（標準的な「長い記憶」を持つものや、異なるタイプのAI脳を持つものを含む）と比較したところ、以下の結果が得られました。

記憶テストにおいて： PRISMは圧倒的な勝利を収め、次点のロボットを5%から12%の差で引き離しました。
標準的なタスクにおいて： 記憶を明示的にテストしていないタスクにおいても、PRISMは優れた成績を収めました。なぜなら、記憶を持つことはロボットが文脈を理解する助けになるからです。例えば、「今カップを手に取ったところ」なのか「今まさに置こうとしている」のかを知ることで、混乱を避けることができます。
実世界において： 実物の物理ロボットで試した際、記憶を持たないロボットは完全に失敗（成功率0%）しましたが、PRISMは30%の成功率を記録しました。

まとめ

この論文は、「ボディーガード」を使ってノイズを排除し、「要約器」を使ってスペースを節約することで、ロボットは数分前に何が起きたかをようやく記憶できると主張しています。これにより、単に目の前の瞬間に反応するだけでなく、一連の手順を必要とする長く複雑な家事に対処できるようになります。著者たちは、より優れた、より記憶能力の高いロボットを構築するための助けとなるよう、ロボットの脳（PRISM）とテスト（REMEMBENCH）を提供しています。

技術要約：長期的タスクに向けた視覚運動方策の短期記憶のスケーリング

1. 問題提起

ロボットのタスクには、物体を回収する（もはや視界に入っていない物体を扱う）ことや、家電のスイッチを切るなどのタイミングを計ることなど、部分観測性を扱うための短期記憶（数秒から数分間）が必要となることが多い。しかし、模倣学習を通じて訓練される現在のほとんどの視覚運動方策は、過去の経験を活用することなく、直近の感覚入力のみに依存する近視眼的なものである。

これに対処するために、標準的なトランスフォーマーベースの方策に、より長いコンテキストウィンドウを含めるように拡張することは、以下の2つの決定的な課題を提示する：

偽の相関（Spurious Correlations）: 素朴に長い履歴に注意（アテンション）を向けると、無関係な情報（例：過去の妨害物の位置）が導入され、モデルが誤った相関を学習してしまい、コンテキストが変化した際に性能を低下させる。
計算のスケーラビリティ: 標準的なアテンションメカニズムの計算量とメモリ使用量は、コンテキスト長に対して線形または二次関数的にスケールする。高次元の視覚入力を長い時間軸（例：数分間）にわたって処理することは、極めて高コストになる。

2. 手法：PRISM

著者らは、2つの主要な革新を通じて短期記憶を効果的に活用するように設計された、トランスフォーマーベースのアーキテクチャであるPRISM（Policy Architecture with Short-Term Memory）を提案している：

ゲート付きアテンション（情報のフィルタリング）: 偽の相関を軽減するために、PRISMはポストアテンション・ゲーティングメカニズムを導入している。このコンポーネントは、現在の入力特徴量に基づいた学習可能なゲートを用いて各アテンションブロックの出力を変調することで、取得された情報を選択的にフィルタリングする。これにより、方策は無関係な詳細を適応的に抑制し、行動予測におけるノイズを低減できる。
階層型アーキテクチャ（効率性）: スケーラビリティに対処するため、PRISMは階層的設計を採用している。
- ローカルエンコーダ: ローカルメモリエンコーダが感覚入力を処理し、Perceiverスタイルのリサンプラーを用いてコンパクトなトークンへと圧縮する。
- グローバルアテンション: グローバルメモリエンコーダが、これらの圧縮されたトークンに対して時間軸を超えたアテンションを計算する。
- 融合（Fusion）: 得られたグローバル情報は、残差接続を介して元のローカルトークンへとブロードキャストされ、融合される。
- 利点: このアプローチにより、計算複雑度は $O((n \cdot k_{tot})^2)$ から、圧縮係数を $m$ とすると、およそ $O(n \cdot k_{tot} \cdot m + (n \cdot k_{tot}/m)^2)$ に削減される。また、テスト時には圧縮された要約トークンのみをキャッシュすることで、メモリフットプリントを大幅に削減できる。

PRISMは、補助的な損失や外部メモリモジュールを使用せず、標準的な行動クローニング（模倣学習）を用いて訓練され、過去の感覚入力と行動のシーケンスを閉ループ設定において将来の行動へとマッピングする。

3. 主な貢献

PRISMアーキテクチャ: ゲート付きアテンションと階層的要約を組み合わせ、計算効率とノイズへの堅牢性を維持しながら、短期記憶を最大2分間（2〜3 Hzで）までスケールさせる新しい方策アーキテクチャ。
REMEMBENCH: 認知科学に由来する4つの短期記憶カテゴリにわたる、8つの多様な家庭内操作タスクで構成される新しいベンチマーク。
- 空間的（Spatial）: 物体の位置を想起する（例：隠れた果物を回収する）。
- 先行的（Prospective）: 遅延を伴う意図を保持する（例：肉を特定の時間だけ調理する）。
- 物体関連（Object-Associative）: 物体と位置の関連性を想起する（例：洗ったアイテムを元の特定の皿に戻す）。
- 物体セット（Object-Set）: 複数の物体のセットを維持・更新する（例：電子レンジに移されたスティック状のパンの数を数える）。
- 記憶を直接的なテストとして扱う従来のベンチマークとは異なり、REMEMBENCHは即時の感覚入力だけでは不十分であり、成功するために明示的に記憶を必要とする。

4. 実験結果

論文では、REMEMBENCHおよび標準的なベンチマークにおいて、PRISMを再帰型アーキテクチャ（LSTM、Mamba）、セグメントレベルの再帰型トランスフォーマー（Transformer-XL）、およびその他のトランスフォーマーのバリアント（Linear Attention、Scene Memory Transformer）と比較評価している。

REMEMBENCHの性能: PRISMは平均成功率**41%を達成し、最強のベースライン（SMTが36%、PTPが28%、Mambaが25%）を5%〜12%**の絶対的な差で上回った。
- スケーリング: 性能はメモリサイズとともにスケールする。ウィンドウを1ステップから512ステップに増やすことで、成功率は16%から42%へと、飽和することなく向上した。
  ］* アブレーション研究: ゲーティングメカニズムを除去すると、性能が16ポイント低下した。これは、不要な履歴をフィルタリングするためのゲーミングの必要性を裏付けている。
標準ベンチマーク (ROBOCASA & LIBERO):
- ROBOCASAにおいて、メモリを持つPRISM（n=256）は43%の成功率を達成し、メモリを持たないバリアントに対して11%、微調整されたGR00T-N1-2Bベースラインに対して**11%**の絶対的な改善を示した。
- LIBEROにおいて、PRISMは89%の平均成功率を達成し、微調整されたOpenVLAベースラインに対して15%、メモリを持たないバリアントに対して**12%**の改善を示した。
- 著者らは、メモリの追加が、視覚的に同一の状態（例：「掴んだ直後」と「置こうとしているところ」の区別）における行動の曖昧さを解消し、記憶を明示的にテストするように設計されていないタスクにおいても多峰性を低減させることを指摘している。
実世界での評価: 「洗浄して容器に戻す」タスクの実世界適応において、PRISMは30%の成功率を達成した。これは、メモリなしのトランスフォーマーベースラインの15%、およびメモリを持たない方策の**0%**と比較して高い数値である。
効率性: コンテキスト長が512ステップのとき、PRISMはフルグローバルアテンションやハイブリッド・スライディングウィンドウ・アプローチと比較して、ピークGPUメモリ使用量を80%、実行時間を**40%**削減した。

5. 重要性と主張

本論文は、PRISMとREMEMBENCHが、長期的タスクを扱うことが可能な、短期記憶拡張型の視覚運動方策の開発および評価のための基盤を確立するものであると主張している。

汎用性: REMBENCHは4つの異なる記憶カテゴリをカバーすることで、単一のタスクに特化した解決策ではなく、一般的な記憶メカニズムの開発を促進する。
スケーラビリティ: PRISMは、ナイーブなコンテキストウィンドウの拡張に伴う過大なコストを伴うことなく、短期記憶を数分間のインタラクションまでスケールさせられることを示している。
堅牢性: ゲート付きアテンションメカニズムは、ノイズの多い長期的データにおける偽の相関の学習を防ぐために不可欠であることが証明された。

著者らは、REMEMBENCHにおける現在の成功率（30〜40%程度）は長期タスクがいまだ困難であることを示しているものの、多様なアーキテクチャとベンチマークにおけるメモリ拡張による一貫した利点が、このアプローチの妥当性を検証していると結論づけている。彼らは、永続的な長期記憶の統合や、メモリモジュールに対するインターネット規模の事前学習の活用といった将来の方向性を挙げているが、現在の研究はあくまで模倣学習の枠組み内における短期記憶のメカニズムに焦点を当てていることを強調している。