💻 computer science

World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays

本論文は、ワールド・アクション・モデルを活用して過去のタスク指示から擬似リプレイ・トラジェトリを合成することで、元の人間によるデモンストレーションを保存する必要なく、ロボットにおける破滅的忘却を大幅に軽減する継続的模倣学習フレームワークであるRecurrent Generative Replay（REGEN）を提案する。

原著者： Manish Kumar Govind, Dominick Reilly, Smit Patel, Hieu Le, Srijan Das

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Manish Kumar Govind, Dominick Reilly, Smit Patel, Hieu Le, Srijan Das

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人間がボウルを棚に入れたり、皿を動かしたりする様子を見て学習するロボットを想像してみてください。これは「模倣学習（イミテーション・ラーニング）」と呼ばれます。問題は、もしこのロボットに今日新しい技を教えると、昨日学んだ技を忘れてしまうことがよくある点です。これは「破滅的忘却（カタストロフィック・フォーゲッティング）」と呼ばれます。それはまるで、数学のテスト勉強に集中しすぎるあまり、読み書きの方法をすぐに忘れてしまう学生のようなものです。

通常、この忘却を防ぐために、科学者たちはロボットに古いタスクを教えるための古いビデオの「ノート」を保管しておきます。そして、新しいことを教えている間も、そのビデオをロボットに見せます。しかし、現実の世界では、そのような古いビデオがもう手元にないことがよくあります。データがプライベートなものであったり、ロボットを訓練した企業がデータを共有していなかったりする場合があるからです。

大きなアイデア：ロボットの「想像力」

この論文は、REGEN（Recurrent Generative Replay：回帰的生成リプレイ）と呼ばれる新しい手法を紹介しています。REGENは、古いビデオの物理的なノートを必要とする代わりに、ロボットに過去を**「想像」**する能力を与えます。

ロボットの脳を、強力な映画監督（World Action Model または WAM と呼ばれるもの）だと考えてみてください。この監督は、単に「何をすべきか（動作）」を知っているだけでなく、「未来のシーンがどのように見えるか」をも知っています。

REGENの仕組みは、簡単な比喩を使うと以下の通りです：

プロンプト： あなたはロボットに「ニンジンをボウルに入れた時のことを覚えてる？」と伝えます（これが古い指示です）。
シード（種）： あなたはロボットに、現在のシーンのたった一枚の本物の写真を与えます（例えば、今ロボットがいるキッチンのニンジンが写っている写真です）。
夢：ロボットの「監督」である脳が、残りの映画を幻視（生成）し始めます。ロボットはこう予測します。「よし、ニンジンをつかむ……次は、手にニンジンが見える……次は、動かす……次は、ボウルが見える……」。
ループ： ロボットは、自分の予測をステップごとに自分自身へとフィードバックし続け、最初から最後まで、古いタスクの完全な「偽のビデオ」を作り上げます。
練習： ロボットは、この「想像上の」ビデオと一緒に、新しいタスクの練習を行います。想像の中で古いタスクを復習することで、元の本物のビデオがなくても、その方法を記憶し続けることができるのです。

研究結果

研究者たちは、これをコンピュータ・シミュレーションと、ラボ内の実物のロボットアームの2つの場所でテストしました。

結果： REGENを使用したロボットは、何の助けもなく新しいことを次々と学習したロボットに比べ、忘却が約50%少なくなりました。
比較： REGENは、元の本物のビデオにアクセスできるロボットとほぼ同等の成果を出しました。それにもかかわらず、REGENはそれらのビデオに一切アクセスしていませんでした。
注意点： 「想像された」ビデオは完璧ではありません。長いシーケンスになると、画像が少しぼやけてしまいます（メッセージが歪んで伝わる「伝言ゲーム」のようなものです）。また、ロボットが成功した結果を想像していても、実際に予測される動きが現実にはうまく機能しないこともあります。

なぜこれが重要なのか

論文は、ロボットの想像力はまだ完璧ではないものの、これは大きな一歩であると結論付けています。つまり、ロボットは膨大な、増え続けるビデオのライブラリを必要とせずに、新しいスキルを学び続けることができるということです。ロボットが過去のまともなバージョンを「夢見ることが」できさえすれば、スキルを新鮮なまま保ち続けることができます。

要するに、**「過去を想像できるロボットは、自らの未来を学び続けることができる」**のです。

技術要約：World Action Modelsによる、再帰的生成リプレイを用いた継続的模倣学習

1. 問題の定式化

本論文は、ロボット・ポリシーにおける継続的模倣学習（continual imitation learning）、特に**破滅的忘却（catastrophic forgetting）**の課題に取り組んでいる。World Action Model (WAM) が、知覚、予測、制御を統合する汎用的なロボット・ポリシーとして台頭する中で、これらは新しいタスクに対して逐次的に適応しなければならない。しかし、標準的な逐次的ファインチューニングでは、以前に学習したスキルが上書きされてしまう。

従来の解決策は、過去のタスクの正解となる人間によるデモンストレーションを保存し、再生する**経験再生（Experience Replay; ER）に依存している。著者らは、現代のロボティクスにおいてこのアプローチはますます非現実的であると主張している。なぜなら、ポリシーは公開されていない大規模かつ独自のデータセットで訓練されることが多く、また過去のデモンストレーションを保存することが技術的に不可能な場合があるからである。核心となる問題は、「元の人間によるデモンストレーションにアクセスできない状況で、ロボットはいかにして以前に学習したスキルを保持しながら継続的な適応を行うことができるか？」**という点にある。

2. 手法：再帰的生成リプレイ (REGEN)

著者らは、WAMが持つ固有の生成能力を活用して疑似リプレイ・トラジェトリを合成し、過去のデモンストレーションを保存する必要性を排除するフレームワーク、**再帰的生成リプレイ（Recurrent Generative Replay; REGEN）**を提案している。

コア・メカニズム

WAMは、言語指示（ $\ell$ ）および現在の観測（ $o$ ）を条件として、将来のアクション（ $\tilde{a}$ ）と将来の視覚的観測（ $\tilde{o}$ ）を共同でモデル化するポリシーとして定義される。REGENはこの性質を利用し、過去のタスクに対して「幻覚（hallucinated）」によるトラジェトリを再帰的にクエリすることで、過去のデモンストレーションを生成する。

過去のタスク $T_i$ （言語指示 $\ell_i$ のみを与える）に対する生成プロセスは、以下の3段階で進行する：

初期化（Initialization）： 有効な視覚的コンテキストを提供するために、現在のタスクのデモンストレーション（ $D_k$ ）からサンプリングされた実の観測をシードとして用いる。
再帰的生成（Recurrent Generation）： モデルはアクション・チャンクと将来の観測を予測する。極めて重要な点は、生成された将来の観測（ $\tilde{o}_t$ ）が、次のステップの入力観測としてフィードバックされることであり、実データは使用されない。この再帰的なループは、終了条件が満たされるまで続く。
終了（Termination）： 最大ホライゾンに達するか、あるいはモデルの内部報酬ヘッドがタスク完了（例：連続するステップで報酬 > 0.99）を予測したときに生成が停止する。

学習目的

ポリシーは、現在のタスクの実デモンストレーション $D_k$ と、すべての過去のタスクに対する合成された疑似トラジェトリ $R_k$ を組み合わせたデータセット $D^+_k = D_k \cup R_k$ を用いた行動クローニングを通じて更新される。損失関数は、それぞれのタスク指示に基づいた、モデルの予測アクションと疑似トラジェトリ内のアクションとの差異を最小化する。

3. 主な貢献

本論文は、主に3つの貢献を述べている：

REGENフレームワーク： WAM自体をネイティブな生成リプレイ・メカニズムとして利用し、過去の実デモンストレーションを保存することなくトラジェトリを合成する、初の継続的模倣学習フレームワーク。
実証的検証： シミュレーション（LIBEROベンチマーク）および実世界（xArm7マニピュレータ）の両方の設定において、REGENが破滅的忘却を大幅に軽減し、新しいタスクへの前方転移（forward transfer）を維持することを実証した。
限界分析： 生成リプレイが実の経験再生と一致することを妨げている具体的なボトルネックを特定した：(i) 再帰的生成における長期間の視覚的劣化、および (ii) 予測された将来の観測と、それに対応して生成されるアクションとの間の不一致。

4. 実験結果

シミュレーション (LIBERO ベンチマーク)

実験は、LIBERO-Spatial、LIBERO-Object、および LIBERO-Goal スイートを用いて行われた。

性能： REGENは、単純な逐次的ファインチューニング（Seq-FT）と比較して、負の逆方向転移（Negative Backward Transfer; NBT）を50%以上削減した。例えば、LIBERO-Goalでは、NBTはSeq-FTの100からREGENの44.9へと低下した。
比較： 実データを用いた経験再生（ER）が依然として上限（upper bound）であるが、REGENは他の非リプレイ・ベースライン（Seq-LoRA、EWC、PackNet）を大幅に上回り、特権的なER手法の性能に接近した。
表現の安定性： アクション表現のドリフトに関する分析により、REGENはSeq-FT（0.30）と比較して著しく低いドリフト（0.12）を維持し、ポリシーの内部構造を保持していることが示された。

実世界での操作

xArm7ロボットを用い、物体（ニンジン、ナス）をボウルや皿に置くタスクを実施した。

結果： REGENは、Seq-FTと比較して忘却（NBT）を96.3から60.5に減少させ、前方転移（Forward Transfer; FWT）を50から80に向上させた。
意義： これは、過去のデータを再収集することが不可能な実世界のロボットにおいて、本手法が実用的なアプローチであることを裏付けている。

5. 限界と今後の方向性

著者らは、REGENがまだ実の経験再生の完全な代替にはなっていないことを明示している。性能の差は、主に以下の2つの要因に起因する：

視覚的忠実度の劣化： モデルが観測を再帰的に生成するにつれ、視覚的なアーティファクトやぼやけが蓄積される。この劣化は、再帰的生成における忘却（NBT）の増加と相関しており、教師信号を弱体化させる。
アクションと観測の不一致： 「想像された」成功率（生成された視覚情報に基づく）と、「接地された」成功率（実行されたアクションに基づく）との間に乖離が存在する。モデルは、視覚的には妥当に見える成功した結果を予測する一方で、物理的には不十分なアクションを生成してしまうことが多い。

本論文は、疑似リプレイと実の経験再生の間のギャップを埋めるためには、WAM生成の忠実度と一貫性を向上させることが、極めて重要な将来の方向性であると結論づけている。

6. 重要性

本論文は、「過去を想像できるロボットは、未来を学び続けることができる」と断じている。データのプライバシーやストレージの制約により従来のリプレイバッファが使用できないシナリオにおいて、WAMを継続的学習の基盤として確立することで、REGENはロボットの生涯学習への道筋を提示している。本研究は、現在の生成モデルの限界が解決されれば、WAMの生成能力が効果的な**暗黙的メモリ（implicit memory）**として機能し得ることを強調している。