💻 computer science

Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy

本論文は、事前学習済みの生成ロボットポリシーに対し、初期ノイズのステアリングと凍結されたジェネレータを介した中間特徴量の変調を組み合わせることで、ベースとなるポリシーを更新することなく効率的なオンライン適応を可能にする、新たなフレームワークであるDual-Latent Space Reinforcement Learning (DLSRL) を提案する。

原著者： Pengfei Zhang, Teng Sun, Xianchao Xiu

公開日 2026-09-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pengfei Zhang, Teng Sun, Xianchao Xiu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人間が行うタスクを観察して学習できるロボットは、もはやSFの世界の話ではなく、人工知能の分野において急速に成長している現実となっています。これらのシステムは、しばに「ビジョン・ランゲージ・アクション・モデル」と呼ばれ、道具に触れる前に、膨大な量の指示ビデオやマニュアルを読み込んだ学生のように振る舞います。何百万もの事例を研究することで、彼らは腕をどのように動かし、物体をどのように掴み、指示に従うかという一般的な感覚を学びます。しかし、学生が、慣れ親しんだタスクを少し異なる部屋や新しい道具を使って行うよう求められたときに苦労する可能性があるのと同様に、これらのロボットは、現実の世界が学習データと完全に一致しない場合に、しばしば失敗します。ロボットが未経験の状況に遭遇したとき、迅速に適応する必要があります。科学者にとっての課題は、これらの巨大で学習済みのシステムに対し、最初から再学習させる（これは実用的な使用には遅すぎ、計算コストも高すぎるプロセスです）ことなく、いかにして新しい環境に適応させるかということです。

ある程度の期間、研究者たちは、意思決定プロセスのまさに始点の部分を微調整することによって、これらのロボットを導こうとしてきました。ロボットが、ランダムなノイズのパターンから始まり、それを徐々に滑らかな動きへと洗練させていくことで、一連の動きを生成すると想像してみてください。既存の手法は、ロボットをより良い結果へと導くために、その初期のランダムなパターンを変更することに焦点を当ててきました。これは助けにはなりますが、車のホイールの初期位置を調整することだけで車を操縦しようとするようなものです。一度車が動き出してしまうと、ドライバーは車両がコースから外れ始めたときに、直接的に修正を加える方法を持っていません。ロボットの動きに関する内部的な「思考」は固定されたままであり、初期の調整では、動きの後半に発生する小さく精密なエラーを容易に修正することができません。この限界により、たとえガイダンスがあったとしても、ロボットはカップをソーサーの上に置いたり、ボルトを締めたりといった高い精度を必要とするタスクにおいて、依然として失敗する可能性があります。

これを解決するために、上海大学の研究チームは、「デュアル・ラテント・スペース強化学習（Dual-Latent Space Reinforcement Learning）」と呼ばれる新しいアプローチを開発しました。ロボットの動きの計画の出発点だけを調整するのではなく、彼らのシステムは、計画が作成されている最中にロボットの内部的な思考を「つつく（ナッジする）」ことを学習します。研究者たちは、凍結された（学習済みの）ロボットの脳と並行して動作する軽量な制御モジュールを構築しました。このモジュールは、以前の手法が行っていたように初期の開始パターンを選択すると同時に、ロボブルの処理ネットワークの中間層に直接注入される第2の信号を生成するという、2つのことを同時に行います。これは、目的地を設定するのを助けるだけでなく、車が走行している間、ステアリングホイールやペダルに対してリアルタイムで微調整を行うために手を伸ばし、車両が正確に必要な経路を維持できるようにする副操縦士がいるようなものだと考えてください。

研究者たちは、シミュレーション環境において、物体を持ち上げる、缶を動かす、ブロックを積み重ねるといった様々なロボットタスクを用いてこの手法をテストしました。彼らは、開始点のみを調整する既存の最良の手法と、彼らの新システムを比較しました。その結果、このデュアル制御システムにより、ロボットがはるかに速く学習できることが示されました。缶を特定の場所に移動させるような高い精度を要するタスクにおいて、新しい手法は99パーセント近い成功率に達しましたが、古い手法は90パーセントを超えるのに苦戦しました。ロボットはより少ない試行回数で新しい課題に適応したため、ミスからより効率的に学ぶことができました。また、この研究は、このアプローチが特定の設計だけでなく、異なるタイプのロボットの脳とも機能することを示しており、ロボットの性能を向上させるための汎用的なツールであることを示唆しています。

この発見の鍵となったのは、この内部的な「つつき（ナッジ）」がどの程度の影響を与えるべきかを理解することでした。研究者たちは、もしロボットの内部的な思考を強く押しすぎると、動きが不安定で不規則になることを発見しました。しかし、ちょうど適切な量の穏やかな圧力を加えると、ロボットのパフォーマンスは着実に、かつ滑らかに向上しました。このバランスにより、ロボットはすでに学習した一般的なスキルを維持しながら、新しいタスクに必要な特定の微細な修正を行うことができました。システムは、巨大な学習済みモデル自体を変更することなく、この結果を達成しました。つまり、コアとなるロボットの脳を損なうことなく、小さな軽量の制御モジュールのみを更新したのです。これは、ロボットを新しい状況に投入し、基礎となる知能の完全な刷新を必要とすることなく、即座に適応して学習できることを意味します。

この研究の含意は、ロボティクスの未来にとって非常に重要です。ロボットが動きの生成中に精密な調整を行うことを可能にすることで、この手法は、広範で一般的な知識と、現実世界で求められる特定かつ繊細な動作との間の溝を埋めます。研究者たちは、広範なシミュレーションを通じて彼らの発見を検証し、このアプローチが複数のタスクにおいて従来の技術を一貫して上回ることを示しました。この研究はコンピュータ・シミュレーション内で行われましたが、適応の速度と効率性は、これらのロボットが間もなく現実世界の環境に配在され、これまで達成が困難であったレベルの手器用さで、新しい物体や環境を扱うことを学習できる可能性を示唆しています。研究は、ロボットが内部表現を操縦する方法を与えることで、単に賢いだけでなく、柔軟で、予測不可能な物理的世界に対しても準備ができている機械を作ることができる、と結論付けています。

技術要約：生成ロボット・ポリシーのための二重潜在空間強化学習（DLSRL）

問題提起

拡散ポリシー（Diffusion Policies）やフロー・マッチング・モデル（flow-matching models）といった学習済みの生成ロボット・ポリシーは、大規模なデータセットを活用して表現力豊かなアクション・プライア（行動事前分布）を学習する。しかし、これらのモデルは、ダウンストリームのタスクが事前学習の分布から逸脱する場合、特に微小な空間的または時間的な誤差が失敗に直結する長期ホライゾン（long-horizon）のタスクにおいて、苦戦することが多い。オンライン適応は必要不可欠であるが、数十億パラメータを持つモデルのフル・ファインチューニングは計算コストの面で極めて困難である。

既存のパラメータ効率の高い適応手法、例えば強化学習（RL）に基づくステアリング（制御）手法は、通常、アクション生成の境界部分のみを操作する。例えば、Diffusion Steering via Reinforcement Learning (DSRL) のような手法は、凍結された生成器を制御するために、観測条件付きの初期ノイズ・ポリシーを学習する。この手法は効果的ではあるものの、生成プロセスの「開始点」にのみ影響を与える。これは、生成プロセス中の中間的なアクション表現を調整する能力を制限するため、接触位置、アクションの大きさ、あるいは局所的な軌道の精密な修正を行うことができない。逆に、残差ポリシー（residual policies）はアクション生成後に修正を加えるが、アクション表現の内部的な進化を形成することはできない。したがって、凍結された生成器内でのグローバルな行動選択と、中間的なアクション表現への直接的な変調を組み合わせるRLメカニメントが欠如している。

手法：二重潜在空間強化学習（DLSRL）

これらの限界に対処するため、著者らは**二重潜在空間強化学習（Dual-Latent Space Reinforcement Learning: DLSRL）**を提案する。このフレームワークは、凍結された生成ポリシー内部における、初期ノイズ・ステアリングを補完する新しい制御インターフェースを導入する。

1. 二重潜在アクター（Dual-Latent Actor）

従来のノイズ空間RL手法が初期ノイズベクトル（ $z_t$ ）のみを予測するのに対し、DLSRLのアクターは、現在の観測（ $o_t$ ）を条件として2つの異なる潜在変数を予測する：

初期ノイズ潜在変数（ $z_t$ ）： 既存の手法と同様に、全体的な行動生成をステアリングする。
アクション表現潜在変数（ $u_t$ ）： 中間的な特徴量の変調のために設計されている。

アクターは $\pi_\theta(\cdot | o_t)$ としてパラメータ化され、結合分布 $(z_t, u_t)$ を出力する。

2. アダプター特徴量マッピングと残差注入

アクション表現潜在変数 $u_t$ は、軽量なアダプター特徴量マッパー $A_\omega$ を通じて処理され、アダプター特徴量 $f_t$ を生成する：
$f_t = A_\omega(u_t)$

これらの特徴量は、注入強度 $\lambda_{inj}$ によってスケーリングされ、選択された凍結Transformerブロック内のアクション・トークンの隠れ状態に残差として加算される：
$\tilde{H}^{(l)}_{t,k} = H^{(l)}_{t,k} + \lambda_{inj} f_t$
ここで、 $H^{(l)}_{t,k}$ はレイヤー $l$ および生成ステップ $k$ におけるアクション・トークンの隠れ状態を表す。この設計により、ベース・ポリシーのパラメータを更新したりネットワーク構造を変更したりすることなく、アクション表現を直接調整することが可能となる。ベース・ポリシーは最終的なアクション・チャンクを以下のように生成する：
$a_t = G_\phi(o_t, z_t, f_t)$

3. 二重潜在ポリシー最適化

学習フレームワークは、凍結された生成器に対してバックプロパゲーションを行わずに、二重潜在アクターを最適化するための値蒸留（value-distillation）メカニズムを採用する：

アクション空間クリティック（ $Q^{act}_\psi$ ）： オンライン相互作用データを用いて、アクション・チャンクのリターンを推定するために標準的なオフポリシー・テンポラル・ディファレンス学習を用いて訓練される。
潜在空間クリティック（ $Q^{lat}_\nu$ ）： アクション空間クリティックによって予測される値を一致させるための蒸留目的関数を通じて最適化される。このクリティックは、 $z_t$ と $f_t$ の結合効果がタスクのリターンに与える影響を学習する。
$L_{distill} = \mathbb{E}[(Q^{lat}_\nu(o_t, \hat{z}_t, \hat{f}_t) - \text{sg}[Q^{act}_\psi(o_t, \hat{a}_t)])^2]$
アクター更新： 二重潜在アクターは、潜在空間の値を最大化するエントロピー正則化された目的関数を用いて更新される：
$L_{actor} = \mathbb{E}[\alpha \log \pi^z_\theta(z_t | o_t) - Q^{lat}_\nu(o_t, z_t, f_t)]$

デプロイメント時には、アクターとアダプター・マッパーのみが保持され、クリティックは破棄される。

主な貢献

本論文は、主に以下の3つの貢献を述べている：

新規フレームワーク： 初期ノイズとアクション表現の二重の潜在変数を同時に最適化する潜在空間RLフレームワークを導入し、ポリシーのガイダンスをサンプリングの初期化フェーズから中間的な表現フェーズへと拡張した。
軽量な変調メカニズム： アクション・トークンに整合したアダプター特徴量を生成し、ベース・ポリシーの更新を必要とせずにTransformerの隠れ状態に注入する、残差変調メカニズムを開発した。
実証的検証： 拡散およびフロー・マッチング・ポリシーを用いた一連の実験を通じて、DLSRLがオンライン適応速度を加速させつつ、競争力のある最終性能を維持することを実証した。

実験結果

実験は、凍結されたTransformerベースのDiffusion Policyおよび $\pi_0$ フロー・マッチング・ポリシーを用い、RoboMimic（Lift, Can, Square）およびLIBERO（Stove-On, Bowl-Drawer-to-Plateを含む6つのタスク）のベンチマークを用いて行われた。

適応速度： DLSRLは、DSRL、DPPO、JSRLといったベースラインと比較して、学習の初期および中間段階において一貫して高速な性能向上を示した。
成功率：
- Can タスク（RoboMimic）において、DLSRLは後半段階で約**99%**の成功率を達成し、DSRL（約90%）を上回った。
- LIBERO タスクにおいて、DLSRLはDSRLよりも少ない環境相互作用数で飽和性能に到達した。
効率性： 表Iによれば、DLSRLはLIBEROの全6タスクにおいて、平均エピソード長を短縮しており、DSRLと比較して**15.27%から25.40%**の削減を実現した。
アブレーション研究：
- 初期ノイズ・ステアリングを除去した場合（DLSRL-Rep）、Canタスクにおいて成功率は約27%から約52%へと改善されており、表現レベルの変調だけでも適応に寄与することが確認された。
- 注入強度（ $\lambda_{inj}$ ）の分析では、高い値（$0.09 $）は急速な初期利得をもたらすが不安定さを引き起こす一方、中程度の値（$ 0.06$）が最適なバランスを提供し、100%の成功率を達成した。

意義と主張

著者らは、DLSRLが初期ノイズ・ステアリングとアクション・トークンの隠れ状態変調を統合した最初の研究であると主張している。本研究の意義は、凍結された生成器の内部にさらなる制御インターフェースを提供することで、大規模な生成モデルのファインチューニングという計算コストをかけることなく、接触位置や軌道の精密な修正を可能にした点にある。

結論として、DLSRLはロボット・ポリシーのオンライン適応を効果的に加速させる。本手法は優れた適応速度を示す一方で、著者らは、単純なタスクでは他の手法も最終的に同様の成功率に収束する可能性があるため、高精度なアクションが要求されるタスク（Can, Squareなど）においてその優位性がより顕著であると控えめに述べている。今後の課題として、実世界の環境での評価や、特定のアーキテクチャ上の選択（注入レイヤー、ステップ、強度）の影響についての調査が計画されている。