💻 computer science

RFS: Reinforcement Learning with Residual Flow Steering for Dexterous Manipulation

本論文では、事前学習済みのフローマッチング・ポリシーを、局所的な誤差修正とグローバルな探索のバランスを取るために残差アクションと潜在ノイズ分布を共同で最適化することで、器用な操作へと適応させる、データ効率の高い強化学習フレームワークであるResidual Flow Steering (RFS) を提案する。

原著者： Entong Su, Tyler Westenbroek, Anusha Nagabandi, Abhishek Gupta

公開日 2026-02-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Entong Su, Tyler Westenbroek, Anusha Nagabandi, Abhishek Gupta

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、高度な技術を持ちながらも、少し融通の利かないロボットハンドに、ブロックの積み上げや水の注ぎ方、繊細な物体を拾い上げるなどの複雑なタスクを教えていると想像してください。

この論文は、Residual Flow Steering (RFS) と呼ばれる新しい手法を紹介しています。これは、学習済みのロボットが、何千もの新しい事例を必要とすることなく、実世界でより速く、より上手く学習するための「スマートな副操縦士（コ・パイロット）」のようなシステムです。

仕組みは以下の通りです。シンプルな概念と比喩を用いて説明します。

1. 出発点：「筋肉の記憶」を持つロボット

まず、研究者たちは**模倣学習（Imitation Learning）**を用いてロボットを訓練します。彼らは人間に手本を見せます（例：手が物体を掴む様子を映したビデオなど）。

比喩： マスターシェフが料理をする様子を千回も観察した学生を想像してください。その学生には「筋肉の記憶」があり、レシピの全体的な流れを知っています。刻んだり混ぜたりすることはできますが、もしコンロの火力が通常より強かったり、フライパンの形が違ったりすると、苦戦するかもしれません。
問題点： このロボットが実世界（現実の物理法則、滑りやすい物体、異なる照明条件など）でタスクを実行しようとすると、あまりにも融通が利かないため、失敗することがよくあります。小さなミスや予期せぬ変化に対処できないのです。

2. 解決策：「両手の」修正

研究者たちは、ロボットを修正するためには、同時に2種類の異なる助けが必要であることに気づきました。それが Residual Flow Steering です。

ロボットの脳には、互いに連携して機能する2つの異なる「制御ノブ」があると考えてください。

ノブA：「全体像」のダイヤル（潜在ノイズ・ステアリング / Latent Noise Steering）
- 役割： このノブは、動きの「全体的な戦略」や「雰囲気」を変更します。これはロボットに対して、「おい、左から手を伸ばすのではなく、右から伸ばしてみてくれ」とか、「もっと優しく掴んで」と伝えるようなものです。
- 比喩： これはオーケストラの指揮者がテンポを変えるようなものです。個々の音符を書き直すことなく、パフォーマンス全体のスタイルをシフトさせます。これにより、ロボットはグローバルな視点で新しいやり方を探索できるようになります。
ノブB：「微調整」のダイヤル（残差アクション / Residual Action）
- 役割： このノブは、ロボットの実際の動きに対して、小さく精密な調整を行います。もしロボットの手が2ミリ高すぎれば、このノブがそれを押し下げます。
- 比喩： これは綱渡りの人がバランス棒を使うようなものです。ふらつき始めたとき、彼らは姿勢を保つために、小さく素早い修正を行います。全体的な計画を変えることなく、局所的なエラーを修正するのです。

なぜこれが特別なのか？
従来のほとんどの手法は、これら一方のノブのみを使用しようとしていました。

「全体像」のダイヤルのみを使用する場合（他のAI手法のように）、それは漠然としすぎており、ふらつく手を直すことはできません。
「微調整」のダイヤルのみを使用する場合（標準的な「残差」学習のように）、それは限定的すぎて、もし計画全体が間違っていた場合に戦略を変更することができません。
RFS はこれら両方を同時に使用するため、ロボットは戦略を変更しながら、同時にミスを修正することができます。

3. 学習プロセス：シミュレーションから現実へ

論文では、これを実現するための特定のパイプラインについて説明しています。

シミュレーション訓練（練習場）：
まず、仮想現実データを用いたコンピュータ・シミュレーション内でロボットを訓練します。ここでロボットは基礎を学びます。次に、この「両手の」システムを使用して、ロボットがシミュレーション内で安全に失敗し、自らを修正する方法を学ぶようにします。
- 比喩： ロボットは、何も壊すことなく何千回もクラッシュできるビデオゲームの中で練習しているのです。
実世界での微調整（本番ステージ）：
ロボットを実世界に移動させると、物体が滑りやすかったり重かったりするため、依然としてミスが発生します。ロボットを一から再学習させる（膨大なデータが必要になる）代わりに、少量の実世界のデータを使用します。
- 「人間による修正」ステップ： 人間がロボットのタスク遂行を見守ります。ロボットが失敗し始めたとき（例：コップを落としそうになったとき）、人間が手を正しい位置へと優しく誘導します。
- 魔法： RFSシステムは、これらの少数の修正から学習します。システムはこう理解します。「なるほど、実世界では『全体像』のノブを少し左に回し、『微調整』のノブを使ってグリップを強くする必要があるのだ」と。

4. 結果：何が分かったのか？

論文では、以下の困難なタスクでテストを行いました。

パッキング： アイテムを箱に入れる。
スタッキング： 物体を上に積み上げる。
ポーリング（注ぐ）： 液体のこぼさないように注ぐ。
グラスピング（掴む）： 様々な物体を掴む。

判明したこと：

「筋肉の記憶」単体よりも優れている： ベースとなるロボット（RFSなし）は、実世界で頻繁に失敗しました。
他のAI手法よりも優れている： ロボットを修正しようとした他の手法は、戦略を十分に変化させられなかったり、あるいは十分に精密な修正ができなかったりしました。
RFSの勝利： 「全体像」と「微調整」の両方のダイヤルを併用することで、ロボットはシミュレーションと実世界の双方において、見たことがない物体に対しても高い成功率（多くの場合80〜90％以上の成功率）を達成しました。

まとめ

Residual Flow Steering は、ロボットにスマートな副操縦士を与えるようなものです。

副操縦士は、道が塞がっていればルート全体を再設定できます（グローバル／ノイズ・ステアリング）。
また、路面の凹凸を避けるためにハンドルを切ることもできます（ローカル／残差修正）。

これら両方の能力を組み合わせることで、ロボットは仮想世界で学んだことを、非常に少ない追加データを用いて、雑多で予測不可能な実世界へと素早く適応させることができるのです。

技術要約：器用な操作のための残留フロー・ステアリング（Residual Flow Steering: RFS）

問題提起

模倣学習、特に拡散モデルやフロー・マッチングのような表現力豊かな生成モデルを用いた手法は、高次元の器用な操作（dexterous manipulation）におけるポリシーのブートストラップに効果的であることが証明されている。しかし、人間によるデモンストレーションのみで事前学習されたポリシーは、未知のシナリオに対する汎化性能が限定的であり、堅牢でプロダクションレベルの性能を実現するためには微調整（fine-tuning）が必要となる。

既存の適応手法は、以下のトレードオフに直面している：

教師あり微調整（Supervised Fine-Tuning）： 高品質で精選されたエキスパートデータが必要であり、その収集コストは高い。
生成モデルを用いた強化学習（RL）： RLは報酬最適化を通じて行動を改善するための原理的な枠組みを提供するが、標準的なRL微調整手法は、閉形式の尤度（likelihood）や再パラメータ化トリックに依存することが多い。これらは複雑な生成アーキテクチャ（拡散モデルやフローモデル）とは互換性がない。さらに、既存のポリシー変調技術は、グローバルな探索とローカルな精密さのバランスを取ることに苦慮している：
- 残留RL（Residual RL） は局所的なアクションの補正を可能にするが、必要なグローバルな行動変化を誘発することはできない。
- 拡散ステアリング（Diffusion Steering、入力変調） はグローバルな変調を可能にするが、分布外の状態におけるきめ細かな制御には限界がある。

核心となる課題は、事前学習によるグローバルな探索の利点を維持しつつ、局所的な実行エラーを迅速に補正できるようにしながら、事前学習済みの生成ポリシーを新しいタスクや現実世界のダイナミクスに適応させることである。

手法：残留フロー・ステアリング（RFS）

著者らは、事前学習済みのフロー・マッチング・ポリシーを適応させるために、入力と出力の両方の変調を統合した、データ効率の高い強化学習フレームワークである**残留フロー・ステアリング（RFS）**を提案する。

統合されたポリシー変調

RFSは、ポリシーの適応を、基礎となるパラメータを更新することなく、事前学習済みのベースポリシー $\pi_{base}$ （フロー・マッチングの速度場 $v_\theta$ で表される）を変調することと捉える。これは以下の2つのコンポーネントを共同で最適化する：

潜在ノイズ・ステアリング（入力変調）： ポリシー $\pi_H$ は、状態 $s$ に条件付けられた初期潜在ノイズベクトル $a_0$ を出力することを学習する。これにより、生成モデルのグローバルな挙動を誘導し、デモンストレーションの多様体（manifold）を超えたモードのシフトと探索を可能にする。
残留アクション補正（出力変調）： ポリシー $\pi_r$ は、ベースポリシーの出力に加算される残留アクション $a_r$ を学習する。これにより、実行エラーの補正や、分布外の要求への対応といった、精密かつ局所的な洗練が可能になる。

最終的なアクションは次のように計算される：
$a = a_{base} + a_r$
ここで、 $a_{base}$ はステアリングされた潜在ノイズ $a_0$ からフローのダイナミクスを積分することによって生成される。

実装パイプライン

本フレームワークは、シミュレーション・トゥ・リアリティ（Sim-to-Real）パイプラインを通じて実装される：

シミュレーションでの事前学習： VRテレオペレーションによる少数のデモンストレーションを用いて、ベースとなるフロー・マッチング・ポリシーを学習させる。
シミュレーション内でのオンラインRL： 把持の成功率と安定性を最適化するために、オンラインPPOを用いてRFSポリシー（ $\pi_{RFS}$ ）を微調整する。ここでは、特権状態情報（オブジェクトのポーズなど）を使用して高品質なデモンストレーションを生成する。
蒸留（Distillation）： RFSによって強化されたポリシーを、ポイントクラウドに条件付けられたビジュオモーター・ポリシーへと蒸留し、デプロイメント時の特権状態情報の必要性を排除する。
実世界でのオフライン微調整： シム・トゥ・リアル・ギャップを埋めるため、人間による修正が行われた遷移の小規模なデータセットを用いて、蒸留されたポリシーを適応させる。
- データ収集： ベースポリシーがロールアウトを実行し、人間が修正アクション（ $a_{human}$ ）を介入させる。
- 残留の定義： 残留は $a_r = a_{human} - a_{base}$ と定義される。
- 学習： RFSポリシーは、オフラインRL（具体的にはTD3+BC）を用いて学習される。クリティック（Critic）は、分解されたコンポーネントではなく、最終的に実行されたアクション（ $a = a_{base} + a_r$ ）に条件付けられる。著者らはこれが安定性に極めて重要であることを発見した。アクターは、残留アクションに対する行動クローニングの正則化を適用しながら、クリティックの値を最大化する。

主な貢献

RFSフレームワーク： 事前学習済みのフロー・マッチング・ポリシーを適応させるために、潜在ノイズ（グローバルな適応用）と残留アクション（ローカルな洗練用）を共同で最適化する、統一されたフレーム框架である残留フロー・ステアリングの導入。
効果的なシミュレーション事前学習： RFSが、人間のデモンストレーションから堅牢なシミュレーション事前学習を可能にし、複雑な多指協調動作を正常に捉えられることを実証。
データ効率の高い実世界適応： RFSが、オフラインRLを用いた実世界での微調整をサポートし、ブートストラップされた模倣学習のベースラインや、標準的な残留のみまたはステアリングのみの手法よりも優れた性能を発揮することを検証。
包括的なアブレーション研究： 高いパフォーマンスを得るためには、入力変調と出力変調の両方のコンポーネントが必要であることを特定する広範な実験。

実験結果

シミュレーション性能

RFSは、把持（Grasping）、ピック・アンド・プレース（Pick & Place）、パッキング（Packing）、プッシュ・トゥ・グラスプ（Push-to-Grasp）、スタッキング（Stacking）、ポーリング（Pouring）の6つの器用な操作タスクで評価された。

ベースライン： RFSは、拡散/フローRL微調整（DPPO, ReinFlow）、オフライン・トゥ・オンラインRL（IQL, AWAC, Flow Q-Learning）、およびデモンストレーションを用いたRL（RLPD, IBRL）と比較された。
アブレーション： 残留RLのみ（Policy Decorator, ResiP）および拡散ステアリングのみ（DSRL）と比較された。
結果： RFSはすべてのタスクにおいて最も高い成功率を達成し、平均成功率は 0.87 であった。
- 特筆すべき点として、RFSは、他の手法が崩壊したり苦戦したりするような長期間のタスク（Packing）や高精度タスク（Stacking, Pouring）において、ベースポリシーおよびすべてのベースラインを大幅に上回った。
- 例えば、Stackingにおいて、RFSは 0.95 の成功率を達成したが、これはベースポリシーの0.15やDSRLの0.135と比較して顕著な差である。

実世界性能

FrankaアームとLEAPハンドを用い、シミュレーションで学習したポリシーを、既知および未知のオブジェクトを用いた実世界の把持およびピック・アンド・プレース・タスクに転移させる実験を行った。

セットアップ： 微調整は、50個の人間による修正デモンストレーション（オフラインRL）のみを使用して行われた。
ベースライン： ゼロショット転移、行動クローニング（BC）微調整、および共同学習（Co-training）。
結果：
- 既知のオブジェクト： RFSは、ピック・アンド・プレースで 90.0%、把持で 80.0% の成功率を達成し、共同学習（60.0% / 83.3%）やBC（40.0% / 73.3%）を上回った。
- 未知のオブジェクト： RFSは優れた汎化性能を示し、把持で 74.0%、ピック・アンド・プレースで 48.0% の成功率を達成した。これは、ゼロショットベースライン（43.3% / 30.0%）や他のオフラインRLバリアントよりも大幅に高い数値である。
クリティック設計： 著者らは、クリティックを最終実行アクション（ $a_{base} + a_r$ ）に条件付けることが不可欠であることを発見した。分解されたコンポーネントに条件付けると、一貫した結果が得られなかった。

意義と主張

本論文は、RFSが生成的な模倣学習における「適応のボトルネック」に対する原理的な解決策を提供すると主張している。入力（潜在ノイズ）と出力（残留）を分離することで、RFSはポリシーが以下を実現することを可能にする：

事前学習の保持： 事前学習済みのフロー・マッチング・ポリシーの表現力豊かな構造とマルチモーダルな能力を維持する。
効率的な適応： 最小限の実世界インタラクションデータ（オフライン微調整）で堅牢な性能を達成する。
汎化： シミュレーションから実世界への転移を成功させ、ゼロショット・ポリシーが失敗する原因となる未知のオブジェクトや動的な条件に対処する。

著者らは、RFSは非常に効果的であるものの、現在の限界として、ポイントクラウド観測への依存（高次の意味的推論の欠如）と、オフライン微調整への制限（デプロイメント中の動的に変化する状況への応答性の制限）を挙げている。