技術要約：フロー反転ステアリングによるロボット汎用ポリシーの改善

問題提起

大規模で多様なデータセットで訓練された、Vision-Language-Action (VLA) モデルを中心とするロボット汎用ポリシーは、「妥当な」振る舞いに関する豊かな事前分布（prior）を有している。しかし、学習データから逸脱する新しいタスク（長期間の動作や特定の適応が必要な場合など）に直面すると、これらのポリシーはしばしば失敗する。標準的なリカバリー策は、新しいデモンストレーションデータを用いて再学習することであるが、これには多大なコストと時間がかかる。

既存のステアリング手法は、人間やVision-Language Model (VLM) からのセマンティックな知識を用いてポリシーを誘導しようと試みている。しかし、決定的なボトルネックが存在する。すなわち、VLMは高レベルのセマンティックな目標（例：「右に動く」）を推論することはできるが、精密で低レベルな器用な動作を生成することは困難である。一方で、フローマッチング・ポリシー（汎用モデルで一般的なアーキテクチャ）は、ノイズから動作を決定論的にマッピングするが、そのノイズ空間には直感的に理解できる構造が欠けている。望ましい動作に対応する特定のノイズベクトルを見つけ出すには、通常、高価な試行錯誤を伴う強化学習 (RL) が必要となるが、ベースとなるポリシーの成功率がほぼゼロである場合、RLは実行不可能（intractable）となることが多い。

手法：フロー反転ステアリング (Flow Reversal Steering: FRS)

著者らは、粗いセマンティックなガイダンスと精密なロボット動作の間のギャップを埋めるために、フローマッチング・ポリシーの決定論的な性質を利用する手法である Flow Reversal Steering (FRS) を提案している。

コアメカニズム

FRSは、フロー・ポリシーを反転させることで動作する。ランダムなノイズをサンプリングしてそれをデノイジング（除去）して動作を得る代わりに、FRSは「粗い」参照動作 ($a_1$) ——これは最適ではない、あるいは分布外 (OOD) のものであってもよい —— を取り上げ、フロー・ポリシーを逆方向に通過させる。

1. フロー反転 (Flow Reversal): 参照動作 $a_1$ と観測 $o$ が与えられたとき、この手法は学習された速度場 $v_\theta$ を時間を遡って（$t=1$ から $t=0$ へ）積分し、$a_1$ を生成したであろう潜在的なノイズベクトル $\hat{a}_0$ を特定する。
   $$\hat{a}_0 \leftarrow \mu^{-1}_\theta(a_1, o)$$
2. デノイジング (Denoising): この計算されたノイズ $\hat{a}_0$ は、次に標準的な前方フローマッチング・プロセス（デノイジング）に渡され、精緻化された動作 $\hat{a}_1$ を生成する。
   $$\hat{a}_1 \leftarrow \mu_\theta(\hat{a}_0, o)$$

重要な洞察: 積分誤差により $\hat{a}_1$ は参照動作 $a_1$ と同一にはならないが、それは汎用ポリシーにとって「分布内 (in-distribution)」の動作である。このプロセスは、実質的に、粗いセマンティックな意図を、汎用ポリシーが既に実行可能な高品質な動作モードへと「投影」する。これにより、ポリシーは、推論器から提供された高レベルの方向性を維持しながら、自身の持つ「妥当な振る舞い」の内部事前分布を活用することができる。

推論の実装

本手法は、2種類の推論器をサポートする：

• 人間: 粗い方向指示（例：デカルト座標系での方向入力によるキーボード操作）を提供できる。
• VLM: 高レベルのサブゴールを推論し、単純な方向ベクトル（例：「右に動く」）を出力できる。

これらの粗い入力は、FRSによって精緻化される参照動作チャンクへと変換される。

ポリシー改善のパラダイム

FRSは、3つの異なるポリシー改善モードを可能にする：

1. ゼロショット・ステアリング (Zero-Shot Steering): デプロイメント中の各ステップにおいて、推論器がポリシーを誘導する（追加学習なし）。
2. 行動模倣による拡散ステアリング (Diffusion Steering via Behavioral Cloning: DSBC): FRSによって生成されたノイズベクトル ($\hat{a}_0$) は、「エキスパート」の動作として扱われる。補助的な軽量のノイズ・ポリシーを、観測からこれらのノイズを直接予測するように、教師あり学習（行動模倣）を通じて訓練する。これにより、FRSの能力を高速かつ小規模なポリシーへと蒸留する。
3. 強化学習による拡散ステアリング (Diffusion Steering via Reinforcement Learning: DSRL + FRS): FRSの軌跡は、RLをブートストラップするために使用される。成功したノイズベクトルは、リプレイバッファを事前充填するための先行データ、および補助的な損失項として機能し、RLエージェントがランダムなノイズではなく、セマンティックに意味のある振る舞いの周囲を探索するように導く。

主な貢献

1. Flow Reversal Steering (FRS): フローを反転させて粗い参照動作に対応するノイズベクトルを見つけることで、セマンティックなガイダンスから分布内の高品質な動作を抽出する、フローマッチング・ジェネラリストのための新しい技術。
2. 効率的な適応 (DSBCによる): FRSによって生成されたノイズが、行動模倣を通じて1分未満の訓練で小さな補助ポリシーに蒸留可能であることを示し、極めて少ないデータ（例：10個の軌跡）で高い成功率を達成した。
3. RLのブートストラップ: 標準的なRLがランダムな探索を通じて成功を見つけられないタスクにおいて、FRSがどのようにRLをブートストラップできるかを示した。成功したノイズベクトルが、初期の「良い」ノイズとして機能する。
4. 実証的検証: シミュレーション (LIBERO) および実世界の操作タスク (DROID) にわたる広範な評価を通じて、ゼロショット制御、サンプル効率、および最終的なタスク成功率の向上を実証した。

実験結果

論文では、様々な設定において、最新のVLA（具体的には $\pi0.5$）に対するFRSの性能を評価している：

• ゼロショット性能: ベースとなるVLAの成功率が $\le 2\%$ であった42個の困難なLIBEROタスクにおいて、VLMによる誘導を用いたFRSは、11個のタスクで少なくとも10%の絶対的な成功率向上を実現した。これは、直接的なVLMアクション実行、部分的なノイジング、およびサンプル・アンド・ランク手法を大幅に上回る結果である。
• 行動模倣 (DSBC): LIBERO-90ベンチマークにおいて、FRSデータで訓練されたDSBCは、ゼロショットVLMステアリングと同等の性能を示したが、分布外の状態に対してより堅牢であった。実世界のDROID実験では、わずか10個の成功したFRSロールアウトで訓練されたDSBCは、ベースとなるポリシーと比較して平均成功率を60%向上させたが、同じデータを用いた標準的な行動模倣は完全に失敗した。
• 強化学習 (DSRL + FRS):
  • FRSが中程度の成功を提供したタスクにおいて、DSRL + FRSは、標準的なDSRLおよび残差RLと比較して、より速い収束と高い最終成功率を達成した。
  • ベース・ポリシーの成功率がほぼ0%である極めて困難なタスクにおいて、わずか1つの成功したFRS軌跡で初期化されたDSRL + FRSは、高い成功率へと学習・収束することができた。一方、標準的なDSRLは $\approx 30\%$ を超える学習が困難であった。
• オフライン学習: 著者らは、ノイズラベルのない標準的なロボットのオフラインデータセットに対してFRSを適用し、ノイズとアクションのペアを生成することで、既存のデモンストレーションデータからノイズ・ポリシーを訓練できることを示した。

意義と主張

本論文は、FRSが汎用ポリシーを改善するための新しいパラダイムを提供すると主張している。単に報酬関数を最適化したり、膨大な新しいデモンストレーションデータを収集したりするのではなく、FRSはセマンティックな知識を利用して、既存の行動事前分布にアクセスすることで、迅速な適応を可能にする。

著者らは、FRSが特に重要である理由として以下を挙げている：

• 高レベルのセマンティックな推論（VLMや人間が得意とする領域）と、低レベルの器用な制御（汎用ポリシーが得意とする領域）を分離できること。
• 報酬を探索するために伴う、フロー空間における「良い」ノイズベクトルを見つけるための高価な試行錯誤を必要とせず、1分未満で迅速なポリシー改善が可能であること。
• 報酬が疎であり、初期の成功軌跡が存在しない状況において、学習をブートストラップするメカニズムを提供できること。

本研究は、将来のロボット汎用モデルの改善が、単なるトレーニングデータのスケーリングアップよりも、これらのモデルを「ステアリング」し「反転」させ、訓練済みの豊かな事前分布からタスクに関連する振る舞いを抽出する効率的な手法に依存することを示唆している。