技術サマリー: SmoothRL

1. 問題提起

最先端の汎用ロボット・ポリシー（例：Vision-Language-ActionモデルやWorld-Actionモデル）を物理世界にデプロイする際、「信頼性」と「滑らかなリアルタイム実行」の間には根本的な対立が生じる。

• 信頼性: 多様な実世界のタスク（例：密封されたパッケージの切断）に対して堅牢性を達成するには、学習済みのモデルを適応させるためのサンプル効率の高いオンライン強化学習（RL）が必要である。
• 滑らかな実行: 基盤モデルの規模拡大に伴い、推論レイテンシが増大している。同期実行（推論が終わるまで待機してから行動する手法）は、アクションのチャンク境界において一時停止を引き起こし、動的なタスクにおけるパフォーマンスを低下させる。
• ミスマッチ: 現代のシステムは、非同期推論（ポリシーの計算とアクションの実行をオーバーラップさせる手法）とアクション・チャンキングを用いることでレイテンシを解決している。しかし、既存のオンラインRL手法の多くは、同期実行を前提としている。これにより、分布のシフト（distributional shift）が発生する。すなわち、ポリシーはデプロイ時に遭遇するダイナミクス（非同期）とは異なるダイナミクス（同期）の下で最適化されてしまう。具体的には、非同期実行においては、生成されたアクション・チャンクは次の新しいチャンクによって上書きされる前に、一部のみが実行される。標準的な値勾配（value-gradient）更新では、環境に到達することなく破棄されたアクションに対して誤ったバックプロパゲーションを行ってしまい、学習信号を汚染してしまう。

2. 手法: SmoothRL

SmoothRLは、非同期推論ループ内で学習済みポリシーを微調整するために設計されたオンラインRLフレームワークである。これは、オンライン学習、非同期実行、および値勾配最適化という3つのコア要件に従う。

2.1. 非同期推論ループとチャンク分割

生成されたアクションと実行されたアクションの間のミスマッチを解消するため、SmoothRLはトレーニング中に非同期プロセスを明示的にモデル化する。固定されたレイテンシ予算 $n$（推論時間が制限されている場合）の下で、ホライゾン $H$ を持つすべての生成アクション・チャンクは、フレームインデックスに基づいて以下の3つの明確な領域に分割される：

1. コミット領域 $[0, n)$: 前の推論サイクルですでに発行されたアクション。これらは固定されており、現在のポリシーによって変更することはできない。
2. 実行領域 $[n, 2n)$: 次のチャンクが到着する前にロボットによって実際に実行される、新しく生成されたアクション。
3. 破棄領域 $[2n, H)$: 現在のチャンク内で生成されたものの、実行される前に次の推論サイクルによって上書きされるアクション。

2.2. 勾配の切り捨て（Gradient Truncation）と値勾配パラダイム

SmoothRLは、アクション値関数 $Q$ がポリシーパラメータ $\theta$ を $\nabla_\theta J = \mathbb{E}[\nabla_a Q(s, a) \cdot \nabla_\theta \pi_\theta(s)]$ を通じて更新する値勾配パラダイムに従う。非同期条件下での正当性を確保するために：

• 勾配の切り捨て: 値勾配 $\nabla_a Q$ は、実行領域 ($a[n, 2n)$) に関してのみ計算される。勾配はコミット領域または破棄領域を通じて伝播されない。これにより、ポリシーの更新が、実際に実行されたアクションの結果のみに依存することを保証する。
• クリティックの条件付け: クリティックは、入力としてコミット領域を保持する。これには2つの理由がある：
  1. 不偏ブートストラップ: チャンクスキップによるブートストラップを不偏にするためには、クリティックは区間報酬を生成した完全なアクションシーケンスに対して条件付けられる必要がある。
  2. 状態拡張: コミット領域は「インフライト（実行中）」のアクションを表しており、並行する決定プロセス（次のチャンクが生成されている間に現在のチャンクが実行されている状況）をモデル化するために必要な状態拡張を提供する。

2.3. トレーニングループと人間による介入

• 組み込み型非同期性: 非同期推論ループは、デプロイ時だけでなく、トレーニング中のロールアウト中にも実行される。リプレイ・トラジェトリは、同じタイミング・スケジュールの下でロボットが「実際に」実行したアクションを記録するため、ポリシーが未知のダイナミクス下で最適化されることがない。
• 生のアクション空間: 本フレームメントは、潜在空間ではなく生のアクション空間で動作する。これにより、潜在空間への逆変換を必要とせずに、人間の介入（テレオペレーション）を直接回帰ターゲットとして組み込むことができる。
• 介入モード: 2つのモードがサポートされている：
  • 絶対的介入 (Absolute Intervention): テレオペレーションによるチャンクが、ポリシーの出力を完全に置き換える。
  • 残留介入 (Residual Intervention): 人間の入力がポリシーの出力に対する補正を加える。
    どちらのモードも、ダウンストリームでは同一に扱われる。実際に発行されたアクションがコミット領域に記録され、行動複製（BC）のターゲットとして使用される。

2.4. 実装

著者らは、凍結されたベースポリシー（例：$\pi_{0.5}$）と、軽量で学習可能なアタッチド・ネットワーク（Actor-Critic）を用いてSmoothRLを実装している。

• ベースポリシーは、参照アクション・チャンクと潜在トークンを生成する。
• アタッチド・ネットワークは、参照アクションに対する有界な残留補正（residual correction）を予測する。
• Actor損失には、$Q$ 最大化項、BCアンカー（参照アクションに対する正則化）、およびチャンク境界を越えた連続性を確保するための滑らかさの正則化項（速度、加速度、およびジャークの制約を強制するもの）が含まれる。

3. 主な貢献

1. 非同期オンラインRLのフレームメント: SmoothRLは、オンラインRLの微調整を非同期推論ループに直接統合した最初のフレームワークであり、「デプロイ時のReinforce」のミスマッチを解決した。
2. チャンク役割の分割: アクション・チャンクをコミット、実行、破棄の領域に明示的に分割することで、精密な勾配管理を可能にした。
   理。
3. 勾配の切り捨て: 値勾配を実行領域に限定するメカニメントを導入し、ポリシーの更新が実行されたアクションのみによって駆動される一方で、不偏のブートストラップのためにクリティックが完全な履歴に条件付けられることを保証した。
4. 直接的な人間との統合: 生のアクション空間で動作することにより、人間の介入を教師ありターゲットおよび値ラベル付き遷移の両方として自然に組み込むことができ、より安全で効率的な実ロボット学習を促進する。

4. 実験結果

本フレームワークは、高い精度と動的な制御を必要とする3つのタスクにおいて、Astribot S1 モバイル・バイマニュアル・ロボットを用いて評価された：

• ダイナミック・トッシング (Dynamic Tossing): 物体をターゲットとなるビンに投げ入れる（連続的な動きと正確なリリース・タイミングが必要）。
• ペン・キャッピング (Pen Capping): ペンをキャップに合わせ、固定する（ミリメートル単位の相対ポーズ精度が必要）。
• ボックス・オープニング (Box Opening): ブレードでテープの継ぎ目を切る（サブミリメートル単位の挿入精度が必要）。

性能向上:
250エピソードのオンライン・ロールアウト後、SmoothRLは凍結されたベースポリシーを大幅に上回った：

• ダイナミック・トッシング: 成功率が 39% から 94% に向上。
• ペン・キャッピング: 成功率が 8% から 83% に向上。
• ボックス・オープニング: 成功率が 30% から 90% に向上。

分析:

• ベースポリシーは、系統的なバイアス（例：ボックス・オープニングにおける左方向へのバイアス、トッシングにおける速度変調エラー）を示していた。
• SmoothRLは、これらの系統的なオフセットを効果的に修正した。
• 「ボックス・オープニング」では、性能が一時的に（20%まで）低下した後、回復した。これは、効果的な補正を発見するために必要な探索が行われたことを示している。
• フレームワークは、ベースポリシーと比較して、運動のジャーク（躍度）を47%、加速度を52%減少させ、滑らかさが向上したことを示した。

5. 意義と限界

意義:
本論文は、実世界へのデプロイにおいては、オンラインRLはデプロイ時に使用されるものと同じ非同期実行パラダイムの下で行われなければならないと主張している。SmoothRLは、大規模な基盤モデルの高レイテンシ要件と、サンプル効率の高いリアルタイム適応の必要性の間の溝を埋めるものである。非同期スケジュールを明示的にモデル化し、実行されたアクションに対して勾配を切り捨てることで、大規模な学習済みモデルの利点を損なうことなく、実ロボット上で高精度かつ動的な制御が可能であることを示している。

限界 (著者による記述):

1. 推論レイテンシの制約: 本フレームワークは固定されたレイテンシ予算に依存している。推論レイテンシがこの予算を超えて変動した場合、予定されたチャンクのハンドオーバーが失敗し、ループが不安定になる。
2. ベースポリシーによる表現力の制限: RLモジュールの容量は、凍結されたベースポリシーの内部表現および残留補正の有界性に制約される。ベースポリシーが参照アクションの局所的な近傍の外側で大きな系統的バイアスを示す場合、現在のインスタンス化ではそれらを完全に是正するための表現力が不足する場合がある。

今後の方向性:
著者らは、フレームワークを（単なる残留補正ではなく）完全な生成ポリシーの更新へと拡張すること、ポリシー学習とアクション・ブレンディングの相互作用を調査すること、および、より優れたローカル補正メカニズムの限界を理解するために、より広範なタスク分布へと評価をスケールアップすることを提案している。