技術要約：サンプリングベースのモデル予測制御による視覚的方策学習の加速化

問題提起

脚式移動やマニピュレーションのための視覚的な方策（Visual Policy）の学習には、大きな課題が存在する。強化学習（RL）はシミュレーション内での堅牢な動作を可能にしてきたが、オンボードの視覚観測（例：深度カメラ）に依存する方策を訓練する場合、膨大な計算コストとGPUメモリを必要とすることが多い。既存の手法は以下のトレードオフに直面している：

1. 教師・生徒蒸留（Teacher-Student Distillation）: 特権的な状態情報を用いて「教師」方策を訓練し、それを「生徒」視覚方策へと蒸留する手法は、訓練の複雑さを軽減するが、特権的な教師のための別途の訓練フェーズを必要とする。
2. 一次近似方策勾配法（First-Order Policy Gradients: FoPG）: SHACやD.Vaのような手法は、微分可能なシミュレーションを利用して勾配を直接計算し、訓練コストを削減する。しかし、これらのフレームワークにおける局所最適化は、報酬関数が有効な行動と無効な行動を明示的に区別していない場合、意図しない接触パターン（例：誤った歩容）に収束してしまう可能性がある。
3. サンプリングベースのMPC: サンプリングを用いたモデル予測制御（MPC）（例：DIAL-MPC）は、事前の方策訓練なしに動的に実行可能な軌跡を生成できるが、これらの手法は実行時にオンライン最適化と状態推定を必要とするため、学習済みの方策なしではリソース制約のあるハードウェアへの直接的なデプロイに適さない。

解決すべき核心的な課題は、いかにして、状態の偏差に対して耐性を持ち、オンラインMPCなしで自律的に実行可能な高品質な視覚方策を生成するかであり、同時に、特権的な教師を訓練する計算オーバーヘッドを回避し、かつ不適切な接触パターンへの収束を防ぐことである。

手法：サンプリング誘導型方策探索（Sampling-Guided Policy Search: SGPS）

著者らは、繰り返されるサンプリングベースの行動ターゲット精緻化と、デカップルされた一次近似方策勾配法を組み合わせたフレームワークである**Sampling-Guided Policy Search (SGPS)**を提案する。

1. コアフレームワーク

SGPSは、以下の2つのフェーズを交互に実行することで動作する：

• サンプリングベースの精緻化: サンプリングベースのMPCを使用して、局所的な方策更新を補完する「行動ターゲット（精緻化された軌跡）」を生成する。
• デカップルされたFoPG更新: 精緻化されたターゲットとトラッキング報酬に従って、一次近似勾配を用いて方策を更新する。

2. 主要コンポーネント

• リファレンス生成のためのアニーリング・サンプリング: DIAL-MPCに従い、SGPSはアクションプランをスプラインノードとして表現する。ノードを摂動させるためにアニーリング・サンプリングプロセスを用い、訓練モデル上で候補を評価する。タスクレベルの成功テストを通過した成功軌跡は、固定されたトラッキング・リファレンスとして機能する。
• 行動クローニング（BC）による初期化: 方策は、サンプリングされたリファレンス軌跡からアクションをクローンすることで初期化される。累積誤差を防ぐため、初期化データセットには、リファレンスのアクションとペアになった、ノイズを含むリファレンス状態が含まれる。
• 繰り返される行動ターゲットの精緻化: 訓練中、アルゴリズムは現在の訓練状態を選択し、局所的なサンプリングベースの探索を実行して新しい行動ターゲットを生成する。これらのターゲットは、公称モデルにおけるトラッキングスコアを改善する場合にのみ受理される。
• 視覚学習のためのデカップルされたFoPG: 特権的な教師なしで直接的な視覚学習を可能にするため、著者らはデカップルされたFoPG定式化を採用している。この手法は、レンダリングプロセスを計算グラフから除外する（観測に対してstop-gradientを使用する）一方で、ダイナミクスとアクションを通じた勾配は保持する。これにより、方策は深度観測から直接学習することができる。
• 損失関数: 方策は以下の結合損失を最小化する：
  $$L_{SGPS} = L_{track} + \lambda_j L_{BC}$$
  ここで、$L_{track}$はトラッキング報酬の勾配であり、$L_{BC}$は受理された精緻化ターゲットに対する行動クローニング損失である。重み $\lambda_j$ は訓練ブロックに従って減衰し、ターゲットのクローニングからクローズドループ最適化へと焦点を移行させる。

3. 蒸留とデプロイ

特定のスキル（例：トロット、クロール、運搬）に対して特化した方策を訓練した後、これらはDAggerを用いて単一の統合された視覚方策へと蒸餾される。この統合された方策は、オンボードの深度観測と速度コマンドに基づき、リファレンス入力やオンラインMPCを必要とせずに、行動間の遷移を自律的に学習する。

主な貢献

1. SGPSフレームワーク: 繰り返されるサンプリングベースの行動精緻化とデカップルされたFoPGを統合した方策学習フレームワーク。これは、固定されたトラッキングリファレンスを維持しながら、行動ターゲットを動的に更新し、学習効率と行動の質を向上させる。
2. 直接的な視覚方策の訓練: 分離された（デカップルされた）FoPGを用いることで、レンダリングを微分したり状態ベースの教師に依存したりすることなく、深度観測から直接視覚方策を訓練できる能力。
3. ゼロショット・ハードウェアデプロイ: オンボードの深度センシングと速度コマンドのみを使用し、外部のローカリゼーションやオンラインMPCなしで、自律的に行動を切り替える（トロット、クロール、障害物乗り越え）統合された視覚方策を、実機のUnitree Go2ロボットへゼロショット転送できることを実証した。

実験結果

著者らは、シミュレーション上のUnitree Go2（四脚ロボット）およびG1（ヒューマノイド）を用い、移動、障害物通過、および操作タスクにおいてSGPSを評価した。

• 学習効率: 単一のNVIDIA RTX 4080 GPUにおいて、SGPSはベースラインを大幅に上回った。
  • 状態ベースのトロットにおいて、SGPSはFoTP（スクラッチからの）よりも高いリターンを達成し、PPOよりも196倍少ない環境相互作用で収束した。
  • 視覚方策において、SGPSは初期化後に直接訓練できたが、DAggerは別途、時間の掛かる特権的な教師の訓練フェーズを必要とした。
• 精緻化のアブレーション研究: 繰り返される精緻化が、単純な初期化やトラッキングを超えて性能を向上させることを実験で示した。
  • 視覚的なトロットにおいて、完全なSGPS法は、精緻化なしのバリアントが11,000のリターンであったのに対し、16,000のリターンに達した。
  • 視覚的な運搬（G1）において、完全なSGPSは20,500のリターンに対し、26,500のリターンに達した。
• 行動の正当性: SGPSは、歩容（ゲイト）に盲目な報酬設定であっても、意図した歩容（例：対角線トロット）を正常に学習した。一方、関節角度の監督なしにスクラッチから訓練されたFoPGは、非協調的なシャッフル動作に収束した。
• 複雑なタスク: 本手法は以下のタスクにおいて方策の訓練に成功した：
  • Go2: トロット、梁の下のクロール、およびハードル乗り越え。
  • G1: 18 kgのクレートの押し、およびジョギング中の4 kgの箱の運搬。
• ハードウェアデプロイ: 蒸留された方策を実機のGo2ロボットにデプロイした。ロボットは、オンボードの深度カメラと速度コマンドのみを使用し、オンラインMPCや外部のローカリゼーションなしで、障害物の自律的な回避、梁の下のクロール、トロット、およびハードルの乗り越えを行った。

意義と主張

本論文は、SGPSがサンプリングベースのMPCによる高品質な軌跡生成と、学習済み方策の効率的かつデプロイ可能な性質との間の重要なギャップを埋めるものであると主張している。デカップルされたFoPGとサンプリングベースの精緻化を組み合わせることで、以下のことが実現される：

• 訓練コストの削減: 別途の特権的な教師方策を不要にし、PPOと比較して収束に必要な環境ステップ数を削減する。
• 堅牢性の向上: サンプリングベースのターゲットを使用して局所最適化をガイドすることで、意図しない接触パターンへの収束を防ぐ。
• 直接的な視覚学習の実現: レンダリングを微分したり状態ベースの教師に依存したりすることなく、深度観測から直接視覚方策を訓練することを可能にする。
• 自律的なデプロイの促進: オンライン最適化なしで、実機上で自律的な行動遷移が可能な方策を生み出す。

著者らは、微分可能なダイナミクスへの依存、成功したサンプリングリファレンスの必要性、およびヒューマノイドにおける物体相互作用の簡略化といった限界についても述べている。これらは、現実的な物体相互作用や長期間のマニピュレーションが今後の研究方向であることを示唆している。