Dynamic Policy Learning for Legged Robot with Simplified Model Pretraining and Model-Homotopy-Inspired Transfer

技術要約：簡略化モデルによる事前学習とモデル・ホモトピーに着想を得た転移を用いた、脚式ロボットのための動的な方策学習

問題提起
脚式ロボットにおいて高度に動的な動作を生成することは、身体の運動量、脚の慣性、および接触力の複雑な相互作用により、依然として大きな課題となっている。強化学習（RL）は有望な手法であるが、複雑な行動のための方策を訓練するには、膨大な報酬設計や高品質なエキスパートによるデモンストレーションが必要となることが多く、これらはリソースを大量に消費する。対照的に、低次モデル（例：単一剛体モデル、SRBモデル）を利用する手法は、より高速な学習と単純な報酬設計を可能にするが、フルボディ動力学への転移時に「モデルギャップ」に直面する。直接的な転移は、動力学の不一致、特に脚の慣性や接触相互作用に関する不一致により、不安定性、劣化した収束、あるいは実世界における学習された挙動の再現の完全な失敗を招くことが多い。

手法
著者らは、簡略化されたモデルとフルボディ動力学の間のギャップを、継続的な学習フレームワークを通じて埋める手法を提案している。これは主に以下の2つの段階で構成される：

1. 簡略化モデルによる事前学習（SRB事前学習）：
   まず、理想化された環境である単一剛体（SRB）モデルを用いて方策を事前学習する。このモデルでは、ロボットは質量のない脚と理想的な点接触を持つ浮遊剛体として近似される。制御入力は、立脚相における地面反力（GRF）と、遊脚相における残差足先ターゲットである。この段階により、方策はフルボディ動力学の計算負荷や不安定性を回避しながら、コアとなる運動パターン（身体の運動量制御など）を効率的に学習できる。環境は、歩容、宙返り（フリップ）、壁を利用したマニューバなどの特定のタスクの学習を構造化するために、定義済みの接触計画と公称遊脚軌道（例：ベジエ曲線）を利用する。

2. モデル・ホモトピーに着想を得た転移（MHIT）：
   事前学習されたSRB方策をフルボディ環境へ転移させるために、著者らはパラメータ化された継続パスを導入する。直接的なジャンプを行う代わりに、連続的な遷移パラメータ $\lambda \in (0, 1]$ を定義する。

• パラメータ化された遷移： システムは、胴体と脚の間で質量と慣性を徐々に再分配する。$\lambda \approx 0$ のとき、脚の質量は無視できる程度であり（SRBモデル）、$\lambda$ が1に向かって増加するにつれ、脚は全質量と慣性を獲得し、胴体の質量は総質量を一定に保つように調整される。
• 継続戦略： 方策はこのパスに沿って訓練され、$\lambda = 0.01$ から開始して90ブルン（900回）のイテレーションにわたって $\lambda = 1.0$ まで段階的に増加する。これにより、方策は高い成功確率を持つ領域に留まりながら、ますます複雑な動力学に適応することができる。
• アクション変換： 転移中、SRB方策からのGRF出力は、立脚相においてヤコビ行列の転置を用いて関節トルクに変換され、遊脚相ではタスク空間PD制御が足先ターゲットを追従する。
• 状態推定： 特権情報（真の線速度や接触状態）はシミュレーション内では利用可能だが現実には存在しないため、固有受容感覚の履歴からこれらの状態を推論する並行推定ネットワーク（MLP）が訓練され、シム・トゥ・リアル（Sim-to-Real）の展開を可能にする。

主な貢献

• 継続ベースのフレームワーク： 簡略化されたモデルの事前学習と、モデル・ホモトピーに着想を得た転移戦略を統合することで、複雑な動的動作を効率的に生成・洗練させる新しいフレームワークを提示している。
• 原理に基づいた遷移パス： 著者らは、SRBモデルとフルボディモデルの間で慣性特性を滑らかに補間する特定のパラメータ化された遷移パスを導入した。このアプローチは、直接転移や模倣学習のベースラインと比較して、収束速度と学習の安定性を向上させることが示されている。
• 複雑なタスクおよび実機での検証： 本手法は、バックフリップ、サイドフリップ、ヨー回転、および壁を利用したマニューバ（ジャンプやターン）を含む、多様で困難な動的タスクに対して検証されている。学習された方策は、実機のUnitree Go1四脚ロボットへの展開に成功している。

結果

• シミュレーション性能： 直接転移（DT）、模倣転移（IT）、およびバニラ強化学習（Vanilla RL）との比較研究において、提案されたMHIT法は最も速い収束と最も一貫した学習結果を示した。例えば、壁を利用したバックフリップのタスクにおいて、MHITはITよりも2倍速く収束し、19.0%高い正規化リターンを達成した。また、DTと比較して、異なるランダムシード間での性能のばらつきが著しく小さく、優れた安定性を示した。
• 堅牢性： MHITの方策は、ITの方策と比較して外部の力やトルクの摂動に対して高い堅牢性を示した。これは、事前学習中に学習された反応的挙動が保持されていること、および模倣学習で使用される早期終了の制約なしに、より広い状態空間を探索できることに起因する。
• 実機展開： Unitree Go1ロボットにおいて、MHIT方策はバックフリップの実行に成功した。このタスクは、モデル化されていない脚の慣性による角運動量の不足のため、直接的なSRB方策では失敗したものである。転移された方策は、10回の連続試行で90%の成功率を達成し、未精製なSRB方策と比較して優れた速度追従精度（より低いRMSE）を示した。

意義
本論文の主な意義は、高価なエキスパートによるデモンストレーションに依存することなく、簡略化されたモデルとフルボディ動力学の間のモデルギャップを埋めるための、効果的かつ安定した精緻化プロセスを提供することにある。継続戦略を活用することで、このフレームワークは、初期の簡略化されたガイダンスの限界を超える最適な挙動の発見を可能にする。実機への展開成功は、標準的なエンドツーエンドの強化学習や階層的な追従手法のみでは達成が困難な、複雑で動的な脚式移動行動を生成するための本アプローチの実用的な適用可能性を示している。著者らは、現在の手法は定義済みの接触シーケンスに依存しているものの、このフレームワークは、接触スケジュールの自動化や多様なロボット形態への適応を目指す将来の研究に向けた、有望な進化の出発点を提供すると述べている。