ADP: Adversarial Dynamics Priors for Physically Grounded Humanoid Locomotion

技術要約：物理的に接地したヒューマノイド歩行のための敵対的ダイナミクス事前分布（Adversarial Dynamics Priors）

問題提起
ヒューマノイドの歩行制御は、高自由度、アンダーアクチュエーションな浮遊ベースのダイナミクス、および断続的な接触によるバランス維持の必要性により、四脚ロボットの制御よりも著しく困難な課題であり続けています。

• 明示的な追従（Explicit Tracking）: DeepMimicのような手法は、参照ポーズやフェーズの追従に依存しています。これらは自然な動作生成には効果的ですが、外部からの摂動によってロボットが参照軌道から外れた際の柔軟性に欠けます。
• 運動学的事前分布（Kinematic Priors）: Adversarial Motion Priors (AMP) は、明示的な追従ではなく、運動学的な動作スタイル（関節ポーズ、速度、エンドエフェクタの状態）の分布を一致させることで柔軟性を向上させます。しかし、AMPは、押し出された後のバランス回復に不可欠なダイナミクスレベルの特徴量（重心運動、セントロイダル・モーメント、接触力、および接触状態）を直接的に正則化することはありません。その結果、AMPは目に見える姿勢は回復できても、減衰不足な回転ダイナミクスを残したり、接触力を適切に調整できなかったりする可能性があります。

手法：敵対的ダイナミクス事前分布 (ADP)
著者らは、運動学的な動作スタイル特徴量を、敵対的な正則化の対象として選択されたダイナミクス特徴量に置き換えるフレームワークであるADPを提案します。この手法は、参照ポーズやフェーズの明示的な追着なしに動作します。

1. 参照データセットの構築 ($D_{dyn}$):

   • フルボディのモーションキャプチャデータを使用する代わりに、著者らは単一剛体ダイナミクス (SRBD) に基づく軌道最適化 (TO) を用いて参照データセットを生成します。
   • TO問題は、SRBDの一貫性、接触活性化、および摩擦円錐の制約に従いつつ、過度なセントロイダル角運動量と接触力を罰しながら、指令速度からの偏差を最小化します。
   • このプロセスにより、SRBDレベルのダイナミクスを満たす、物理的に接地した歩行（歩行、走行、旋回、横方向へのステップ）の軌道が得られます。これらから、ダイナミクス量（CoM運動、セントロイダル・モーメント、接触力、接触インジケータ）を抽出し、参照分布を形成します。

2. ダイナミクス特徴量の表現:

   • ADPは、ヘディングフレームにおけるCoM速度、セントロイダル角運動量、平面角運動量変化率、正規化された足の接触力、およびバイナリ接触インジケータを含む、タイムステップレベルのダイナミクス特徴量ベクトル $z_t$ を定義します。
   • 様々なコマンドに対応するため、判別器の入力は速度コマンドと瞬時の追従誤差に基づいて条件付けられ、参照分布を現在のタスクに適合させます。
   • 極めて重要な点として、本手法は単一のタイムステップではなく、これらの特徴量の時間窓 ($\Xi_t$) を使用します。これにより、判別器は、接触の切り替え、力の変調、モーメントの回復といった、回復に不可欠な時間的パターンを捉えることが可能になります。

3. 敵対的学習:

   • 判別器は、SRBD由来の参照データセット ($D_{dyn}$) からサンプリングされたウィンドウと、ポリシーのロールアウトから生成されたウィンドウ ($\Xi^\pi_t$) を区別するように訓練されます。
   • ポリシーは、以下の合計報酬を用いた近接方策最適化 (PPO) を用いて最適化されます：
     • $r^G_t$: タスク報酬（歩行）。
     • $r^D_t$: 敵対的ダイナミクス事前分布報酬（判別器の出力から導出）。この報酬は、ポリシーが誘発するダイナミクス特徴量を参照分布に近づけるよう促します。
     • $r^R_t$: 正則化項。
   • ポリシーは、特定の関節ポーズを追従することを強制されることなく、ダイナミクス特徴量を参照分布のサポート内に維持することで、摂動からの回復を学習します。

主な貢献

1. 敵対的ダイナミクス事前分布 (ADP): 運動学的な特徴量の代わりにダイナミクス特徴量（CoM、モーメント、接触力）を敵対的な正則化に使用する手法を導入し、参照ポーズやフェーズの追従を排除しました。
2. 摂動に敏感なダイナミクス表現: 摂動による過渡現象（モーメントや接触力におけるもの）を、関節レベルの運動学的特徴よりも直接的かつ迅速に露出させる、時間的ダイナミクス特徴量の定式化を実現しました。
3. 摂動回復の評価: シミュレーションおよびハードウェア検証を通じて、ADPがVanilla RL、AMP、および直接的なダイナミクス特徴量マッチングのベースラインと比較して、ヒューマノイドの摂動回復を改善することを包括的に実証しました。

実験結果
著者らは、シミュレーション上で29自由度のヒューマノイドロボット（Unitree G1）を用いてADPを評価し、定性的なハードウェアデモンストレーションを提供しました。評価では、ADPをVanilla RL、AMP、および「ダイナミクス報酬」ベースライン（判別器を用いないポイント単位の特徴量マッチング）と比較しました。

• 摂動回復: 外部速度インパルス（最大4.5 m/s）の下で、ADPは80%成功インパルス閾値 ($J_{80}$) において115.5 N·sを達成し、最強のベースライン（AMP、99.0 N·s）に対して16.7%の向上を示しました。
• 回復メトリクス: AMPと比較して、ADPは方向平均回復時間を47.9%短縮（4.76sから2.48sへ）し、速度追従誤差を35.4%減少（1.30 m/sから0.84 m/sへ）させました。
• 表現の感度: 分析により、提案されたダイナミクス表現は、衝突後20 msで摂動誘発の過渡現象を検知したのに対し（ベースライン偏差の6.0倍に到達）、運動学的表現は160 msを要した（4.3倍の偏差に到達）ことが示されました。
• アブレーション研究:
  • セントロイダル角運動量を除去すると、成功率は45.3%に低下しました。
  • 接触インジケータ（バイナリ接触状態）の除去は最も顕著な劣化を引き起こし、成功率は30.5%に低下し、回復時間は8.82sに増加しました。これは、整合における接触タイミングの決定的な役割を強調しています。
  • 時間窓の長さは $K=8$ が、時間的コンテキスト（接触の切り替え）の必要性と学習の安定性のバランスを取る上で最適であることが分かりました。

意義と主張
本論文は、ADPがダイナミクスレベルでポリシーを正則化することにより、運動学的事前分布の限界を克服することに成功したと主張しています。SRBD由来の軌跡を参照分布として活用することで、明示的な動作追従の硬直性を回避しつつ、物理的に接地した（モーメントや接触制約と整合した）回復行動を学習することを促進します。

著者らは、ADPは堅牢性を向上させるものの、関節レベルの動作の自然さを明示的に強制するものではないと述べています。彼らは、堅牢性と自然さの両方を実現するために、ダイナミクス事前分布と運動学的な事前分布を組み合わせることを今後の課題として挙げています。また、公平性を期すために、AMPとの比較において高品質なモーションキャプチャベースのAMPではなく、同じTO由来の参照ソースを使用したことを認め、TO由来の事前分布とモーションキャプチャベースの事前分布の間の差異の特性評価については今後の調査課題としています。