Multi-Gait Learning for Humanoid Robots Using Reinforcement Learning with Selective Adversarial Motion Prior

以下は、提示された論文「Multi-Gait Learning for Humanoid Robots Using Reinforcement Learning with Selective Adversarial Motion Prior」の技術的サマリーです。

1. 問題定義 (Problem)

ヒューマノイドロボットの実用的な運用には、平坦な歩行だけでなく、ランニング、ジャンプ、階段昇降、あるいは儀式的な「行進（ガース・ステップ）」など、多様な歩行様式（ゲイト）への適応能力が不可欠です。しかし、これらを単一の強化学習（RL）フレームワークで学習させることは、以下の理由により極めて困難です。

• 矛盾する要件: 安定性を重視する歩行や階段昇降と、爆発的な動きを必要とするランニングやジャンプでは、制御システムに求められるダイナミクスが根本的に異なります。
• 既存手法の限界: 従来の強化学習では、タスクごとに別々のポリシーや報酬設計を必要とし、統一されたアーキテクチャでの学習が困難でした。
• Adversarial Motion Prior (AMP) の課題: 人間の動きを模倣させるための AMP は、安定性や自然な動きの獲得に有効ですが、これをすべてのゲイトに一律に適用すると、ランニングやジャンプのような「大振幅・高加速」を必要とする動的な動きが、参考データ（人間の動き）の分布に縛られすぎて、ロボット本来のアクチュエータ能力を最大限に引き出せなくなる（過剰な正則化）という問題が発生します。

2. 手法 (Methodology)

本研究は、5 つの異なるゲイト（歩行、行進、ランニング、階段昇降、ジャンプ）を、統一されたポリシー構造、行動空間、報酬設計で学習する RL フレームワークを提案しています。

A. 統一された強化学習定式化

• MDP 構成: 5 つのゲイトすべてで同じ状態空間（観測）、行動空間、報酬関数の構造を使用します。ゲイトごとの違いは、正弦波参照軌道のパラメータと報酬の重み付けのみで調整します。
• 状態空間: 姿勢、速度、参照信号、コマンド、および過去 21 フレームの履歴（1050 次元）を入力とします。
• 報酬関数: 関節追跡、バランス、滑らかさ、安全性の 4 つのカテゴリを統合した報酬を使用します。ゲイトごとの特性（例：ジャンプの高さ、行進の膝の伸ばし）は、特定の項の重み付けや参照軌道で制御します。

B. 選択的 AMP 戦略 (Selective AMP Strategy)

本研究の核心的な貢献は、ゲイトの特性に応じて AMP の適用を「選択的」に行うことです。

• AMP 適用ゲイト（歩行、行進、階段昇降）:
  • 周期性が高く、安定性が重要なゲイトに対して AMP を適用します。
  • 人間の参考運動分布が目的の出力と一致しており、AMP の正則化が収束を加速し、不規則な挙動を抑制します。
  • 行進（Goose-stepping）など、特定の姿勢制約が強い場合は、AMP の重み（$\alpha$）を高く設定し、スタイルを厳密に守らせます。
• AMP 非適用ゲイト（ランニング、ジャンプ）:
  • 大振幅の関節可動域や爆発的な加速を必要とするゲイトでは、AMP を完全に無効化（$\alpha=0$）します。
  • 人間の参考データはこれらの極端な動きを十分にカバーしていないため、AMP を適用するとロボットがアクチュエータの限界まで力を発揮する探索を妨げられます。
  • 代わりに、タスク固有の報酬のみで、ロボットが自らの能力を最大限に活用する動的な戦略を学習させます。

C. シミュレーションから実機への転移 (Sim-to-Real)

• ドメインランダム化: 摩擦、質量、慣性、モータ強度、PD ゲイン、遅延時間などを広範囲にランダム化して訓練し、実機とのギャップを埋めます。
• ゼロショット転移: 実機での微調整（ファインチューニング）なしに、Isaac Gym で訓練されたポリシーをそのまま物理ロボット（12 DOF のヒューマノイド）にデプロイします。

3. 主な貢献 (Key Contributions)

1. 統一 RL フレームワークの確立: 5 つの多様なゲイトを、同じネットワーク構造と報酬設計で学習し、実機へ転移させることに成功しました。
2. 選択的 AMP 戦略の提案: 「安定性重視の周期性ゲイトには AMP を適用し、動的なゲイトには適用しない」という戦略を提案し、これが両者の性能向上に寄与することを示しました。
3. 実機検証の完全な実施: 5 つすべてのゲイトについて、実機でのゼロショット転移に成功し、追跡誤差、収束速度、成功率などの定量的な比較データを提供しました。

4. 結果と分析 (Results and Analysis)

• 性能比較: 選択的 AMP を採用したアプローチは、すべてのゲイトにおいて、AMP を一律に適用した場合よりも優れた性能を示しました。
  • 歩行・行進・階段: AMP 適用により、収束が速くなり、追跡誤差が減少し、成功率が向上しました（例：行進の成功率 97%）。
  • ランニング・ジャンプ: AMP を外すことで、ロボットはより高い速度や跳躍高さを実現できました。AMP を適用すると、動きが「速い歩行」や「弱いジャンプ」に制限され、爆発的なダイナミクスが得られませんでした。
• 実機での堅牢性: 実機実験において、歩行からジャンプまで、すべてのゲイトで安定した動作と、外部擾乱に対する回復能力が確認されました。特にジャンプでは、着地後の姿勢制御や次のサイクルへの移行がスムーズに行われました。

5. 意義 (Significance)

本研究は、ヒューマノイドロボットの多様な移動能力を習得する際に、**「一つの正解（一律の正則化）」ではなく、「タスクに応じた適切な学習手法の選択」**が重要であることを実証しました。

• 実用性の向上: 単一のフレームワークで多様な動作を習得・転移できることは、実環境でのロボット応用におけるコストと開発時間を大幅に削減します。
• 理論的示唆: 強化学習における「模倣学習（AMP）」の役割を再定義し、動的なタスクにおいては「探索の自由」を確保することが、人間の参考データ以上の高性能な制御を実現する鍵であることを示しました。
• 再現性: 実機ベースラインとして公開されたこの手法は、今後のヒューマノイド多ゲイト学習研究の重要な基準となるでしょう。

要約すると、この論文は「安定性が必要な動きには人間の動きを模倣させ、爆発的な動きにはロボット自身の可能性を解放する」という文脈に応じた選択的学習戦略が、実用的なヒューマノイドロボットの制御において極めて有効であることを示しています。