技術要約：脚式ロボットの移動における成長型方策最適化 (Growing Policy Optimization: GPO)

1. 問題提起

トルクベースの制御下における、脚式ロボットの強化学習（RL）ポリシーのトレーニングは、高次元の連続的なアクション空間、厳格なハードウェア制約、および探索の困難さという大きな課題に直面している。位置ベースの制御を利用する既存の手法は、環境固有のヒューリスティック（例：報酬形成、カリキュラム学習、手動の初期化）を通じて成功することが多いが、トルクベースの制御においては苦戦する。トルク制御では、アクションが関節トルクに直接マッピングされるため、強い結合と厳格な安定性の要件が生じる。

特定された核心的な問題は、標準的な方策勾配法（近接方策最適化：PPOなど）が、学習を通じて固定されたアクション空間を暗黙的に仮定していることである。この設計により、方策は学習の初期段階から、高分散なフルアクション空間を探索することを強制される。その結果、学習の初期段階において以下の問題が発生する：

• 高い勾配分散と不安定な最適化ランドスケープ。
• 最適な方策に収束する前に、信頼性の高い低振幅の制御挙動を学習することの困難さ。
• 探索中にロボットを不安定にするリスクによる、データ収集の非効率性。

現在のエンジニアリングの実践では、学習の初期段階でアクションの制限をマニュアルで制限し、後にそれらを緩和することがよく行われているが、アクション空間の進化を学習アルゴリズムの不可欠な一部として扱う体系的なフレームワークや、その最適化特性への影響に関する明確な理論的分析は存在しない。

2. 手法：成長型方策最適化 (GPO)

著者らは、学習ステップ $t$ の初期段階において有効なアクション空間を制限し、それを段階的に拡大させるために、時間変化するアクション変換を適用するフレームワークである成長型方策最適化 (GPO) を提案する。

コアメカニズム

GPOは、方策の潜在的なアクション出力 ($a$) を実行可能なアクション ($\tilde{a}$) にマッピングする、滑らかで時間依存の変換を導入する：
$$\tilde{a} = \beta_t \tanh\left(\frac{a}{\beta_t}\right)$$
ここで、$\beta_t = a_{limit} f(t)$ は学習ステップ $t$ の単調増加関数であり、$\lim_{t \to \infty} f(t) = 1$ である。

• 初期段階: $\beta_t$ が小さいため、有効なアクション空間が制限される。この変換は、小さなアクションに対しては近線形領域で動作するため、エージェントは勾配ノイズを抑えつつ、安定した低振幅の挙動を学習できる。
• 後期段階: $\beta_t$ が増加するにつれて、有効なアクション空間が拡大し、より大きな制御権限が解放され、高い期待リターンを達成するための広範な探索が可能になる。
• 飽和: 大きな大きさのアクションに対しては、出力はハードウェアの限界値 ($\pm a_{limit}$) で滑らかに飽和する。これはハードクリッピングと機能的に同等であるが、微分可能性を保持している。

理論的保証

本論文では、GPOが標準的なPPOの安定性を維持しながら、最適化ダイナミクスを改善することを証明する理論的分析を提供している。

1. 更新の等価性: GPOにおける重要度サンプリング比は、構造的にPPOと同一である ($r^{GPO}_t = r^{PPO}_t$)。これは、クリップされた代理目的関数が変数変換を除いて変更されないことを意味する。
2. 限定された勾配歪み: GPOの勾配と標準的なPPOの勾配の差は有界であり、$\beta_t$ が増加するにつれて単調に減少する。これにより、変換が消失する勾配歪みしか導入しないことが保証される。
3. 最適化ダイナミクス:
   • 初期段階: アクション空間を制限することで、GPOは方策勾配推定量の分散（$\beta_t$ の二乗に比例する）を減少させる。これにより、信号対雑音比（SNR）が向上し、より速い局所的な収束と、初期段階の期待リターンに対するよりタイトな下限をもたらす。
   • 後期段階: 段階的な拡大により、定常状態のパラメータ誤差が固定範囲のベースラインと同等か、あるいはそれよりも良くなることが保証され、漸近的な性能の向上を可能にする。

3. 主な貢献

• 新しいフレームワーク: 学習のパイプライン（報酬やカリキュラム）を修正するのではなく、RLアルゴリズムの構成要素として有効なアクション空間の進化を明示的にモデル化するGPOの導入。
• 理論的分析: 時間変化する変換がPPOの更新構造を保持し、有界かつ消失する勾配歪みのみを導入することを証明し、安定した学習を保証した。
• 性能向上: 困難なトルクベースの制御ドメインにおいて、GPOが固定アクション空間のベースラインと比較して、より速い初期収束と高い漸近的リターンを達成することを実証した。
• 汎用性: 特定のタスク固有の報酬形成や歩容（ゲイト）の事前知識を必要とせず、異なるロボット形態（四足および六足）と制御タスク（移動および全身制御）にわたってフレームワークの妥当性を検証した。

4. 実験結果

著者らは、シミュレーションおよび実機ハードウェアへの展開の両方において、四足および六足ロボットを用いてGPOを評価した。

シミュレーション結果

• 成長関数: 「成長なし (PPO)」、「線形」、「シグモイド」、および「Gompertz」の成長関数の比較において、Gompertz関数（初期の緩やかな成長に続く加速的な拡大）が最良の性能を示した。これは、最も速い報酬向上と最も安定した学習を提供した。
• 追従性能: GPOで学習された方策は、速度およびボディポーズのコマンドに対して、PPOと比較して有意に低い追従誤差を示した。例えば、PPOはx方向の速度を効果的に追従できなかったが、GPOは密接な追従を維持した。
• 歩容の創発: GPOの方策は、より周期的で協調的な関節トルクと速度を示した。対照的に、PPOの方策はしばしば不安定な挙動や退化した支持割り当て（例：特定の脚への過度な依存）を示したが、GPOは明示的な歩容の事前知識なしに、構造化された協調パターンを促進した。

ハードウェア検証

• ゼロショットSim-to-Real: シミュレーションで学習された方策は、微調整なしにUnitree Go2四足ロボットにデプロイされた。
• 堅牢性: GPOは、横からの突き、垂直方向の踏みつけ、および困難な地形（泥の登り坂、滑る下り坂）での移動を含む、外乱除去タスクにおいて、ベースライン（トルクベースのPPOおよびDeCAPのバリアントを含む）を上回った。
• 回復: 外部からの摂動（例：人間による脚を持ち上げる、重りを落とす）に対し、GPOを備えたロボットは、不要なステップ動作を引き起こすことなくバランスを滑らかに回復し、優れたクローズドループの安定性を実証した。

5. 意義と主張

本論文は、GPOが脚式移動の学習のための汎用的で環境に依存しない最適化フレームワークを提供すると主張している。その意義は、トレーニングパイプライン（報酬やカリキュラム経由）を修正するのではなく、基礎となる最適化メカニズム自体を修正するというパラダイムシフトにある。

アクション空間の進化を、学習可能な時間変化プロセスとして扱うことで、GPOは高次元の連続制御における探索と安定性の間の根本的なトレードオフに対処している。著者らは、このアプローチが以下を可能にすると断言している：

1. 安定した初期最適化: 複雑なダイナミクスに取り組む前に、信頼できる低振幅の制御を学習する。
2. 向上した漸近的性能: フルアクション空間を段階的に解放することで、より高い期待リターンを達成する。
3. 堅牢なSim-to-Real転送: 広範な手動チューニングや歩容の事前知識を必要とせずに、トルクベースの方策を実機ハードウェアへ展開することを容易にする。

本研究は、「有効な」アクション空間を管理することが、接触が多く不確実な環境におけるエンボディドAI（Embodied AI）の向上に向けた、極めて重要でありながらこれまで十分に探索されてこなかったレバーであることを示唆している。