Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

技術要約：制約付き移動学習における報酬ゲイン適応

問題提起
既存のロボット移動学習技術、特に強化学習（RL）に基づく手法は、2つの決定的な課題に直面している。第一に、報酬の重み付けゲインをオフラインで選択することに大きく依存しており、このプロセスは時間がかかり、広範なハイパーパラメータ・チューニングを必要とし、不適切な値が選択された場合には最適ではない結果をもたらすことが多い。第二に、従来のRLアプローチは、ランダムな探索による制約違反（転倒や物理的限界の超過など）に対して脆弱である。制約付き強化学習（CRL）技術は安全性を確保するために存在するが、学習中の制約違反が発生したり、複雑な数学的定式化（例：制御バリア関数）や反復的な最適化（例：原始・双対法）を必要としたりして、ペナルティゲインの調整が遅れることが多い。その結果、実世界の物理ロボットにおいて、性能を最大化しつつ制約違反をほぼゼロにすることは、未解決の課題となっている。

手法：ROGER
著者らは、身体化された相互作用中に受け取るペナルティに基づいて報酬重み付けゲインをオンラインで適応させる手法である、Reward-Oriented Gains via Embodied Regulation (ROGER) を提案する。これにより、広範なオフライン・チューニングの必要性を排除する。

• コアメカニズム: ROGERは、正の報酬（主要タスクの目的）と負の報酬（制約ペナルティ）の比率を動的にバランスさせる。
  • ロボットが安全な状態（制約閾値から遠い状態）にあるとき、比率は主要な報酬を優先するように設定される。
  • ロボットが制約閾値に近づくと、比率は自動的にシフトし、ペナルティゲインを増加させ、主要なゲインを減少させることで、不安全な行動を効果的に抑制する。
• 数学的定式化: 本手法は、報酬とペナルティを独立して保持するマルチ報酬チャネル構成を利用している。各タイムステップ $t$ において、重み付けゲインは次のように計算される：
  • $\lambda_{0t} = 1 - \Delta_t$ （主要報酬ゲイン）
  • $\lambda_{it} = r_{\lambda_{it}} \Delta_t$ （制約 $i$ に対するペナルティゲイン）
  • ここで、$\Delta_t$ は推定された制約ペナルティの閾値（$\tau$）に対するクリップされた総和であり、ゲインの合計が1になることを保証する。寄与比 $r_{\lambda_{it}}$ は、特定の制約違反の深刻度に基づいてペナルティの重みを分配する。
• ハイパーパラメータ: このアプローチは、グリッドサーチを必要とする複雑なペナルティ係数ではなく、物理システムの限界（例：ハードウェアの最大姿勢角）から導出される直感的なハイパーパラメータである「制約閾値（$\tau$）」に依存している。
• 統合: ROGERは、既存の学習フレームワーク（四足歩行ロボット用のAGOLやホッパーロボット用のPPOなど）へのアドオン機構として設計されており、基礎となる方策更新アルゴリズムを変更することなく、リアルタイムで報酬構造を適応させる。

主な貢献

1. 制約充足: ROGERは、違反が発生した後に反応するのではなく、違反が発生する前にゲインを動的に調整することで、学習プロセス全体を通じて制約違反をほぼゼロに抑える。
2. チューニングの簡素化: 直感的な物理的閾値を使用することで、広範なオフラインのゲイン・チューニングを不要にし、ハイパーパラメータ選択に伴う時間とリスクを大幅に削減する。
3. 性能の最適化: 安全なときのみ性能を優先することで、ROGERは固定重み付けや他の適応型重み付け手法と比較して、より高い主要報酬を達成する。

実験結果
著者らは、60kgのUnitree B1四足歩行ロボット（シミュレーションおよび実世界の両方）と、MuJoCoのホッパーを用いてROGERを評価した。

• 四足歩行（シミュレーションおよび実世界）:
  • 制約違反: シミュレーションにおいて、ROGERは50,000タイムステップに1回の違反という極めて低い違反率を達成し、CRPO（25,000タイムステップで0回の違反だが性能は低い）や固定重み付け手法を上回った。実世界の試行では、物理ロボットはロールおよびピッチ角を10°の閾値以下に維持しながら、300のエピソード（約1時間）を転倒することなく完了した。
  • 性能: ROGERは最終的な前進速度0.6 m/sを達成した。これは、同等の最先端技術（固定ゲイン・ペナルティおよびCRPO）よりも50%高く、主要報酬のみで学習した場合の性能に匹敵しつつ、安全性が保証されている。
  • 適応性: ロボットは、外受容感覚（exteroceptive sensing）なしで、困難な地形（滑りやすい表面、緩い砂利、ランダムな段差）や動的な荷重下でも歩行を学習することに成功した。これは、制約を満たしながら探索を通じて実行可能な制御方策が創発したことを示している。
• ホッパー（MuJoCo）:
  • ROGERは、ゼロ・ペナルティ最適性と穏やかなダイナミクスの仮定が崩れる単脚ホッパーに対してテストされた。
  • 指標: ROGERは、デフォルトの報酬関数と比較して跳躍距離を20%向上させ、トルク使用量を57%削減し、姿勢偏差を59%減少させた。
  • 堅牢性: より厳格な制約（閾値を半分に設定）の下でも、ROGERは後退することなく前進跳躍を維持し、敏感なシステムダイナミクスへの適応能力を示した。

意義と主張
本論文は、ROGERが制約を満たす実世界の継続的なロボット移動学習の分野に貢献すると主張している。身体化された相互作用を活用して報酬ゲインを動的に制御することで、報酬の重み付けゲインのチューニングプロセスを簡素化する。このチューニングの複雑さの軽減は、現在の技術が安全性の保証に失敗するか、あるいは膨大な手動チューニングを必要とするという課題に対し、物理ロボットが実世界で安全かつ効果的に学習することを容易にする可能性がある。著者らは、ROGERは制約の期待値が満たされることを保証するものであるが、すべてのシナリオ（特に敏感なダイナミクスを持つ場合）において転倒の不在を保証するものではないことを強調しているが、既存のベースラインと比較して性能と安全性を大幅に向上させている。