技術要約：Stubborn – ヒューマノイドの動作追従と転倒回復のための統一強化学習フレームワーク

1. 問題提起

強化学習（RL）の最近の進歩により、ヒューマノイドの動作追従と転倒回復は向上しているが、これらの機能を統合することには依然として大きな課題が残っている。従来のアプローチでは、動作追従と転倒回復を別々のタスクとして扱うことが一般的であり、多段階の学習、特殊な回復報酬、または個別の回復ポリシーを必要とする。さらに、標準的なRL学習では、「ハード・ターミネーション（強制終了）」が採用されることが多く、深刻な追従失敗（例：転倒）が発生すると即座にエピソードが終了する。この設計は、不安定な状態や転倒した状態において、エージェントが回復行動を試みる前に学習信号が遮断されてしまうため、回復行動の探索能力を制限してしまう。加えて、一様にサンプリングされた学習データは、困難な動作セグメントや不安定な状態を過小評価する傾向があり、堅牢な回復戦略の探索を妨げる要因となる。

2. 手法：Stubborn フレームワーク

著者らは、堅牢な動作追従と自律的な転倒回復が可能な単一のポリシーを学習するために設計された、合理化された統一RLフレームワークである Stubborn を提案する。このフレームワークは、非対称アクター・クリティック（Asymmetric Actor-Critic）アーキテクチャに基づいて構築されており、以下の3つのコア技術コンポーネントを統合している。

A. Yaw（ヨー）整合型追従表現

グローバルなドリフトやヘディング（方位）の乱れに対する感度を軽減しつつ、重力に関連するバランス情報を保持するために、Stubborn は Yaw整合型追従表現 を採用している。この手法は、リファレンス動作からグローバルなヘディング回転を除去することで、ポリシーが摂動後の絶対的な並進やヘディングの偏差を修正することではなく、相対的な身体ダイナミクスに集中できるようにする。

B. ベルヌーイ分布に基づく確率的終了（PT）メカニズム

追従エラーが閾値を超えた際にエピソードを決定論的に終了させるのではなく、Stubborn は 条件付きベルヌーイ終了メカニズム を採用している。

• メカニズム: ルートの高さ誤差（$e_{root,z}$）または姿勢誤差（$e_{root}$）が規定の閾値を超えた場合、即座に終了するのではなく、ユーザーが指定した確率（$p_{term}$）に基づいてエピソードを終了させる。
• 根拠: これにより、確率的な「回復ウィンドウ」が創出される。エピソードが継続する場合、ポリシーは補助的な回復専用の報酬設計を必要とすることなく、弾力性のあるアクションを探索し、創発的な回復行動を学習することが促進される。
• パラメータ化: 終了確率は物理的な回復制約から導出される。制御周波数を50 Hz、目標物理回復時間を4秒とすると、期待生存ステップ数は200ステップとなる（$p_{term} = 0.005$）。これにより、99%以上の不安定なエピソードが最大ステップ制限前に終了することを保証し、時間的差分（TD）の歪みを軽減しつつ、回復探索のための十分な時間を確保する。

C. 確率的終了と追従エラー駆動型適応サンプリング

PTメカニズムの下では、エピソードの終了は確率的な終了となるため、セグメントの困難度の信頼できる指標ではなくなる。これに対処するため、著者らはオンラインの追従性能に基づいた 適応サンプリング戦略 を提案している。

• 重みの更新: リファレンスフレームのサンプリング重みは、現在のエピソードにおける平均キーポイント追従誤差（$\bar{e}$）に基づいて動的に再形成される。
• ロジック:
  • 平均誤差が高い場合（$\bar{e} \ge \theta_{success}$）、関連するフレームの重みを増やし、これらの困難なセグメントを優先する。
  • 低い誤差にもかかわらずエピソードが早期終了した場合、終了が発生した特定のセグメントに重点を置くよう重みを再分配する。
  • エラーが低い状態で最大長までエピソードが継続した場合、過学習を防ぐために重みをわずかに減衰させる。
• 目的: この戦略は、困難な動作セグメントや不安定な状態に対する学習頻度を高め、ハード・ターミネーションの統計に依存することなく学習効率を向上させる。

3. 主な貢献

本論文は、主に以下の3つの貢献を述べている。

1. 統一されたポリシー学習: 別の回復コントローラーや多段階の学習を必要とせず、堅牢な動作追従と転倒回復を実現する単一のポリシー。
2. ベルヌーイ分布に基づくソフト・ターミネーション: 特殊な報酬エンジニアリングなしに、創発的な回復行動を合成し、不安定な状態における弾力性のあるアクションの学習を促すメカニズム。
3. 適応サンプリング戦略: オンラインの追従誤差と確率的終了に基づいて動的に調整される、新しいサンプリング分布。これにより、困難な動作セグメントや回復状態を効果的にターゲットとする。

4. 実験結果

本フレームワークは、シミュレーション（IsaacLab/MuJoCo）および実世界の設定の両方において、LAFAN1およびAMASSデータセットの動作を用い、29自由度のUnitree G1 ヒューマノイドロボット に対して評価された。

動作追従性能

SOTA（State-of-the-Art）のベースライン（HoloMotion, Any2Track, BFM-Zero, およびゼロからのRLベースライン）と比較して、Stubbornは優れた追従精度を達成した。

• MPBPE（ルート位置誤差）: 62.68 mm（From-scratch）から 48.85 mm へ減少。
• MPJVE（関節速度誤差）: 887.87 rad/s から 624.03 rad/s へ減少。
• 本手法は、LAFAN1データセット全体を通じて、低い標準偏差を伴う安定したパフォーマンスを示した。

堅牢性と転倒回復

強い外部摂動（5 m/s）下でのアブレーション研究により、提案コンポーネントの有効性が示された。

• 確率的終了（PT）: フル版のStubbornフレームワークは、厳格な閾値（0.15 m）および緩やかな閾値（0.25 m）の両方において、100%の回復成功率 を達成した。対照的に、PTなし（w/o PT）のバリアントは、それぞれ77.5%および85.0%であった。また、PTを用いたバリアントは、より速く収束し、より少ない回復ステップ数を必要とした。
• 適応サンプリング（AdpS）: 適応サンプリング戦略の導入により、特に学習の中盤から終盤にかけて、関節の位置、速度、および加速度の誤差がさらに減少した。

実世界へのデプロイ

Unitree G1を用いた実世界実験により、多様な動的動作（宙返りやアクロバットを含む）を追従し、外乱に耐え、物理環境で転倒から回復するポリシーの能力が確認された。

5. 意義と主張

本論文は、Stubborn が、動作追従と転倒回復を単一の合理化されたフレームワーク内で統合するための重要な一歩であることを主張している。転倒状態を回避するのではなく、自然な転倒への遷移を活用することで、本フレームワークは、多段階学習や別個の回復ポリシーといったアーキテクチャの複雑さを伴わずに、高精度な追従と堅牢性を実現している。著者らは、提案された確率的終了メカニズムと適応サンプリング戦略が、シミュレーションおよび実世界へのデプロイの両方において観察された性能向上の主要な要因であると断言している。

結論として、現在のフレームワークは効果的であるが、今後の取り組みとして、激しい転倒後の回復動作の敏捷性と滑らかさの向上、およびより困難な地形へのフレームワークの拡張に焦点を当てるとしている。