技術要約: LoComposition

問題提起

学習ベースの四足歩行制御は、シミュレーションから実機への転移（sim-to-real）および不整地走破において大きな成功を収めてきた。しかし、標準的なアプローチは通常、概念的に異なる目的を一つに絡め込んだ、単一の複雑な報酬関数に依存している。具体的には、タスク仕様（速度追従）、動作限界（アクチュエータの安全性）、歩様（ゲイト）の好み（例：特定の接地タイミングや滞空時間）、および地形適応である。

著者らは、これらの異なる関数を単一の手動重み付け報酬形式にエンコードすることは、学習結果を最適化できない原因になると主張している。特に、明示的な歩様スタイル・プライア（desired air-time、接触回数、足のクリアランス目標など）は、学習された運動を特定のパターンへと偏らせるエンジニアリング上のショートカットとして機能し、より効率的な歩様の出現を妨げ、報酬エンジニアリングのプロセスを複雑にする可能性がある。

手法: LoComposition

本論文では、ロコモーションを4つの異なるメカニズムに分解し、それぞれを単一のモノリシックな報酬ではなく、特定のメソッドコンポーネントによって処理する学習定式化であるLoCompositionを提案している。著者らは、その中核となるコンポーネントをLEP（Limits, Energy, Perception）と呼んでいる。

1. タスク仕様 (速度追従):
   タスクは、オペレータが指定した平面およびヨー速度（$v_{cmd}$）の追従として厳密に定義される。これは、ガウスカーネルを用いて速度ターゲットへの整合性を促す標準的な報酬関数（$r_{track}$）によって処理される。

2. 動作限界 (制約):
   ハードウェアの限界（トルク、関節速度、加速度など）の違反を報酬内でペナルティ化する代わりに、著者らは**Constraints-as-Terminations (CaT)**を使用している。

   • スカラー限界（$q_i \leq q_{max}$）の違反は、確率的な終了確率（$\delta_t$）にマッピングされる。
   • 限界が違反された場合、違反の大きさに比例した確率でロールアウトが終了する。
   • これにより、ステップごとの報酬がスケールされ、継続係数が減少するため、あらゆる限界に対して密な報酬形成（reward shaping）を必要とすることなく、安全でない挙動を効果的にペナルティ化できる。
   • 決定的なのは、制約が歩様スタイルではなく、物理的・運用的な限界に対してのみ予約されている点である。

3. 歩様（ゲイト）の好み (エネルギー最小化):
   特定の歩様（例：トロットやバウンディング）を報酬項によって規定するのではなく、この定式化では機械的エネルギー消費を最小化する。

   • 報酬には、全関節の絶対的な機械的パワー（$\sum |\tau_j \dot{q}_j|$）の総和に比例するペナルティ項（$\ell_{Power}$）が加えられる。
   • この項は、実行可能な運動の間での選好信号として機能し、足の接地パターンを明示的に定義することなく、低コスト輸送（COT）の歩様の出現を促す。

4. 地形適応 (外受容知覚):
   不整地における予測的なエネルギー最小化を可能にするため、ポリシーは外受容的な観測値を受け取る。

   • 入力には、LiDARから派生した、ボディ中心の$13 \times 11$の地形高度マップ（解像度8 cm）が含まれる。
   • これにより、ポリシーは地形が必要とする場合にのみ、選択的にエネルギーを消費（例：足のクリアランスを増やす）できるようになり、エネルギー効率と障害物走破の間の緊張関係を解消する。

訓練セットアップ: ポリシーは、Isaac Lab上のUnitree Go2ロボットを用いてPPO（Proximal Policy Optimization）を使用して訓練される。訓練カリキュラムには、プロシージャルに生成された凹凸地形、階段、および傾斜が含まれる。

主な貢献

1. ロコモーションの分解: 本論文は、タスク追従、動作限界、エネルギー最小化、および知覚を個別のメカニズムに分離する定式化を提示しており、単一の複雑な報酬関数を不要にしている。
2. プライアのない創発的歩様: 著者らは、明示的な歩様プライア（滞空時間、接触回数、足のクリアランス）は不要であることを実証している。提案された通りに学習問題が分解されるとき、効率的な地形適応型ロコモーションが自然に創発する。
3. ゼロショットSim-to-Real転移: 得られたポリシーは、LiDARベースの高度マッピングを用いて、再学習や特権的な地形情報なしに、物理的なUnitree Go2へゼロショットで転移する。

実験結果とアブレーション

著者らは、彼らの定式化（LEP）を、複雑な報酬関数（RP）を用いたベースラインおよび様々なコンポーネント除去と比較するアブレーション研究を通じて検証している。

• 効率性: 複雑な報酬ベースライン（RP）と比較して、LoComposition（LEP）はコスト・オブ・トランスポート（COT）を**56%削減し、動作限界の違反を96%**削減した。
• 歩様プライアのアブレーション (H1): 歩様プライアの制約を取り除くこと（LEP vs. LCEP/LCPの比較）は、プライアを制約としてエンコードすることが地形走破性を損ない、最も効率的な歩様（トロット）の出現を妨げることを示している。
• エネルギー最小化の役割 (H2): エネルギー最小化を取り除く（LP）と、地形は走破できるものの、エネルギー消費の大きい「バウンディング」歩様に落ち着く結果となる。エネルギー最小化を加えることで、明示的に規定することなく、より低COTのトロットパターンへと挙動がシフトする。
• 知覚の役割 (H3): 知覚を取り除く（LE）と、エネルギー使用を地形の難易度に適合させることができず、地形走破レベルが低下する。知覚により、ロボットは平坦な地面では低いクリアランスを維持しつつ、障害物に対しては選択的にクリアランスを高めることが可能になる。
• 制約の必要性 (H4): 動作限界の制約を取り除く（EP）と、ポリシーがシミュレータの不正確さを悪用してしまい、深刻なハードウェア限界の違反を引き起こす（LEPの0.5%に対し、EPは53.4%の違反率）。これは、ポリシーをデプロイ不能にするものである。
• 実世界でのパフォーマンス: ゼロショットのハードウェアテストにおいて、LEPは、エネルギー最小化を行わないバリアント（LP）が失敗したり限界に達したりするような複雑な障害物シーケンス（ランプ、プラットフォーム）を正常に走破した。LEPは、ベースラインと比較してハードウェア上でのエネルギー効率において56%の向上を達成した。

意義と主張

本論文は、明示的な歩様スタイル・プライアは、不整地における四足歩行には不要であると主張している。動作限界（制約によって処理）と歩様の好み（エネルギー最小化によって処理）を分離することで、システムは効率的で自然な歩様を創発させることを可能にする。

著者らは、これを定式化の原理における転換として位置づけている。ロコモーションの学習は、ロボットが従うべき特定の歩様パターンではなく、ロボットが調和させなければならない要求と好み（安全性、タスク、効率性、知覚）に基づいて構成されるべきである。このアプローチは、シミュレーションおよび実世界へのデプロイの両方において、複雑な報酬ベースラインを凌駕する、堅牢でエネルギー効率の高い、デプロイ可能なポリシーをもたらす。

限界: 著者らは、彼らの結果がUnitree Go2およびテストされた地形分布に特有のものであることを述べている。彼らはこれが唯一可能な分解法であるとは主張しておらず、またオフポリシー手法によるサンプル効率の向上や、使用された確率的終了法を超えた形式的な実行時安全保証についても言及していない。