Robust Fall Recovery for Armless Bipedal-Wheeled Robots Via Force-Guided Learning

技術要約：力学的誘導学習による腕のない二足歩行車輪型ロボットの堅牢な転倒復帰

問題提起
二足歩行車輪型ロボットは、地形適応性と移動効率の優れた組み合わせを提供しますが、転倒からの復帰において大きな課題に直面しています。人間や四足歩行ロボットとは異なり、腕のない二足歩行車輪型ロボットは、転倒時に安定化力を生成するための上半身の支持（腕）や追加の脚を持ちません。その結果、これらのロボットは、任意の予測不可能な姿勢から復帰するために、下半身の脚の駆動のみに頼らなければなりません。既存のデータ駆動型手法、特に標準的な報酬ベースの強化学習（RL）に依存する方法は、この文脈において失敗することが多いです。これらの手法は、ロボットが立ち上がることに失敗する「デッドポイント（局所最適解）」へと早期に収束したり、多様な地形や初期ポーズに対して汎化することに苦慮したりする傾向があります。従来のモデルベースのアプローチは、現実世界の不確実性に必要な堅牢性を欠いており、標準的なカリキュラム学習（外部支援のヒューリスティックなフェードアウト）は、安定した立位が達成される前にポリシーの崩壊を招く可能性があります。

手法：FTSRフレームワーク
著者らは、早期収束を防ぎ、外部サポートなしでの堅牢な復帰を可能にするために、**FTSR（Force-guided Teacher-student framework with Stage-wise Rewards：段階的報酬を用いた力学的誘導教師・生徒フレームワーク）**を提案しています。このフレームワークは、以下の3つのコアコンポーネントを統合しています。

1. 制約付き方策最適化（CPO）による力学的誘導学習：
   外部からの力を減衰させるカリキュラム（これはヒューリスティックであり、失敗しやすい）として扱う代わりに、著者らは外部補助力（$F$）およびトルク（$T$）を、制約付きマルコフ決定過程（CMDP）内における最適化可能なハード制約として定式化しています。

   • これらの力の大きさは、ロボットのリアルタイムの重心（CoM）の高さと明示的に相関しています。
   • CPOを用いることで、ポリシーはこれらの制約を満たしながら報酬を最大化するように訓練されます。制約は「締め付け可能（tightenable）」な設計となっており、物理的に実行可能な復帰軌道を学習するにつれて、外部への依存度を段階的に減少させるようガイドします。
   • これにより、外部の力がゼロに制約されるまでロボットが自力で立つことを学習できるため、無益な局所最適解への収束を防ぎます。

2. 高さ進行型の段階的報酬：
   復帰から歩行への安定した遷移を確実にするため、報酬関数はロボットのベースの高さに基づいた3つの進行ステージで構成されています。

   • 上半身の起立（$r_u$）： ロボットを伏せた状態から直立姿勢へと導きます。
   • 立ち上がり（$r_s$）： エージェントの一定の高さが特定の閾値を超えたときに活性化し、安定した立位構成への下肢の引き込みを促します。
   • 歩行（$r_w$）： 大多数のエージェントがより高い立位閾値に達したときに活性化し、持続的な移動を促進します。
   • この段階的な構造は、固定された時間経過ではなく、バッチの高さ統計に基づいて自動的に遷移するため、固定された目標高さによる不安定性を防ぎます。

3. 教師・生徒アーキテクチャ：
   このフレームワークは、特権情報と固有感覚のみによる実行の間のギャップを埋めるために、教師・生徒の蒸留アプローチを採用しています。

   • 教師（Teacher）： 接地力、全身の状態、ベースの高さを含む特権観測（$x_t$）を処理し、潜在表現を生成します。
   • 生徒（Student）： 関節の位置、速度、重力投影などの固有感覚履歴（$o_{t:t-H}$）のみを使用して訓練されます。
   • 生徒エンコーダは、MSE（平均二乗誤差）を通じて教師の潜在空間を模倣するように訓練され、展開時には特権センサを必要とせずに、力の影響や復帰のダイナミクスに関する知識を効果的に蒸留します。

主な貢献

• 力学的誘導制約： 外部の支援を（ヒューリスティックなカリキュラムではなく）最適化可能な制約として、物理的に実行可能な軌道に制限することで、腕のないロボットのための堅牢な復帰を可能にする、高さと相関した外部力の導入。
• 高さ進行型報酬： エージェント集団の統計に基づいて目標ベース高さを動的に更新する、新しい報酬シェイピングメカニズム。これにより、安定した訓練と歩行へのシームレスな遷移を実現。
• 実世界での検証： 実世界の様々なシナリオにおいて、多様な地形での複数のランダム化されたポーズから、腕のない二足歩行車輪型ロボットの転倒復帰を実現した初のデモンストレーション。これにより、本アプローチの堅牢性と適応性が検証されました。
• 汎用性： 本フレームワークは、高自由度（23-DOF）の人型ロボット（Unitility）に対しても効果的に汎化できることが示されており、特定の二足歩行車輪型プラットフォームを超えた可能性を裏付けています。

実験結果
本手法は、シミュレーション（IsaacGym）および物理的な自社開発ロボット「JiaRan」を用いて評価されました。

• シミュレーション： フル構成のFTSRフレームワークは、平地、傾斜、段差、および凹凸のある地形において、99.8%の成功率で復帰を達成しました。アブレーション研究により、力学的制約または段階的報酬を取り除くと、大幅な性能低下または完全な失敗（一部のアブレーションケースでは成功率0%）を招くことが確認されました。本手法は、3,000〜4,000イテレーション以内に、力のない安定したポリシーへと収束しました。
• 実世界への展開： ポリシーは物理ロボット上に正常に展開されました。様々な初期ポーズ（前、後ろ、横、および「デッドポイント」ポーズ）から、屋内および屋外の地形（草地、傾斜、砂利、階段）において、堅牢な復帰を実証しました。
• 復帰後の歩行： 転倒（たとえ蹴られた後であっても）から復帰した後、ロボットが即座に指令された移動タスクを再開し、完全な運動能力を維持できることが実験で確認されました。
• ヒューマンノイドへの転移： 本フレームワークは、23自由度の人型ロボットを任意のポーズから立たせることに成功し、動きのスムーズさと足の制御においてHoSTベースラインを上回る性能を示しました。

意義と主張
本論文は、FTSRフレームワークが、既存の手法が早期収縮により失敗しやすい課題である、腕のない二足歩行車輪型ロボットの転倒復帰の問題を解決することを主張しています。外部の支援をヒューリスティックなカリキュラムではなく、最適化可能な制約として再定式化することにより、著者らは環境の不確実性に強く、かつ上半身の支持なしで自律的な復帰が可能なポリシーを実現しました。この研究は、広範な実世界テストを通じてアプローチの実用的な実現可能性を強調しており、学習された戦略がより複雑で高自由度なヒューマノイドプラットフォームにも転移可能であることを示しています。