Learning Fault-Tolerant Locomotion with Adaptive Gait Timing

技術要約：適応的な歩行タイミングによる故障耐性を持つ移動学習

問題提起
非構造化環境に配備される脚式ロボットは、アクチュエータの電力喪失や関節のロックといったハードウェア故障の高いリスクに直面している。深層強化学習（RL）は故障耐性のある制御に有望な手法であることを示してきたが、既存のアプローチには、より重量のあるプラットフォーム（例：68 kgの四足歩行ロボット）へとスケールアップする際に直面する2つの主要な制限がある。第一に、多くの手法は定義済みの歩行ジェネレータや特定の故障脚に対する戦略に依存しており、それが残存する駆動能力を最大限に活用し、複雑な地形に適応するポリシーの能力を制限している。第二に、ほとんどの実証実験は小型ロボットによる平坦または緩やかな起伏のある地形に限定されている。重量のあるロボットは質量と慣性が増大するため、動的な結合が強まり、アクチュエーションの余裕が狭まる。その結果、攻撃的な高周波の補償戦略は実現可能性が低くなる。したがって、明示的な故障知識や定義済みのリカバリ戦略に頼ることなく、協調動作と歩行タイミングを自律的に再編成できる制御ポリシーが必要とされている。

手法
著者らは、近接方策最適化（PPO）を用いた非対称アクター・クリティック・アーキテクチャに基づく深層RLフレームワークを提案する。コアとなる目的は、凹凸のある地形において、突発的なアクチュエータの電力喪失下でも安定性と移動性を維持させることである。

• 潜在的整合性を伴う非対称アクター・クリティック： 学習には、クリティックのみが利用可能な特権情報（真の関節故障マスクおよびノイズのない地形データを含む）を利用する。デプロイ可能なコントローラとして機能するアクターは、固有受容感覚の観測値と過去の状態の履歴のみを受け取る。特権を持つクリティックと固有受容感覚に基づくアクターの間のギャップを埋めるために、著者らは補助的な**潜在的整合損失（latent-alignment loss）**を導入している。この損失は、アクターのエンコーダが固有受容感覚の履歴から特権情報の潜在表現を再構成するように促し、アクターが故障条件を暗黙的に推論できるようにする。
• 適応的な歩行タイミング： 従来の、関節の位置目標のみを出力する手法とは異なり、アクション空間は学習可能な歩行周波数パラメータ（$a^\nu_t$）によって拡張されている。このスカラー値のアクションは、参照歩行パターンのステップ周波数を変調する。これにより、ポリシーは固定された歩行サイクルに従うのではなく、地形の変化やアクチュエータの劣化に応じて、ステップタイミングと接地スケジューリングを自律的に調整することができる。
• 観測およびアクション空間： ポリシーは50 Hzで動作し、関節角の偏差と歩行周波数項を出力する。観測空間には、固有受容感覚データ（関節角、速度、ベース速度、過去のアクション）と地形の高さマップが含まれる。決定的なのは、アクターがシステム状態を推論するために、$H$個の固有受容感覚観測の履歴を処理することである。
• 学習カリキュラム： 学習には、ポリシーの追従性能に基づいて故障の深刻度（トルク効率のスケーリングとしてモデル化）を段階的に増加させるカリキュラム戦略を採用している。これにより、エージェントは完全な電力喪失に遭遇する前に、部分的な故障に対処することをまず学習する。

主な貢献

1. 故障を知らないセンシングによる故障を認識した移動： 本論文は、潜在的整合損失を用いることで、アクターが固有受容感覚の履歴のみから特権的な故障表現を再構成できる単一ステージの学習手順を提示しており、デプロイ時に明示的な故障推定モジュールや真の故障ラベルを必要としない。
2. 適応的な歩行タイミング： アクション空間に学習可能な歩行周波数を加えることで、ステップタイミングの動的な変調を可能にする。これにより、ロボットは定義済みの故障脚戦略なしに、故障条件や地形の幾何学的形状に適応した接地スケジュールを実現できる。
3. 固有受容感覚履歴の分析： 本研究では、故障を推論するためのポリシーの能力に対する観測履歴の長さの影響を調査し、短い履歴でも効果的な潜在的再構成には十分であることを示している。
4. 重量級プラットフォームにおけるSim-to-Real検証： 本手法は、高精度シミュレーションによる凹凸地形での検証、および68 kgの四足歩行ロボット（Kyon）を用いた実世界実験を通じて検証されており、先行研究の小型ロボット研究で見落とされがちなスケーラビリティの課題に対処している。

実験結果
提案手法は、「Oracle」（フル特権アクセス）、「潜在的整合性なしのバージョン」、および「観測履歴なしのバージョン」を含むいくつかのベースラインと比較評価された。

• シミュレーション性能： 提案手法のフルバージョンはOracleに最も近い性能を示し、潜在的整合性または観測履歴を欠くバリアントを大幅に上回った。ポリシーは、異なる関節（ヒップロール、ヒップピッチ、ニーピッチ）および脚の位置におけるランダムなアクチュエータ電力喪失に対して堅牢性を示した。
• 汎化性能： 実世界の通信遅延を再現するためにXBot2ミドルウェアを使用したSim-to-Simテストにおいて、ポリシーは未知の地形プロファイル（新しい階段の寸法や最大勾配13°のランプを含む）に対しても汎化性能を示した。
• 実世界での検証： 平地におけるゼロショットSim-to-Real転移が実証された。68 kgのKyonロボットは、後部左ニーピッチ関節における突発的な電力喪失故障の後、移動を維持し安定性を回復することに成功した。
• アブレーション研究：
  • 履歴の長さ： 固有受容感覚の履歴を$H=1$から$H=2$に増やすことで最も顕著な性能向上が得られ、$H=3$を超えると収穫逓減が見られた。
  • 歩行周波数： 「フリーゲイト」コントローラ（関節位置のみを出力）との比較では、学習可能な周波数パラメータを用いることで、特に故障条件下での単脚支持フェーズにおいて、より安定した周期的な歩行パターンと滑らかな関節加速度が得られることが示された。

意義と主張
本論文は、軽量なプラットフォームで効果的な高速かつ反応的な戦略は、アクチュエーションの限界が厳しく動的結合が強い重量級の脚式ロボットには適さないことが多いと主張している。したがって、適応的な歩行タイミングは、劣化したアクチュエーション下での故障耐性における重要なメカニメントとして提示される。地形情報を活用し歩行周波数を変調することで、提案されたポリシーは、制限的な報酬形成や定義済みの故障戦略に頼ることなく、堅牢な移動を実現する。本研究は、単一のポリシーが効果的に故障条件を特定し、協調動作を再編成できることを実証しており、非構造化環境における中重量級四足歩行ロボットのシミュレーションと現実の間のギャップを埋めるものである。今後の課題として、地形再構成のためのオンボード知覚の統合、およびフレームワークの転倒回復やハイブリッド車輪脚システムへの拡張が挙げられている。