TOLEBI: Learning Fault-Tolerant Bipedal Locomotion via Online Status Estimation and Fallibility Rewards

本論文は、シミュレーションにおける故障注入と実機でのオンライン状態推定モジュールを組み合わせることで、関節のロックや電源喪失などのハードウェア故障に耐性を持つ二足歩行制御を実現する学習フレームワーク「TOLEBI」を提案し、実世界での適用性を検証したものである。

要約

倒れないロボットを作る「TOLEBI」の物語

この論文は、**「もしロボットが歩いている途中で、足が動かなくなったり、電気が切れても、倒れずに歩き続けられるようにする」**という、とても夢のある技術について書かれています。

この技術の名前は**「TOLEBI（トレビ）」**と言います。

🤖 従来のロボットと、この新しいアプローチの違い

1. ロボットの「黒い箱」問題

最近のロボットは、AI（人工知能）を使って「試行錯誤」しながら歩き方を学習しています。これはとても優秀で、複雑な動きもマスターできます。
しかし、AI が学習した動きは**「魔法の箱（ブラックボックス）」**のようなものです。中身がどうなっているか人間にはわかりません。

• 問題点: 現実世界では、突然足が固まったり（関節ロック）、電気が切れたり（パワーロス）する「故障」が起きる可能性があります。
• 従来の弱点: 普通の AI は「故障した状態」で練習していないため、少しのトラブルでバランスを崩して**「ドサッ」と倒れてしまう**ことが多かったのです。

2. TOLEBI のすごいところ：「予習」と「診断」

TOLEBI は、この問題を 2 つの工夫で解決しました。まるで**「プロのスポーツ選手」**が故障に備えているようなイメージです。

① 過酷な「シミュレーション・トレーニング」

TOLEBI は、現実のロボットを壊す前に、コンピューターの中（シミュレーション）で、あえて「故障」を繰り返して練習します。

• 練習方法: 足が固まったり、力が抜けたりする状況をランダムに作り出し、「じゃあ、この状態でどうやって倒れないように歩くか？」を AI に考えさせます。
• 効果: 本番で故障が起きても、「あ、このパターンは練習したぞ！」と冷静に対処できるようになります。

② 「足の状態診断士」の導入

これが一番の工夫です。AI は、「今、自分の足が正常か、故障しているか」をリアルタイムで診断する機能を身につけました。

• 仕組み: 足が動かない時、AI は「あ、この足は故障しているな（ロックしているな）」と瞬時に気づきます。
• 応用: 故障している足に無理に力をかけず、**「故障している足はあまり使わず、残りの足でバランスを取る」**という、賢い歩き方をその場で考えます。

🎯 具体的な「3 つの魔法」

この論文では、ロボットが倒れないために 3 つの特別なテクニックを使っています。

1. 「故障の練習」を段階的に（カリキュラム学習）

   • いきなり「足が固まった状態で歩け！」と言うと、AI はパニックになって学習できません。
   • TOLEBI の方法: まず「健康な足で歩く」→「少し故障を混ぜる」→「ガッツリ故障させる」というように、難易度を徐々に上げて練習させます。これにより、AI は基礎を固めた上で、故障対応を学べます。

2. 「転びやすい時のご褒美」の設計

   • 普通の学習では「前に進めばご褒美」ですが、故障時は「前に進むこと」よりも**「倒れないこと」**が優先されます。
   • TOLEBI の方法: 故障時に足が地面に強く叩きつけられたり、バランスを崩しそうになったりすると「悪い評価」を、逆に**「故障していても、足が地面に優しく着地できている」**とご褒美を与えます。これにより、ロボットは「転ばない歩き方」を優先して学習します。

3. 「歩幅のリズム調整」

   • 足が故障すると、いつものリズムで歩くと転びます。
   • TOLEBI の方法: 故障している足は「早く上げろ」や「長く地面につけろ」といった歩行のリズム（タイミング）を自分で調整できるようにしています。まるで、片足が痛くなると、無意識に歩き方を変える人間のようですね。

🧪 結果：現実世界でも成功しました

この技術は、韓国の「TOCABI（トカビ）」という二足歩行ロボットでテストされました。

• 平地を歩く実験: 足が固まっても、電気が切れても、ロボットは**「ふらふらしながらも、倒れずに歩き続けました」**。
• 階段を下りる実験: さらに難易度の高い「階段を下りる」テストでも成功しました。階段用の特別な練習はしていませんでしたが、学んだ「倒れない技術」をそのまま応用できました。

💡 まとめ：なぜこれが重要なのか？

これまでのロボットは、「故障したら終わり」でしたが、TOLEBI は**「故障しても生き残る力」**を身につけました。

これは、**「完璧な環境」ではなく、「予想外のトラブルが多い現実世界」**でロボットを活躍させるための重要な一歩です。
例えば、災害現場や工場など、危険で予測不能な場所で働くロボットにとって、「倒れずに任務を遂行する」ことは、まさに命を救うような技術なのです。

一言で言えば：

「TOLEBI は、ロボットに『故障しても、自分の状態を診断し、歩き方を変えて、絶対に倒れないようにする』という、賢くてタフな生存本能を教えた技術です。」

技術概要

以下は、提示された論文「TOLEBI: Learning Fault-Tolerant Bipedal Locomotion via Online Status Estimation and Fallibility Rewards」の技術的な要約です。

1. 問題定義 (Problem)

二足歩行ロボット（ヒューマノイド）の実世界への応用において、動作中の予期せぬハードウェア故障（モータのロック、電源喪失など）や環境擾乱は重大なリスクとなります。

• 既存の課題: 近年、強化学習（RL）を用いた二足歩行制御は高い成功率を達成していますが、故障発生時の挙動を考慮した手法はほとんど存在しません。
• 四足歩行との違い: 四足歩行ロボットは片脚の故障でも安定性を保ちやすいですが、二足歩行ロボットは片脚の機能低下が即座にバランスの崩壊や転倒につながります。
• ブラックボックス性: 学習ベースの手法は「ブラックボックス」であるため、故障時の予測が困難であり、安全性を確保するための妥協が必要になる傾向があります。
• モデルベース手法の限界: 従来のモデルベースの故障耐性制御は、特定の故障シナリオを明示的にモデル化する必要があり、未見の状況への対応が苦手です。

2. 提案手法：TOLEBI (Methodology)

本論文では、二足歩行ロボットの故障耐性学習フレームワーク「TOLEBI (faulT-tOlerant Learning framEwork for Bipedal locomotIon)」を提案しています。これは、シミュレーション環境での学習から実機への転送（Sim-to-Real）までをカバーする強化学習アプローチです。

主要な構成要素

1. 故障シミュレーションとジョイントマスキング:

   • 学習中に「ジョイントロック（動作不能）」と「電源喪失（トルク出力不可）」の 2 種類の故障をシミュレーションします。
   • 故障した関節のトルクコマンドをマスク（無効化）し、ロボットが部分的な駆動条件下でも制御を学習できるようにします。

2. オンライン・ジョイントステータス推定機 (Online Joint Status Estimator):

   • 独自性: 学習ポリシーと並行して、GRU（Gated Recurrent Unit）ベースの推定機をオンラインで学習させます。
   • 機能: 固有知覚（プロプリオセプション）観測データから、各関節が「正常」か「故障」かをリアルタイムで推定します。
   • 観測空間への統合: 推定された故障ステータスベクトルをエージェントの観測状態に追加し、ポリシーが現在の関節状態を認識して適応的な制御を行うことを可能にします。

3. カリキュラム学習 (Curriculum Learning):

   • 学習の初期段階では正常な歩行のみを学習させ、平均エピソード長が一定時間（20 秒）を超えた後に故障シミュレーションを導入します。
   • さらに、故障下での安定歩行が達成された後（24 秒超）、外部からの押し擾乱（プッシュ）を導入します。
   • この段階的な複雑化により、学習の不安定さを防ぎ、堅牢なポリシーを導出します。

4. フォールビリティ・リワード (Fallibility Rewards):

   • 故障発生時でも安定した歩行を維持するための新しい報酬設計です。
   • 軌跡模倣報酬: 故障時でも正常な関節軌跡（$q_{ref}$）への追従を促します（四足歩行で使われる「故障脚を上げる」戦略は二足歩行では転倒リスクが高いため採用せず）。
   • 接触力追跡報酬: 故障による早期着地や衝撃を抑制するため、目標とする足裏接触力（$F_{z,ref}$）への追従を強化します。これにより、最大 2000N に達しうる衝撃力を低減します。
   • 位相変調アクション: 歩行のタイミング（位相）を調整するアクションを導入し、故障脚の支持期間を短縮するなど、歩行周期を動的に最適化します。

5. Sim-to-Real 転送:

   • ドメインランダム化（コマンド速度、擾乱、ノイズ）とダイナミクスランダム化（質量、慣性、摩擦、モータ定数、遅延など）を適用し、シミュレーションと実世界のギャップを埋めています。

3. 主要な貢献 (Key Contributions)

1. 初の学習ベースの二足歩行故障耐性フレームワーク: 実世界環境向けに設計された、二足歩行ロボット専用の学習ベース故障耐性アプローチを初めて提案しました。
2. オンライン状態推定とポリシーの統合: 追加の学習フェーズなしに、ポリシーと並行して学習されたジョイントステータス推定機を統合し、高い頑健性を実現しました。
3. 新規報酬設計: モータ故障下での歩行安定化と、正常歩行の維持を両立させる「フォールビリティ・リワード」を設計しました。

4. 実験結果 (Results)

ヒューマノイドロボット「TOCABI」を用いたシミュレーションおよび実世界実験で検証されました。

• シミュレーション結果:
  • 様々な故障シナリオ（ジョイントロック、電源喪失）において、ベースライン手法や既存の手法と比較して、TOLEBI は最も高い成功率を達成しました。
  • 例：ジョイントロック時の平均成功率は 81.27%、電源喪失時は 52.67%（ベースラインはそれぞれ 8.32%、22.27%）。
• アブレーション研究:
  • 状態推定、フォールビリティ・リワード、位相変調、カリキュラム学習のいずれかを除去すると、性能が顕著に低下することが確認されました。特に状態推定なしでは正常時でも性能が落ち、フォールビリティ・リワードなしでは故障時の衝撃が制御不能になります。
• 実世界検証:
  • 直進歩行: 平坦な床において、故障条件下でも指令速度（直進 0.3m/s）を安定して追従できました。
  • 階段降下: 特別な階段用カリキュラム学習なしで、9cm の段差を持つ階段の降下タスクを、故障発生時にも成功させました。これは学習したスキルが未見の地形へ一般化されたことを示しています。

5. 意義と結論 (Significance)

本論文は、学習ベースの制御アルゴリズムが持つ「ブラックボックス」性の課題を克服し、実世界の不確実性やハードウェア故障に対処できる二足歩行ロボットの制御手法を確立しました。

• 実用性: 故障発生時でもロボットが転倒せず、任務を継続できる能力は、ヒューマノイドロボットの実社会導入において不可欠です。
• 将来展望: 本フレームワークは、複数の同時故障や、より複雑な非構造化環境での歩行制御への発展の基盤となります。

要約すると、TOLEBI は「状態推定」「段階的学習」「故障に特化した報酬設計」を組み合わせることで、二足歩行ロボットが予期せぬ故障に対しても自律的に適応し、安定した歩行を維持することを可能にした画期的な研究です。