NaviGait: Navigating Dynamically Feasible Gait Libraries using Deep Reinforcement Learning

この論文は、軌道最適化の構造と強化学習の適応性を階層的に統合した「NaviGait」を提案し、オフラインで生成された歩行ライブラリからの選択と最小限の変形を通じて、参照運動への忠実性と外乱に対するロバスト性を両立させつつ、強化学習の報酬設計を簡素化し訓練を高速化する新しい二足歩行制御フレームワークを提示しています。

要約

🤖 問題：ロボットが歩くのはなぜ難しいの？

ロボットに歩かせようとするとき、研究者たちはこれまで 2 つの大きな壁にぶつかっていました。

1. 「完璧なレシピ」を作るのは大変すぎる（従来の方法）

   • 昔ながらの方法は、ロボットが歩くための「完璧なレシピ（軌道）」を数学で計算していました。
   • 例え話： これは、**「料理のレシピを完璧に計算して、その通りに調理する」**ようなものです。
   • 弱点： 料理中に「おっと、塩を少し入れすぎた！」とか「風が吹いて火が揺れた！」といった予期せぬトラブルが起きると、レシピ通りに進められず、ロボットは転んでしまいます。また、新しい料理（歩き方）を作るたびに、ゼロから計算し直すのは時間がかかりすぎます。

2. 「試行錯誤」は時間がかかりすぎる（強化学習）

   • 最近流行りの「強化学習（AI に経験させて学ぶ）」は、ロボットに「転んだら痛い、歩けたらご褒美」と教えて、自分で歩き方を覚えさせます。
   • 例え話： これは**「レシピもなしに、ただひたすら料理を繰り返して味を覚える」**ようなものです。
   • 弱点： 美味しい料理（安定した歩き方）にたどり着くまでに、何千回も失敗（転倒）を繰り返す必要があり、学習に膨大な時間がかかります。また、AI が「なぜその歩き方を選んだのか」がブラックボックス化して、人間が調整しにくいという問題もあります。

---

🚀 解決策：NAVIGAIT（ナビゲイト）のアイデア

この論文の「NAVIGAIT」は、「完璧なレシピ（軌道）」と「経験則（AI）」のいいとこ取りをしたハイブリッドな仕組みです。

📚 1. 「歩き方の図書館」を作る

まず、研究者は事前に、ロボットが安全に歩ける「完璧な歩き方のパターン（ガイト）」を何種類も計算して、**「歩き方の図書館（ライブラリ）」**を作っておきます。

• 例え話： これは、**「プロの料理人が作った、失敗しない絶品レシピ集」**です。早歩き用、遅歩き用、横歩き用など、あらゆる状況に対応するレシピが揃っています。

🧠 2. AI が「レシピを選び、微調整する」

次に、AI（強化学習）に、この図書館から**「今、一番適したレシピを選んで、少しだけ手直しする」**ことを教えます。

• 例え話：
  • AI の役割： 「今、風が強いから、この『早歩きレシピ』を選んで、少しだけバランスを崩さないように手を加えよう」と判断します。
  • 従来の AI との違い： 従来の AI は「ゼロから歩き方を考え直す」必要がありましたが、NAVIGAIT の AI は**「すでに完璧なレシピがあるから、それに基づいて微調整（リミナル・モーフ）」**するだけです。

🛠️ 3. 2 つのステップで歩く

NAVIGAIT は、ロボットが歩くたびに以下の 3 つのステップを瞬時に行います（図 1 を参照）：

1. 選択（Select）： 図書館から、今の状況に一番合う「歩き方のレシピ」を選びます。
2. つなぐ（Transition）： 今の歩き方から、新しいレシピへ滑らかに切り替えます（急に動きが変わらないように）。
3. 修正（Correct）： 風や段差でバランスを崩しそうになったら、AI が「少しだけ関節を動かして」安定させます。

---

✨ なぜこれがすごいのか？

この仕組みには、3 つの大きなメリットがあります。

1. 学習が圧倒的に速い 🚀

   • AI は「歩き方そのもの」をゼロから覚える必要がないので、**「バランスの取り方」**に集中できます。
   • 結果： 従来の方法に比べて、学習時間が大幅に短縮されました。

2. 人間らしい、自然な歩き方 🚶‍♂️

   • 元になる「レシピ（軌道）」がすでに人間らしい歩き方をしているため、AI が変な動き（不自然なガニ股など）をしてしまうことがありません。
   • 結果： 転びにくく、かつ見た目がとても自然です。

3. 調整が簡単 🎛️

   • 「もっと元気よく歩かせたい」「もっとゆっくり歩かせたい」と思ったら、AI の設定を変えるのではなく、「図書館のレシピ（コスト関数）」を少し書き換えるだけで、スタイルを変えられます。
   • 結果： 研究者が意図した通りの歩き方を、直感的に作れます。

---

🏁 まとめ

NAVIGAITは、「完璧な設計図（軌道最適化）」の堅牢さと、「経験から学ぶ力（強化学習）」の柔軟さを組み合わせました。

• 従来の方法： 「レシピ通りにやるが、トラブルに弱い」
• 従来の AI： 「何でも自分でやるが、失敗が多く時間がかかる」
• NAVIGAIT： 「プロのレシピを選びつつ、トラブルには AI が即座に対処する」

これにより、ロボットは**「転びにくく、人間らしく、かつ素早く学習して歩ける」**ようになりました。この技術は、災害救助ロボットや、人間と一緒に歩く介護ロボットなど、実世界での活躍が期待されています。

論文の著者たちは、この仕組みのコードを公開しており、誰でもこの「歩き方の図書館」を使って、自分好みのロボット歩き方を開発できるようになっています。

技術概要

NAVIGAIT: 深層強化学習を用いた動的に実行可能な歩行ライブラリのナビゲーション

技術的サマリー（日本語）

本論文は、二足歩行ロボットの制御において、軌道最適化（Trajectory Optimization）の構造化・解釈可能性と、強化学習（RL）の適応性・頑健性を融合させた新しい階層的フレームワーク「NAVIGAIT」を提案しています。

1. 背景と課題（Problem）

二足歩行ロボットの制御には、主に 2 つのアプローチが存在しますが、それぞれに課題があります。

• 軌道最適化（例：HZD）: 数学的に安定性が保証され、意図した歩行パターンを設計しやすい利点がありますが、モデルの理想化に依存しており、外部擾乱（外乱）や地形変化に対する適応性が低く、オンラインでの再計画が困難です。
• 強化学習（RL）: 複雑な環境や外乱に対して頑健な制御ポリシーを学習できますが、報酬関数の設計が直感的ではなく複雑であり、学習に大量のサンプルと時間を要します。また、学習されたポリシーが「自然な歩行」や「意図したスタイル」から逸脱しやすく、解釈性が低いという問題があります。

既存の手法では、これらの長所を両立させることが難しく、特に「意図した歩行スタイルを維持しつつ、外乱に対して適応する」という点において課題が残っていました。

2. 提案手法：NAVIGAIT（Methodology）

NAVIGAIT は、オフラインで生成された**歩行ライブラリ（Gait Library）と残差強化学習（Residual RL）**を組み合わせた階層的なフレームワークです。

主要な構成要素

1. 連続的な歩行ライブラリ（Gait Library Interpolation）:
   • 事前計算された物理モデルに基づく最適化された歩行パターン（ベジエ曲数でパラメータ化）の集合を「連続的な空間」として表現します。
   • 離散的なライブラリから、任意の速度指令に対して滑らかに補間・ブレンドされた参照軌道を生成します。これにより、ライブラリの構造と RL ポリシーの構造を分離し、計算効率（JAX 互換性）を高めています。
2. 残差強化学習ポリシー（Residual RL Policy）:
   • ポリシーネットワークは、ユーザーの速度指令と環境の観測データを入力とし、以下の 2 つを出力します。
     • 参照速度の残差（$\Delta v$）: 目標とする歩行速度の微調整。
     • 関節角度の残差（$\Delta q$）: 参照軌道からの微調整（安定化のための補正）。
   • この「残差」アプローチにより、RL は「歩行の生成」ではなく「参照軌道への追従と安定化・適応」に集中できます。
3. 制御フロー:
   • 選択された参照軌道と、RL による残差補正を組み合わせ、最終的なモーター目標位置を生成します。
   • 低レベルでは PD 制御器が動作し、高レベルでは RL が参照軌道の選択と微調整を行います。

学習設定

• アルゴリズム: 近接方策最適化（PPO）を使用。
• 報酬関数: 従来の RL に比べ大幅に簡素化されています。参照軌道の追跡、エネルギー最小化、滑らかさ（残差の急激な変化の抑制）のみを報酬として与えます。歩行の「見た目」や「安定性」はライブラリ側で保証されているため、RL はこれを再発見する必要がありません。
• シミュレーション: MuJoCo (MJX) を使用し、ドメインランダム化（摩擦、質量、遅延など）を導入して Sim-to-Real の転移を強化しています。

3. 主要な貢献（Key Contributions）

1. 新しい階層フレームワークの提案: 最適化された物理モデルベースの歩行ライブラリと、連続的に調節可能な残差 RL ポリシーを統合した NAVIGAIT の開発。
2. オープンソース化: 滑らかな連続的な歩行参照の補間・ブレンドを行う、JAX 互換の実装（JaX による JIT コンパイルと並列化対応）を初公開。
3. 学習効率と性能の向上: 従来の RL（参照なし）や模倣学習（参照あり）と比較し、学習時間の短縮、報酬設計の簡素化、参照軌道への追従精度（Imitation Accuracy）の向上を実証。
4. スタイルの柔軟性: 制御構造を変更することなく、歩行ライブラリを差し替えるだけで、異なるスタイル（例：自然な歩行 vs 誇張された股関節の動き）の歩行ポリシーを生成可能であることを示しました。
5. ハードウェア実証: 低コストのヒューマノイドロボット「BRUCE」上で、シミュレーションおよび実機において、外乱に対する頑健な安定化と歩行を成功させました。

4. 実験結果（Results）

• 学習速度: NAVIGAIT は、他の手法（Canonical RL, Imitation RL）と比較して、歩行の開始や外乱への適応などのマイルストーンにより早く到達しました（実時間ベースで 23 分 vs 55 分など）。
• 外乱耐性: 無作為な力（0-40N）を加えたテストにおいて、NAVIGAIT は模倣学習ベースの手法と同等かそれ以上の頑健性を示しました。特に中程度の外乱に対して、参照ライブラリから適切な歩行パターンを選択・調整することで、従来の残差制御の弱点（外乱耐性の低さ）を克服しています。
• 歩行の自然さと追従性: NAVIGAIT は、学習されたポリシーが元の参照歩行パターンに最も近い状態を維持しました。外乱時でも、模倣学習ベースの手法よりも低い「模倣誤差」を示し、意図した歩行スタイルを維持しながら安定化できることを証明しました。
• スタイルの転移: 報酬関数を変更せずに、異なる歩行ライブラリを適用することで、意図したスタイル（例：股関節のロールを強調した歩行）を容易に生成できることを確認しました。

5. 意義と結論（Significance）

NAVIGAIT は、モデルベースの計画手法とエンドツーエンドの強化学習の間のギャップを埋める画期的なアプローチです。

• 解釈可能性と設計容易性: 歩行の「骨格」を物理的に最適化されたライブラリが担うため、報酬設計が容易になり、意図した歩行スタイルを直感的に制御できます。
• 頑健性と適応性: RL による残差制御が、現実世界の不確実性（外乱、摩擦変化など）に対する適応性を提供します。
• 汎用性: このアプローチは、キャラクターアニメーション、アニメトロニクス、ウェアラブルロボットなど、スタイルの制御と動的な安定性の両方が求められる分野において、スケーラブルで汎用的なソリューションを提供します。

結論として、NAVIGAIT は「手作業による運動計画」と「学習による適応」を統合することで、実世界での効率的かつ自然な動的歩行を実現する有望な方向性を示しています。