技術的概要：頑健かつ対称的な四足歩行のためのモデル予測制御の模倣と微調整

問題定義

脚付きロボットの頑健な歩行制御器の設計は、これらのシステムの非アクチュエータ、離散、高次元のダイナミクスにより、依然として大きな課題となっています。従来のモデルベース制御（モデル予測制御（MPC）など）は、驚くべき敏捷性と頑健性を示していますが、しばしば広範な数学的モデリングと事前定義されたヒューリスティック（Raibert のヒューリスティックなど）に依存しています。これらのモデルは、足滑りや予期せぬ障害物が発生する荒れた滑りやすいコンベア地形など、複雑で非慣習的な状況では困難に直面します。一方、学習ベースのアプローチ（深層強化学習（Deep RL）など）は、膨大なデータを用いて直感的でない問題を自動的に解決できますが、高品質で対称的かつ周期的な歩行を生み出すためには、しばしば広範な手動による報酬設計を必要とします。慎重な調整がなければ、学習された方策は、実ハードウェアへの転送に失敗するぎくしゃくした非対称な動作を示す可能性があります。さらに、既存のハイブリッドアプローチは、高頻度で MPC を実行する必要性により高い計算コストに悩まされたり、単一の参照軌道を超えて一般化できたりしないことが多いです。

手法：IFM フレームワーク

著者は、モデルベース制御と学習ベースアルゴリズムの長所を 3 段階のプロセスを通じて統合する、新しい**模倣と微調整モデル予測制御（IFM）**フレームワークを提案します。

ステージ 0：専門家モデル予測制御（MPC）

このフレームワークは、微分動計画（DDP）とRaibert ヒューリスティックを用いて専門家制御器（$\pi_E$）を開発することから始まります。

• 設計: MPC は、凸コスト関数に基づいて将来の状態を予測し、最適な制御入力を生成します。 stance 脚には摩擦ピラミッド制約を、swing 脚にはタスク空間インピーダンス制御を利用します。
• 限界: 頑健である一方、この MPC は計算コストが高く（最適化あたり約 12.4ms）、固定モデルに依存しているため、ハードウェアでのリアルタイム実行が困難で、未見の地形への適応性が制限されます。
• 動作変換: 学習アルゴリズムとのギャップを埋めるため、MPC のトルク出力は比例微分（PD）逆モデルを用いて目標関節角度に変換され、ニューラルネットワーク方策と互換性のあるデータとなります。

ステージ 1：模倣学習（IL）

専門家 MPC は、ニューラルネットワーク方策（$\pi_I$）の事前学習用データセットを生成するために使用されます。

• アルゴリズム: 著者は**データセット集約（DAgger）**を採用します。単純な行動クローニングではなく、方策をロールアウトし、専門家 MPC が未見の状態に対する動作を修正することで、分布の不一致を軽減するためにこのデータを集約します。
• アーキテクチャ: 3 つの隠れ層（512、256、64 個のニューロン）を持つ多層パーセプトロン（MLP）は、体の向き、関節状態、履歴、ユーザーコマンドを含む観測値を入力とします。
• 目標: この段階は、MPC の「クローン」を作成し、重たい最適化コストなしに専門家の対称的かつ周期的な歩行を継承しながら、計算効率が高く学習可能なものを実現します。

ステージ 2：強化学習（RL）による微調整

模倣された方策は、**近接方策最適化（PPO）**を用いて、困難な地形でさらに微調整されます。

• カリキュラム学習: 方策は、事前学習された動作スタイルの喪失を防ぐため、難易度（地形係数）が増すにつれて（荒れた地形、離散的な荒れた地形、段差、崖）の地形カリキュラムで訓練されます。
• 報酬定式化: 著者は、**シンプル報酬（SR）設定（速度追跡、不要な動作の最小化、トルク正則化）と接触報酬（CR）**設定（接触バイアスの追加）を利用します。重要なのは、事前学習により、Vanilla RL に比べて報酬設計の負担が大幅に軽減されることです。
• 制約付き探索: 模倣中に学習された有益な動作スタイルを維持するため、RL 微調整では制約付き探索（小さな初期標準偏差、低い学習率、小さな PPO クリップパラメータ）を採用します。
• シミュレーションから実機へ: 観測ノイズ、モータ摩擦、PD ゲイン、地面摩擦、コマンド遅延に対するドメインランダム化を適用し、ハードウェアへのゼロショット転送を確保します。

主要な貢献

1. 新規フレームワーク: モデルベース制御の頑健性と学習ベース手法の適応性を活用するために、MPC と RL を体系的に組み合わせる IFM フレームワークの提案。
2. 性能向上: IFM が、荒れた、滑りやすい、コンベア地形において専門家 MPC の頑健性を大幅に向上させ、計算時間を（約 15ms から約 1ms へ）劇的に削減することを示実。
3. 効率性と品質: IFM が、最小限の報酬設計と高速な収束を達成しながら、Vanilla RL と比較してより対称的、周期的、かつエネルギー効率の良い歩行を生み出すという証拠。
4. ハードウェア検証: Mini Cheetahロボットへの成功した展開。障害物越えと速度追跡において、元の MPC および純粋な RL ベースラインと比較して優れた成功率を示す。

実験結果

著者は Mini Cheetah 上で広範なシミュレーションとハードウェア実験を実施しました。

• 頑健性: シミュレーションにおいて、IFM は、荒れた、滑りやすい、未見のコンベア地形において、専門家 MPC および DAgger のみの方策を上回りました。MPC は固定された足踏みパターンによりコンベアベルト上で失敗しましたが、IFM は効果的に歩行を適応させました。
• 追跡性能: 平坦な地形において、IFM(SR) は最低の線形追跡誤差を達成し、MPC および Vanilla RL を上回りました。Vanilla RL(SR) は「プロンキング（過度な垂直運動）」により追跡性能が低下しましたが、これは IFM の事前学習によって軽減されました。
• ハードウェア成功率:
  • 障害物越え: IFM(CR) は 7.5cm の障害物を越える際に90% の成功率を達成しましたが、ハードウェア調整済み MPC（WBIC）と DAgger はこの高さで完全に失敗しました。
  • 滑りやすい地形: IFM 方策は摩擦係数 0.22 の表面を成功して通過しましたが、MPC と DAgger は、著しい滑りを処理できない Raibert のヒューリスティックへの依存により転倒しました。
• 動作品質: IFM 方策は、Vanilla RL と比較して輸送コスト（CoT）と位相ポートレート指数（PPI）が低く、よりエネルギー効率が高く対称的な歩行を示しました。IFM の位相ポートレートは、Vanilla RL の非対称な動作とは異なり、左右の脚の間でほぼ完璧な重なりを示しました。
• 効率性: IFM は約 2,000 反復で収束し、Vanilla RL（約 4,000 回以上）よりも大幅に速かったです。

意義と主張

本論文は、IFM フレームワークが、モデルベース制御の解釈可能性と頑健性、および学習ベース手法の適応性の間のトレードオフに対するバランスの取れた解決策を提供すると主張しています。MPC を事前学習の専門家として使用することで、フレームワークは以下のことを実現します。

1. RL の探索空間を削減し、エージェントが複雑な報酬設計なしに高品質で対称的な歩行を見つけることを可能にします。
2. 動的かつ不確実な環境における固定モデル制御器（MPC など）の限界を克服します。
3. 重たいオンライン最適化を軽量なニューラルネットワークに置き換えることで、リアルタイム制御を可能にします。

著者は、IFM が動作スタイルの調整に対する構造化されたアプローチを提供し、報酬設計の課題を軽減しながら、困難な地形における四足歩行の頑健性と効率性を大幅に向上させると結論付けています。今後の研究として、この方法を視覚ベースの歩行に拡張することが提案されており、LSTM や CNN などのより複雑なネットワークアーキテクチャが必要になる可能性があります。