⚡ electrical engineering

Accelerating and Scaling MPC-Guided Reinforcement Learning for Humanoid Locomotion and Manipulation

本論文は、重心力学に基づくMPC報酬定式化と、構築オーバーヘッドを排除し制約を考慮した効率的な強化学習を可能にする新たな並列ホライゾン型GPUソルバーである $\pi^n$ MPCを組み合わせることで、ヒューマノイドの移動および操作の学習を加速・スケールさせるフレームワークであるMPC-RLを提案する。

原著者： Junheng Li, Liang Wu, Sergio A. Esteban, Lizhi Yang, Ján Drgoňa, Aaron D. Ames

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Junheng Li, Liang Wu, Sergio A. Esteban, Lizhi Yang, Ján Drgoňa, Aaron D. Ames

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに歩行と重い物体の押し方を教える場面を想像してみてください。あなたには主に2つの方法があります。

「ジムのコーチ」（強化学習）: シミュレーター内のビデオゲームの中で、ロボットに何百万回ものランダムな動きを試させます。ロボットは試行錯誤を通じて、転ばずに歩く方法を最終的に理解します。これはタフで適応力に優れていますが、基礎を学ぶのに時間がかかることがあり、時には奇妙で非効率的な「悪い癖」を覚えてしまうこともあります。
「物理学の教授」（モデル予測制御）: あなたはロボットに厳格な物理方程式を与えます。ロボットは、重心をどのように動かし、どこに足を置けばバランスを保てるかを正確に計算します。これは非常に精密で安全ですが、計算が遅く、現実の世界が乱雑になったり予測不能になったりすると、対応が難しくなることがあります。

この論文では、これら両方の良いところを組み合わせたMPC-RLという新しい手法を紹介しています。これは、「物理学の教授」を、実際の試合中ではなく「練習中のみ」のトレーニングコーチとして雇うようなものです。

核となるアイデア：賢いトレーニングガイド

ロボットにゼロから歩き方を考えさせる代わりに、システムは「物理学の教授（MPC）」を使用して、ロボットがどのように動くべきかという完璧なロードマップを生成します。これはロボットを直接制御するのではなく、ロボットがこのロードマップに従ったときに「報酬（ご褒刻）」を与える仕組みです。

時間をかけて、ロボット（強化学習）はこの完璧なロードマップを模倣するように学習し、最終的には自分自身の力でエキスパートになります。トレーニングが終わると、ロボットは「物理学の教授」のことを忘れ、自律して動き、現実世界の凹凸や突き飛ばしに対処できる準備を整えます。

彼らが解決した2つの大きな問題

1. 「交通渋滞」問題（速度）
通常、ロボットのための完璧なロードマップを計算するために物理エンジンに頼ると、非常に時間がかかります。もし（高速な学習に必要な）何千ものロボットに対して同時にこれを行おうとすると、コンピュータは処理しきれなくなります。それは、100万個の数学の問題を一つずつ解こうとしているようなもので、永遠に時間がかかってしまいます。

彼らの解決策 ( $\pi$ nMPC): 彼らは $\pi$ nMPCと呼ばれる特別なツールを構築しました。これは、一度に一つの数学の問題を解くのではなく、グラフィックスカード（GPU）上で何千もの問題を同時並行で解く、巨大な工場の組立ラインのようなものです。また、毎回数学の問題をゼロから「構築」する必要をなくした（構築フリー）ため、メモリ不足に陥ることなく、極めて高速に動作させることができました。これにより、トレーニングを実用的なスピードで行うことが可能になりました。

2. 「情報過多」問題（信頼性）
「物理学の教授」は次のステップを予測することには長けていますが、先を見れば見るほど、その予測は曖昧になります（例えるなら、1ヶ月後の天気を予測しようとするようなものです）。もしロボットに、将来の全ステップにおいてロードマップに厳格に従うよう命じると、その「曖昧な」部分によって混乱してしまう可能性があります。

彼らの解決策（信頼性の重み付け）: 彼らは、ロードマップの距離に応じて、ロボットがそれをどの程度信頼すべきかを教えました。
- 短期（次のステップ）: 「これに正確に従え！私は100%確信している。」
- 長期（将来のステップ）: 「これは大まかな方向性を示すものだ。少しズレても気にしすぎるな。」
  この「段階的な」信頼設定により、ロボットは些細な詳細に固執することなく、全体像を学ぶことができます。

何を達成したのか？

研究者たちは、ヒューマノイドロボット（人間のような姿と動きを持つロボット）を用いて、主に2つの領域でテストを行いました。

歩行: ロボットは、標準的な手法で訓練されたロボットよりも速く、より安定して歩くことを学びました。強く押されても（誰かに突き飛ばされた時のように）回復し、転ぶことなく歩き続けることができました。また、重いベストを着用したり、荷物を運んだりしながらの歩行にも対応できました。
重い物を押す（Loco-Manipulation）: これが最大の成果です。彼らはロボットにカートを押すことを教えました。
- 結果: ロボットは**290 kg（639 lbs）**の重量があるカートを押すことに成功しました。
- 規模感: そのカートの重さは、**ロボット自身の体重の829%**に相当します。例えるなら、もしあなたの体重が150ポンド（約68kg）だとしたら、このロボットは1,243ポンド（約564kg、小型車やグランドピアノほどの重さ）のカートを押したことになります。

結論

この論文は、高速な並列コンピュータソルバーを使用して、トレーニング中に「物理ベース」のロードマップを提供することで、以前よりもはるかに上手く、速く、ロボットに歩行や重い物の押し方を教えられることを示しています。ロボットは動きの「物理」を素早く学び、その後、リアルタイムで計算を行う必要のない、堅牢で独立した作業者へと進化します。

要約すると: 彼らは、ロボットに「完璧な経路」を示すことで、歩行や重い荷重の押し方をより良く、より速く教えることができる、超高速なトレーニングコーチを作り上げました。その結果、ロボットは自重の約10倍近いカートを押すことができるようになったのです。

技術要約：ヒューマノイドの歩行および操作のための、MPC誘導型強化学習の加速とスケーリング

1. 問題提起

ヒューマノイドの運動制御は、モデル予測制御 (MPC) と 強化学習 (RL) の間の二項対立に直面している。MPCは物理に基づいた予測と明示的な制約処理を提供するが、リアルタイムの計算量やモデルの不一致に対する堅牢性に課題がある。一方、RLは大規模なシミュレーションを通じて堅牢で機敏な全身スキルを可能にするが、MPCが持つ物理的な構造や長期間のプランニング能力に欠けることが多い。

ハイブリッドなアプローチも存在するが、RLの学習ループの「内部」にMPCを統合することには、以下のような重大な課題が存在する：

計算オーバーヘッド: 学習中にMPC問題を繰り返し解くことは、非常に時間がかかる。
スケーラビリティのボトルネック: 既存のGPUベースのMPCソルバーは、環境間での並列化には優れているが、予測ホライゾン（予測期間）にわたる並列化には失敗しており、逐次的な再帰計算がボトルネックとなっている。
メモリとコンパイルのコスト: MPCにおける従来の疎な二次計画法 (QP) 定式化は、時間のかかる問題構築と記号的コンパイルを必要とし、問題のサイズに応じてVRAM使用量が極端に増大する。
限定的なスコープ: 既存のハイブリッドフレームワークは主に歩行（ロコモーション）に焦点を当てており、物理モデルの価値が高い「ロコ・マニピュレーション（歩行と物体操作の同時実行）」については、未だ十分に探索されていない。

2. 手法

提案するフレームワークである MPC-RL は、MPCとRLの役割を分離する。MPCは学習時の「ガイド」として構造化された報酬を生成する役割を担い、学習されたポリシーはデプロイ時にはMPCなしで動作する。

A. 重心力学MPCガイダンス (CD-MPC)

本システムでは、MPCを直接的な制御に使用するのではなく、重心力学 (Centroidal Dynamics: CD) モデルを使用して、RLエージェントのための予測リファレンスを生成する。

モデル: CD-MPCは、重心 (CoM)、重心線運動量 ( $l_G$ )、および重心角運動量 ( $k_G$ ) を追従する。また、アクティブな接触セット（歩行の場合は足、歩行と操作の場合は足と手）を取り入れることで、時変ダイナミクスを扱う。
ランドマーク抽出: ポリシーに対して直近のMPCステップのみを追従させる（これでは長期間の構造が失われる）のではなく、システムはフルスケールのMPC軌道から、特定の時間間隔 ( $\delta_\ell$ ) ごとに一連の 予測ランドマーク (predictive landmarks) を抽出する。
予測信頼度による重み付け: 報酬関数は、実現されたCoMとこれらのランドマークを比較する。ここでは、ホライゾン単調重み付けスケジュール ( $\alpha_0 > \alpha_1 > \dots$ ) が適用される。これにより、信頼性の高い近接ホライゾンのランドマークを重視し、モデルの不一致や積分誤差の影響を受けやすい遠方のランドマークの重みを下げる。これにより、長期間のガイダンスと鋭い短期追従を融合させた、境界のある報酬信号が生成される。

B. $\pi$ nMPC: ホライゾン並列かつコンストラクションフリーなソルバー

大量並列のRL学習においてCD-MPCを現実的なものにするため、著者らはバッチ処理可能なGPUソルバーである $\pi$ nMPC を導入する。

アーキテクチャ: 以前の $\pi$ MPCの「ADMMによる並列ホライゾン構造」を拡張し、時変ダイナミクス（接触シーケンスが変化する脚部ロボットに不可欠）を扱えるようにした。
主な革新点:
1. 速度形式MPC (Velocity-Form MPC): 絶対値ではなく入力増分に対して最適化を行い、状態に前回の入力を組み込むことで状態をリフトアップする。
2. 変数分割: 新しい分割スキームにより、ダイナミクスと制約を分離する補助変数を導入する。これにより、ADMMの更新を、逐次的ではなくGPU上で予測ホライゾン全体にわたって並列に実行することが可能になる。
3. コンストラクションフリー (Construction-Free): 疎なQPを組み立てたり、毎ステップで記号的なコード生成やコンパイルを行ったりすることなく、時変状態行列 ( $A_k, B_k, e_k$ ) 上で直接動作する。これにより、VRAM使用量を大幅に削減し、プリコンパイルの遅延を排除できる。
実装: PyTorchおよびJAXの両方で実現されており、最大4096環境の巨大なバッチサイズと、最大 $N=400$ の長いホライゾンをサポートする。

C. 学習とデプロイ

アルゴリズム: 非対称なアクター・クリティック構造を持つ近接方策最適化 (PPO) が使用される。
観測: アクター（ハードウェアにデプロイされるもの）は、固有受容感覚とコマンドのみを受け取る。クリティック（学習時のみ使用）は、MPCが予測するCoMおよび角運動量のリファレンスという特権情報を持つ。
報酬: 標準的な正則化（関節制限、足のクリアランス）に、MPCランドマークガイダンス項（CoM、速度、角運動量、足の配置、および地面反力）を組み合わせた合計報酬を用いる。

3. 主な貢献

構造化されたMPC報酬の定式化: 予測信頼度による重み付けを用いて、重心MPCの軌道から長期間の運動およびダイナミクスのガイダンスを抽出する新しい報酬メカニズム。これは、ホライゾン長と更新レートに関するアブレーション研究を通じて検証されている。
$\pi$ nMPC ソルバー: 時変ダイナミクスに対して並列ホライゾン実行を実現した、コンストラクションフリーでメモリ効率の高いバッチ処理GPU MPCソルバー。これにより、既存のQPベースのソルバーが抱えていたスケーラビリティのボトルネックを克服した。
ロコ・マニピュレーションへの拡張: ヒューマノイドのロコ・マニピュレーションにおけるMPC誘導型RLの初のデモンストレーションであり、重いペイロード（最大290 kg）を押し進める動作をハードウェア上で成功させた。

4. 結果

A. ソルバーのスケーラビリティ

性能: $\pi$ nMPCは、GPU上において最先端のソルバー（Consensus ADMM, qpth, qpax, CusADi）と比較して良好にスケールする。
効率性: 数時間の記号的コンパイルと高いRAMを必要とするCusADiとは異なり、 $\pi$ nMPCはコンパイルなしで動作する。他のソルバーがVRAM不足に陥るか、あるいは極端に低速になるような長いホライゾン ( $N=400$ ) や巨大なバッチサイズにおいても、実行が可能である。
実装: JAX版は計算速度に優れ、PyTorch版はRL学習中のメモリオーバーヘッドが低い。

B. ヒューマノイドの歩行

速度追従: MPC-RLは、分布外のコマンドを含む並進速度追従において、Pure RLを一貫して上回る。
押し戻しからの回復: 本フレームワークは優れた堅牢性を示し、プッシュ（押し）に対して最大450 N（構成による）の回復力を示した。これはPure RLのベースラインである300 Nよりも有意に高い。
ハイパーパラメータ: ホライゾン $N=10$ （約0.7秒、一歩の歩行周期）を10 Hzの更新レートで用いることが、性能と学習効率の最適なバランスをもたらした。より長いホライゾンが単調な改善をもたらすことはなかった。
報酬設計: 提案された「テーパード（段階的）」なランドマーク重み付けスケジュールは、「次ステップ」や「平均化」のデザインよりも、追従精度とプッシュ回復の両面で優れた結果を示した。

C. ロコ・マニピュレーション

ハードウェア検証: ポリシーは、Westwood Robotics社のThemis V2ロボットにデプロイされた。
能力: ロボットは、290 kg (639 lbs) のペイロードを積んだカートを押し進めることに成功した。これはロボットの自重の829%に相当する。
比較: シミュレーションにおいて、MPC誘導型ポリシーは、Pure RLが停止してしまう場面でも、より優れた速度追従と押し込み能力を達成した。構造化されたMPC報酬が、純粋なRLの探索だけでは発見が困難な、強力な相互作用に必要な物理的ガイダンスを提供した。

5. 意義と主張

本論文は、予測最適化が、ヒューマノイドの行動を学習するための実用的なトレーニングツールであり、物理的な構造の源泉となり得ることを主張している。

実用性: 本フレームワークは、デプロイ時にリアルタイムのMPCを必要とせず、代わりに外乱（未知の重さやプッシュなど）に対して堅牢な学習済みポリシーに依存する。
効率性: $\pi$ nMPCを導入することで、長期間のMPCガイダンスが現代のRL学習の巨大な並列化の中で計算可能であることを証明し、「時間のかかる問題構築」という障壁を取り除いた。
汎用性: ロコ・マニピュレーションにおける成功は、MPCガイダンスが歩行に限らず、複雑な力学的相互作用や動的一貫性を必要とするタスクにおいて極めて重要であることを示唆している。

限界と今後の展望:
著者らは、現在のアプローチが、規定された接触スケジュールを持つ低次化された重心力学に依存していることを認めている。今後の課題としては、非線形MPCを用いたより豊かな接触モードへの拡張や、さらに効率的な学習時ガイダンスのためのニューラルネットワーク拡張型バッチソルバーの調査などが挙げられている。