Robust and Efficient MuJoCo-based Model Predictive Control via Web of Affine Spaces Derivatives

本論文は、MuJoCo MPCの有限差分バックエンドに対するドロップイン置換として、Web of Affine Spaces (WASP) 微分を導入するものであり、これにより微分ベースの制御プランニングを大幅に加速および安定化させ、多様なロボットタスクにおいて最大2倍の高速化を実現し、既存の確率的手法を凌駕する。

要約

ロボット犬に歩行、階段の昇り降り、あるいは片足でのバランス維持を教えようとしている場面を想像してみてください。これを行うために、ロボットは**モデル予測制御（MPC）**と呼ばれる「脳」を使用します。この脳は、超高速のシミュレーターのようなもので、「もし足をこのように動かしたら、次に何が起こるか？ もしあのように動かしたら、次はどうなるか？」と常に自問自答しています。この脳は、今この瞬間に取るべき最善の動きを見つけ出すために、毎秒何千回もの精神的なシミュレーションを実行しています。

Chen LiangとDaniel Rakitaによるこの論文は、現在のこの「脳」の仕組みにおける大きな問題に取り組んでいます。それは、物理法則の計算が遅すぎるということです。

旧来の手法：「試行錯誤」メソッド

現在、ロボットは動きが位置の変化にどのように影響するかを理解するために、**有限差分法（FD）**と呼ばれる手法を使用しています。車のステアリングがどれくらい敏感かを調べる場面を想像してみてください。

• ステアリングをわずかに左に切り、車がどう動くかを確認する。
• 次に、わずかに右に切り、どう動くかを確認する。
• それから、アクセル、ブレーキ、エアコンなどを試してみる……。

もしロボットが（複雑な人間や犬のように）50個の関節を持っている場合、コンピュータは、この「回して確認する」プロセスを、すべての関節に対して一つずつ、何度も何度も繰り返さなければなりません。これは、まるで新しい言語を学ぶ際に、一文字ずつ、単語を一つずつ暗記しようとするようなものです。ロボットが複雑になればなるほど（関節が増えれば増えるほど）、この手法は非常に時間がかかるようになり、ロボットの動作にラグが生じたり、フリーズしたりする原因となります。

新しい手法：「アフィン空間のウェブ（WASP）」

著者らは、**WASP（Web of Affine Spaces）という新しい手法を導入しました。ゼロから計算を始めるのではなく、WASPは「直前の手がかりを覚えている賢い探偵」**のようなものです。

ここでの比喩は以下の通りです：

• 旧来の手法（FD）： 歩みを一歩進めるたびに、一度立ち止まって、まるで一度も歩いたことがないかのように、足の下の地面の正確な傾斜を測定する。
• 新しい手法（WASP）： 左足の下の地面は右足の下の地面と非常によく似ており、今踏み出した地面も、先ほど踏んだ地面と似ていることに気づく。そこで、次のステップの傾斜を予測するために、以前のステップの情報を利用する。そして、見た目が異なる数少ない箇所だけをダブルチェックする。

WASPは、過去の計算と現在の計算の間に「ウェブ（網）」のような繋がりを構築します。ロボットの動きは通常、滑らかで連続的であるため（瞬間移動することはないため）、ある瞬間の計算結果は次の瞬間とも非常に似通っています。WASPはこの古い計算結果を再利用することで時間を節約し、本当に必要な時だけ重い計算を行います。

研究結果

研究者らは、この「賢い探偵」の手法を、以下のような様々なロボットのタスクでテストしました。

• 空飛ぶドローン（クアッドローター）。
• 水中を泳ぐヘビ型ロボット。
• 様々な動き（直立、登攀、歩行、ギャロップ）をする四脚の犬。
• 二足歩行のバランスを取る二足歩行ロボット。
• フルサイズのヒューマノイドロボットの歩行。

結果：

1. スピード： 多くの場合において、WASPは従来のメソッドよりもロボットの「脳」の思考速度を2倍速くしました。物理計算に必要な時間を半分に短縮したのです。
2. パフォーマンス： ロボットは速くなっただけでなく、多くの場合、タスクの精度も向上しました。著者らは、WASPが「完全で鋭い計算」ではなく「近似（賢い推測）」を用いることで、ロボットが悪循環（局所解）に陥るのを防いでいるのだと示唆しています。これは、ラジオの信号に少し「ノイズ」が混じることで、逆にチューニングが合いやすくなる現象に似ています。
3. 信頼性： 接触が多い困難なタスク（犬が壁を登る場合など）において、従来の「試行錯誤」法や他のランダムサンプリング法は失敗したり転倒したりすることがよくありました。しかし、WASP法はロボットの安定性と成功を維持しました。

結論

著者らは単に新しい理論を発明しただけではありません。彼らが作ったのは**「ドロップイン・リプレイスメント（そのまま差し替え可能な代替品）」**です。これは、人気の高いロボットシミュレーターであるMuJoCoを使用している人なら誰でも、コードの他の部分を変更することなく、低速な「試行錯誤」の数学を高速な「賢い探偵」の数学へと入れ替えられることを意味します。

彼らはこの新しいツールをオープンソースソフトウェアとして公開しており、他の研究者がすぐに利用して、ロボットをより速く、より安定し、より効率的にできるようにしています。論文は、複雑でリアルタイムなロボット制御において、この「記憶に基づいた」数学を使用することは、従来の方法に対する大きなアップグレードであると結論付けています。

技術概要

技術要約：Web of Affine Spaces（WASP）微分を用いた、堅牢かつ効率的なMuJoCoベースのモデル予測制御

問題提起
MuJoCoは、ロボティクスにおいて広く採用されている物理シミュレータであり、将来の行動を繰り返しのロールアウトを通じて最適化するモデル予測制御（MPC）フレームワーク内で頻繁に利用されている。オープンソースライブラリであるMJPC（MuJoCo MPC）は、これを利用できる既成のアルゴリズムを提供することでこれを促進している。しかし、現在のMJPCは、勾配ベースのプランナ（例：iLQG）に必要な微分を計算するために、有限差分法（FD）のみに依存している。FDは、すべての入力次元を独立して摂動させることで微分を推定するが、これにより、状態空間および行動空間の次元数に対して計算コストが線形にスケールする。高自由度（DOF）のシステムや、複雑な接触力学を含む豊かなコンタクトダイナミクスを持つシーンでは、これは1回の微分評価あたり数百から数千回のシミュレータ呼び出しを引き起こし、リアルタイム性能を阻害するボトルネックとなる。自動微分（AD）は代替案となるが、MPCにおける厳密な微分は、短いホライゾンにおける非線形ダイナミクスの鋭く条件の悪い感度のために、数値的不安定性を招くことが多い。

手法
本論文では、FDのドロップイン・リプレースメントとして、Web of Affine Spaces (WASP) 微分をMJPCに統合することを提案する。WASPは、先行する関連する評価からの情報を再利用することで、近似的な微分を計算するコヒーレンスに基づくアプローチである。

• コアメカニズム: 微分をゼロから計算する代わりに、WASPは微分推定を制約付き最小二乗問題として定式化する。それは、新しく計算された単一のヤコビ行列ベクトル積（JVP）内に存在する近似的なヤコビ行列を求めつつ、キャッシュされた前回のイテレーションからの情報と整合させることを目指す。
• 統合: 著者らは、既存のFD実装と共に、C言語によるMuJoCoのソースコード内にWASPを直接実装した。MJPCのパイプラインにおいて、WASPのインスタンスは計画ホライゾンの各タイムステップに対して作成される。これらのインスタンスは、接線行列および近似的なJVP行列（$\hat{\Delta}F$）を保持し、それらは逐次的に更新される。
• パラメータ化: 精度と効率のバランスを取るため、実装では2つの調整可能なパラメータ、frac（最大値に対する最小JVP数の制御）とtol（真のJVPの角度とノルムの一致に関する閾値の制御）を公開している。ユーザーはこれらをMJPCのGUI経由で調整でき、完全なFD（最大精度／最大コスト）と高度に近似された微分（最小コスト）の間の連続的な選択が可能である。

主な貢献

1. ダイナミクスベースのMPCへのWASPの初適用: WASPは以前に運動学ベースの関数に対して評価されていたが、本研究は、接触ダイナミクスや非線形性の課題に対処しながら、フル物理シミュレーション内でのWASPの適用を拡張した。
2. オープンソースの実装: 著者らは、WASP微分を統合した完全なオープンソース版MJPCをリリースしており、コミュニティがシミュレータのコアソースコードを変更することなく、このドロップイン・リプレースメントを実験できるようにした。
3. 包括的な評価: 本研究は、多様な複雑性とコンタクトパターンを持つ10種類の移動タスク（四足歩行、二足歩行、ヒューマノイド、航空ロボットを含む）にわたってWASPを評価している。

結果
評価では、WASPベースのMPCを、FDベースのMPCおよび確率的サンプリングベースのプランナ（例：Predictive Sampling、Cross-Entropy Method）と比較している。

• FDに対する高速化: iLQGのような微分ベースのプランナで使用した場合、WASPは全タスクにおいて、FDと比較してモデル微分の計算時間で1.26倍から2.08倍の高速化を達成した。総計画時間の観点においても、WASPベースのiLQGはFDベースのiLQGよりも一貫して高速であった。
• サンプリングに対する性能: コンタクトが豊富なタスク（例：四足歩行ロボットの登攀、二足歩行のバランス維持）において、WASPベースのiLQGは、確率的サンプリングベースのプランナを大幅に上回った。サンプリング手法はタスクの完了に失敗することが多かったが（関節制限の違反や転倒によって示される）、WASPベースのiLQGは、タスクの実行に成功しながら、サンプリングプランナに対して最大4.0倍の高速化を実現した。
• タスク性能: いくつかの事例（例：クアッドローター、スイマー）では、WASPベースの制御はFDよりもわずかに優れたタスク性能（より低いコスト）を示した。著者らは、緩やかな近似誤差が正則化器として作用し、鋭い勾配を滑らかにして局所解からの脱出を助けている可能性があると推測している。
• 堅牢性: 感度分析により、WASPはパラメータの変化に対して堅牢であることが明らかになったが、状態遷移の精度（fracx）は、制御の精度（fracu）よりも安定性を維持するために重要である。

意義と主張
本論文は、WASP微分が反復制御の設定において、効率性と堅牢性の魅力的なバランスを提供すると主張している。FDをWASPに置き換えることで、MJPCは、特にFDが極めて高価になる高DOFシステムにおいて、リアルタイムのロボティクスに必要な高速な更新レートを維持できる。本研究は、コヒーレンスに基づく近似微分が、計算効率において優れているだけでなく、複雑でコンタクトが豊富な環境において制御の信頼性を高めることができることを示している。著者らは、これを、ロボティクスにおける有限差分法の実用的な代替手段を拡大するためのステップとして位置付けており、リアルタイムMPCスタックにおける構造化された近似微分の採用の障壁を下げている。

限界
著者らは、すべての実験がシミュレーション内で行われ、主に移動ベンチマークに基づいていること、およびシム・トゥ・リアル（Sim-to-Real）の転移が依然として未解決の課題であることを指摘している。さらに、FDおよびWASPベースの両方のプランナは、コンタクトが豊富な操作タスクにおいて苦戦しており、その限界は微分近似手法自体ではなく、短期ホライゾンの勾配ベースのMPCアーキテクチャ自体にあることを示唆している。最後に、現在の精度パラメータは手動チューニングを必要とするが、著者らは将来の研究において適応的な選択スキームを探索できる可能性を示唆している。