技術的サマリー：エントロピー正則化最適輸送に基づくサンプリング型制御

問題定義

モデル予測パス積分（MPPI）やクロスエントロピー法（CEM）などのサンプリング型モデル予測制御（MPC）手法は、勾配が利用できない場合やダイナミクスが不連続な場合など、非線形ロボットシステムのリアルタイム制御において広く用いられている。しかし、これらの手法は、制御空間の幾何学的構造を無視する情報理論的対象関数（例えば、KL 発散）に依存している。

この幾何学的無視は、以下の 2 つの主要な失敗モードをもたらす：

1. モード平均化（Mode-Averaging）：MPPI は重み付き平均を介してサンプルを集約する。複雑な多峰性のコストランドスケープ（例えば、障害物を回避する移動）において、これは異なる局所最小値を混合した制御コマンドを生成し、ロボットを障害物の周りを通過する有効な経路を選択する代わりに、直接障害物へと誘導してしまうことが多い。
2. モード探索（Mode-Seeking）：CEM は「エリート」サンプルを選択することで平均化を回避するが、これは単一のモードへの過剰なコミットメントを招き、探索を制限し、局所最適解を優先して実行可能な解を見逃す原因となり得る。

既存の解決策は、しばしば事後のヒューリスティック（例えば、アニーリングスケジュール、共分散適応）に依存しており、変分目的関数を根本的に変更するものではない。本論文は、最適化プロセスに空間情報を組み込むためには、基礎的な転換が必要であると主張する。

手法：OT-MPC と Sinkhorn 座標降下法

著者らは、エントロピー正則化最適輸送（EOT）定式化から導出されたサンプリング型アルゴリズムであるOT-MPC（Optimal Transport MPC）を提案する。情報理論的発散の最小化の代わりに、OT-MPC は候補制御シーケンスと低コストの提案との間の確率質量の輸送コストを最小化し、幾何学的近接性を明示的に組み込む。

コアアルゴリズム：Sinkhorn 座標降下法（SCD）

最適化エンジンである**Sinkhorn 座標降下法（SCD）**は、$M$個の提案を用いて$N$個の粒子（候補制御シーケンス）の集合を目標分布へと進化させる、勾配フリーのアルゴリズムである。

1. 定式化：この問題は、エントロピー$H(\Gamma)$によって正則化された輸送コスト$c(z, y)$を最小化する、粒子$z$と提案$y$間の最適な結合$\Gamma$を見つけることとして定式化される。
2. 交互最適化：
   • 結合更新：粒子が固定されている場合、最適な結合$\Gamma$はSinkhorn アルゴリズムを用いて効率的に計算される。このステップは、提案のコストと粒子および提案間の幾何学的距離の両方を考慮する。
   • 粒子更新：結合が与えられた場合、粒子が更新される。二次コストの場合、この更新には閉形式解が存在する：各粒子は、結合された提案の重み付き重心に向かって移動する。
   • 緩和：ステップサイズパラメータ$\eta$は、特に提案が各反復で再サンプリングされる場合に、更新を安定化するために使用される。
3. 提案分布：探索と利用のバランスを取るため、提案は混合分布からサンプリングされる：割合$\rho$はグローバル分布（例えば、一様分布または広範なガウス分布）から抽出され、残りは既存の粒子の局所的な摂動である。

主要な理論的性質

• 双凸性（Biconvexity）：目的関数は粒子と結合の両方において双凸であり、部分問題の一意な解を保証する。
• 単調減少（Monotone Descent）：アルゴリズムは目的関数値の非増加列を保証する。
• 収束性：反復値は定常点に収束する。
• 一般化：SCD は MPPI を一般化する。粒子数$N=1$または正則化$\epsilon \to \infty$の極限において、SCD は標準的な MPPI の重み付き重要度平均を回復する。

主要な貢献

1. アルゴリズム的革新：SCD の提案と、その OT-MPC としての具体化。既存のサンプリング手法とは異なり、SCD はコストと幾何学的近接性の両方に基づいて粒子を更新し、モード間の多様性を維持しながら局所 refinement を可能にする。
2. 理論的保証：単調減少、収束保証、二次コスト（および円距離や Log-ユークリッド計量などの他の特定のコスト関数）に対する閉形式更新を含む、SCD の理論的性質の確立。
3. 実証的検証：OT-MPC が、特に多峰性コストランドスケープを有する多様なロボットタスクにおいて、MPPI、CEM、および Stein 変分 MPC（SV-MPC）よりも高い成功率を達成することを示す。

実験結果

著者らは、ナビゲーション、マニピュレーション、および移動タスクにおいて OT-MPC を評価し、MPPI、CEM、および SV-MPC と比較した。

• 自動車障害物回避（運動学的自転車モデル）：密集した障害物フィールド（「Hard」設定）において、OT-MPC は**93.5%の成功率を達成し、MPPI の88.5%**を上回った。MPPI がモード平均化に苦しむ複雑な環境では、性能差はさらに拡大した。
• 2D Push-T（接触に富むマニピュレーション）：OT-MPC は**76%**の成功率を達成し、MPPI（4%）および CEM（46%）を大幅に上回った。SV-MPC は、ハイブリッド接触ダイナミクスにおける微分可能な勾配の欠如により、完全に失敗した（0%）。
• クアッドコプター障害物回避（12-DOF）：中程度および高密度の障害物設定において、OT-MPC はそれぞれ**100%および92%の成功率を達成し、MPPI の60%および19%**と比較して優れていた。MPPI は局所最小値に陥り、実行可能な経路を見つけることに頻繁に失敗した。
• 協調荷重運搬（2 機のクアッドコプター）：狭い壁の開口部を通過するために精密な協調を必要とするタスクにおいて、OT-MPC は「Hard」設定で**75%の成功率を達成し、MPPI の10%**と比較して優れていた。狭いボトルネックは MPPI のモード平均化の問題を悪化させ、協調を阻害した。
• Franka Push-T（3D マニピュレーション）：OT-MPC は**66%**の成功率を達成し、重くチューニングされた MPPI（64%）と同等であったが、はるかに少ないハイパーパラメータチューニングの努力しか必要としなかった。
• 四足歩行移動（Unitree Go2）：OT-MPC は、ランプ登攀および箱押しタスクにおいて、MPPI と比較して目標到達に必要な平均ステップ数が少なく、優れた効率を示した。

計算オーバーヘッド：Sinkhorn ステップは計算コストを追加する（MPPI の$O(M)$に対し$O(NM)$）が、著者らは OT-MPC がしばしば同等またはより短いウォールクロック時間を達成すると報告している。これは、輸送結合がサンプルあたりにより多くの情報を抽出するため、アルゴリズムが収束を達成するために fewer な提案（ロールアウト）を使用できるからである。

意義と主張

本論文は、OT-MPC が KL 発散を最適輸送目的関数に置き換えることで、情報理論的サンプリング手法の根本的な限界に対処すると主張する。この転換により、制御器は以下が可能となる：

• モードの維持：多峰性環境での衝突につながる「モード平均化」を回避する。
• 協調更新：候補を有望な局所領域へと refinement しながら、アンサンブルの多様性を維持する。
• 勾配なしでの動作：MPPI と同様に、ブラックボックスシミュレーターや非滑らかなダイナミクスと互換性を保つ。

著者らは、OT-MPC を単なるヒューリスティックな改善ではなく、サンプリング型制御が情報を集約する方法における基礎的な変化として位置づけている。これは制御空間の幾何学的構造を活用して、複雑で接触に富み、高次元のロボットタスクにおいてロバストな性能を達成するものである。彼らは、探索における提案のカバレッジへの依存性や、エントロピー正則化パラメータ$\epsilon$の慎重なチューニングの必要性といった限界を認めつつも、この手法が既存の最先端サンプリング制御器に対する原理的な代替案を提供すると主張している。