Data-driven Acceleration of MPC with Guarantees

技術的サマリー：保証付きのデータ駆動型 MPC 加速

問題定義
モデル予測制御（MPC）は、制約付きの高次元動的システムの最適制御における支配的な枠組みです。しかし、オンラインで反復的に再帰的ホライズンの制約付き最適化問題を解くことに依存するため、計算上のボトルネックとなり、低遅延アプリケーションには不適切となることがよくあります。制御を加速するために明示的 MPC やニューラルネットワーク近似が提案されてきましたが、これらは重大な欠点を抱えています。明示的手法は、高価な射影スキームを必要としたり、非線形性に対処するのが困難だったりします。ニューラルネットワークは、再トレーニングなしに新しいデータに適応することが困難です。また、多くの非パラメトリック手法は、実行可能性と性能に関する厳密な非漸近的保証を欠いています。

手法
著者は、オンライン最適化をオフライン MPC 解から構築された非パラメトリック方策に置き換えることで MPC を加速する、新しいデータ駆動型枠組みを提案します。中核的な手法は以下の 3 つの主要な構成要素を含みます。

1. オフラインの保守的問題定式化: オンラインで元の MPC 問題を解く代わりに、著者はわずかに保守的なバージョンをオフラインで解きます。これには、状態制約集合 $X$ を（ポントリャギンの差を用いて）$\epsilon$-侵食集合 $X_{-\epsilon}$ に縮小させることが含まれます。この保守的な問題を解くことで、最適軌道が元の制約境界の厳密に内部に留まり、安全マージンが提供されます。
2. 非パラメトリック方策の構築: 集合 $D$ は、オフライン解から構築され、タプル $(x_i, u_i, J_i)$ で構成されます。ここで、$x_i$ は状態、$u_i$ は最適制御、$J_i$ は保守的問題に対する最適コスト・トゥ・ゴです。提案される方策 $\pi_D$ は、貪欲な最近傍則です。現在の状態 $x$ に対して、正則化されたコスト $J_i + \lambda \|x - x_i\|$ を最小化するデータセット点 $x_i$ に伴う制御 $u_i$ を選択します。
3. 理論的保証: 著者は、この方策が再帰的に実行可能であり、有界な最適性ギャップを許容する条件を確立します。
   • 再帰的実行可能性: システム動力学のリプシッツ連続性を活用することで、データセット $D$ が状態空間の十分な被覆（具体的には $\epsilon/L_f$-被覆）を形成する場合、その方策は元の非保守的問題に対して実行可能であることを証明します。
   • 有界な部分最適性: コスト・トゥ・ゴ関数のリプシッツ連続性を用いて、著者は最適コストに対するデータ依存の上限と下限を構築します。十分に大きな正則化パラメータ $\lambda$ を用いることで、方策のコストがデータから導出された保守的上限によって上から抑えられることを証明します。これにより、データセットの被覆が改善されるにつれて厳密になる、相対的な部分最適性ギャップの証明可能な上限が導かれます。

主要な貢献
本論文は以下の 4 つの主要な貢献を行います。

1. 新しい非パラメトリック方策: 保守的定式化からのオフラインデータを用いて MPC 問題を近似解決し、オンライン最適化の必要性を回避する方策。
2. 継続的学習能力: 再トレーニングなしに新しいオフライン解を逐次的に追加することをサポートする方策。新しいデータは方策を局所的に修正し、継続的な改善を可能にします。
3. 厳密な理論的境界: 全域にわたる再帰的実行可能性と有界な最適性ギャップを保証するオフラインデータ被覆に関する明示的条件の確立。これらの条件は、収集されたデータの量と性能境界の厳密さの間の明確なトレードオフを定義します。
4. 効率的な実装: 方策は、FAISS を通じた k-最近傍法を用いたルックアップ則として実装されており、オンラインで MPC を解くことに比べて桁違いに高速です。

実験結果
著者は、逆振り子と最小時間不安定 LTI システムという 2 つのベンチマークでアプローチを検証しました。

• 速度: 提案された方策（MINT とラベル付け）は、標準的なオンライン MPC に比べて 100 倍から 1000 倍の推論速度を達成します。
• 性能: この手法は、遅延と最適性の間で有利なトレードオフを示します。十分なデータ被覆があれば、この方策は短い先見ホライズンを持つ標準 MPC と同等の相対最適性ギャップを達成し、解決の質の点でそれらの短いホライズン MPC を大幅に凌駕します。
• 検証: 状態空間ドメインの逐次分割に基づくアルゴリズム（アルゴリズム 2）は、再帰的に実行可能性と最適性の証明を検証することが示され、理論的条件が実際には満たされていることが確認されました。

意義と主張
著者は、この研究が明示的/非パラメトリック制御の速度と、最適化ベースの MPC の厳密な保証の間のギャップを埋めると主張しています。ニューラルネットワークのアプローチとは異なり、提案された手法は新しいデータに対する再トレーニングを必要とせず、非漸近的保証を提供します。この枠組みは、データ収集の努力（メモリとオフライン計算）と制御性能（最適性ギャップと実行可能性）の間のトレードオフを明示的に定量化します。結果は、被覆条件を満たすために十分なオフラインデータを収集できる場合、このアプローチが低遅延が重要なリアルタイム制御タスクの実用的な候補であることを示唆しています。論文は、今後の研究が高次元システムや組み込みアプリケーションへのこれらの手法のスケーリングに焦点を当てると結論付けています。