技術要約：アモータイズド非線形モデル予測制御 (Amortized Nonlinear Model Predictive Control)

問題提起

非線形モデル予測制御 (NMPC) は、制約付き最適制御のための強力なフレームワークを提供するが、重大な計算上のボトルネックに直面している。各サンプリング時刻において、NMPC はリアルタイムで制約付き非線形計画問題 (NLP) を解く必要がある。非線形プラントモデルの場合、このステップごとの解法時間は線形システムよりも数桁大きくなることがあり、リソースの限られたハードウェアや高サンプリングレートでのリアルタイム実装をしばしば不可能にする。実時間反復 (Real-Time Iteration, RTI) スキームは、単一のニュートン型反復を実行することで効率を向上させるが、計算コストは依然として高い場合がある。さらに、明示的な非線形MPCは一般に困難（intractable）である。

近年の機械学習の進展、特に「アモータイズド最適化 (amortized optimization)」は、オンラインソルバーをオフラインで学習された関数近似器に置き換えることを提案している。しかし、このアプローチにおける大きな課題は、学習された近似が厳密な解から逸脱した際に、閉ループの保証（制約充足や安定性など）をどのように維持するかである。

手法

著者らは、入力アフィン系（ダイナミクスが制御入力に対してアフィンであるシステム：$x_{k+1} = f(x_k) + G(x_k)u_k$）に対し、状態依存の二次計画問題 (QP) をオンラインで解くことで最適な制御入力を近似するフレームワークを提案している。この手法の鍵となる革新は、問題のパラメータの学習と制約の強制を分離した、単一ネットワークによる残差補正 (residual-corrector) アーキテクチャである。

1. パラメトリック QP 定式化

入力アフィン系では、1ステップの次状態マップは制御入力 $u_0$ に対してアフィンである。著者らは、最初の制御入力 $u_0$ を最適化するための小さな QP を定式化している：

• 目的関数: 二次コスト関数 $\frac{1}{2}u_0^\top H(x_0) u_0 + c(x_0, r)^\top u_0$。ここで $H$ と $c$ は現在の状態と参照値に依存する。
• 制約条件:
  • ハード制約: 入力範囲や入力に対するアフィン制約（例：トルク制限）は、直接的に強制される。
  • ソフト制約: 次ステップの状態境界は、QP の実行可能性を確保するためにスラック変数を用いたソフト制約としてモデル化される。
• サイズ: 得られる QP は、フルホライゾンの NLP ($(N+1)n_x + N n_u$) と比較して、決定変数の数が大幅に少ない ($n_u + n_s$)。

2. 残差補正ネットワーク・アーキテクチャ

ネットワークは、完全な最適制御シーケンスや完全な QP パラメータをゼロから学習するのではなく、解析的なベースラインに対する残差補正のみを学習する：

• 解析的ベースライン: 現在の状態の周りでシステムダイナミクスとコスト関数を線形化することから導かれる。これは、ヘッシアンのコレスキー因子 ($L_{an}$) と線形コストベクトル ($c_{an}$) の初期推定値を提供する。
• ニューラルネットワーク ($\phi_\psi$): 連結された状態と参照値を入力として受け取り、補正量 ($\Delta L, \Delta c$) を予測する。
• 補正メカニズム:
  • 完全なコレスキー因子は $L_{full} = L_{an} + \Delta L$ である。
  • 対角要素は softplus 関数を通じて処理され、厳密な正値性が保証される。これにより、結果としてのヘッシアン $H_{full} = L_{full}L_{full}^\top$ が正定値であることが保証される。
  • 完全なコストベクトルは $c_{full} = c_{an} + \Delta c$ である。

3. 微分可能なソルバーと学習

• オンライン推論: 補正されたパラメータは小さな QP を定義し、これは微分可能な内部点法レイヤーによってオンラインで解かれる。これにより、出力 $u_0^*$ が構成上 QP の制約を満たすことが保証される。
• オフライン学習: ネットワークは、（IPOPT のようなソルバーによって生成された）最適 NLP 解のデータセットを用いて、ハイブリッド損失関数を用いて学習される：
  1. 教師あり模倣 ($L_{sup}$): 予測された最初の制御アクションと最適 NLP 解との偏差を罰する。
  2. KKT 定常性 ($L_{KKT}$): 予測された解におけるフル NLP の定常条件の違反を罰する。
  3. フィッシャー・ブルメイスター補完性 ($L_{FB}$): 不等式制約の補完条件の違反を罰する。
  4. 正則化 ($L_{reg}$): 学習された補正を解析的ベースラインに近づける。

主な貢献

1. 残差補正アーキテクチャ: ニューラルネットワークが完全な解ではなく、解析的に導出された QP ベースラインへの補正のみを学習するという新しいアプローチ。これは、入力アフィン系の既知の構造を活用している。
2. 微分可能レイヤーによる制約充足: ネットワーク内に微分可能な QP ソルバーを組み込むことで、学習ベースの MPC における一般的な失敗モードに対処し、最初の制御アクションがハード制約を満たすことを保証する。
3. ハイブリッド損失関数: 教師あり模倣学習を、物理学に基づいた KKT および補完性ペナルティと組み合わせた学習目的関数を用いることで、純粋な模倣学習と比較して性能と実行可能性を向上させている。
4. スケーラビリティ: このアプローチは、オンライン最適化問題を複雑な NLP から、状態依存のコスト行列を持つ小さな QP へと縮小し、計算複雑性を劇的に削減する。

実験結果

本手法は、関節の位置、速度、加速度、およびトルクの制約を受ける、デカルト座標系のエンドエフェクタ追従を伴う3リンク平面ロボットアームを用いて検証された。

• 性能: アモータイズド・ポリシーは、フルホライゾンの IPOPT 最適解に対して平均 4.7% 以内の閉ループコストを達成した。対照的に、標準的な RTI スキーム (acados) は 12% のシナリオで発散し、平均で 17.5% 低劣であった。また、直接的な MLP（QP レイヤーなし）は 27% のシナリオで発散し、ハード制約を大幅に違反した。
• 制約充足: アモータイズド QP は、数値精度までハードなトルクおよび加速度の境界を満たした。ソフトな状態制約は、過渡期においてのみ軽微に違反した (0.7% のステップ)。
• 計算速度:
  • IPOPT: 中央値 約 120 ms
  • RTI (acados): 中央値 約 2.4 ms
  • アモータイズド QP: 中央値 0.116 ms
  • これは RTI に対して 約 21 倍、フル NLP ソルバーに対して 約 1800 倍 の高速化を表している。

重要性

本論文は、このアプローチが、制約充足を犠牲にすることなく、リソースの限られたハードウェアや高サンプリングレートで NMPC を展開するための実用的な経路を提供すると主張している。コスト景観の学習（ネットワーク経由）と制約の強制（QP ソルバ経由）を分離することで、本手法は、最適解に近い追従性能を維持しながら、従来の NLP ソルバーよりも数桁の高速化を実現している。教師あり学習を KKT 残差と組み合わせたハイブリッド損失関数の使用は、単にデータを適合させたりウォームスタートを学習したりする方法と比較して、優れた実行可能性と信頼性を達成するための鍵であると強調されている。