Learning Neural Controllers with Optimality and Stability Guarantees Using Input-Output Dissipativity

技術要約：入出力散逸性を用いた最適性と安定性の保証を持つニューラルコントローラの学習

問題提起
ディープラーニングは、ロボティクス、輸送、電力システムなどの複雑な非線形制御タスクを解決する上で有望であることを示してきました。しかし、これらの手法は通常、安定性のような重要な特性に対する形式的な保証を欠いています。反例誘導型帰納合成（SMTソルバ経由など）を用いた学習ベースのアプローチは、ニューラルコントローラの安定性を検証できますが、無限ホライゾンにおける最適性の保証を提供できないことがよくあります。既存の手法は、有限のサンプル軌道に対して性能を最適化することが多く、長期的な最適性やグローバルな安定性を保証しない「近視眼的」な設計につながります。本論文が取り組む核心的な課題は、一般的な非線形システムに対して、ユーザー定義のコスト関数に対する漸近的安定性と最適性を同時に保証するニューラルコントローラを設計することです。

手法
著者らは、入力と出力のペアにおけるエネルギー散逸を特徴付けるために、ストレージ関数とサプライレート関数を利用する、リアプノフ理論の一般化である入出力散逸理論に基づくフレームワークを提案しています。

1. 理論的枠組み:

   • システムは $\dot{x} = f(x) + g(x)u$ としてモデル化されます。
   • 著者らは、二次形式・ストレージ・抵抗（QSR）形式 $w(x, u) = x^\top Q(x)x + 2x^\top S(x)u + u^\top R(x)u$ を用いて、ストレージ関数 $V(x)$（リアプノフ関数に相当）とサプライレート関数 $w(x, u)$ を定義します。
   • 安定性: 特定の制御則の下でシステムが散逸的であり、$w(x, u) < 0$ である場合、閉ループシステムは安定です。論文では、特定の行列不等式（$\Delta(x) = S(x)R(x)^{-1}S(x)^\top - Q(x)$ を含む）が正定値であれば安定性を保証する、構造化された制御則 $\pi(x) = -R(x)^{-1}S(x)^\top x$ を導出しています。
   • 最適性: 著者らは、この構造化された制御則が、無限ホライゾンの最適制御問題に対する最適解であることを証明しています。関連するコスト汎関数は、学習されたストレージ関数とサプライレート関数から導出されます。さらに、追加の正則条件が満たされる場合、コスト汎関数は非線形二次形式となり、コントローラを特定のユーザー定義の目的へと成形できることを示しています。

2. 学習アルゴリズム（反例誘導型帰納合成）:

   • ニューラルパラメータ化: ストレージ関数 $V(x)$ および行列関数 $Q(x), S(x), R(x)$ は、フィードフォワードニューラルネットワークによってパラメータ化されます。
   • 次元削減: 本研究の重要な技術的貢献は、散逸条件の再定式化です。状態と入力の結合空間（高次元入力に対して困難）上でサンプリングする代わりに、著者らは、状態空間 $x$ のみに依存する条件（Proposition 8）を導出しました。これには、Schur補集合を介して導出された行列不等式 $M(x) \succ 0$ が含まれます。これにより、サンプリングの次元数が大幅に削減されます。
   • 学習ループ: 学習にはハイブリッドアプローチを採用しています。
     • 学習器（Learner）: 散逸条件（$V$、 $R$、および $\Delta$ の正定値性、ならびに行列不等式 $M$）から導出された損失関数を用いて、ニューラルネットワークのパラメータを最適化します。
     • 検証器（Verifier）: SMTソルバ（具体的にはdReal）と投影勾配降下法（PGD）を使用して、関心領域における条件を形式的に検証します。
     • 反例（Counterexamples）: 検証器が違反を見つけた場合、その反例がニューラルネットワークを洗練させるための訓練セットに追加されます。このループは、形式的な保証が満たされるまで継続されます。

主な貢献

• 新しいフレームワーク: 入出力散逸性を学習することにより、証明可能な安定性と無限ホライゾンの最適性の保証を提供する、ニューラルコントローラを設計するための新しい手法。
• 理論的保証: 導出された制御則が、同じ散逸特性を共有するあらゆるシステムを安定化し、学習されたコスト関数に対する特定の最適制御問題の最適解であることを示す証明。
• 次元削減: 散逸条件を、状態と入力の積空間から状態空間のみへと削減する再定式化を行い、多入力システムの学習をより効率的にすること。
• コスト成形（Cost Shaping）: 学習されたコスト汎関数をユーザー定義の目的へと一致させるためのメカニズム。これにより、理論的な最適性と実用的な性能指標の間のギャップを埋めます。

実験結果
本フレームワークは、電気回路、倒立振子（静的および動的制御）、およびカート上のロッドの3つのベンチマーク環境で検証されました。

• ベースライン: 本手法は、Neural Control Lyapunov Functions (NCLF)、Neural ODEs (NODE)、およびコスト成形を行わないバリアント（OURS-NCF）と比較されました。
• 安定性: NODEは、訓練コストが低いにもかかわらず、いくつかのシナリオでシステムを安定化させることに失敗しましたが、提案手法はdRealによって検証された形式的な安定性保証を提供しました。
• 最適性: 提案手法（OURS）は、一貫してNCLFよりも低い累積コストを達成し、いくつかのケース（電気回路、倒立振子など）では、安定性を維持しながらNODEと同等またはそれを上回る性能を示しました。
• 線形ケース: 電気回路の実験（線形システム）において、学習されたコントローラは理論的な線形二次レギュレータ（LQR）解を正常に再現し、既知の最適解を復元する本フレームワークの能力を実証しました。

意義と主張
本論文の主要な意義は、学習ベースの制御フレームワークの中で、安定性と最適性の保証を統一することにあると主張しています。散逸理論を活用することで、著者らは、自らのアプローチが（無限ホライゾンの保証を欠く）純粋な軌跡ベースの訓練や、（明示的な最適性証明を欠くことが多い）従来のリアプノフベースの学習の限界を克服できると述べています。サプライレート関数とストレージ関数を直接学習できる能力により、コントローラは、特定のユーザー定義の目的へと成形可能な最適性を継承することができます。著者らは、ハードな制約下でのこれらの関数の学習は依然として困難ではあるものの、彼らの再定式化と検証ガイド付き合成は、安全かつ最適なニューラル制御への堅牢な道筋を提供すると述べています。