論文「Learning Neural Network Controllers with Certified Robust Performance via Adversarial Training」の技術的サマリー

本論文は、非線形力学系に対するニューラルネットワーク（NN）制御器の設計において、外乱やモデルの不確かさに対する**形式的な保証（Certified Robust Performance）を付与する新しい手法を提案しています。具体的には、NN 制御器と「消散性（Dissipativity）」の証明（証明書）を敵対的学習（Adversarial Training）**を用いて共同で合成し、最終的に厳密な検証を行う枠組みを構築しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

• 背景: ニューラルネットワーク制御器は複雑な制御タスクで高い性能を発揮しますが、安全性が重要な応用（Safety-critical settings）では、閉ループ系の安定性やロバスト性に対する形式的な保証が欠如しているため、実用化が妨げられています。
• 課題: 従来の線形行列不等式（LMI）に基づく手法は計算可能ですが、NN の非線形性を近似（包絡）する際に保守的（Conservative）になりやすく、保証される領域が小さくなりがちです。一方、SMT や分枝限定法（Branch-and-Bound）を用いた厳密な検証手法は精度が高いものの、学習プロセスに直接組み込むことが困難でした。
• 目標: 外部外乱とモデル不確かさ（非パラメトリックな不確かさ）の両方に対して、**ロバストな消散性（Robust Dissipativity）**が保証されるように、NN 制御器とその証明書を同時に学習し、保証される状態空間の体積を最大化すること。

2. 提案手法の概要

提案手法は、$\alpha,\beta$-CROWN（分枝限定法に基づく厳密検証ツール）と**二次制約（Quadratic Constraints: QCs）**の長所を組み合わせ、敵対的学習を通じて制御器と証明書を共同で最適化するパイプラインです。

2.1 理論的基盤：ロバスト消散性

• 定義: 状態集合 $X$ と外乱集合 $D$ に対して、モデル不確かさ $\Delta$ が存在する条件下でも、貯蔵関数（Storage Function）$V$ と供給率（Supply Rate）$s$ を用いた消散不等式が満たされることを「ロバスト消散性」と定義します。
• 条件: 以下の 2 つの条件を満たす必要があります。
  1. ロバスト前方不変性（RFI）: 不確かさと外乱が存在しても、状態が集合 $X$ から逸脱しないこと。
  2. 性能条件: 貯蔵関数の増加量が供給率の積分以下であること（外乱減衰やパッシビティの保証）。

2.2 検証と学習のハイブリッドアプローチ

• 非線形ダイナミクス: 既知の非線形性（NN 制御器やプラントの非線形部分）に対しては、$\alpha,\beta$-CROWNを用いて直接解析を行います。これにより、LMI による近似による保守性を排除し、tight な境界を得ます。
• モデル不確かさ: 非パラメトリックな不確かさ（例：セクタ制約を満たす不確かさ）に対しては、**二次制約（QCs）**を用いて記述します。
• 敵対的学習（Adversarial Training）:
  • 学習プロセスでは、検証条件（$\phi > 0$）を破る「敵対的サンプル（Counterexamples）」を生成し、それらを学習データに追加して制御器と証明書を更新します。
  • 損失関数:
    1. サンプリング損失: ランダムな状態・外乱ペアでの条件違反を罰する。
    2. 敵対的損失: PGD（Projected Gradient Descent）を用いて条件を最も破りやすい点を見つけ、それを学習に反映させる。
    3. アンカー損失: 保証領域を拡大させるよう、現在の境界付近の状態に対して貯蔵関数の値を調整する正則化項。
  • ドメイン拡張: 学習が収束したら、軌道シミュレーションを用いて安定する領域を拡張し、検証範囲を広げます。

2.3 最終検証

学習終了後、固定されたパラメータに対して $\alpha,\beta$-CROWN を用いた二分探索（Bisection）を行い、保証される領域の最大体積（$\rho$）を形式的に証明します。

3. 主要な貢献

1. 共同合成フレームワーク: NN 制御器と消散性証明書を敵対的学習で同時に合成する手法を提案。
2. ハイブリッド検証の統合: 既知の非線形性には $\alpha,\beta$-CROWN を、不確かさには QC を用いることで、LMI の保守性を克服しつつ計算可能性を維持。
3. 大規模な保証領域の獲得: 従来の LMI ベースの手法と比較して、保証される状態空間の体積を劇的に拡大させることに成功。
4. 柔軟なアーキテクチャ: 制御器として再帰的隐式ニューラルネットワーク（RINN）を採用し、LMI による初期化と NN による微調整の両立を可能にしている。

4. 数値実験結果

逆 pendulum（倒立振子）システムを用いた実験で、以下の 2 つのシナリオが評価されました。

実験 1: $\ell_2$ ゲイン境界の保証

• 設定: 制御入力に外乱が加わるモデル。
• 結果:
  • LMI ベース: 保証領域の体積が最小（基準値）。
  • 学習前（$\alpha,\beta$-CROWN 検証のみ）: LMI 比で 51 倍 大きい領域を証明。
  • 固定制御器・証明書学習: LMI 比で 67.5 倍。
  • 制御器・証明書共同学習: 78.1 倍 の領域を証明。
  • 考察: 制御器を固定しても証明書（貯蔵関数）を学習するだけで大幅な改善が見られ、さらに制御器を学習することでさらに向上することが示されました。

実験 2: モデル不確かさ下でのロバスト安定性

• 設定: 入力チャネルにセクタ制約を満たす不確かさが存在するモデル。
• 結果:
  • LMI ベース: 0.80 rad·rad/s。
  • 学習前（$\alpha,\beta$-CROWN）: LMI 比で 7.6 倍（6.0 rad·rad/s）。
  • 共同学習: 10.2 倍（8.1 rad·rad/s）。
  • 考察: 不確かさの存在下でも、提案手法は LMI 手法に比べてはるかに大きな安定領域を証明可能です。

計算コスト:
提案手法は LMI に比べて計算時間がかかりますが（LMI は数分、提案手法は数十分〜）、保証される領域の拡大というトレードオフにおいて、そのコストは正当化される結果となりました。

5. 意義と結論

• 保守性の克服: 従来の LMI 手法が抱える「非線形性の近似による過剰な保守性」を、$\alpha,\beta$-CROWN と敵対的学習の組み合わせによって大幅に低減しました。
• 実用性: 安全性が求められるシステムにおいて、NN 制御器を「ブラックボックス」ではなく、数学的に保証された「ホワイトボックス」として扱える可能性を示しました。
• 将来展望: 本フレームワークは、積分二次制約（IQCs）への拡張や、より複雑なシステムへの適用が期待されます。

総じて、この論文は、ニューラルネットワーク制御の安全性保証において、「学習（Synthesis）」と「検証（Verification）」を密接に連携させることで、理論的な保証と実用的な性能の両立を実現した画期的なアプローチと言えます。