Learning Neural Network Controllers with Certified Robust Performance via Adversarial Training

1. 研究背景与问题定义 (Problem Statement)

核心问题：
神经网络（NN）控制器在非线性动态系统中表现出强大的实证性能，但在安全关键场景（Safety-critical settings）中部署时，缺乏对闭环系统行为的形式化保证（Formal Guarantees）。特别是当系统面临外部扰动和模型不确定性时，如何保证系统的鲁棒性能（Robust Performance）是一个尚未被充分探索的难题。

现有挑战：

• 非线性与高维性： 传统控制理论（如 Lyapunov 稳定性）难以直接应用于高维非线性 NN 控制器。
• 保守性（Conservativeness）： 现有的验证方法通常使用积分二次约束（IQCs）来近似非线性激活函数，这引入了较大的保守性，导致认证的区域（Certified Region）过小。
• 联合优化困难： 同时设计控制器和验证证书（Certificate）以最大化鲁棒性能区域非常困难。

目标：
提出一种方法，联合合成神经网络控制器和耗散性证书（Dissipativity Certificates），利用对抗训练（Adversarial Training）和形式化验证工具，在存在非参数化不确定性的情况下，形式化地保证闭环系统的鲁棒耗散性，并最大化被认证的状态空间体积。

---

2. 方法论 (Methodology)

该方法的核心在于结合 $\alpha,\beta$-CROWN（用于精确分析已知非线性动力学）和 二次约束（Quadratic Constraints, QCs）（用于表征非参数化模型不确定性），并通过对抗训练来联合优化控制器和证书。

2.1 理论基础：鲁棒耗散性 (Robust Dissipativity)

• 定义了一个基于**存储函数（Storage Function, $V(x)$）和供给率（Supply Rate, $s(d, e)$）**的鲁棒耗散性概念。
• 鲁棒前向不变性 (RFI)： 确保在扰动和不确定性下，系统状态始终保持在认证区域内。
• 性能条件： 满足耗散不等式 $V(x_K) - V(x_0) \le \sum s(d_k, e_k)$，保证对扰动的衰减或无源性。

2.2 验证工具：$\alpha,\beta$-CROWN 与 QCs

• $\alpha,\beta$-CROWN： 用于直接分析包含已知非线性（如 ReLU 激活函数）的闭环系统。它通过分支定界（Branch-and-Bound）计算全局下界，能够验证形如 $f(x) > 0$ 的规格。
• 二次约束 (QCs)： 仅用于表征非参数化不确定性（如模型误差 $\Delta$），避免了对已知非线性（如 NN 激活函数）的过度近似，从而减少保守性。
• 定理 1： 提出了基于 $\alpha,\beta$-CROWN 可验证的充分条件，确保在给定不确定性集合 $\Delta(M)$ 下，系统在子水平集 $\Omega_{V,\rho}$ 上是鲁棒耗散的。

2.3 联合合成算法 (Algorithm 1: Adversarial Training and Verification)

算法分为两个主要阶段：训练和形式化验证。

1. 组件设计：

   • 存储函数 ($V_\phi$)： 采用神经网络结构，形式为 $V_\phi(x) = x^\top P_\phi x \cdot (1 + \alpha_{nn} \tanh(\psi_\phi(x)))$。初始化为 LMI 方法得到的二次函数，训练时更新矩阵 $P$ 和神经网络 $\psi$。
   • 控制器 ($\pi_\theta$)： 使用循环隐式神经网络（RINN），兼容 LMI 初始化。
   • QC 乘子与供给率缩放： 作为可学习参数参与梯度下降。

2. 对抗训练过程：

   • 损失函数 ($L_{total}$)： 由三部分组成：
     • $L_{sample}$：随机采样点上的验证条件违反惩罚。
     • $L_{adv}$：对抗增强损失。使用投影梯度下降（PGD）寻找使验证条件 $\phi < 0$ 的最坏情况（Counterexamples），并在这些区域集中采样。
     • $L_{anchor}$：增长激励损失。在初始认证区域边界附近采样锚点，惩罚存储函数值过高，鼓励认证区域向外扩展。
   • 基于仿真的域扩展： 当 PGD 无法在连续多个 Epoch 中找到反例时，通过模拟轨迹扩展状态空间的边界框（Bounding Box），逐步扩大认证范围。

3. 最终验证：

   • 训练完成后，固定参数，使用 $\alpha,\beta$-CROWN 对 $\rho$ 进行二分搜索，找到最大的认证子水平集体积。

---

3. 主要贡献 (Key Contributions)

1. 联合合成框架： 提出了一种同时学习 NN 控制器和耗散性证书的方法，利用对抗训练引导合成过程，以最大化鲁棒性能区域。
2. 混合验证策略： 创新性地结合了 $\alpha,\beta$-CROWN（处理已知非线性）和 QCs（处理模型不确定性）。这种方法避免了用 IQCs 近似所有非线性带来的保守性，显著提高了验证精度。
3. 对抗训练引导的证书优化： 利用 PGD 生成的对抗样本作为“反例”来指导训练，使存储函数和控制器能够针对最坏情况扰动进行优化，从而扩大认证区域。
4. 可扩展的域扩展机制： 提出了一种基于轨迹仿真的动态域扩展策略，使得算法能够自动发现并验证更大的状态空间区域。

---

4. 实验结果 (Results)

作者在倒立摆（Inverted Pendulum）系统上进行了数值实验，对比了四种方法：

1. LMI 基准方法（仅使用 QCs 近似非线性）。
2. 未训练的初始控制器 + $\alpha,\beta$-CROWN 验证。
3. 固定控制器 + 训练存储函数。
4. 联合训练控制器和存储函数。

关键数据（$\ell_2$ 增益边界实验）：

• LMI 基准： 认证体积为 0.16。
• 仅使用 $\alpha,\beta$-CROWN（未训练）： 认证体积为 8.2，是 LMI 的 51.2 倍。这证明了直接分析非线性比 IQC 近似保守性低得多。
• 固定控制器 + 训练证书： 认证体积为 10.8，是 LMI 的 67.5 倍。
• 联合训练（控制器 + 证书）： 认证体积达到 12.5，是 LMI 的 78.1 倍，比未训练版本提升了 1.52 倍。

鲁棒稳定性实验（模型不确定性）：

• 联合训练方法比 LMI 基准提升了 10.2 倍，比未训练版本提升了 1.35 倍。

结论：

• 使用 $\alpha,\beta$-CROWN 替代纯 LMI 方法能显著减少保守性（提升 50 倍以上）。
• 联合训练控制器和证书能进一步挖掘性能，获得最大的认证区域。
• 虽然计算时间比 LMI 长（分钟级 vs 秒级），但获得的认证区域体积巨大，证明了其有效性。

---

5. 意义与总结 (Significance)

• 突破保守性瓶颈： 该研究证明了通过结合精确的非线性验证工具（$\alpha,\beta$-CROWN）和对抗训练，可以大幅突破传统基于 LMI/IQC 方法的保守性限制，为神经网络控制器在安全关键领域的实际应用提供了更可行的形式化保证。
• 自动化设计流程： 提出了一套完整的“训练 - 验证 - 再训练”闭环流程，能够自动发现并扩大系统的鲁棒工作区域，无需人工手动调整证书参数。
• 未来方向： 论文指出未来工作将扩展从 QC 到更通用的积分二次约束（IQC），以处理更复杂的不确定性结构。

总结： 这项工作为安全关键系统中的神经网络控制器设计提供了一套强有力的工具，通过“对抗训练 + 形式化验证”的协同机制，实现了在存在扰动和不确定性下，对闭环系统鲁棒性能的区域最大化认证。