⚡ electrical engineering

Stability Margins of Neural Network Controllers

本文提出了一种针对神经网络控制器的训练方法，该方法通过在奖励最大化与基于半正定规划的投影步骤之间交替进行，保证了具有不确定性和非线性的线性时不变系统的离散稳定性裕度。

原作者： Neelay Junnarkar, Murat Arcak, Peter Seiler

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Neelay Junnarkar, Murat Arcak, Peter Seiler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常有天赋、速度极快的机器人开车。这个机器人是一个“神经网络”，它本质上是一个通过试错来学习的计算机大脑，就像人类学习骑自行车一样。

问题：“快但不安全”的驾驶员
在控制理论（研究如何让机器运动的数学）的世界里，传统的控制器就像是谨慎、守规矩的驾驶员。他们可能不是最快的，但他们有一个内置的安全保证：即使路面变得湿滑或者轮胎稍微瘪了一点（不确定性），车也不会撞车。

然而，新的“神经网络”驾驶员非常擅长学习。它们可以比旧式的驾驶员开得更快、更平稳。但问题在于，因为它们是通过猜测和尝试来学习的，所以没有人能“证明”它们在遇到意外情况时不会撞车。在安全至上的工作中——比如驾驶飞机或自动驾驶汽车——监管机构会说：“如果我们无法证明你不会撞车，我们并不在乎你开得有多快。”这使得神经网络一直无法进入这些重要的领域。

解决方案：“安全网”训练
本文作者提出了一种聪明的方法，来训练这些机器人驾驶员，使它们既快又安全。他们称这种方法为稳定性裕度训练（Stability Margin Training）。

可以这样理解：

比赛（训练步骤）： 首先，机器人尝试尽可能出色地驾驶，以获得高分（奖励）。它学习如何快速且高效地行驶。
安全检查（稳定性步骤）： 在每一次练习运行后，机器人的大脑会被暂停。工程师们会运行一个复杂的数学测试（一个“半正定规划”）来查看机器人的当前驾驶风格是否具有“安全裕度”。

什么是“圆盘裕度（Disk Margin）”？
要理解这个安全裕度，请想象汽车的转向盘。

旧的安全检查： 传统的检查会分别询问：“如果我把方向盘向左多转了10%，是否安全？”以及“如果我把方向盘向右多转了10%，是否安全？”
新的“圆盘裕度”： 本文使用了一种更高级的检查方式。想象在完美的转向位置周围画了一个圆（一个圆盘）。新的检查是在问：“如果转向盘同时在任何位于这个圆盘内部的位置（即同时改变方向和灵敏度），汽车是否仍能保持在路面上？”

这种“圆盘裕度”是一个更强大、更真实的安全性保障，因为现实世界中的问题往往是以混乱的、组合式的方式发生的，而不仅仅是单一因素的变化。

神奇的技巧：“投影（Projection）”
这里是最棘手的部分。当机器人学习如何开得更快时，它往往会不小心踏出安全圈的范围。

解决方法： 作者使用了一种数学上的“投影”。想象机器人的大脑是一团橡皮泥。如果这团橡皮泥的形状违反了安全规则，算法就会对它进行挤压和重塑，使其恰好能回到“安全圆盘”之内，同时又不至于改变其形状太多。
他们反复执行这个过程：快速学习 -> 检查安全 -> 挤回安全范围内 -> 再次快速学习。

结果：柔性杆实验
为了测试这一点，他们模拟了一个在上面顶着一根长长的、摇晃的柔性杆（就像在小车上平衡一根扫帚柄）的小车。

无约束的机器人： 它们学会了很好地平衡这根杆子并获得了高分，但它们没有安全保证。
传统机器人： 这个机器人很安全，但有点笨拙，得分较低。
新的“安全裕度”机器人： 它找到了那个平衡点。它的得分比传统机器人高得多（意味着它驾驶得更好），同时仍然拥有数学上可证明的安全保证，即即使杆子稍微摇晃或风向改变，它也不会发生碰撞。

总结
这篇论文为我们提供了一种方法，让我们能够教会 AI 控制器像人类专家一样出色地完成工作，同时强制要求它们穿上一件在数学上保证有效的“安全背心”。它弥合了现代 AI 的高性能与航空航天等领域严格安全规则之间的鸿沟。

技术摘要：神经网络控制器的稳定性裕度

问题陈述

通过强化学习（RL）训练的标准神经网络（NN）控制器通常缺乏闭环稳定性保证，这限制了它们在航空航天等需要特定鲁棒性指标的监管领域中的部署。虽然最近的研究已经解决了神经网络控制器的渐近稳定性验证与合成问题，但在训练神经网络控制器以最大化性能奖励的同时，严格遵守经典鲁棒性要求（特别是圆盘裕度/disk margins）的方法方面仍存在空白。

本文解决了这样一个约束优化问题：训练一个神经网络控制器 $K$ ，在使轨迹上的期望累积奖励最大化的同时，满足系统对于一类植物 $\mathcal{M}_\alpha$ 保持稳定的约束。该类植物代表了一个由增益和相位变化共同构成的名义线性时不变（LTI）植物与不确定性（包括 LTI 和非线性不确定性）的组合，其不确定性由圆盘裕度 $D(\alpha, \sigma)$ 限定。选择圆盘裕度是因为它考虑了增益和相位的同步变化，相比传统的增益和相位裕度，提供了更严谨的鲁棒性保证。

方法论

1. 系统建模

作者将控制架构建模为名义 LTI 植物与神经网络控制器相互连接的结构，两者均受不确定性块的影响。

植物（Plant）： 名义植物是 LTI 的。不确定性被建模为一个输入乘性块 $H_{\Delta p}$ ，其中不确定性 $\Delta_p$ 的 $L_2$ 范数由 $\alpha$ 界定。
控制器（Controller）： 神经网络被建模为循环隐式神经网络（RINN）。它由一个 LTI 系统 $G_k$ 与静态、逐元素激活函数 $\phi$ （例如 tanh, ReLU）相互连接而成。这种形式化方法允许控制器具有记忆（动力学特性），并涵盖了包括前馈网络和残差网络在内的多种架构。
不确定性表征： 植物的不确定性 $\Delta_p$ 和控制器的激活函数 $\phi$ 均使用**积分二次约束（IQC）**进行表征。 $\Delta_p$ 满足与 $L_2$ 增益相关的扇区界限 IQC，而激活函数则满足扇区和斜率限制 IQC。

2. 稳定性认证

其核心理论贡献在于提供了一个条件，用于认证特定的 RINN 控制器是否满足圆盘裕度 $D(\alpha, \sigma)$ 。

闭环系统被重新表述为一个 LTI 系统与一个包含 $\Delta_p$ 和 $\phi$ 的复合不确定性块相互连接的系统。
利用李雅普诺夫函数结合 IQC 理论，作者推导出了一个**线性矩阵不等式（LMI）**条件（引理 3.1）。该条件涉及寻找一个正定矩阵 $X$ 以及对角乘子矩阵 $\Lambda_p$ 和 $\Lambda_k$ ，使得特定的矩阵不等式成立。
直接将该 LMI 用于训练在计算上是不可行的，因为该不等式关于控制器参数 $\theta$ 和李雅普诺夫矩阵 $X$ 是双线性的。

3. 带有投影的训练算法

为了合成一个能在最大化奖励的同时满足稳定性约束的控制器，作者提出了一个迭代训练算法（算法 1），该算法在两个步骤之间交替进行：

强化学习步骤： 一个标准的 RL 步骤（例如近端策略优化 PPO）更新控制器参数 $\theta$ 以最大化奖励。得到的参数 $\theta'$ 可能会违反稳定性裕度。
稳定性裕度强制步骤： 如果 $\theta'$ $θ^{'}$ 不满足稳定性要求，则将其投影回稳定控制器的集合中。
- 为了使该投影过程变为凸优化，作者利用变量代换（受文献 [8] 启发）将控制器参数 $\theta$ 和李雅普诺夫矩阵 $X$ 转换为新的变量 $\hat{\theta}$ （包括矩阵 $S, R, N_A, \dots$ ）。
- 在这个变换后的空间中，稳定性条件对于 $\hat{\theta}$ 是仿射的，从而允许将投影公式化为一个半正定规划（SDP）。
- 算法求解一个 SDP 以找到最接近当前 $\hat{\theta}'$ 的有效 $\hat{\theta}$ ，然后从解中重建控制器参数 $\theta$ 。
- 算法还会交替调整乘子 $\Lambda_p$ 以减少保守性，即在转向执行完整的投影之前，先尝试直接认证该裕度。

核心贡献

训练框架： 一种能够在强化学习过程中显式强制执行圆盘裕度约束来训练神经网络控制器的创新方法。
数学公式化： 利用针对植物不确定性和激活函数的 IQC，推导出了用于 RINN 控制器圆盘裕度认证的 LMI 条件。
凸投影： 通过变量代换和 SDP 开发了一种计算可行的投影步骤，从而能够在基于梯度的训练循环中强制执行非凸稳定性约束。
泛化性： 该方法不仅限于静态控制器，还扩展到了动态（循环）控制器，并能处理由 IQC 描述的不确定性，涵盖了 LTI 和非线性时变动力学。

实验结果

该方法在小车上的柔性杆模拟系统上进行了评估，这是一个具有复杂动力学的系统。

对比对象： 将所提方法（SM-RINN）与以下对象进行了比较：
- 无约束循环隐式神经网络（U-RINN）。
- 标准全连接神经网络（FCNN）。
- 接受相同稳定性约束训练的 LTI 控制器。
约束条件： 所有受约束的控制器（SM-RINN 和 LTI）都被要求满足 $\alpha = 0.353$ 且 $\sigma = 0$ 的圆盘裕度，这对应于 3 dB 增益裕度和 20° 相位裕度的下限。
性能表现：
- 无约束控制器（U-RINN 和 FCNN）获得了最高的奖励（约 3000），但没有稳定性保证。
- 受约束的 SM-RINN 获得了约 2250 的奖励。
- 受约束的 LTI 控制器获得了最低的奖励（约 1500）。
权衡： 结果展示了典型的性能-鲁棒性权衡。然而，SM-RINN 在保持完全相同的鲁棒性保证的同时，显著优于受约束的 LTI 控制器（奖励提升了约 50%）。

重要性与主张

本文声称，该方法能够使神经网络应用于监管机构要求具备稳定性裕度的安全关键型应用领域。通过通过 SDP 投影将鲁棒性约束直接集成到训练循环中，作者证明了神经网络控制器可以在满足相同严苛鲁棒性要求的前提下，实现比传统线性控制器更高的性能指标（奖励）。这项工作弥合了深度学习的灵活性与经典控制理论所需的安全性保证之间的鸿沟。