⚡ electrical engineering

Synthesizing Neural Network Controllers with Closed-Loop Dissipativity Guarantees

本文提出了一种通过构建基于积分二次约束的线性矩阵不等式来合成不确定非线性对象神经网络控制器的算法，并将其集成到一种基于投影的训练算法中，旨在最大化奖励的同时，保证闭环系统的耗散性、稳定性以及 $L_2$ 增益界限。

原作者： Neelay Junnarkar, Murat Arcak, Peter Seiler

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Neelay Junnarkar, Murat Arcak, Peter Seiler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人用手平衡一把扫帚（倒立摆），或者驾驶一辆顶着一根摇晃、柔性长杆的小车。你希望这个机器人变得极其聪明且高效，尽可能地减少能量消耗。为此，你决定使用一个由“神经网络”（一种通过试错学习的 AI 类型）构成的“大脑”。

然而，这里有一个难点：神经网络是出了名的难以预测。如果你只是让它们自由学习，它们可能会找到一种聪明的“捷径”来降低能耗——比如直接关机并任由扫帚倒下，或者在遇到突如其来的阵风时做出奇怪的反应，导致撞车。在安全至上的场景中，你承担不起这种代价。

核心理念：“安全笼”
这篇论文提出了一种训练这些智能神经网络控制器的方案，旨在确保它们在保证安全的同时，依然能够自由地学习如何提高效率。

把它想象成训练一名赛车手：

标准训练： 你告诉驾驶员，“尽你所能开快点。”他们可能会赢得比赛，但也可能因为不知道极限在哪里而撞上墙壁。
本文的方法： 你给驾驶员的车装上了安全笼（防滚架）。你仍然告诉他们，“尽你所能开快点”，但安全笼保证了无论他们如何发力，车子都不会翻覆或解体。驾驶员仍然可以学习如何驾驶得非常出色，但他们在物理层面上被阻止了做出灾难性的行为。

这个“安全笼”是如何工作的？
作者使用了名为**耗散性（Dissipativity）**的数学概念。简单来说，这是一种测量能量的方法。

想象整个系统（机器人和受控对象）是一个桶。
耗散性保证了这个桶永远不会溢出。即使你倒入大量的“能量”（扰动、风、误差），系统也有办法吸收或释放这些能量，从而使其不会发生爆炸或变得不稳定。
论文创建了一个“安全笼”，确保这种能量平衡始终得到维持。

神奇的技巧：将谜题转化为直线
通常情况下，让神经网络遵守严格的安全规则就像是在解一个拼图，而拼图的碎片形状一直在变化。这非常难以计算。

作者以一种特殊的方式对神经网络控制器进行了建模（使用“隐式神经网络”），这种方式在数学上看起来与它所控制的对象非常相似。
然后，他们使用了**积分二次约束（IQC）**工具。可以将 IQC 视为一种“通用翻译器”。它将神经网络“大脑”中复杂的、混乱的行为（激活函数）以及受控对象未知的特性，转化为一种简单、标准化的语言。
通过使用同一种语言，他们可以将安全问题转化为一个线性矩阵不等式（LMI）。
- 类比： 想象试图在迷雾缭绕、蜿蜒曲折的森林中寻找路径（非线性问题）。作者找到了方法，在森林旁边画出了一条平坦、笔直的高速公路（凸 LMI）。你可以沿着这条高速公路驾驶你的车（训练你的 AI），既轻松又快速，同时知道自己始终保持在森林的安全边界之内。

训练过程：“检查与修正”循环
论文描述了一种像严厉教练一样的训练方法：

冲刺（学习）： 神经网络迈出一步，以学习并提高其得分（奖励）。
安全检查： 教练会立即检查这一新步骤是否违反了安全规则（即耗散性保证）。
修正（投影）： 如果这一步是不安全的，教练并不会直接说“不行”。他们会将控制器轻轻推回到安全的路径上。这就像一个 GPS，它会说：“你试图驶向悬崖，但我已自动将你重新规划到了距离原定目标最近的安全道路上。”
重复： 这个过程周而复始。AI 学习如何变得高效，但它不断被推回安全笼内。

实验结果：既聪明又安全
作者在两个场景中测试了该方法：

倒立摆： 平衡一根杆子。
小车上的柔性杆： 驾驶一辆顶着一根摇晃、弯曲长杆的小车。

他们将这种“安全神经网络”（D-RINN）与以下对象进行了对比：

一种传统的、基于线性模型的控制器（安全但不够聪明）。
一种没有任何安全规则的标准神经网络（聪明但危险）。

结果是：
“安全神经网络”成为了赢家。它的表现几乎接近于那个危险的、无约束的神经网络（能耗极低），但它保证了系统永远不会变得不稳定。它在效率上大幅超越了传统的线性控制器，同时保持了同等的安全性。

总结
这篇论文提供了一套配方，用于构建既超级聪明又可证明安全的 AI 控制器。它利用数学上的“安全笼”来确保，即使 AI 在学习复杂的行为，它也永远不会跨越走向混乱的界限。这使得工程师可以使用现代 AI 处理关键系统，而不必担心 AI 会突然做出鲁莽的行为。

技术摘要：具有闭环耗散性保证的神经网络控制器合成

问题陈述
神经网络控制器，特别是通过强化学习（RL）训练的控制器，为复杂的非线性控制任务提供了显著的表达能力，但往往缺乏形式化的安全保证。标准的训练方法可能导致控制器对输入过于敏感或表现出意外行为，从而在安全至上的应用场景中带来风险。虽然现有的验证方法可以分析预训练网络的闭环稳定性，但它们并不能在训练过程中固有地促进满足鲁棒性约束的控制器合成。此外，现有的合成方法通常面临处理植物类别的限制（例如，仅限于线性时不变系统）或对神经网络架构复杂度的限制（例如，记忆型与无记忆型的区别）。

本文旨在解决为非线性和不确定植物合成神经网络控制器的挑战，该控制器需同时最大化奖励函数并满足闭环耗散性的硬约束。耗散性被用作一个统一的框架，用于认证稳定性、 $L_2$ 增益界限（对扰动的鲁棒性）以及钝性（passivity）等属性。

方法论
所提出的方法基于线性时不变（LTI）系统与不确定性模块相互连接的统一框架，对植物和控制器进行建模。

系统建模：
- 植物（Plant）： 植物被建模为一个不确定 LTI 系统，其中不确定性和非线性通过积分二次约束（IQC）来描述。这允许表示未建模动态和非线性。
- 控制器： 神经网络控制器被建模为一个循环隐式神经网络（RINN），也称为平衡网络。这种架构涵盖了常见的反馈前向和循环结构。控制器被表示为一个 LTI 系统与激活函数模块相互连接，其中激活函数同样通过 IQC（具体为扇区限制和斜率限制）进行表征。
耗散性认证：
- 作者推导了不确定 LTI 系统对于特定二次供给率具有耗散性的充分条件。
- 通过利用植物不确定性和控制器激活函数的 IQC 描述，他们制定了闭环系统耗散性的判定条件。
- 最初，这产生了一个涉及控制器参数、存储函数矩阵（ $P$ ）和 IQC 乘子的双线性矩阵不等式（BMI）。
凸化与合成：
- 为了使合成在计算上具有可行性，作者采用了基于变量代换的方法（基于 Scherer 等人，1997 年）将 BMI 转换为线性矩阵不等式（LMI）。这种转换使得问题可以通过半正定规划（SDP）高效求解。
- 该 LMI 对新的决策变量是仿射的，从而能够同时优化控制器结构和耗散性证书。
训练算法：
- 提出了一种基于投影的训练算法。该过程在标准强化学习步骤（例如近端策略优化 PPO，用于最大化奖励）与耗散性强制步骤之间交替进行。
- 如果更新后的控制器参数违反了耗散性条件，则投影步骤会在变换空间内求解一个 SDP，以找到最接近满足 LMI 约束的控制器参数。
- 文中还讨论了一种替代的正则化方法，即在损失函数中添加惩罚项，但实验表明基于投影的方法更为稳健。

核心贡献

统一框架： 本文提出了一种合成神经网络控制器的的方法，用于处理广泛的非线性及不确定植物，其方法是将植物和控制器均建模为 LTI 系统与受 IQC 约束模块的互连。
凸合成条件： 推导了闭环耗散性的凸（LMI）条件，从而能够使用高效的 SDP 求解器进行控制器合成。
基于投影的训练： 引入了一种新型训练程序，通过投影将强化学习与硬耗散性约束相结合，确保最终控制器在优化性能的同时满足鲁棒性保证。
架构灵活性： 隐式神经网络（INN）的使用使得该方法能够支持具有记忆的动态控制器（RINNs），扩展了以往工作中使用的静态或纯前馈架构。

实验结果
该方法在两个仿真示例中得到了验证：

倒立摆： 目标是在最小化控制能量的同时稳定摆杆。所提出的耗散性 RINN（D-RINN）与受约束的 LTI 控制器相比，实现了显著更低的控制能量（更高的奖励），同时保持了相同的稳定性保证。它优于无约束的神经网络，后者无法在给定的奖励函数下稳定系统。
小车上的柔性杆： 该示例涉及一个将柔性杆建模为带有不确定性的刚体以捕捉柔性的模型。D-RINN 被训练以保证从扰动到状态的 $L_2$ 增益界限。与具有相同鲁棒性保证的 LTI 控制器相比，D-RINN 获得了更高的奖励（更好的状态调节与更少的控制能量）。无约束的神经网络虽然获得了高奖励，但未能提供稳定性保证。

在这两种情况下，D-RINN 都证明了形式化的鲁棒性保证并不一定会排除高性能；事实上，神经网络控制器在具有相同约束的情况下表现优于线性控制器。

意义与主张
作者声称，其主要贡献是通过耗散性的统一框架，同时保证了对外部扰动和模型不确定性的鲁棒性。他们断言，该方法提供了一种计算上可行的途径，用于合成不仅具有高表达能力而且经过形式化认证的神经网络控制器。

本文将自身定位为现有方法的进步，其优势在于：

与仅限于 LTI 植物的方法相比，能够处理更大类别的动力学系统（非线性及不确定植物）。
利用比记忆型或仅状态反馈型更灵活的神经网络表征方式。
与某些 Youla-Kucera 参数化方法不同，它不需要预先存在的稳定基础控制器。

作者总结道，尽管目前的 LMI 方法在计算规模上存在局限性，但它为安全的学习控制提供了严谨的基础，未来的工作将侧重于降低保守性和提高数值稳定性。

类似论文