⚡ electrical engineering

Training with Hard Constraints: Learning Neural Certificates and Controllers for SDEs

本文提出了两种针对随机微分方程系统的约束驱动训练框架，分别通过基于边界的离散化方法和基于场景的无分区方法，实现了具有硬约束保证的神经证书构建与控制器合成，并有效解决了高维系统的可扩展性问题。

原作者： Chun-Wei Kong, Sebastian Escobar, Ibon Gracia, Jay McMahon, Morteza Lahijanian

发布于 2026-03-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Chun-Wei Kong, Sebastian Escobar, Ibon Gracia, Jay McMahon, Morteza Lahijanian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文解决了一个非常棘手的问题：如何教人工智能（神经网络）在充满不确定性的世界里（比如自动驾驶、机器人控制），既要把事情做成，又要绝对保证安全，不能出任何差错。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“教一个新手司机在暴风雨中开车”**。

1. 背景：为什么这很难？

想象一下，你教一个新手司机（神经网络）在暴风雨（随机微分方程 SDE，代表充满噪音和不确定性的环境）中开车，目标是从起点（ $X_0$ ）安全到达终点（ $X_g$ ），同时绝对不能撞到路边的悬崖或障碍物（不安全区域 $X_u$ ）。

传统方法的问题：以前的方法通常是让司机多练几次，如果撞车了就调整一下。但这就像在暴风雨中蒙眼开车，练得再多，也不能100% 保证下次不撞车。对于安全至关重要的场景（如飞机、医疗机器人），这种“大概率安全”是不够的，我们需要绝对保证。
数学上的挑战：要证明绝对安全，需要找到一个“安全证书”（Certificate）。这就像给司机发一本《安全驾驶手册》，手册里写着：“只要你的车速和方向满足这些数学公式，你就永远不会撞车”。但是，要在一个连续变化的、充满噪音的世界里，找到一本完美的、覆盖所有情况的《手册》，数学上非常难，而且计算量巨大。

2. 论文的核心方案：两种“训练秘籍”

作者提出了两种训练神经网络的方法，分别对应两种不同的“教学策略”。

策略一：网格划分法（Hard-SAT / Bound-Training）

比喻：把地图切成无数个小格子，逐个检查

怎么做：想象把整个驾驶区域（状态空间）切分成无数个细小的网格（像棋盘一样）。对于每一个小格子，我们计算最坏情况下的风险。
核心逻辑：
- 如果在这个格子里，哪怕是最坏的情况（比如风最大、路最滑），司机都能保证不撞车，那这个格子就是安全的。
- 论文设计了一种特殊的“损失函数”（就像老师的打分表）。只要司机在所有格子里都得了满分（损失为 0），我们就100% 确定他在整个地图上都是安全的。
- 优点：一旦训练完成且分数为 0，就是铁板钉钉的安全保证（Hard Guarantees）。
- 缺点：如果地图太大（高维系统，比如 10 个变量），把地图切得太细，格子数量会爆炸式增长（指数级），电脑内存会直接爆掉。所以这种方法目前只能处理中等规模的问题（比如 5 维）。

策略二：抽样场景法（Scenario-based Training）

比喻：在暴风雨中随机抓几千个瞬间，进行“压力测试”

怎么做：既然把地图切得太细会卡死电脑，那我们就换个思路。我们不在整个地图上检查，而是随机抓取大量的“瞬间场景”（比如随机抓 10 万个不同的天气、路况组合）。
核心逻辑：
- 我们训练司机，让他在这 10 万个随机抓取的瞬间里，一个都不能出错。
- 根据数学上的“场景优化理论”（PAC 保证），如果样本量足够大（比如 10 万个），我们可以非常有信心（比如 99.9999% 的概率）地宣称：司机在除了极小一小块区域之外的所有地方都是安全的。
- 优点：这种方法不需要切分地图，计算量跟地图大小关系不大，所以能轻松处理高维问题（比如 10 维甚至更高）。
- 缺点：它不是 100% 的绝对保证，而是“极高概率保证”。虽然理论上存在一个极小的“盲区”，但这个盲区小到可以忽略不计。

3. 两个主要突破

这篇论文不仅仅是提出了两种方法，还解决了两个关键痛点：

软硬兼施（联合训练）：
- 以前，我们通常是先训练一个司机，再试图证明他安全。如果证明失败，就得重新练司机，像个无底洞。
- 这篇论文让**“司机”（控制器）和“安全手册”（证书）**一起训练。安全手册会直接告诉司机：“你刚才那个动作太危险了，扣分！”司机立刻调整。这样训练出来的司机，不仅技术好，而且天生就带着“安全基因”，更容易通过验证。
可扩展性（从 5 维到 10 维+）：
- 以前的方法在 3 维或 4 维时就很难算出结果了。
- 作者的方法（特别是第二种）成功处理了10 维的系统。这意味着它可以应用到更复杂的现实世界问题，比如复杂的飞行器控制（论文中测试了 NASA 的 XV-15 倾转旋翼机）或高维的金融模型。

4. 实验结果：真的有效吗？

作者用了很多经典的“考题”来测试：

倒立摆：让一个摆锤在随机震动中不倒下并摆正。
布朗运动：模拟粒子在液体中的随机游走。
洛伦兹系统：一个著名的混沌系统（蝴蝶效应），极难预测。
飞机控制：控制飞机从悬停状态安全过渡到飞行状态。

结果：

在 5 维以内的系统中，他们的“网格法”比目前最先进的方法快得多，且能保证绝对安全。
在 10 维系统中，他们的“抽样法”轻松搞定，给出了极高的安全置信度。
最重要的是，他们成功训练出了既能控制又能保证安全的神经网络，这在以前是非常困难的。

总结

简单来说，这篇论文就像给 AI 安全控制领域提供了一套**“双保险”工具箱**：

如果你需要100% 的绝对安全，且问题规模适中，就用**“网格切分法”**，像检查每一块砖头一样确保万无一失。
如果你面对的是极其复杂、维度很高的大问题，就用**“随机抽样法”**，通过海量的压力测试，以极高的概率确保系统安全。

这让 AI 在自动驾驶、机器人、航空航天等安全关键领域的应用，从“大概能行”迈向了“数学上可证明的安全”。

这是一篇关于随机微分方程（SDEs）系统下带有硬约束的神经网络证书（Neural Certificates）与控制器合成的学术论文。文章针对随机系统的安全控制问题，提出了两种具有理论保证的训练框架，解决了传统方法在满足全局硬约束和可扩展性方面的不足。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

背景：在安全关键应用中，仅靠神经网络的实证性能不足以保证连续时间随机系统的安全性。需要形式化保证（Formal Guarantees），即证明受控动力学满足特定的“到达 - 避免”（Reach-Avoid）规范。
核心挑战：
1. 硬约束满足：传统的超鞅（Supermartingale）证书构造需要满足一组在连续域上的不等式（包括非负性、边界条件和无穷小生成元 $G[V] < 0$ ）。现有的神经网络方法通常依赖软约束（惩罚项）或后训练验证，无法保证全局约束满足。
2. 可扩展性：基于状态空间离散化的方法（如网格划分）在维度增加时面临“维数灾难”，计算量呈指数级增长。
3. 联合合成：如何同时训练一个神经网络控制器和一个神经网络证书，使两者相互促进，而非反复试错。
目标：
- 问题 1：给定控制器，学习一个满足硬约束的神经网络证书 $V_\theta$ ，保证到达 - 避免概率 $P_{RA} \ge p_{RA}$ 。
- 问题 2：联合学习神经网络控制器 $\pi_{\theta_\pi}$ 和证书 $V_\theta$ ，共同满足上述概率保证。

2. 方法论 (Methodology)

作者提出了两种互补的训练框架：

方法一：基于界限的训练 (Bound-Training / Hard-SAT)

核心思想：利用区间算术（Interval Arithmetic）和神经网络的可微界限传播技术，将连续域上的约束转化为离散的“最坏情况”损失函数。
具体步骤：
1. 域划分：将状态空间 $X$ 划分为若干单元格（Cells）集合 $Q$ 。
2. 界限计算：对于每个单元格，计算神经网络输出 $V_\theta$ 及其无穷小生成元 $G[V_\theta]$ 的上界和下界。
3. 界限损失函数：定义一个基于界限的损失函数 $L_{bound}$ $L_{b o u n d}$ 。该损失函数由四部分组成，分别对应证书不等式 (4a)-(4d) 的违反程度（使用 ReLU 函数衡量）。
  - 如果 $L_{bound} = 0$ ，则意味着在所有单元格的界限内，约束均被严格满足。
4. 自适应细化与合并：
  - 细化 (Refinement)：仅对违反约束（ReLU 值为正）的单元格进行细分，避免全局网格爆炸。
  - 合并 (Merging)：对满足约束且有足够余量的相邻单元格进行合并，减少计算量。
5. 联合合成：通过反向传播，同时更新证书参数 $\theta$ 和控制器参数 $\theta_\pi$ ，因为控制器仅影响生成元 $G$ 的计算图。
保证：一旦损失函数收敛至零，证书在整个连续域上严格有效（Hard Guarantees）。

方法二：基于场景的训练 (Scenario-based Training / PAC Guarantees)

适用场景：针对高维系统（如 10 维以上），此时基于划分的方法不可行。
核心思想：基于凸场景优化（Convex Scenario Optimization）理论，通过随机采样来提供概率保证。
具体步骤：
1. 两阶段训练：
  - 第一阶段：使用软约束或强化学习预热控制器和证书网络。
  - 第二阶段：固定网络的前几层参数，仅优化最后一层的权重 $\theta_L$ 和阈值 $\beta$ 。
2. 线性规划 (LP)：由于最后一层是线性的，且约束在采样点上被检查，该优化问题转化为一个线性规划问题。
3. PAC 保证：根据 Campi 等人的理论，如果采样数量 $N$ 足够大，优化得到的证书以高置信度（ $1-\delta$ ）满足约束，除了一个测度极小的违规区域 $D_\epsilon$ （ $\epsilon$ 随 $N$ 增大而减小）。
保证：提供概率近似正确 (PAC) 保证，即约束在除极小区域外的整个状态空间成立。

3. 主要贡献 (Key Contributions)

Hard-SAT 框架：提出了一种基于界限的训练框架，通过域划分和界限损失，实现了神经网络证书的全局硬约束满足。
联合合成扩展：将上述框架扩展至控制器与证书的联合训练，通过统一的损失函数引导控制器向可验证的方向优化。
高维 PAC 方法：提出了一种无需状态空间划分的场景优化方法，通过优化最后一层参数将问题转化为线性规划，实现了高维系统（至少 10 维）的可扩展性，并提供任意紧致的 PAC 保证。
实验验证：在多个基准测试（包括倒立摆、几何布朗运动、Lorenz 系统、XV-15 倾转旋翼机）上验证了方法的有效性，展示了其在验证速度和合成成功率上优于现有最先进方法（SOTA）。

4. 实验结果 (Results)

验证基准 (Verification)：
- 2D-5D 系统：Hard-SAT 方法在 2D 系统中比现有方法（Neustroev et al., 2025）所需的划分单元格少得多，且能成功扩展到 5D 系统（现有方法在 3D 即失败）。
- 10D 系统：Hard-SAT 因内存限制无法处理，但场景训练方法成功处理了 10D 几何布朗运动（GBM），在 $N=10^6$ 采样下，以 $1-10^{-9}$ 的置信度保证了约束满足，且违规区域体积极小。
联合合成 (Joint Synthesis)：
- 在 2D 倒立摆、2D GBM、3D Lorenz 系统和 3D XV-15 飞机上成功训练出控制器和证书。
- 蒙特卡洛模拟显示，所有闭环系统的经验到达 - 避免概率均为 1.0。
- 可视化结果显示，合成控制器能有效引导轨迹避开危险区域并到达目标，而未受控轨迹则发散或陷入危险区。
消融实验：证明了仅靠预训练（软约束）无法生成有效证书，必须经过基于界限或场景的优化步骤。

5. 意义与影响 (Significance)

理论突破：解决了在连续域随机系统中，如何直接通过训练神经网络来保证硬约束满足的难题。打破了以往“训练 + 后验证”或“软约束”的局限。
可扩展性：通过结合“界限训练”（低维精确）和“场景优化”（高维概率），为不同维度的随机系统安全控制提供了一套完整的解决方案。
实际应用：该方法可直接应用于自动驾驶、航空航天（如 XV-15 飞机）等对安全性要求极高的领域，为基于深度学习的控制器提供了形式化安全背书。
开源贡献：作者公开了代码，促进了该领域的复现与进一步发展。

总结：这篇论文通过创新的训练策略，成功地将形式化验证的严格性与神经网络的表达能力相结合，为随机系统的安全控制提供了从低维精确保证到高维概率保证的完整技术路径。