⚡ electrical engineering

An Adjoint-based Neural Regulator for Real-Time Optimal Control with State Constraints

本文提出了基于伴随神经调节器（Adjoint-based Neural Regulator, ANR）的控制框架，该框架通过学习到的神经协态策略来编码最优性，并通过运行时凸投影来强制执行安全与执行器约束，在实现与非线性模型预测控制相当的性能的同时，显著降低了计算成本，且相比于强化学习具有更优越的泛化能力。

原作者： Isaiah A. Agboola, Yuxin Tong, Uduak Inyang-Udoh

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Isaiah A. Agboola, Yuxin Tong, Uduak Inyang-Udoh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在驾驶一辆汽车，需要尽可能快速且平稳地从 A 点到达 B 点，但你必须避免撞墙、遵守限速，并防止引擎过热。这就是**最优控制（Optimal Control）**的挑战：在遵守严格规则的同时寻找完美的路径。

这篇论文介绍了一种名为**伴随神经调节器（Adjoint-based Neural Regulator, ANR）**的新型机器人“驾驶员”。以下是其工作原理的拆解说明：

1. 当前“驾驶员”存在的问题

论文对比了三种类型的“驾驶员”（控制器）：

超级谨慎的规划者 (NMPC)： 这个驾驶员每隔一秒钟就会停下来，为接下来的几分钟计算出完美的路径，检查每一个可能的转弯和障碍物。
- 优点： 它极其精确且安全。
- 缺点： 它很慢。这就像是在以 100 英里的时速行驶时，试图解出一道复杂的数学题。等你完成计算时，你已经错过转弯了。
直觉学习者 (强化学习/RL)： 这个驾驶员通过在模拟器中进行试错来学习。一旦训练完成，它的反应是瞬时的，就像人类的反射动作一样。
- 优点： 它非常快。
- 缺点： 它是一个“黑盒”。如果你把它置于它从未见过的场景中（比如一种新型障碍物），它可能会惊慌失措并导致碰撞。它也不具备天生的“交通规则”（安全约束）意识，除非你添加一个单独的安全防护装置，但这有时会让它的驾驶变得颠簸或低效。
新一代驾驶员 (ANR)： 这是本文的发明。它试图结合两者的优点。

2. ANR 如何工作：“影子向导”

ANR 并不是教 AI 直接猜测方向盘的角度（像直觉学习者那样），而是教 AI 去预测一个**“影子向导”（称为共状态或伴随变量**）。

比喻： 想象你正在爬一座山。
- 直觉学习者只是根据过去的经验猜测下一步该怎么走。
- 超级谨慎的规划者每走一步都要绘制整座山的地图。
- ANR 学习的是感知“山坡的坡度”（影子向导）。这个坡度会明确告诉登山者，哪个方向可以用最小的代价通往顶峰。
神奇之处： AI 能够瞬间预测这个“坡度”。然后，一个简单的、快速的数学规则（称为哈密顿最小化）会利用这个坡度来决定精确的方向盘角度。

3. 安全网

论文还增加了一个关键特性：安全过滤器。
即使“影子向导”建议了一个动作，机器人也必须遵守物理极限（比如不能把方向盘转得太猛）和安全规则（比如不能撞墙）。

ANR 使用了一个名为控制障碍函数 (Control Barrier Function, CBF) 的工具。你可以把它想象成障碍物周围的一层无形力场。
如果“影子向导”建议的动作会导致撞墙，安全过滤器会将指令轻轻地推向一个安全的方向，从而确保机器人既不会发生碰撞，又能尽可能遵循最优路径。

4. 结果：快速、安全且聪明

作者在单轮机器人（一种靠平衡移动的机器人）尝试穿越带有障碍物的房间的过程中测试了该技术。

速度： ANR 比超级谨慎的规划者 (NMPC) 快了 100 多倍。它做出决策仅需约 1.2 毫秒，而规划者则需要近 400 毫秒。
可靠性： 当机器人面对从未见过的房间布局（新的障碍物、新的起点）时，ANR 的表现几乎与那个缓慢但完美的规划者一样出色。
与 RL 的对比： 直觉学习者 (RL) 虽然很快，但在环境发生轻微变化时表现极差。它无法进行泛化。然而，ANR 却能轻松应对这些“未见过的”场景。

总结

论文声称他们构建了一个控制器，它既像缓慢但完美的规划者一样聪明，又像具有反射能力的学习者一样快速，同时还能保证机器人不会发生碰撞。它通过教 AI 理解问题的“形状”（伴随变量）而非仅仅死记硬背特定的动作来实现这一点，并辅以安全过滤器来确保其不越界。

简而言之： 这是一款学会了驾驶“原理”而非仅仅死记硬背道路的机器人驾驶员，使其能够瞬间应对新路况且不会发生碰撞。

技术摘要：一种用于带状态约束实时最优控制的伴随神经调节器

1. 问题陈述

非线性系统的实时约束最优控制在机器人和自主系统中提出了重大挑战，要求控制器在毫秒级的计算限制下，平衡性能与严格的约束满足。

非线性模型预测控制 (NMPC)： 虽然有效，但 NMPC 要求在每个时间步在线求解受约束的非线性优化问题。在安全至关重要或快速动态的场景中，重复的优化和求解器延迟使得这种方法在计算上难以承受。
强化学习 (RL)： RL 通过将计算量转移到离线训练阶段，实现了快速的在线推理。然而，标准的 RL 方法（如 Soft Actor-Critic）通常在样本效率、对分布外 (OOD) 条件的泛化能力以及严格的约束满足方面表现不佳。应用于 RL 策略的常见安全过滤器（如控制屏障函数 CBF）可能会导致过于保守或过于激进的修正，如果标称策略本身没有内在编码问题的最优性结构。

核心要解决的问题是开发一种控制框架，该框架既能实现基于学习方法的计算速度，又能保留最优控制的结构特性，并在没有 NMPC 那样沉重的在线优化负担的情况下保证安全性约束。

2. 方法论：伴随神经调节器 (ANR)

本文提出了伴随神经（Adjoint-based Neural Regulator, ANR），这是一种学习型框架，它学习的是神经伴随（adjoint）策略，而非直接的控制律。该方法基于庞特里亚金最小原理 (PMP)。

A. 核心架构

该框架由两个阶段组成：离线训练和在线部署。

伴随状态参数化 (CoNN)：
- 一个被称为伴随状态神经网络 (CoNN) 的网络，将当前系统状态 $x_i$ 映射到有限时域的伴随轨迹 $\hat{\Lambda}_i = \{\hat{\lambda}_0, \dots, \hat{\lambda}_{N-1}\}$ 。
- 与学习策略 $\pi(u|x)$ 的 RL 不同，CoNN 学习的是从状态到伴随变量的映射，这些变量代表了价值函数对状态的敏感度。
离线训练：
- 展开 (Rollout)： 给定预测的伴随序列，通过逐点最小化哈密顿量来导出控制输入序列。对于二次型代价函数，这会产生一个显式的控制律： $\hat{u}^*_k = -\frac{1}{2}R^{-1}g^\top(x_k)\hat{\lambda}_k$ 。
- 损失函数： 网络通过三项损失进行端到端训练：
  - 阶段代价： 时域内运行代价（ $x^\top Q x + u^\top R u$ ）的总和。
  - 终端代价： 最终状态的代价。
  - 伴随正则化： 对伴随轨迹的 $\ell_1$ 范数惩罚，以鼓励最小范数预测。
- 损失函数通过时域展开进行反向传播，以更新网络参数。
在线部署（实时控制）：
- 在每个时间步 $t_k$ ，CoNN 根据当前状态 $x_k$ 预测伴随序列。
- 使用第一个预测的伴随变量 $\hat{\lambda}_{0|k}$ 来计算控制输入。
- 安全性与可行性： 该控制输入不是通过简单的投影确定的，而是通过实时求解一个受约束的哈密顿量最小化问题来确定的。该优化过程整合了：
  - 执行器限制（ $u \in \mathcal{U}$ ）。
  - 通过高阶控制屏障函数 (HOCBFs) 实现的状态安全约束。
- 得到的控制律为：
  $u^*_k = \arg \min_{u} (u^\top R u + \hat{\lambda}^\top_{0|k} g(x_k) u)$
  受限于输入约束和确保安全的 HOCBF 条件。

3. 核心贡献

新颖框架： 引入了 ANR，它将最优性学习（通过伴随变量）与约束强制执行（通过实时约束最小化）解耦。
最优性保持： 通过学习伴随变量而非动作，该框架显式地编码了受约束控制问题的间接最优性结构，避免了标准 RL-CBF 方法中“先标称后投影”的缺陷。
统一的安全与可行性： 该方法通过 HOCBF 在哈密顿量最小化步骤中同时处理硬状态约束和输入约束，确保了可行性，而无需复杂的奖励工程。
计算效率： 该方法实现了与 NMPC 相当的性能，但通过用单次神经网络推理和一个小型二次规划 (QP) 问题取代在线非线性优化，显著降低了计算成本。

4. 实验结果

该框架在单轮模型（unicycle robot model）动力学 $\dot{x} = v \cos \theta, \dot{y} = v \sin \theta, \dot{\theta} = \omega, \dot{v} = a$ 上进行了评估，任务是导航至参考点并避开圆形障碍物。对比对象包括 NMPC（使用 IPOPT）和 RL（带有 HOCBF-QP 安全过滤器的 Soft Actor-Critic）。

性能指标

计算速度：
- RL： 最快（~0.5 ms）。
- ANR： ~1.2–1.4 ms（比 NMPC 快约 250 倍）。
- NMPC： ~350–1200 ms（取决于场景复杂度）。
泛化能力（分布外/OOD）：
- RL： 无法可靠地泛化到未见的初始状态或参考值，即使是在训练分布内也表现不佳（例如，在分布内测试中成功率较低），甚至在 OOD 测试中完全失败。
- ANR： 在未见的场景（包括 OOD 初始状态和非零参考值）中表现出近乎不变的性能。其成功率与 NMPC 相当（例如，在 OOD 障碍物场景中成功率为 98%）。
准确度：
- ANR 实现了与 NMPC 相当的绝对收敛误差 (ACE) 和平均平方导数 (MSD)，尽管在 RL 过拟合的分布内案例中略高于 RL。
- 在 OOD 场景中，ANR 显著优于 RL，后者无法到达目标或满足约束。

具体发现

在无障碍物的 OOD 场景中，ANR 以低两个数量级的计算成本达到了与 NMPC 相当的性能。
在障碍物密集的场景中，ANR 保持了较高的成功率（在随机密集障碍物测试中为 98%），而 RL 则失败了。
ANR 成功处理了 OOD 设置下的非零参考跟踪任务，而由于之前的表现不佳，RL 基准测试并未在此类场景下进行评估。

5. 意义与主张

本文主张 ANR 框架成功弥合了基于学习的控制的计算效率与基于最优控制理论的严谨最优性和安全性保证之间的差距。

意义： 该方法为需要毫秒级控制决策的应用（如快速动力学系统和安全关键型机器人）提供了一种可行的 NMPC 替代方案，在这些应用中，重复的在线优化是难以实现的。
鲁棒性： 与标准 RL 需要大量的奖励工程且难以泛化不同，ANR 利用 PMP 的结构特性，能够有效地泛化到未见的初始条件和参考值。
安全性： 通过将 HOCBF 直接集成到哈密顿量最小化中，该框架确保了严格满足状态和输入约束，而不受应用于非最优标称策略的后验安全过滤器的结构限制。

作者得出结论，所提出的方法在实现与 NMPC 相当性能的同时，其计算成本仅为后者的极小部分，并且在训练分布外回归中显著优于 RL。未来的工作确定为扩展该框架至动态障碍物和更高维度的系统。