⚡ electrical engineering

Learning Local Optimal Controller for a Class of Nonlinear Systems via Impulse-Supervised Exploration

本文提出了一种脉冲监督的受限探索框架，该框架将连续时间近似动态规划与脉冲制动相结合，通过在确保持续激励的同时保持状态在有效局部线性化区域内的不变性，来学习非线性系统的局部最优控制器。

原作者： Adebayo Olayinka Oke, Nilay Kant

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Adebayo Olayinka Oke, Nilay Kant

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何在特定的、狭窄的社区里完美地驾驶汽车。你希望机器人学会最佳的驾驶方式（即“最优控制器”），以便以最少的燃料和时间完成任务。

然而，这里有一个限制：机器人在其起点周围的一个小型的、安全的圆圈范围内，对道路规则了解得非常完美。如果它开得离这个圆圈太远，路况就会发生彻底的变化（数学模型变得“非线性”），机器人的简单地图就会失效。事实上，如果它开得太远，它可能会撞车或永远迷失方向。

这篇论文提出了一种巧妙的新方法，教机器人如何在从未离开那个安全圆圈的情况下进行学习。

问题所在：学习需要“摆动”

要学会如何驾驶得好，机器人需要尝试不同的动作。在数学和控制理论中，这被称为持续激励（Persistent Excitation）。这就像一个孩子学习骑自行车；他们需要左右摇晃、倾斜身体，才能理解平衡。如果机器人保持完全静止，它就学不到任何东西。

但这里存在一个两难的选择：

如果机器人为了学习而过度摆动，它可能会不小心开出安全圆圈，超出其地图有效的范围。
如果它为了保持安全而保持静止，它就永远无法学会最佳的驾驶方式。

以往的方法试图通过使用“安全约束”来解决这个问题，但作者认为那些方法过于复杂。他们想要一种更简单的方法，既能让机器人在保持安全的同时，又能有足够的摆动空间来进行学习。

解决方案：“脉冲制动器”

作者提出了一个由两个层级组成的系统：

学习者（驾驶员）： 这是机器人的大脑，使用一种称为“近似动态规划”（ADP）的技术。它不断尝试通过测试道路来寻找最佳驾驶策略。
监督者（安全网）： 这是一个特殊的“脉冲制动器”。

以下是脉冲制动器的工作原理，使用了一个简单的类比：

想象机器人正在一个圆形公园（“安全区”）内驾驶。在学习过程中，它会加速并向围栏（安全区的边缘）漂移。

正常学习： 机器人绕圈行驶，测试转弯和速度。
危险时刻： 正当机器人即将撞向围栏时，监督者猛踩刹车。
神奇的一招： 这不是那种让你逐渐减速的普通刹车。它是一个瞬时的“踢击”或“震动”。它会瞬间停止机器人的前进动量（速度），将其归零，但会让机器人的位置保持原处不变。

类比： 想象一台弹珠机。球（机器人）在里面到处弹跳。如果球离游戏区域的边缘太近，一只巨大的、无形的手会瞬间拍击球，让它的速度瞬间停滞，但让它留在原地。然后，由于系统的自然稳定性（重力等作用），球会慢慢向中心滚动，直到重新进入安全状态。

它是如何一步步运作的

探索： 机器人四处驾驶，学习最佳路径。它变得兴奋起来，并向安全区的边缘移动。
重置： 一旦触碰到边缘，“脉冲制动器”就会启动。它瞬间杀死了机器人的速度（速度变为零），但保留了其位置。
冷却： 由于机器人现在已经停止，且系统具有天然的稳定性，它会轻轻地漂回安全区的中心。
恢复学习： 一旦回到中心安全位置，制动器就会释放，机器人开始重新学习。

为什么这很特别

它是混合型的： 该系统是平滑驾驶（连续时间）和突然、瞬间停止（离散跳变）的结合体。论文称之为“混合闭环系统”。
它保证了安全性： 数学证明，无论机器人多么尝试摆动，脉冲制动器都能确保它绝不会离开安全圆圈。
它行之有效： 在计算机模拟中，他们在一个机械系统（类似于弹簧-质量-阻尼系统）上测试了这一点。
- 如果没有制动器，机器人尝试学习，开得太远，导致系统崩溃（变得不稳定）。
- 使用制动器后，机器人始终留在安全区内，学会了完美的驾驶策略，且数学证明了对于该局部区域而言，这就是最佳解决方案。

核心结论

这篇论文介绍了一种“受监督的探索”方法。它允许计算机通过让其自由探索来学习如何控制复杂的非线性机器，同时利用一个“神奇的刹车”在靠近知识边界时瞬间重置其速度。这确保了机器能在高效学习的同时，永远不会犯下足以破坏模型或系统的严重错误。

技术摘要：通过脉冲监督探索学习一类非线性系统的局部最优控制器

问题阐述
本文研究了利用连续时间近似动态规划（ADP）学习一类二阶非线性系统最优控制策略的挑战。虽然 ADP 和强化学习（RL）为求解哈密顿-雅可比-贝尔曼（HJB）方程提供了强大的框架，但对于非线性系统而言，存在一个关键瓶颈：对**持续激励（Persistence of Excitation, PE）**的要求。

在连续时间 ADP 中，PE 是确保评论家神经网络权重收敛到理想值的必要条件。然而，强制执行 PE 通常会导致较大的状态偏差。对于非线性系统，这类偏差是具有破坏性的，因为最优价值函数通常是使用动力学的局部线性化来近似的。如果状态轨迹因激励信号而被驱动得远离平衡点，局部线性近似就会失效，可能导致系统不稳定或出现“有限逃逸（finite escape）”，即轨迹脱离有效区域。现有的方法（如并发学习）依赖于丰富的离线数据，而这些数据并不总是可以获得的。本工作的目标是学习一个局部最优控制策略，该策略针对线性化模型，同时严格将状态轨迹限制在保持线性近似有效的邻域内。

方法论
作者提出了一种脉冲监督约束探索框架，该框架将连续时间 ADP 与脉冲控制的监督层相结合。其核心方法论包含以下组成部分：

系统模型与局部线性化： 系统建模为 $\dot{x} = F(x) + G(x)u$ ，其中漂移项 $F(x)$ 被分解为一个线性部分 $Ax $和高阶非线性项$ \phi(x) $。控制目标是在原点附近的微小邻域$ S_1$ 内，学习局部线性时不变（LTI）近似模型 $\dot{x} = Ax + Bu$ 的最优策略。
ADP 框架： 评论家神经网络近似最优价值函数 $J^*(x) \approx \hat{W}^T \sigma(x)$ 。权重 $\hat{W}$ 通过归一化梯度律进行在线更新，以最小化贝尔曼残差。在控制输入中加入一个持续激励信号 $u_{PE}$ ，以满足权重收敛所需的 PE 条件。
脉冲监督层： 为了防止状态因激励信号离开有效区域 $S_1$ $S_{1}$ ，该框架采用了脉冲制动输入。这些输入被建模为在特定时刻 $t = \tau_k$ $t = τ_{k}$ 应用的狄拉克 $\delta$ $δ$ 函数。
- 机制： 脉冲输入对速度状态（ $x_2$ ）产生瞬时作用，将其重置为零（ $x_2^+ = 0$ ），同时保持位置状态（ $x_1$ ）不变。
- 效果： 这种“制动”动作降低了李雅普诺夫函数 $V(x) = x_1^2 + x_2^2$ 的值，确保脉冲后的状态保持在约束集 $S_1$ 内。
混合自动机表述： 闭环系统被建模为一个具有四个离散模式的混合自动机：
- $q_1, q_2$ ： 在连续演化阶段，伴随活跃的 ADP 控制和权重自适应（分别位于内部集合 $S_2$ 和外部环形区域 $S_1 \setminus S_2$ 内）。
- $q_3$ ： 边界机制，当轨迹到达 $\partial S_1$ 时触发。
- $q_4$ ： 脉冲制动后的恢复阶段，此时控制和权重自适应被暂停，系统在无驱动动力学下自主演化，直到重新进入 $S_2$ 。
- 转移： 状态触发的守卫（guards）决定了何时进行脉冲制动（当轨迹以向外速度撞击 $\partial S_1$ 时）以及何时在学习模式与恢复模式之间进行切换。

核心贡献

脉冲监督探索： 本文引入了一种新颖的机制，即脉冲制动作为一种监督约束来强制执行集合不变性。不同于通常对控制输入施加硬约束的安全强化学习，该方法通过离散重置来约束状态，从而允许进行必要的激进探索，而不必担心违反线性模型的局部有效性。
用于学习的混合动力学： 本研究建立了一个结合连续时间 ADP 与状态触发脉冲重置的理论框架。文中证明了由此产生的混合闭环系统使约束探索集 $S_1$ 具有正不变性。
理论保证： 作者证明了脉冲制动映射相对于李雅普诺夫函数是非扩张的，确保状态永远不会逃逸出 $S_1$ 。此外，他们论证了连续脉冲之间的时间间隔大于零，从而排除了 Zeno 现象。

仿真结果
所提出的框架在一个非线性机械系统（具有三次非线性的弹簧-质量-阻尼系统）上进行了验证。

约束性： 仿真结果表明，在整个学习过程中，状态轨迹严格限制在集合 $S_1$ 内。每当轨迹因激励信号接近边界时，都会触发脉冲制动，通过重置速度将状态拉回内部。
收敛性： 评论家权重收敛到的值与基于代数黎卡提方程（ARE）推导出的局部线性模型的最优权重高度吻合。权重在恢复阶段（模式 $q_4$ ）保持不变，并在探索阶段进行更新。
对比： 与没有脉冲监督层的对比仿真显示，轨迹离开了线性有效区域，导致系统不稳定并发生有限逃逸，从而凸显了约束机制的必要性。

意义与主张
本文声称，该方法成功弥合了 ADP 对持续激励的需求与非线性控制对局部有效性要求之间的鸿沟。通过将探索限制在满足线性近似有效的邻域内，该方法能够学习到局部最优控制器，而由于大状态偏差带来的风险，这类控制器在其他情况下是无法实现的。

作者谦虚地指出，目前的工作假设已知局部线性动力学，且脉冲输入是理想化的。他们将未来的研究方向确定为：将该框架扩展到无模型场景、高维系统，以及使用实际的脉冲输入近似方法（例如高增益反馈或电磁制动器）进行实验验证。该工作通过强调专注于用于学习有效性的约束而非一般的安全约束，从而将自身与“安全强化学习”区分开来，并将脉冲控制作为实现此目的的特定监督工具。