⚡ electrical engineering

Safe Exploration for Nonlinear Processes Using Online Gaussian Process Learning

本文提出了一种针对具有部分已知动力学的非线性系统的安全数据驱动控制框架，该框架将在线高斯过程学习与基于李雅普诺夫的概率安全约束相结合，在确保稳定性与约束满足的同时，通过信息性探索自适应地扩展安全运行区域。

原作者： Stefano Tonini, Soroush Rastegarpour, Hamid Reza Feyzmahdavian, Nicola Bastianello, Karl Henrik Johansson

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Stefano Tonini, Soroush Rastegarpour, Hamid Reza Feyzmahdavian, Nicola Bastianello, Karl Henrik Johansson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人穿过一个黑暗、陌生且摆满易碎家具的房间。你拥有一张房间的粗略地图（即线性模型），但你知道这张地图并不完整；房间里还隐藏着尚未见过的障碍物和奇怪的地面纹理（即未知的非线性动力学）。

如果你让机器人盲目地游荡以学习房间布局，它可能会撞碎一个花瓶。如果你让它严格局限于已知地图范围内，它将永远无法了解新的障碍物。本文提出了一种巧妙的“训练轮”系统，使机器人能够在安全探索的同时，实时学习关于房间的真实情况。

以下是该系统的运作原理，分解为几个简单概念：

1. 双部分大脑

机器人的大脑被分为两部分：

老兵（线性模型）： 这是机器人现有的知识。它基于一种简单、安全的近似，了解房间应该如何运作的基本物理规律。它就像一位了解整体布局的老向导，但承认：“我不了解这个特定角落的细节。”
学徒（高斯过程）： 这是一个智能学习者，它观察机器人的移动。随着机器人移动，学徒将实际发生的情况与老兵的预测进行对比。差异即为“残差”（即意外）。学徒使用一种称为高斯过程（GP）的统计工具来学习这些意外。关键在于，学徒不仅进行猜测，还会计算它有多不确定。它会说：“我认为这里的地板很滑，但我只有 95% 的把握。”

2. 隐形安全气泡（PCIS）

为了保持机器人安全，系统在机器人当前位置周围创建一个隐形安全气泡。这被称为概率控制不变集（PCIS）。

运作方式： 系统会问：“如果机器人朝这个方向移动，即使我们的‘学徒’判断错误，它撞上墙壁的可能性是否存在？”
安全裕度： 由于学徒承认自己可能会犯错，系统会在已知地图周围增加一个“安全缓冲”。如果学徒非常不确定（高不确定性），安全气泡就会缩小，迫使机器人停留在中心区域。如果学徒非常有信心（低不确定性），气泡就会扩大，允许机器人进行更广泛的探索。
保证： 本文从数学上证明，只要机器人停留在该气泡内，即使模型不完美，它也不会发生碰撞。

3. “好奇但谨慎”的驾驶员

机器人不会静止不动；它需要移动才能学习。系统在每一步都会求解一个数学问题（二次规划），以决定下一步行动。

目标： 它试图找到一个能让机器人最多了解房间的行动（最大化“信息增益”）。
约束： 它必须永远不踏出安全气泡。
结果： 机器人自然地倾向于那些它最困惑（高不确定性）的区域进行学习，但动作温和，确保绝不违反安全规则。这就像一个好奇的孩子，想要触摸一切，但被一根安全绳拴住，随着他们证明自己谨慎，绳子才会变长。

4. 学习循环

本文在两种场景下测试了该方法：

简单的二维数学问题： 一个在带有棘手曲线的平坦表面上移动的机器人。
三罐水系统： 一个由管道连接的三个水箱组成的复杂工业装置，其中水位必须保持在安全限度内。

结果：

安全性： 在每次测试中，机器人从未违反安全限制（从未发生碰撞或水箱溢出）。
学习： 随着机器人收集更多数据，其“学徒”变得更加自信。不确定性缩小，安全气泡随之扩大，允许机器人探索房间更多区域。
效率： 该系统运行速度足够快，可实现实时运行，在毫秒级内做出决策。

核心结论

本文提出了一种框架，用于在不破坏任何事物的前提下，教导机器理解复杂、不可预测的系统。通过将系统的已知“草稿”与智能的、具备不确定性感知能力的学习者相结合，并将这一切包裹在数学上保证的安全气泡中，该系统实现了完美的平衡：它学习迅速，但从不冒不安全之险。

作者得出结论，只要系统的初始“草稿”至少在一定程度上准确，该方法已准备好应用于安全至关重要的现实世界行业，如机器人技术和过程控制。

技术摘要：基于在线高斯过程学习的非线性过程安全探索

问题陈述

本文解决了在安全关键应用（如机器人、航空航天、流程工业）中，控制具有部分已知动态的非线性系统所面临的挑战。虽然数据驱动方法（如强化学习）提供了适应性，但它们通常在探索阶段缺乏对稳定性和约束满足的硬性保证。现有的安全学习方法经常依赖于理想化假设，例如完全已知非线性动态，或对不确定性进行保守的 Lipschitz 过近似，这限制了其实用性。

本文解决的具体问题是设计一个控制框架，以确保非线性系统的安全探索，其中：

仅已知过程的可稳定线性近似。
未建模的非线性动态（残差）必须在线学习。
系统在整个学习过程中必须以高概率满足状态和输入约束。

方法论

所提出的框架集成了高斯过程（GP）回归、Lyapunov 稳定性理论和凸优化，以实现安全且信息丰富的探索。

1. 系统分解与 GP 建模

系统动态被建模为控制仿射非线性系统：
$\dot{x} = Ax + Bu + g(x)$
其中 $(A, B)$ 是已知的可稳定线性化模型， $g(x)$ 是未知的平滑残差。残差 $g(x)$ 使用高斯过程进行在线建模。随着数据的收集，GP 提供后验均值 $\mu_t(x)$ 和标准差 $\sigma_t(x)$ 。构建一个高概率置信包络，使得：
$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$
其概率为 $1-\delta$ ，其中 $\beta_t$ 是源自有限样本 GP-UCB 调度的时变置信参数。

2. 概率控制不变集（PCIS）

安全性通过基于控制 Lyapunov 函数（CLF） $V(x) = x^\top P x$ 导出的**概率控制不变集（PCIS）**来强制执行。PCIS 定义为这样的状态集合：存在一个控制输入，即使在置信包络内最坏情况的 GP 不确定性下，也能确保 Lyapunov 函数减小。
集合 $S_t$ 的条件为：
$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$
该构造保证了如果系统从 PCIS 内开始，它将以高概率（ $1-\delta$ ）保持在该集合内，从而确保约束的递归可行性。

3. 基于优化的控制器

在每个时间步，控制器求解一个**凸二次规划（QP）**以确定控制输入 $u$ 。其目标是在严格遵守安全约束的同时，最大化信息增益（通过鼓励在高不确定性方向上的激励）。
QP 最小化与标称稳定控制器 $u_{lin}$ 的偏差：
$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$
受限于 Lyapunov 减小条件（结合 GP 不确定性界）和输入约束。松弛变量 $s$ 确保可行性，并通过 $\rho$ 进行惩罚以优先考虑安全性。

4. 自适应扩展

随着 GP 学习残差动态，不确定性 $\sigma_t(x)$ 减小。这种减少使得 PCIS 能够自适应扩展，从而在不违反安全保证的情况下解锁逐渐丰富的探索区域。

主要贡献

本文概述了三个主要贡献：

标称 - 残差分解：一个结合已知线性模型与在线 GP 残差的框架，使得在无需完全模型知识的情况下安全地学习未知非线性成为可能。
基于 Lyapunov 的 PCIS 构建：一种构建包含 GP 不确定性的概率不变集的方法，为稳定性和约束满足提供有限样本概率保证。
基于优化的控制器：一种实时控制器，在每个时间步求解凸 QP，以平衡信息增益（探索）与严格的安全保证（CLF 减小），避免了其他安全模型预测控制（Safe MPC）公式中常见的多步不确定性传播带来的保守性。

实验结果

该框架在两个基准上进行了验证：一个二维多项式系统和一个 MIMO 三罐水位过程。

二维多项式系统

学习性能：GP 模型在 12 次迭代中实现了显著的精度提升（RMSE 从约 1.11 降低至约 0.03）。
不确定性校准：校准后，95% 置信区间的经验覆盖率从 37% 提升至 100%，确保了安全证书的可靠性。
安全性：所提出的 GP-PCIS 控制器使所有轨迹保持在认证的安全集内，零约束违反。相比之下，不安全基线（无安全层的 LQR）违反了状态约束。
集合扩展：随着不确定性降低，认证安全集的体积扩展了约 27.7%，证明了该框架的自适应特性。

三罐水位过程

复杂性：这个 MIMO 耦合系统测试了框架的可扩展性和实时可行性。
稀疏 GP 与精确 GP：稀疏 GP 近似（使用诱导点）被证明是可行的，与精确 GP 相比，推理时间快 1000 倍以上，同时保持了接近标称的覆盖率（约 94.5%）和可接受的 RMSE。
安全性：在 2000 秒的辨识视界内，该框架实现了零次水位约束违反（45%–87%），而不安全基线曾短暂低于下限。
实时性能：每步 QP 求解的中位时间在毫秒范围内，证实了实时实施的可行性。

意义与主张

本文声称提供了一个用于部分已知非线性系统安全探索的统一且可实施的框架。其意义在于：

平衡可处理性与保守性：与其他可能变得过于保守的多步安全 MPC 公式不同，该方法通过结合 GP 置信界强制执行单步 Lyapunov 减小，从而产生一个凸 QP，避免了多步不确定性膨胀。
实用性：它仅需一个可稳定线性模型（在实践中很常见），而无需精确的非线性动态，使其适用于必须在线学习未建模效应的现实世界系统。
理论保证：它提供有限样本概率安全保证，确保系统即使在主动学习阶段也能以高概率保持稳定并在约束范围内。

作者承认了局限性，包括单步最坏情况界的保守性以及精确 GP 训练的立方级缩放，建议未来工作集中在多步机会约束和针对高维任务的稀疏 GP 更新上。然而，结果表明，所提出的方法在严格遵守安全约束的同时，有效地实现了信息丰富的探索。