⚡ electrical engineering

From learning to safety: A Direct Data-Driven Framework for Constrained Control

本文提出了一种直接的数据驱动控制框架，该框架通过一种新颖的 3DSF 和基于 SACBF 的安全证书，将性能优化与安全强制执行解耦，从而为受约束条件下的无模型学习控制提供形式化保证。

原作者： Kanghui He, Shengling Shi, Ton van den Boom, Bart De Schutter

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Kanghui He, Shengling Shi, Ton van den Boom, Bart De Schutter

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《从学习到安全：一种直接的数据驱动约束控制框架》的解释，已将其转化为通俗易懂的语言并采用了创意类比。

核心问题：“黑盒”驾驶员

想象一下你正在教一个机器人开车。你希望这个机器人成为一名顶尖司机（快速、高效、平稳），但它绝不能撞到墙壁或行人。

在过去，为了保证机器人的安全，工程师会构建一张详细的“地图”来描述汽车是如何运作的（物理特性、摩擦力、发动机功率）。他们利用这张地图进行预测：“如果我这样转动方向盘，车会滑向哪里。”如果预测显示会发生碰撞，他们就会阻止机器人。

问题在于： 在现实世界中，我们往往没有完美的“地图”。车可能很旧，路面可能很滑，或者物理特性过于复杂，无法用纸笔写下来。当我们使用“学习型”方法（如强化学习）时，机器人是通过试错来学习的，它并没有地图。它只是在靠猜。这是危险的，因为一个看起来很完美的“猜测”可能在几秒钟后就会导致一场车祸。

旧方案：“翻译官”过滤器

现有的安全工具就像是一个翻译官。

机器人（学习者）说：“我想左转！”
安全过滤器说：“等等，我需要先将这个指令翻译成物理模型，看看是否安全。”
如果模型显示“碰撞”，过滤器会将指令改为“稍微向左转一点”。

缺陷： 这个翻译官既慢又不完美。如果翻译官对世界的理解（地图）是错误的（因为现实世界很复杂），安全过滤器仍然可能让碰撞发生。它依赖于一个可能并不存在的模型。

新方案：直接数据驱动安全过滤器 (3DSF)

这篇论文提出了一种全新的驾驶方式，它完全跳过了“翻译”过程。它不再问：“物理模型怎么说？”，而是问：“数据怎么说？”

你可以把它想象成坐在副驾驶座上的资深教练。

旧方法（基于模型）： 教练手里拿着一本教科书。在告诉你要踩刹车之前，他会先计算路面的摩擦系数。
新方法（直接数据驱动）： 教练从未见过教科书。他只是观看了成千上上万小时的驾驶视频。当你提出“我要左转”时，他能瞬间意识到：“不，这是一个坏主意，因为在类似的情况下，人们都撞车了。”他不需要计算物理原理，他只是直接从数据中识别出了危险模式。

核心创新：“状态-动作”安全证书

论文引入了一个新工具，称为状态-动作控制障碍函数 (SACBF)。

旧的安全证书 (CBF)： 它们就像一张“安全区域”地图。它们只关注车在哪里（状态/State）。它们说：“如果你在这个区域内，你就是安全的。”它们并不关心你在做什么。
新安全证书 (SACBF)： 它们更像是“安全动作”地图。它们同时观察你在哪里以及你在做什么（状态 + 动作/State + Action）。它们说：“如果你在这里并且向左转，你是安全的。但如果你在这里并且向右转，你就处于危险之中。”

为什么这很重要： 因为它直接评估“动作”，所以它不需要模拟未来。它可以瞬间对危险动作说“不”，而无需通过物理模型去预测下一步会发生什么。

他们是如何训练这位“教练”的（三种方法）

论文展示了训练这位“直接数据驱动”教练的三种方式：

强化学习 (RL)： 教练通过观察机器人的尝试来学习。如果机器人撞车了，教练就会学会阻止这种动作。（速度快，但有时教练仍会犯错）。
专家引导： 教练观察一位“完美”的人类驾驶员（或一个安全的算法），并学习模仿他们的安全习惯。
监督学习 (SL)： 如果我们已经有了一个基础的安全规则（比如关于安全区域的教科书定义），教练会学习如何将该规则转化为针对每种具体情况的“停止/前进”指令。

处理错误：“安全缓冲”

作者知道，即使是聪明的教练也可能因为数据不完美而犯错。因此，他们创建了一个名为 误差到状态 (ESSf) 的系统。

想象一下教练有些拿不准。与其说“如果你保持在离墙 1 米处就是安全的”，不如说“只有当你保持在0.5 米以内时才是安全的”。

他们收紧了对机器人的规则（让安全区域变小）。
他们放宽了对教练的要求（允许教练有轻微的偏差）。

这创造了一个“安全缓冲”。即使学习过程不是 100% 完美，机器人依然是安全的，因为规则被设定得更加严格，以应对不确定性。

结果：汽车测试

他们在虚拟的 2D 空间中测试了一辆带有障碍物的汽车。

结果： 当他们让一个具有“冒险倾向”的学习型机器人驾驶时，新的安全过滤器拦截了几乎所有的危险动作。
对比：
- 旧的模型化过滤器： 有时会失败，因为它们的“物理地图”稍有偏差。
- 奖励塑造法 (Reward Shaping，即在训练中惩罚碰撞)： 机器人虽然学会了安全驾驶，但也变得非常缓慢且笨拙，经常无法到达目的地。
- 新方法： 机器人在测试中实现了 100% 安全，并且依然高效地到达了目的地。它比旧方法更快、更可靠。

总结

这篇论文解决了在没有完美物理模型的情况下，如何教机器人保持安全的问题。

旧方法： 构建模型，然后检查安全性。（速度慢，容易受模型误差影响）。
新方法： 直接观察“状态+动作”的数据。（速度快，鲁棒性强，无需模型即可工作）。

这就像是将一个在出门前必须先计算天气预报的机器人，换成了一个仅仅凭借经验就知道“看起来要下雨了，所以我该带把伞”的机器人。

技术摘要：从学习到安全：一种直接的数据驱动约束控制框架

1. 问题陈述

本文解决了在学习型控制系统中确保安全性（约束满足）的关键挑战，特别是在显式系统动力学不可用的**无模型（model-free）**场景下。虽然传统的安全滤波器（例如控制障碍函数，CBF）通过修改控制输入在基于模型的语境下有效执行安全性，但它们通常依赖于源自物理或数据的预测模型。这种依赖造成了差距：现有的数据驱动安全滤波器大多是“间接”的，需要先进行系统辨识，这会累积误差并降低安全性性能。此外，“直接”数据驱动方法往往局限于线性约束，或缺乏形式化的安全保证。

核心问题在于设计一个满足以下条件的控制框架：

直接从状态-动作转移数据中运行，无需显式的系统辨识。
与任意无模型学习算法（如强化学习、监督学习）无缝集成，以优化性能。
即使在存在学习误差的情况下，也能提供关于安全性和递归可行性的形式化保证。

2. 方法论

提出的解决方案是一种基于优化的控制框架，它将性能优化与安全性执行解耦。该框架依赖于一种被称为**状态-动作控制障碍函数（SACBF）**的新型安全证书。

A. 核心概念：状态-动作控制障碍函数 (SACBF)

与仅根据状态 $x$ 评估安全性的经典 CBF 不同，SACBF（记作 $Q_B(x, u)$ ）是状态和控制输入的函数。

定义： 如果一个函数 $Q_B$ 的零下水平集定义了一个安全集 $S_Q$ ，使得对于 $S_Q$ 中的任何状态，都存在一个输入满足 $Q_B(x, u) \leq 0$ ，从而使下一个状态保持在 $S_Q$ 内，则称 $Q_B$ 为 SACBF。
优势： 这种表述允许安全滤波器直接在当前状态-动作对上评估候选控制动作的安全性，而无需向前传播动力学或需要一个模型 $f(x, u)$ 。

B. 控制框架

控制策略 $\pi(x)$ 定义为约束优化问题的解：
$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{s.t.} \quad Q_B(x, u) \leq 0$
这里， $Q(x, u)$ 是一个代表任务性能的目标函数（通过 RL 或 SL 学习），而 $Q_B(x, u)$ 是作为安全约束的已学习 SACBF。

C. 学习 SACBF

论文提出了三种不同的数据驱动合成方法用于 $Q_B$ ：

强化学习 (RL)： 将 SACBF 合成视为一个可达性问题。它通过改进基于价值的 RL 方法（如时序差分学习）来逼近可达性问题的最优价值函数。注：由于可达性问题中无折扣 Bellman 方程的非收缩性质，该方法在安全证书本身方面缺乏形式化的收敛保证。
专家引导学习： 假设存在一个专家安全控制器（例如人工势场法）。它将合成过程建模为一个鲁棒优化问题，以寻找一个与专家安全轨迹一致的 SACBF。
监督学习 (SL)： 假设已知一个有效的经典 CBF $B(x)$ 。它使用监督回归来学习从状态-动作对到 SACBF 值的映射，该值源自已知的 CBF。

D. 鲁棒性分析：误差状态安全性 (ESSf)

为了应对学习误差（即学习到的 $Q_B^\omega$ 与真实的 $Q_B$ 偏离），作者引入了误差状态安全性 (ESSf) 框架。

机制： 该框架不再依赖于基于模型的预测，而是直接量化学习误差 ( $\epsilon$ ) 对安全约束的影响。
策略： 它采用了约束紧缩与松弛的方法：
- 紧缩原始状态约束 ( $h(x) \leq 0$ ) 为 $h(x) + \delta(\epsilon) \leq 0$ 。
- 松弛滤波器中的 SACBF 约束为 $Q_B^\omega(x, u) \leq \kappa(\epsilon)$ 。
结果： 定理 1 和 2 提供了闭式关系，表明只要学习误差是有界的，系统将在紧缩后的状态约束内保持递归可行性和安全性。

E. 策略精炼

一旦学习到有效的 SACBF，该框架可以将无约束的基于价值的 RL 算法（如拟合 Q 迭代，Fitted Q Iteration）扩展到约束设置中。Constrained FQI 算法在强制执行学习到的 SACBF 约束的同时，迭代更新性能目标 $Q_\theta$ ，从而确保生成的策略在满足安全性的同时，接近任务的最优性能。

3. 主要贡献

直接数据驱动安全控制框架： 论文提出了一个直接从数据中学习安全控制器的框架，无需系统辨识，弥合了无模型学习与约束控制之间的鸿沟。
状态-动作控制障碍函数 (SACBF)： 引入并利用了 SACBF，它在状态-动作对上评估安全性，从而实现了不需要显式动力学模型的安全滤波器。
三种合成方案： 提出了三种学习 SACBF 的方法：通过 RL（通用但保证较少）、通过专家演示（鲁棒）以及通过监督学习从已知 CBF 中学习（样本效率高）。
误差状态安全性 (ESSf) 分析： 提供了一个新颖的鲁棒性分析框架，量化了学习误差如何影响安全性，并通过状态约束紧缩和 SACBF 约束松弛提供形式化保证。
解耦优化： 框架将性能学习（优化 $Q$ ）与安全性执行（优化 $Q_B$ ）分离，允许集成各种学习算法并保持安全性。

4. 实验结果

该框架通过在二维空间中移动且带有障碍物的自主车辆模拟进行了验证。

案例研究设置： 使用了一个具有状态和输入约束的运动学车辆模型，SACBF 通过专家引导法（使用人工势场作为专家）和 RL 方法进行学习。
安全性性能：
- 所提出的 3DSF（直接数据驱动安全滤波器）在各种初始条件和参考策略（包括不安全的 APF 和不安全的 DDPG）下均实现了 100% 的安全性。
- 相比之下，间接数据驱动安全滤波器（依赖于学习到的模型）实现的安全性较低（例如，对于不安全的 APF 约为 79%），这归因于模型辨识误差和 CBF 学习误差的复合效应。
- MPC（模型预测控制）实现了 100% 的安全性，但由于非凸优化问题和高计算成本，其任务性能较差（仅约 78% 的轨迹到达目标）。
任务性能：
- Constrained FQI 算法（在 SACBF 约束下学习 $Q$ ）的总成本为 173.85，优于被 3DSF 过滤后的不安全 DDPG 策略。这表明，将安全约束直接纳入 RL 训练过程，比事后过滤或奖励塑造能提升任务性能。
计算效率： 3DSF 表现出显著较低的在线 CPU 时间（约 2.2 ms），相比于 MPC（约 33 ms），使其适用于实时应用。

5. 重要性与主张

本文声称在安全学习控制领域取得了适度但严谨的进展：

弥合差距： 通过消除对显式系统模型进行安全性执行的依赖，成功弥合了无模型学习与约束控制之间的差距。
无需模型的形式化保证： 即使在系统动力学未知的情况下，只要学习误差有界，即可提供形式化的安全性保证（递归可行性和约束满足）。
优于间接方法： 结果表明，直接数据驱动方法避免了间接方法（模型辨识 + 控制器学习）中存在的误差复合问题，从而实现了更好的安全性。
灵活性： 该框架与广泛的现有学习算法（RL, SL）兼容，并且可以进行在线更新。

承认的局限性：

该方法需要在状态-动作空间进行采样，这与仅针对状态的方法相比增加了样本复杂度。
在用于训练的数据收集阶段可能会违反安全约束，这对于在任何时候安全性都至关重要的现实世界系统可能并不适用（尽管模拟器可以缓解此问题）。
由于可达性问题的性质，基于 RL 的 SACBF 合成缺乏形式化的收敛保证。
目前的工作侧重于离散时间系统；向连续时间系统的扩展是未来的工作。