⚡ electrical engineering

Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

本文介绍了鲁棒 Koopman-CBF SAC，这是一种安全强化学习框架，它学习一个数据驱动的 Koopman 预测器，通过二次规划构建并执行收紧的控制障碍函数约束，从而在基准测试中实现零约束违规，同时平衡任务性能与安全性。

原作者： Dhruv S. Kushwaha, Zoleikha A. Biron

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Dhruv S. Kushwaha, Zoleikha A. Biron

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人行走，或教它用头顶住一根杆子。你希望机器人在这项任务上表现极佳（高性能），但同时也要确保它绝不会摔倒、撞墙或损坏自身的关节（安全性）。

本文提出了一种名为鲁棒 Koopman-CBF SAC的新方法，它就像是为通过试错进行学习的机器人配备的“智能安全卫士”。以下是其工作原理，分解为几个简单的概念：

1. 问题所在：“狂野的探索者”与“严格的守护者”

探索者（机器人）： 为了学习，机器人需要尝试新事物。它可能会尝试一个效果极佳的疯狂动作，也可能会尝试一个导致其坠毁的动作。标准的学习算法就像狂野的探索者；它们擅长找到完成任务的最佳方式，但天生不知道如何避免撞毁。
守护者（安全过滤器）： 传统的安全系统就像严格的守护者。它们知道规则（例如“不要越过这条线”），并在机器人试图违反规则时将其制止。然而，这些守护者通常需要一个关于机器人如何运动的完美手册（物理教科书）才能工作。如果机器人很复杂或物理规律未知，守护者就会感到困惑并停止工作。

2. 解决方案：“翻译器”与“安全网”

作者创建了一个系统，利用三个主要技巧结合了双方的优势：

A. 翻译器（Koopman 提升）

机器人往往以复杂的非线性方式运动（像摆动的钟摆）。很难准确预测它们下一步会去哪里。

类比： 想象一下试图预测风中旋转树叶的路径。那是混乱的。但如果你将这种混乱的运动“翻译”成另一种“语言”（高维空间），树叶的路径突然看起来就像一条直线。
工作原理： 该系统使用数学“翻译器”（Koopman 算子）将机器人混乱的现实世界运动转换为简化的线性语言。在这种新语言中，预测未来变得容易，就像在纸上画一条直线一样。

B. 带有“缓冲带”的安全网（鲁棒 CBF）

即使有了翻译器，预测也不完美。总会有一点点“杂音”或误差。

类比： 想象一位走钢丝的人。如果你告诉它“正好待在钢丝上”，只要有一阵微风，它就可能摔倒。但如果你告诉它“待在钢丝周围这个宽阔的安全区域内”，它就安全得多。
工作原理： 该系统不仅猜测机器人的未来，还衡量其过去的猜测有多大的偏差（即“残差”）。然后，它在安全规则中添加一个缓冲带（误差余量）。如果机器人试图移动，系统会检查：“即使我的预测略有偏差，机器人是否仍然安全？”如果答案是肯定的，它就允许该动作发生。如果答案是否定的，它就会轻轻将机器人推回安全状态。

C. 教练（演员 - 评论家学习）

机器人使用“教练”系统（Soft Actor-Critic）进行学习。

转折： 通常，教练告诉机器人做什么，机器人就做什么。但在这里，“安全守护者”可能会在动作发生之前改变机器人的动作。
创新点： 作者确保教练从机器人实际所做的（在安全卫士修正之后）动作中学习，而不仅仅是它想要做的动作。这防止了教练感到困惑并教给机器人坏习惯。

3. 他们的发现（结果）

团队在两类机器人上测试了该系统：简单的机器人和复杂的、类似现实世界的机器人。

简单机器人（CartPole 和 Quadrotor）：
- 结果： 系统完美无缺。它在实现零撞毁的同时，执行任务的表现与不安全机器人一样好。
- 原因： “翻译器”对这些简单的运动效果极佳，而“缓冲带”的大小也恰到好处。安全卫士很少需要介入，因为机器人学会了自行保持安全。
复杂机器人（如 HalfCheetah 和 Walker 等行走机器人）：
- 结果： 该系统有助于减少撞毁，但并非完美。在某些情况下，它无法像其他方法那样有效地阻止机器人摔倒。
- 原因： 这些机器人的“脚”会撞击地面，产生突然、 jerky 的运动（就像汽车驶过坑洼）。 “翻译器”无法充分简化这些 jerky 运动。“缓冲带”变得太大而失去用处，或者安全规则变得无法遵循。
- 洞察： 作者发现了一个“警示灯”。甚至在开始训练之前，他们就可以测量“预测误差”（翻译器中的杂音）。如果这个误差太高，他们就知道安全系统不会对该特定机器人有效。这是一个重大发现：你可以通过预先检查数学计算，来预测安全过滤器是否有效。

总结

本文介绍了一种用于学习机器人的智能安全层。它将复杂的运动转换为简单的运动，添加安全缓冲以应对数学误差，并根据机器人实际的安全动作对其进行训练。

何时有效： 对于具有平滑、可预测运动的机器人（如平衡杆），它极其有效，提供完美的安全性，同时不会减缓学习速度。
何时受阻： 对于具有突然、 jerky 冲击的机器人（如行走或奔跑），它会遇到障碍，因为数学难以预测这些突然的变化。
核心启示： 作者提供了一种工具，让你可以在开始之前检查你的安全系统是否有效。如果机器人的运动过于混乱，以至于数学无法简化，那么这个特定的安全过滤器可能不是适合该工作的工具。

技术摘要：用于安全演员 - 评论家强化学习的鲁棒 Koopman 控制屏障滤波器

问题陈述
机器人系统的安全强化学习（RL）面临一个根本性的张力：在训练和部署过程中，既要提高任务性能，又要严格满足状态和输入约束。虽然控制屏障函数（CBF）提供了一种通过最小侵入式安全滤波器强制执行前向不变性的原则性机制，但其在全模型-free RL 中的应用受到对准确系统动力学和手工设计的屏障证书要求的阻碍。现有的约束 RL 方法通常仅提供期望累积成本保证，而非逐点安全保证，且奖励惩罚缺乏步级保证。作者解决了将离线深度 RL 的样本效率与数据驱动的 CBF 安全滤波器相结合的挑战，该滤波器针对非线性系统保持凸性，并专门考虑了有限维 Koopman 模型中固有的近似误差。

方法论：鲁棒 Koopman-CBF SAC
本文提出了鲁棒 Koopman-CBF SAC，这是一个集成了三个核心组件的安全滤波演员 - 评论家框架：

数据驱动的 Koopman 提升：该方法利用扩展动态模态分解（EDMD）从离线滚动数据中学习有限维 Koopman 预测器。非线性动力学被提升到可观测空间 $\psi(x)$ ，在该空间中演化近似为线性： $z_{t+1} \approx Az_t + Bu_t$ 。字典 $\psi$ 包含原始状态坐标和径向基函数（RBF），以确保物理约束在提升空间中可表示为仿射函数。
鲁棒提升 CBF 约束：为了处理有限维模型的近似误差，作者引入了投影残差裕度（ $\rho$ ）。与其界定完整的残差范数，不如使用保留的校准集来估计直接影响屏障不等式的预测误差分量（ $|c^\top r|$ ）。该裕度通过经验分位数或共形分位数计算。安全条件被收紧为：
$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$
这产生了对控制输入的仿射约束，使得安全滤波器可以作为轻量级二次规划（QP）实现。
演员 - 评论家集成：该框架修改了标准的软演员 - 评论家（SAC）算法，以解决名义动作与执行动作之间的不匹配：
- 评论家训练：评论家在由 QP 滤波器生成的已执行安全动作（ $u^{safe}_t$ ）上进行训练，确保价值估计反映实际的闭环动力学。
- 演员正则化：演员接收一个可微的 CBF 提议惩罚（ $\ell_{cbf}$ ），鼓励其提议已在可行集内的动作，从而随时间减少对照明器的依赖。
- 松弛处理：QP 包含松弛变量以在致动器限制下保持数值可行性，尽管作者指出正松弛会削弱形式安全证书。

主要贡献

鲁棒滤波器公式：提出了一种用于无模型演员 - 评论家 RL 的鲁棒 Koopman-CBF 安全滤波器，它将非线性动力学提升到近似线性系统，并通过仿射 QP 约束强制执行安全。
投影残差裕度：一种利用校准数据导出的投影残差裕度来估计有限维 Koopman 模型误差的新方法，得出了可直接实施的鲁棒离散时间 CBF 条件。
一致的演员 - 评论家训练：将滤波器与 SAC 集成，使用已执行动作的评论家学习和演员侧的可行性惩罚，消除了常见的不匹配，即策略针对未过滤动作进行优化，而环境转换由过滤动作生成。
实证诊断：全面的评估表明，投影残差裕度 $\rho$ 可作为滤波器有效性的预训练可计算诊断指标。

实验结果
该方法在Safe-Control-Gym（CartPole、Quadrotor 2D）和Safety Gymnasium（Walker、HalfCheetah）上进行了评估。

低维任务（CartPole 和 Quadrotor）：在 CartPole 稳定和跟踪任务中，鲁棒 Koopman-CBF SAC 在所有种子下实现了零约束违规，同时匹配或超过了无约束 SAC 的回报。在 Quadrotor 2D 跟踪任务中，违规率降低了 96.8%（从 12.5% 降至 0.4%）。这些成功归因于较小的投影残差裕度（ $\rho \approx 10^{-3}$ ）和正确的相对阶处理（对 Quadrotor 使用复合屏障）。
高维运动（Walker 和 HalfCheetah）：结果喜忧参半，暴露了结构性局限。在 Walker 上，违规率从 77.8% 降至 37.0%，但该方法的表现不如 SAC+Lagrangian（违规率 3.34%）。在 HalfCheetah 上，违规率仍然很高（82.8%），且性能受到严重惩罚（回报下降 70%）。
失败分析：在高维、接触丰富的任务中，投影残差裕度 $\rho$ 很大（Walker 为 0.698，HalfCheetah 为 1.782）。这种大误差导致鲁棒 CBF 约束要么变得平凡地满足（当智能体已经不安全时），要么在致动器限制下不可行，从而使滤波器失效。作者指出，线性 EDMD 模型无法捕捉由地面接触引起的非平滑速度转换。

意义与主张
本文声称，鲁棒 Koopman-CBF 滤波器为无模型 RL 和可认证安全之间提供了有希望的桥梁，特别是对于提升模型和屏障与系统结构高度契合的任务。其主要意义在于投影残差裕度 $\rho$ 的诊断能力：它是一个预训练指标，可预测 Koopman-CBF 滤波器是否有效。

作者对该方法的普遍性持谨慎态度，明确指出该方法在接触丰富、高维的环境中存在结构性局限，在这些环境中一阶线性近似会失效。他们澄清，虽然当 $\rho$ 较小且 QP 可行时，该方法能提供逐点安全，但当残差误差主导屏障裕度或屏障的相对阶不匹配时，它不能保证安全。这项工作强调需要高阶或多步 Koopman 扩展，以解决复杂运动任务中的这些局限性。