💻 computer science

Safe Execution of RL Policies Via Acceleration-Based CBF-QP Constraint Enforcement for Real-World Robotic Deployments

本文介绍了 Acc-CBF-QP，这是一种基于加速度的二次规划安全过滤器，它能够在不修改训练的情况下，在 Unitree H1 和 Kinova Gen3 等真实机器人部署中，对强化学习策略实施关节位置、速度、转矩及碰撞约束，从而在显著减少安全违规的同时保持任务性能。

原作者： Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：机器人不再是通过死板的规则进行编程，而是通过像蹒跚学步的幼儿那样通过试错游戏来学习如何运动。这就是**强化学习（Reinforcement Learning, RL）**的领域。在这个数字游乐场中，机器人尝试数百万次动作，通过成功获得“积分”，通过失败受到“罚款”，最终学会如何以惊人的灵活性奔跑、跳跃或抓取物体。然而，这里有一个陷阱：虽然这些 AI 大脑非常擅长学习新技巧，但它们完全不知道自己的极限在哪里。如果你要求一个正在学习的机器人跑得太快或伸手够得太远，它可能会试图扭断自己的手臂或撞上墙壁，因为它还没有学会畏惧后果。

为了让这些机器人保持安全，工程师经常使用控制障碍函数（Control Barrier Functions, CBFs）。把它们想象成隐形的、不可打破的力场，或者是一个不断检查机器人是否即将做出危险行为的“守护天使”算法。如果机器人试图越界，守护者就会介入，温柔地（或不那么温柔地）将其推回安全区域。长久以来的大挑战在于，如何在保留学习机器人狂野创造力的同时，兼顾安全守护者的严格规则，且不降低机器人的速度或损坏其大脑。

这篇论文介绍了一种被称为 Acc-CBF-QP 的聪明解决方案，它是一个作为机器人学习实时裁判的安全过滤器。研究人员构建了一个位于机器人的“大脑”（RL 策略）与“肌肉”（电机）之间的系统。当机器人的大脑发送一个看起来可能违反规则的指令——例如关节转动过快或撞墙时——该安全过滤器会立即重新计算指令。它并不会停止机器人；相反，它会寻找一个最接近机器人原意、且依然安全的运动方案。

团队在两种截然不同的机器人上测试了该方法：一个拥有 7 个机械臂的机械臂（Kinova Gen3）和一个拥有 19 个关节的人形机器人（Unitree H1）。他们发现，如果没有这个过滤器，机器人会不断违反安全规则。在真实的人形机器人上，未经过滤的 AI 每秒钟会发生大约 10 次安全违规。但当他们加入了 Acc-CBF-QP 过滤器后，这些违规行为减少了 92%，降至每秒不到一次。在机械臂上，该过滤器非常有效，甚至完全消除了所有违规行为。

至关重要的是，研究人员发现这个安全网并没有让机器人变得笨拙。当机器人在没有触及危险区域时进行正常任务时，过滤器会让它们完全按照 AI 的意图运动，没有任何性能损失。即使当机器人被极端的快速指令推向极限时，过滤器也能防止它们崩溃或停机，使其比在没有保护的情况下生存时间更长。论文表明，由于一个特殊的“扰动观测器”可以猜测外部力量是如何推动机器人的，该方法即使在机器人的自身身体模型并不完美的情况下依然有效。

作者还比较了过滤器解释机器人指令的两种不同方式：一种侧重于匹配机器人想要使用的精确力量（转矩），另一种则侧重于匹配精确的运动速度（加速度）。他们发现，“力量匹配”版本在机器人物理模型有偏差时更加稳健，而“速度匹配”版本在模型完美时表现略好。然而，在模型永远不完美的现实世界中，“力量匹配”方法被证明是更可靠的选择。

简而言之，这篇论文并不声称已经解决了所有的机器人安全问题，也不认为从一开始就训练机器人具备安全性是一个坏主意。相反，它提供了一个实用的、即插即用的工具，可以包裹在任何现有的机器人 AI 之外，使得在无需从头开始重新训练 AI 的情况下，就能将机器人安全地部署到真实的硬件上。它架起了学习机器人的狂野、灵活的世界与严苛、无情的物理现实之间的桥梁，证明了你可以在实现高性能的同时，也拥有严格的安全保障。

技术摘要：通过基于加速度的 CBF-QP 实现 RL 策略的安全执行

问题陈述

强化学习（RL）在解决复杂机器人控制任务（如敏捷运动和灵巧操作）方面展现出了巨大的潜力。然而，由于缺乏安全性保证，将 RL 策略部署到物理硬件上的过程受到了严重限制。虽然存在通过在训练期间嵌入约束（例如通过约束马尔可夫决策过程或控制障碍函数）来实现的 Safe RL 方法，但这些方法通常依赖于统计学保证，而这种保证在分布偏移（distributional shifts）下会发生退化。此外，训练期间过于严格的安全约束会导致过度保守，从而限制探索并减慢收敛速度。至关重要的是，现有方法往往无法确保在现实世界部署中遇到的分布外（OoD）状态下实现一致的约束满足，从而导致硬件损坏或系统停机。

核心挑战在于：如何在不要求重新训练或修改已学习策略的情况下，在运行时对预训练的 RL 策略实施显式的安全约束（关节位置、速度、转矩和碰撞限制）。

方法论：Acc-CBF-QP

作者提出了 Acc-CBF-QP，一种基于加速度的二次规划（QP）安全滤波器，作为任何预训练 RL 策略的后处理层。该框架通过实时过滤 RL 指令，以确保其符合由控制障碍函数（CBF）定义的安全集合。

核心组件

基于加速度的 QP 公式化：
控制问题被公式化为一个以广义加速度 ( $\ddot{q}$ ) 为决策变量的 QP。这使得能够同时满足通常是二阶性质的动力学和运动学约束。该 QP 最小化加权任务误差，并受线性化约束限制：
$\ddot{q}^* = \arg\min_{\ddot{q}} \sum_k \|W_k(A_k \ddot{q} - b_k)\|^2 \quad \text{s.t.} \quad A_c \ddot{q} \leq b_c$
约束执行 (CBFs)：
安全性被定义为闭集 $\mathcal{C}$ 的前向不变性。作者制定了以下约束：
- 转矩限制： 通过逆动力学强制执行。
- 关节速度和位置限制： 使用标准 CBF 处理速度（相对阶数为 1）以及使用指数 CBF (ECBF) 处理位置（相对阶数为 2）。
- 自碰撞规避： 使用监测到的本体对之间的 ECBF 进行强制执行。
RL 集成与任务公式化：
由于 RL 策略通常输出被解释为期望关节位移的动作（这些位移通过低层 PD 控制器转化为转矩），因此 QP 必须最小化与“有效”RL 转矩指令的偏差。论文引入了两种特定的任务公式化来实现这一点：
- TorqueTask（转矩任务）： 最小化 QP 计算的转矩与期望 RL 转矩 ( $\tau_{RL}$ ) 之间的偏差。由于该公式依赖于逆动力学，因此对建模误差具有鲁棒性。
- Forward Dynamics Task (FDTask，前向动力学任务)： 最小化 QP 计算的加速度与通过前向动力学由期望转矩所隐含的加速度之间的偏差。该公式对模型不准确性更为敏感，但在模型完美时能从理论上最小化加速度偏差。
鲁棒性与扰动估计：
为了处理建模误差和外部扰动（这对于浮动基座机器人至关重要），系统采用了广义动量观测器 (GMO) 来估计外部转矩 ( $\hat{\tau}_{ext}$ )。该估计值被用于逆动力学计算，以补偿未建模动力学。作者提供了鲁棒性分析，表明在有界扰动下，系统能够维持输入到状态的安全性（input-to-state safety），使轨迹保持在安全集合的邻域内。
处理不可行性：
在 QP 变得不可行的情况下（例如由于冲突的约束或严重的扰动），系统采用回退机制：切换到阻尼模式或回退到转矩饱和的 RL 命令。

核心贡献

开源框架： 作者发布了一个开源流水线 (Acc-CBF-QP)，通过带有 CBF 约束的基于加速度的 QP 来强制执行机器人 RL 策略的安全。
双重任务公式化： 引入 TorqueTask 和 FDTask 提供了对安全-性能权衡的原则性控制，允许用户根据应用场景和模型保真度，在最小化转矩偏差或加速度偏差之间进行选择。
状态估计集成： 该框架集成了状态估计和扰动观测器以恢复外部力，这对于在转矩控制和浮动基座系统上实现一致的 CBF 执行至关重要。
无需重新训练的运行时安全性： 该方法作为一个模块化接口，封装了任意 RL 策略，在运行时强制执行约束，而无需额外的策略重新训练或修改训练过程。

实验结果

该框架在两个不同的平台（7 自由度的 Kinova Gen3 机械臂和 19 自由度的 Unitree H1 人形机器人）的仿真和真实硬件上进行了验证。

Kinova Gen3 (机械臂)：
- 使用未经安全约束训练的现成 RL 策略，Acc-CBF-QP 在仿真和硬件中都完全消除了约束违规（关节位置、速度、转矩和碰撞）。
- 标称任务性能（笛卡尔轨迹跟踪）得到了保留，其偏差在统计上与 RL 策略的固有重复性不可区分。
Unitree H1 (人形机器人)：
- 与使用“约束即终止”（Constraints as Terminations, CaT）方法训练的 Safe-RL 基准进行对比。
- 违规减少： 在真实硬件上，仅使用 Safe-RL 策略每秒产生 10.04 次违规。通过增加 Acc-CBF-QP，违规次数减少了 92%，降至 0.80 次/秒（使用 TorqueTask）。
- 生存时间： 在激进的速度指令下，Acc-CBF-QP 防止了因约束导致的停机，相比基准模型实现了更长的生存时间。
- 鲁棒性： 在不平整地形上，QP 层将失效模式从“约束违规”（如关节极限）转移到了“物理上合理的跌倒”，且与基准模型相比，在生存时长上没有显著的统计学下降。
- 任务公式化比较： TorqueTask 在硬件上表现出对建模误差更强的鲁棒性，而 FDTask 在仿真中显示出略好的加速度跟踪能力。

重要性与主张

论文声称 Acc-CBF-QP 构成了迈向可靠部署现实世界机器人行为的务实一步。其主要意义在于弥合了 RL 的灵活性与物理系统严格安全要求之间的鸿沟。

模块化： 它提供了学习控制与加速度级安全滤波之间的模块化接口，允许在部署时动态修改安全约束，而无需重新训练。
安全与性能： 实验证明，当约束未激活时，实现安全性执行可以实现无可测量的标称任务性能下降。
现实世界适用性： 通过在具有不完美动力学模型的复杂浮动基座人形机器人（Unitree H1）上成功部署，该工作验证了基于优化的安全层可以有效地减轻与 OoD 状态和模型不准确性相关的风险。

作者对局限性保持了谦逊的态度，指出该框架目前是通过务实的手段（通过阻尼或回退）而非通过对闭环投影系统的形式化稳定性保证来处理 QP 不可行性，并且与其他 Safe-RL 训练方法的更广泛比较留待未来工作。