🤖 machine learning

Boundary-Seeking Policy Gradient for Safe Reinforcement Learning

本文介绍了边界寻求策略梯度（Boundary-Seeking Policy Gradient, BSPG），这是一种用于安全强化学习的一阶方法，它通过将切向奖励上升与符号正态分量相结合，显式地驱动策略趋向于活跃的安全约束，从而在满足 KKT 条件的同时，实现比现有基准更高的奖励和更紧密的边界依附。

原作者： Chenhua Fan, Jiahui Zhu, Yuhang Zhang, Honghao Wei

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chenhua Fan, Jiahui Zhu, Yuhang Zhang, Honghao Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩一款高风险的电子游戏。目标很简单：获得尽可能高的分数。但有一个限制条件：这个游戏有一个严格的规则，即机器人在关卡结束前不能耗尽电池。如果电量耗尽，它会立即失败。这就是**安全强化学习（Safe Reinforcement Learning）**的世界。在这个领域中，科学家们通过让计算机尝试各种尝试并从错误中学习来教它们做决策，但同时为它们提供了一个安全网。挑战在于寻找完美的平衡点：既要推动机器人尽可能大胆、聪明地去获取分数，又要保持足够的安全性，确保永远不会违反规则。

长期以来，教导这些机器人的标准方法是告诉它们，“不要违反规则”，并寄希望于它们能自己摸索出如何在不掉入深渊的情况下尽可能接近边缘。这就像告诉一名走钢丝的人，“别掉下去”，却没给他们一根用来保持平衡的杆子。机器人往往会表现得极其保守，远离电池限制的边缘，从而错失了大量的潜在分数。这就像是在限速 60 英里的区域内以 20 英里的时速开车，仅仅是为了确保不出车祸。

一篇新论文介绍了一种更聪明的教学方式，称为边界寻求策略梯度（Boundary-Seeking Policy Gradient, BSPG）。作者 Chenhua Fan、Jiahui Zhu、Yuhang Zhang 和 Honghao Wei 意识到，获胜的最佳方式不是停留在安全区的中间，而是在危险线的边缘翩翩起舞。他们发现，当一个机器人在进行最优操作时，它应该用尽其所有的安全预算——就像走钢丝的人利用绳子的每一寸长度来保持平衡，而不是紧贴着安全护栏。

该论文提出了一种新的“舞蹈动作”来教导机器人。机器人不再仅仅是试图避开边缘，而是同时接收到两个特定的指令。首先，它学习沿着安全线的边缘进行横向移动，以便在不失去平衡的前提下获取更多分数。其次，它会受到一个温柔的推力，如果它离线太远，这个推力会将它拉向线条；如果它离坠落太近，这个推力会将它推回。这个“推力”很特别，因为它在两端都有效：如果机器人过于谨慎，推力会说：“再往前走一点！”如果它过于鲁莽，推力会说：“退后！”

研究人员通过数学证明了这种方法是有效的。他们表明，随着时间的推移，机器人的“安全计度”会恰好落在极限值上，而不是低于极限值。他们还证明了这种方法优于以往的技术，因为以往的技术往往会让机器人玩得过于保守。在测试中，使用一种标准的导航游戏，这种新方法帮助机器人获得了更高的分数，同时始终保持在安全极限的边缘，证明了你可以在保持安全的同时也具备雄心壮志。

安全机器人的故事

问题所在：“过于安全”的陷阱
想象一下，你正在训练一个机器人驾驶一辆送货卡车。卡车有一个油箱，规则是：“你到达目的地时，至少要剩下 5 加仑燃油。”如果你到达时剩余 0 加仑，你就撞车了。如果你到达时剩下 5 加仑，你是安全的。

旧的机器人训练方法就像是一个紧张的家长在开车。他们会告诉机器人：“确保你至少剩下 5 加仑。”机器人因为害怕撞车，表现得有些胆小，只要剩下 10 加仑就会停止驾驶。它虽然安全抵达了，但也浪费了 5 加仑燃油，而这些燃油本可以用来开得更快或采取更好的路线。它虽然安全，但在工作中表现并不出色。

该论文认为这是一种浪费。“完美”的机器人应该在到达时恰好剩下 5 加仑。它应该利用每一滴燃油来获得最佳性能，直达悬崖边缘。但达到那个状态很难。如果机器人试图靠近边缘，它可能会意外翻车。如果它离得太远，它就会错失分数。

解决方案：两步舞法
论文作者提出了一种名为**边界寻求策略梯度（BSPG）**的新策略。把它想象成在教机器人跳一种“两步舞”。

侧步（切向移动）： 想象机器人在走钢丝。舞蹈的第一部分是沿着绳子移动。这有助于机器人在保持安全的同时，通过在钢丝上“捡硬币”来获得更多分数。这纯粹是为了在保持安全的前提下提升游戏表现。
推力（法向移动）： 第二部分是一个特殊的推力，让机器人保持在绳子上。
- 如果机器人站在“安全区”太远的地方（剩余燃油过多），推力会轻轻将它推向边缘。它会说：“你有额外的燃油；用它来获取更多分数吧！”
- 如果机器人摇晃得离坠落太近（消耗了太多燃油），推力会将它拉回。它会说：“小心！你离撞车太近了！”

这与旧方法不同。旧方法通常只会在你说“你要撞车了，快停下！”时才起作用。它们没有办法说：“如果你太安全了，请再往前走一点！”这种新方法将安全极限视为一个磁铁，从两边吸引机器人，使其保持完美的平衡。

他们的发现
作者不仅凭直觉认为这行得通，他们还通过数学进行了证明。他们展示了如果使用这种新的舞蹈，机器人最终会停止徘徊，并稳定在安全极限的边缘。他们证明了机器人的“安全计度”会随着学习过程越来越接近于零（意味着它正好剩下了预期的燃油量）。

他们还在一个名为 Safety-Gymnasium 的计算机模拟环境（类似于测试机器人安全性的电子游戏）中进行了测试。在这个游戏中，机器人必须在迷宫中导航。他们将这种新方法（BSPG）与另外两种流行的方法进行了对比。

旧方法就像那位紧张的家长：它们让机器人远离危险区，从而浪费了很多分数。
新方法（BSPG）则像一位熟练的走钢丝者：由于它几乎用尽了所有允许的“安全预算”来跑得更快、更聪明，因此获得了更高的分数。

为什么这很重要
这篇论文之所以重要，是因为它改变了我们对安全性的看法。长期以来，我们认为安全意味着远离危险。这篇论文表明，真正的安全是准确知道危险在哪里，并学会紧贴着危险线行走而不坠落。它让机器人能够变得更加高效且强大，无论是驾驶汽车、管理电网还是玩游戏，都能在不违反规则的前提下实现最佳性能。

作者非常谨慎地指出，这在他们的数学模型和计算机模拟中运行得非常完美。他们展示了机器人学会了紧紧贴住安全线，在保持安全的同时获得了最佳的表现。这是在教导机器如何既勇敢又不鲁莽方面迈出的重要一步。

以下是关于论文《Boundary-Seeking Policy Gradient for Safe Reinforcement Learning》（用于安全强化学习的边界寻求策略梯度）的技术摘要翻译：

问题陈述

安全强化学习（Safe RL）旨在最大化累积奖励，同时满足操作约束，这些约束通常被形式化为约束马尔可夫决策过程（CMDPs）。CMDP 的一个基本结构特性是：当约束在最优解处处于激活状态时（即无约束的奖励最大化器违反了约束），最优策略恰好位于可行集的边界上（ $J_c(\pi) = d$ ）。

现有方法通常无法有效利用这一结构：

原对偶方法（如 PPO-Lagrangian）依赖于学习到的乘子来间接控制策略与边界的距离，这往往导致振荡动力学，或使策略停留在具有未使用成本余量的可行内部。
原问题/投影方法（如 CPO、CRPO）强制执行可行性，但将其视为单侧条件；它们并未明确调节应利用多少剩余的成本预算来提升奖励。
梯度操纵方法（如 ESPO、PCRPO）对齐奖励和成本梯度，但并未显式地使用带符号的约束残差来驱动策略向活跃边界移动。

因此，标准的更新过程往往停留在可行集的严格内部，由于策略未能充分利用完整的成本预算，导致潜在的奖励增益未能得到开发。

方法论：边界寻求策略梯度 (BSPG)

作者提出了边界寻求策略梯度 (BSPG)，这是一种一阶方法，旨在显式地驱动策略更新向活跃约束边界靠拢，并在其上优化奖励。该方法将更新方向分解为两个正交分量：

切向分量 ( $g_r^\perp$ )：
该分量在提高奖励的同时，在一阶意义上保持成本不变。它通过将奖励梯度 ( $g_r$ ) 投影到成本水平集的切空间上，并移除与成本梯度 ( $g_c$ ) 平行的分量来导出：
$g_r^\perp = g_r - \frac{\langle g_r, g_c \rangle}{\|g_c\|^2} g_c$
这确保了沿此方向的移动在局部不会改变成本目标。
法向分量 ( $g_b$ )：
该分量根据带符号的约束残差（ $\hat{\delta} = J_c(\pi_\theta) - d$ ）来调节策略与边界的距离。
$g_b = -\hat{\delta} \cdot \frac{g_c}{\|g_c\| + \epsilon}$

如果策略是不可行的 ( $\hat{\delta} > 0$ )， $g_b$ 指向内部以降低成本。
如果策略是严格可行的 ( $\hat{\delta} < 0$ )， $g_b$ 指向外部以增加成本直至极限。
这种带符号的调节确保了策略能从两侧主动寻求边界，而不是任意停止在内部。

隐式拉格朗日解释：
组合后的更新方向允许一种代数拉格朗日形式：
$g_{up} = \nabla_\theta [J_r(\pi_\theta) - \lambda_t J_c(\pi_\theta)]$
其中乘子 $\lambda_t$ 是通过局部梯度几何和边界信号代数诱导的，而非通过学习到的对偶变量。这避免了与学习对偶变量相关的稳定性问题。

实现：
在实践中，精确的残差 $\delta$ 使用成本价值网络 ( $V_c$ ) 结合批量残差修正（公式 19）进行估计。该算法构建在 PPO 之上，仅引入了两个超参数：边界吸引系数 ( $\eta$ ) 和残差的裁剪阈值。

核心贡献

边界结构的表征： 论文正式确立了：当不存在可行的无约束奖励最大化器时，每一个约束最优策略都必须位于活跃约束边界上 ( $J_c(\pi) = d$ )。论文进一步量化了当奖励和成本梯度正向对齐时，从未使用的成本预算中可获得的局部奖励增益。
BSPG 算法与收敛性分析：
- 作者证明了在精确梯度和正则性条件下，约束残差从两侧收敛至零的有限时界为 $O(1/\sqrt{T})$ 。
- 他们证明了切向分量是边界上的有效奖励上升方向。
- 他们将任何收敛的参数序列表征为活跃约束集上的驻点，如果该极限是可行集上的局部最大值，则满足库恩-塔克（KKT）条件。
实证验证： 在 Safety-Gymnasium 导航任务上，BSPG 实现了比基准方法（CRPO、ESPO）更高的奖励，同时更紧密地追踪约束边界，展示了对安全预算更高效的利用。

结果

理论层面： 分析确认了 BSPG 会驱动残差趋于零，确保策略不会停留在严格内部。残差的收敛速率为 $O(1/\sqrt{T})$ 。任何收敛运行的极限都满足约束问题的 KKT 条件。
实证层面： 在 SafetyPointGoal1-v0 实验中，BSPG 在对比的基准方法中获得了最高的每回合奖励。至关重要的是，“边界接近度”指标（残差幅度 $|\hat{C} - d|$ ）显示，BSPG 比 CRPO 和 ESPO 能更持续地保持在约束极限附近，后者则保守地停留在可行内部。

意义与主张

论文声称 BSPG 解决了安全强化学习中的一个特定差距：即将沿成本水平集的奖励提升与跨成本水平的带符号调节进行分离。

与仅保证可行性但不表征收敛时约束值的现有方法不同，BSPG 显式地以活跃边界为目标。
该方法提供了一种机制，在梯度对齐时将“未使用的成本预算”转化为奖励，这是那些在达到第一个可行点时就停止的方法经常错失的能力。
论文为理想的精确梯度更新提供了理论保证，表明该方法自然地调节策略至边界，而无需学习对偶变量。
作者指出，理论适用于理想更新，并不声称对于任意非凸策略类具有全局收敛性，也未针对随机 PPO 实现提供样本复杂度保证，从而对理论局限性保持了审慎的范围。

安全机器人的故事

问题陈述

方法论：边界寻求策略梯度 (BSPG)

核心贡献

结果

意义与主张

类似论文