🤖 machine learning

SafeExplorer: An Unbiased Policy Gradient for Reinforcement Learning with Recovery Interventions

SafeExplorer 为物理机器人上的强化学习引入了一种无偏策略梯度方法，该方法消除了由确定性恢复干预引起的偏差，在显著减少训练期间跌落次数的同时，与标准 PPO 相比保持或提高了最终性能。

原作者： Elham Daneshmand, Majid Khadiv, Glen Berseth, Hsiu-Chin Lin

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Elham Daneshmand, Majid Khadiv, Glen Berseth, Hsiu-Chin Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一只机器狗如何奔跑。你想让它通过实践来学习，但有一个难点：如果机器狗在现实世界中摔倒，可能会折断腿或撞到墙壁。你不能像在电子游戏中那样直接按下“重置”键。每一次摔倒都会消耗金钱和时间。

为了防止机器人损坏，你聘请了一位“安全教练”。这位教练观察着机器人的奔跑过程。一旦机器人开始摇晃或踏出安全区域，教练就会接管控制权，引导机器人回到站立状态，然后让它再次尝试。这挽救了机器人免于坠毁，但也产生了一个隐蔽的问题，影响了学习算法。

问题：“幽灵”老师
机器人的大脑（AI）认为它正在从自己的错误中学习。但因为安全教练经常介入，机器人实际上是在从自己的动作和教练的动作混合学习。这就像一个学生试图学习数学，但每当学生遇到困难时，老师就会在一旁低声提示答案。如果学生稍后尝试独立解决问题，他们可能会感到困惑，因为他们从未真正练习过那些困难的部分。

更糟糕的是，如果安全教练是一个僵化的、基于规则的系统（比如一个总是执行相同操作来修复跌倒的计算机程序），那么用于解决这种困惑的标准数学技巧就会失效。这些技巧会尝试除以零，这在数学上是行不通的。

解决方案：SafeExplorer
研究人员开发了一种新的学习方法，名为 SafeExplorer。把它想象成一个非常聪明的学生，它知道什么时候该忽略老师的低声提示。

它是这样工作的，运用了三个巧妙的技巧：

“遮罩式”记分卡：
通常，当机器人学习时，它会观察自己所走的每一步。SafeExplorer 会给教练接管的步骤加上一个“遮罩”。它会说：“我们只从你采取的步骤中学习。”在计算如何改进时，它完全忽略教练的行为。这解决了数学问题，即使教练是一个没有“概率”概念的僵化程序，也不需要知道教练的具体思考方式。
跌倒时的“水晶球”：
当机器人在安全区域内时，它必须预测下一步会发生什么。但当安全教练介入时，路径往往是可预测的（尤其是当教练是一个僵化的程序时）。SafeExplorer 使用一个“水晶球”（闭式数学公式）来准确预知在这些教练主导的时刻会获得什么样的奖励。它不需要通过试错来猜测或学习这些特定步骤，它只需知道答案，这使得学习过程更快。
“仅限成功”的模仿者：
有时，安全教练试图修复一次跌倒，但失败了，机器人仍然摔倒。SafeExplorer 有一条规则：“只有当教练成功救场时，才去模仿教练。”如果教练试图修复一次摇晃但机器人仍然摔倒，机器人就会忽略这次尝试。它只从教练成功的挽救中学习。这防止了机器人从并不完美的教练那里学到坏习惯。

结果：更少的跌倒，更好的奔跑
团队在三种不同的机器人场景下测试了它：一只快速的猎豹型机器人、一只四足蚁型机器人，以及一台名为 Unitree Go1 的真实四足机器人。

在猎豹机器人身上： 与标准方法相比，SafeExplorer 在训练期间减少了 233 倍的跌倒次数。
在蚂蚁机器人身上： 它减少了 48 倍的跌倒。
在 Go1 机器人身上： 它减少了 26 倍的跌倒。

在所有案例中，机器人都学会了像以前的方法一样奔跑（甚至更好），但它是以极少的碰撞次数完成的。

“不可靠教练”测试
最令人印象深刻的部分发生在“蚂蚁”机器人身上。在这个场景中，安全教练的表现其实很差——它经常无法救回机器人。依赖教练的标准方法完全失败了，导致了数千次碰撞。然而，SafeExplorer 是唯一成功的方法。因为它只在教练真正成功时才进行模仿，所以它学会了避开教练会失败的情况，最终学会了在不需要教练的情况下自主奔跑。

这意味着什么
这并不是一个能让机器人永不摔倒的魔杖。它是一种更聪明的训练方式，让机器人在学习过程中摔得更少。研究人员表明，通过诚实地对待谁在控制（是机器人还是教练），并且只向成功的挽救学习，你就可以在真实的硬件上训练机器人而不损坏它们。

该论文在数学上证明了这种方法是无偏的（不会误导机器人），并通过模拟展示了其效果极其出色。它表明，对于需要在真实硬件上学习的机器人来说，忽略安全干预带来的“噪声”是保持安全和快速学习的关键。

技术摘要：SafeExplorer

问题陈述
直接在物理机器人上进行强化学习（RL）训练受限于失败的高昂代价。与仿真环境不同（在仿真中，跌倒可以被瞬间重置），物理上的跌倒会导致硬件损坏且无法挽回。因此，现实世界训练的主要目标是最小化跌倒次数（约束违规），而非仅仅像约束马尔可夫决策过程（CMDP）中那样在回报与跌倒之间进行权衡。

一种标准的缓解策略是将学习智能体与一个独立的、预训练的恢复策略（recovery policy）配对。当智能体离开设计者指定的安全区域（状态空间的一个子集）时，该策略会接管控制权，并将系统引导回标称状态。虽然这防止了物理损坏，但它引入了一个关键的理论缺陷：训练期间收集的数据是由一个**混合策略（mixed policy）**生成的（即在安全区域内为主策略，在区域外为恢复策略）。标准的在策略（on-policy）算法（如 PPO）假设数据仅由正在更新的策略生成。当恢复策略介入时，产生的梯度估计会向恢复策略的行为产生偏差。

此外，针对这种偏差的标准修正方法——重要性采样（Importance Sampling, IS）——在恢复策略是确定性（例如，模型预测控制求解器或贪婪 Actor）的情况下会失效。在这种情况下，恢复策略产生的是单一动作（狄拉克测度）而非概率分布，导致重要性比例变得未定义（密度除以零）。这造成了一个悖论：使安全训练成为可能的机制（恢复策略）破坏了学习信号，而标准的修复方法（IS）恰恰在最需要它的时候在数学上是无效的。

方法论
SafeExplorer 通过对 PPO 的掉入式（drop-in）修改来解决这些问题，其构建在四个理论和算法组件之上：

无偏掩码策略梯度（Unbiased Masked Policy Gradient）：
其核心贡献是一个新的策略梯度估计器（定理 1），即使在恢复策略是确定性的情况下，该估计器对于混合策略回报仍保持无偏。它不通过重要性采样重新加权转换，而是采用**分区掩码（partition masking）**方法。它仅在主策略执行的时刻（在安全区域内）应用得分函数（ $\nabla_\theta \log \pi_\theta$ ），并完全忽略恢复策略的动作密度。由于恢复策略独立于主策略的参数（ $\theta$ ），其在轨迹密度中的因子在求导时会消失。这使得梯度计算无需评估恢复策略的密度，从而对随机和确定性恢复策略均有效。
目标差距界限（Objective-Gap Bound）：
该方法优化的是混合策略回报（ $J_{mix}$ ），但目标是在部署时最大化主策略回报（ $J$ ）。作者推导了关于差距 $|J - J_{mix}|$ 的界限（定理 4），表明该差距与主策略的出域率（out-of-region rate）（ $\beta$ ）成正比。如果安全区域覆盖了所有可达状态，或者主策略变得自稳，该差距就会消失。为了最小化这一差距，SafeExplorer 采用了线性课程学习（linear curriculum），在训练期间逐渐扩大安全区域半径（ $d$ ），从而鼓励主策略留在安全区域内，减少对恢复策略的依赖。
解析恢复值（Analytic Recovery Value）：
在动力学和恢复策略均为确定性的常见情况下，触发恢复的状态值存在闭式表达式（定理 6）。SafeExplorer 不依赖于学习到的评论家（critic）通过恢复段进行自助引导（这会引入误差），而是计算确定性恢复轨迹的精确回报。这在安全区域边界处提供了稠密且准确的监督，而在这些地方，在策略信号通常较为稀缺。
结果门控兼容正则项（Outcome-Gated Compatibility Regularizer）：
为了确保主策略即使在恢复策略不可靠时也能学会避免不安全状态，SafeExplorer 添加了一个监督模仿损失。该项鼓励主策略模仿恢复策略的动作，但仅当恢复段成功（即智能体重新进入安全区域）时才进行。这种“结果门控”机制（定理 7）防止了智能体从失败的恢复尝试中学习，从而将其与标准的行为克隆或 DAgger 区分开来。

核心贡献

理论基础： 证明了针对具有独立于 $\theta$ 的外部恢复机制的混合策略的无偏策略梯度定理，该定理对于重要性采样失效的确定性控制器依然有效。
算法实现： 开发了 SafeExplorer，这是一个集成了掩码梯度、解析价值目标和结果门控模仿功能的实用 PPO 变体。
理论界限： 建立了训练（混合）与部署（主）回报之间的差距界限，展示了课程学习如何收紧这一差距。
实验验证： 证明了该方法能显著减少训练期间的跌倒次数，同时达到或超过标准 PPO 的最终回报。

实验结果
作者在三个连续控制运动环境上评估了 SafeExplorer：HalfCheetah、Ant 和 Unitree Go1 四足机器人。恢复策略是一个预训练的确定性 SAC Actor。

跌倒减少： 与标准 PPO 相比，SafeExplorer 将训练期间的跌倒次数分别降低了 233 倍（HalfCheetah）、48 倍（Ant）和 26 倍（Go1）。
回报性能： 该方法在所有环境中均达到或超过了标准 PPO 的最终回报。
不可靠恢复机制： 在恢复策略本身不可靠（频繁失败）的 Ant 环境中，SafeExplorer 是唯一能够达到成功阈值（最佳最终回报的 80%）的方法。包括其他使用恢复机制的方法和 CMDP 解法器（CPO、PPO-Lagrangian）在内的基准方法均表现出灾难性失败，累积了数万次跌倒。
消融研究： 作者确认了每个组件都做出了独特的贡献：掩码梯度消除了偏差；解析价值提高了学习效率；而结果门控正则项对于处理不可靠的恢复策略至关重要。

意义与主张
论文声称 SafeExplorer 为物理硬件上的安全强化学习提供了一个具有理论依据且切实有效的解决方案。通过将恢复策略视为信号来源而非偏差来源，该方法使智能体能够以极小的硬件损伤学习到强大的控制器。

作者强调，其贡献是方法论层面的，适用于任何在不安全状态下由固定恢复策略接管的情况。他们明确指出，该方法并不能完全消除跌倒，但能大幅减少达到成功策略所需的跌倒次数。这项工作定位为实现“本体训练（on-robot training）”可行性的必要步骤，超越了那些仅仅通过惩罚违规行为而不解决干预引入的根本偏差的奖励塑造或大规模并行仿真。论文总结道，结合无偏梯度估计器和结果门控模仿损失，可以将恢复机制从训练障碍转变为学习资产。

类似论文