🤖 machine learning

Safe-Support Q-Learning: Learning without Unsafe Exploration

本文提出“安全支持 Q 学习”，这是一种两阶段框架，通过利用在安全集上支持的行为策略并采用 KL 正则化的贝尔曼目标，在强化学习训练期间消除不安全状态访问，从而在不损害安全区域内探索的前提下推导出安全且高性能的策略。

原作者： Yeeun Lim, Narim Jeong, Donghwan Lee

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yeeun Lim, Narim Jeong, Donghwan Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和日常类比对论文《Safe-Support Q-Learning》的解释。

核心难题：如何在骑车时不摔倒

想象一下，你正在教一个机器人骑自行车。在传统的强化学习（RL）中，机器人通过不断尝试来学习。它可能会摇晃、摔倒，甚至撞墙，以此弄清楚什么不该做。在电子游戏中，撞墙没关系；你只需按“重置”键即可。但在现实世界（例如驾驶汽车或控制机械臂）中，一次碰撞就可能是灾难性的。

目前大多数“安全强化学习”方法试图通过给机器人“训斥”（即惩罚）来教它小心，当它过于靠近墙壁时给予惩罚。但机器人仍然必须靠近墙壁，才能学会那是危险的。这就像告诉一个孩子“别碰炉子”，却让他们靠得足够近，直到感受到热度才把手缩回来。

论文的解决方案：“安全区”围栏

这篇论文提出了一条更严格的规则：机器人绝不允许离开“安全区”。 它必须在从未访问过不安全状态的情况下完成所有学习。

为此，作者们创造了一种新方法，称为Safe-Support Q-Learning。其工作原理可分解为三个简单步骤：

1. “守护者”（行为策略）

首先，他们创建了一个“守护者”策略。可以把它想象成一个非常谨慎、略显笨拙的人类，正骑着自行车在机器人旁边同行。

这位守护者不需要是世界级赛车手（它不必完美）。
它唯一的任务就是严格待在“安全区”内（例如，始终走在人行道上，绝不撞到路缘）。
因为它具有一定的随机性（随机策略），它会四处游荡，向机器人展示不同的安全路径，但绝不会采取危险的转向。

2. “地图绘制者”（Q 函数）

接下来，机器人构建一张关于不同动作优劣的“心理地图”（称为 Q 函数）。

问题： 通常，如果机器人从未见过危险动作，它可能会意外地认为：“嘿，那个悬崖看起来像是条捷径！”并给它打高分。
修正： 作者在绘制地图的过程中加入了一条特殊规则（KL 正则化）。它告诉机器人：“只给那些看起来像守护者会做的动作打高分。”
类比： 想象机器人正在编写一本旅行指南。规则规定：“你只能推荐守护者实际走过的路线。如果守护者从未靠近过悬崖，你的指南书必须将悬崖标记为‘禁止进入’或‘零分’。”这防止了机器人对从未见过的危险捷径产生兴奋。

3. “学生”（最终策略）

一旦地图构建完成，机器人就会尝试找出骑行的最佳方式。

它查看地图并问道：“到达目标的最快方式是什么？”
然而，它被迫保持与守护者的风格相近。如果守护者从未做过前轮离地（wheelie）的动作，机器人就不能突然决定这样做。
这确保了即使机器人的“最佳”计划也是安全的，因为它完全是建立在守护者的安全路径之上的。

他们是如何测试的

研究人员在两个类似经典电子游戏的环境中测试了该方法：

FrozenLake（冻结湖泊）： 一个网格环境，机器人必须在冰面上行走，不能掉进洞里。
CartPole（倒立摆）： 一个游戏，你需要在移动的小车上平衡一根杆子，不让它倒下。

他们将这种方法与其他“安全”AI 方法进行了比较。

结果

稳定性： 机器人学习过程平稳，没有发生碰撞或陷入混乱。
更精准的地图： 机器人的“心理地图”（Q 值）要准确得多。它没有高估危险动作的价值。其他方法往往认为危险动作是可以接受的，从而导致碰撞。
安全性与性能： 机器人学会了既安全又快速。在许多测试中，其表现与其他方法相当（甚至更好），但“险些出事”或 unsafe 行为显著减少。

局限性（需要注意的地方）

该方法严重依赖初始的“守护者”。

如果守护者太差（例如，它只知道如何站立不动，从不向前移动），机器人也会过于保守，无法学会任何有用的技能。
论文承认，如果“安全区”太小或守护者不完美，机器人可能无法找到执行任务的绝对最佳方式，但它肯定会找到一种安全的方式。

总结

简而言之，这篇论文教导 AI 在界限内学习。与其让 AI 探索整个世界并在犯错时惩罚它，不如给它一个安全的游乐场和一位谨慎的向导。AI 通过仅观察向导所做出的安全动作来学习成为专家，从而确保它绝不会意外学会危险的技巧。

以下是论文《Safe-Support Q-Learning: Learning without Unsafe Exploration》（安全支持 Q 学习：无需不安全探索的学习）的详细技术总结。

1. 问题陈述

强化学习（RL）智能体通常通过探索来发现最优策略，而探索本质上涉及访问可能导致不安全或灾难性后果的状态 - 动作对。尽管现有的“安全强化学习”方法试图通过约束、惩罚或风险敏感目标（例如条件风险价值）来降低风险，但它们通常无法消除训练过程中对不安全状态的访问。它们往往依赖概率界限或基于期望的约束，这意味着仍然可能发生安全违规。

作者针对更严格的安全要求提出了解决方案：学习过程绝不能产生访问不安全状态的轨迹。核心挑战在于，如何在受限的“安全集”（ $S_{safe}$ ）内实现充分的探索和策略改进，而不依赖近优行为或冒险进行不安全转换。

2. 方法论：安全支持 Q 学习

所提出的框架是一种基于 Q 学习的方法，它将所有学习组件限制在安全集的支持范围内。该方法基于以下假设：存在一个行为策略（ $\pi_b$ ），其完全支持于 $S_{safe}$ 之上（即它从不访问不安全状态）。该策略不需要是最优的，但必须是随机的，以便在安全区域内进行探索。

该框架包含三个主要组件：

A. 行为策略构建

该方法利用支持于 $S_{safe}$ 之上的行为策略 $\pi_b$ 。提出了两种实例化策略：

HC Safe（手工构建）： 使用表现良好的规则或控制器（例如 PID、MPC）并将其转换为随机策略。在连续空间中，这通过均值 - 噪声（确定性策略 + 高斯噪声）或分布（状态相关高斯）参数化来实现。
DS Safe（基于数据集）： 通过在仅包含安全转换的预收集数据集上进行最大似然估计来训练策略。这充当了离线强化学习设置，其中策略被约束在数据集的支持范围内。

B. KL 正则化贝尔曼目标

为了防止 Q 函数为分布外（OOD）或不安全动作分配高值，作者修改了标准的贝尔曼目标。他们不使用均匀先验（如 Soft Q-Learning 中那样）或最大值算子，而是引入了一个KL 散度正则化项，使 Q 函数与行为策略 $\pi_b$ 保持一致。

离散动作的安全目标值 $y_k^{safe}$ 定义为：
$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$
其中：

$\tilde{\pi}_b$ 是行为策略的平滑版本，以确保概率严格为正。
$\lambda$ 是温度参数。
该公式有效地惩罚了对安全行为分布的偏离，确保 Q 函数保持在安全动作的支持范围内。

理论保证： 作者证明了由此产生的贝尔曼算子是一个压缩映射，保证了唯一不动点（ $Q^*_\lambda$ ）的存在。由该 Q 函数诱导的最优策略是行为策略上的KL 正则化 softmax：
$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(s, a')/\lambda)}$

C. 策略提取

离散动作空间： 最优策略直接使用上述闭式 softmax 表达式推导得出。
连续动作空间： 由于分母中的积分难以处理，作者提出了一种代理策略（ $\pi_\phi$ ），参数化为高斯分布。该代理策略通过最小化其自身与理论最优策略之间的 KL 散度进行训练，并使用蒙特卡洛采样来近似期望值。

该框架是统一的，可适应在线和离线设置，以及离散和连续动作空间。

3. 主要贡献

严格的安全保证： 与以往将风险限制在边界内的安全强化学习方法不同，该方法在轨迹支持层面强制执行安全，确保训练过程中不访问任何不安全状态。
KL 正则化 Q 学习： 引入了一种新颖的贝尔曼目标，通过 KL 散度将 Q 函数约束在安全行为策略的支持范围内，取代了标准的熵正则化。
两阶段框架： 将 Q 函数训练与策略提取分离，即使行为策略是次优但安全的，也能实现稳定的学习。
统一变体： 该方法提供了一个单一框架，可适应各种场景（离散/连续动作，手工构建/基于数据集的行为策略）。

4. 实验结果

作者在FrozenLake和CartPole环境中评估了该方法，将其与标准 Q 学习以及最先进基线（CQL、BCQ、IQL、TD3+BC、BEAR）进行了比较。

稳定性和收敛性： 与基线相比，所提出的方法表现出更快的收敛速度和更低的方差，特别是在其他方法往往无法学习有效策略的离散设置中。
价值校准： 所提方法学习到的 Q 值校准良好，与蒙特卡洛回报紧密匹配。相比之下，基线方法表现出价值崩溃、高估（对角线以上的发散）或过度保守等问题。
安全性与性能：
- 在 CartPole 环境中，与基线相比，所提方法在可比的回报水平下实现了更安全的行为（更小的最大杆角度）。
- 虽然某些基线实现了高回报，但它们通常伴随着更高的方差或不安全的轨迹。
- 该方法显示出一种权衡：当行为策略不完美时（例如在高度受限的设置中），性能受到限制，但安全性得到了严格维持。

5. 意义

这项工作代表了安全强化学习从风险缓解（允许某些不安全探索）到风险消除（严格禁止不安全探索）的重大转变。通过利用支持于安全集的行为策略并正则化 Q 学习目标，该方法为在高风险环境（例如机器人技术、自动驾驶）中学习最优策略提供了一种原则性方法，在这些环境中，即使是一次不安全交互也是不可接受的。唯一不动点的理论保证以及在保持校准良好的价值估计方面的实际成功，使其成为安全关键应用的稳健框架。