🤖 machine learning

A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety

本技术综述基于约束马尔可夫决策过程，对安全强化学习与多智能体安全强化学习进行了数学上严谨的概述，在回顾理论基础与最先进算法的同时，提出了五个开放研究问题以指导未来的发展。

原作者： Ankita Kushwaha, Kiran Ravish, Preeti Lamba, Pawan Kumar

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Ankita Kushwaha, Kiran Ravish, Preeti Lamba, Pawan Kumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《安全强化学习与约束马尔可夫决策过程综述》的通俗解读，辅以生动的类比。

宏观图景：教机器人开车而不撞车

想象一下，你正在教一个机器人开车。你希望它尽快到达杂货店（这就是奖励）。但你也有一个严格的规定：它绝不能撞到行人。

在标准的强化学习（RL）中，机器人通过试错来学习。它可能会尝试穿过人群，看看能否更快到达，结果不小心撞到了行人，然后学到“好吧，别那样做”。但在现实世界中，这种“哎呀”的时刻可能是灾难性的。

安全强化学习（SafeRL） 是致力于确保机器人永远不会通过撞车来学习的领域。这就像在教机器人开车时，同时给它系上安全带、配备副驾驶，并让它严格遵守一本规则手册。

这篇论文是研究人员的一份宏大“地图”或“综述”。它整理了科学家们解决这一问题的各种不同方法，主要聚焦于两个领域：

单智能体：一个机器人独自学习。
多智能体（SafeMARL）：一整支机器人团队（如无人机群或自动驾驶车队）学习如何协同工作而不互相碰撞。

第一部分：规则手册（约束马尔可夫决策过程）

论文指出，用数学语言描述安全性的最佳方式是使用约束马尔可夫决策过程（CMDP）。

把标准的学习问题想象成一款你只想获得最高分的电子游戏。而CMDP则是同一款游戏，但增加了“血条”和“生命限制”。

目标：获得最高分（奖励）。
约束：你不能损失超过 3 颗心（成本）。如果你损失了 4 颗心，游戏结束，你失败了。

论文拆解了研究人员使用的不同类型的“血条”（安全约束）：

瞬时约束：“你现在不能碰到墙。”（就像机械臂不能弯曲得太厉害）。
累积约束：“你可以碰墙几次，但整个行程中的总损伤必须保持在低位。”（就像燃油预算）。
概率约束：“你有 99% 的概率不会从悬崖上掉下来。”（接受微小的风险，但不能是大风险）。
风险度量：“即使平均风险很低，我们也绝不能出现机器人被摧毁的情况。”（关注最坏的情况）。

第二部分：工具（如何教机器人）

论文回顾了研究人员用来在机器人学习过程中保持其安全的“工具”。它们主要分为三类：

1. “价格标签”法（拉格朗日优化）

想象机器人有一个钱包。每次它做不安全的事情，就必须支付罚款。

工作原理：机器人试图最大化其得分减去罚款后的净值。
陷阱：如果机器人不断违反规则，“罚款”（价格标签）就会越来越高，直到机器人害怕再次违反规则。
论文观点：这是一种流行的方法，但很棘手。如果罚款太低，机器人会撞车；如果太高，机器人会吓得完全停止移动。

2. “安全盾牌”（动作修正）

想象机器人正在开车，但副驾驶座上坐着一位人类安全官员。

工作原理：机器人决定向左转撞向墙壁。安全官员看到后，一把抓住方向盘，将其向右转。机器人实际上从未撞到墙壁。
论文观点：这是唯一能在训练期间保证零次撞车的方法。它使用数学（如“安全过滤器”）在机器人尝试任何危险动作之前就将其拦截。

3. “信任区域”（CPO）

想象机器人正在迈步。标准学习说：“迈出一大步以更快学习！”安全学习则说：“迈出一小步，谨慎行事。”

工作原理：机器人只被允许每次微调其行为。它会检查数学计算，以确保即使有这微小的变化，也不会意外违反安全规则。
论文观点：这非常安全，但计算量巨大（计算每一步微小的变化需要大量的脑力）。

第三部分：团队运动（安全多智能体学习）

论文花了很多篇幅讨论SafeMARL（多智能体）。这是指你有 100 架无人机一起飞行的情况。

问题：在团队中，智能体 A 可能是安全的，智能体 B 也可能是安全的，但如果它们同时移动，它们可能会互相碰撞。

集中式方法：一个“大脑”控制所有 100 架无人机。它能看到一切并确保无人撞车。
- 优点：非常安全。
- 缺点：如果大脑不堪重负或互联网中断，整个团队都会失败。
去中心化方法：每架无人机只能看到它的邻居。它们必须互相交流以避免碰撞。
- 优点：易于扩展（你可以增加 1000 架无人机）。
- 缺点：很难证明它们不会撞车。如果无人机 A 不知道无人机 B 在做什么，它们可能会相撞。

论文强调，虽然我们为单个机器人有了不错的方法，但教整个团队保持安全仍然是一个巨大的、未解决的谜题。

第四部分：五大未解之谜（开放研究问题）

作者最后列出了研究人员接下来需要解决的五个“圣杯”级问题。把这些看作是安全强化学习的“关卡 Boss"：

“零违规”目标：我们能否教机器人学习而不哪怕一次违反安全规则？目前，大多数机器人在学习过程中会违反几条规则。我们需要一种方法，从第一天起就保证零错误。
“蒙眼”机器人：如果机器人无法看到一切怎么办？（例如，一辆看不到拐角处的汽车）。当它在猜测发生了什么时，如何保持其安全？
“无老板”团队：如何让机器人团队在没有中央控制器的情况下保持安全？（去中心化安全）。
“对手”团队：如果其他智能体不是朋友怎么办？（竞争性环境）。当对方团队试图击败你，并且可能会采取危险行动时，你如何保持安全？
“移动靶”：如果机器人在学习过程中规则发生了变化怎么办？（非平稳性）。如果道路布局改变或出现新型车辆，机器人能否在不撞车的情况下立即适应？

总结

这篇论文是研究人员的指南。它指出：

我们拥有描述安全的良好数学（CMDPs）。
我们拥有保持单个机器人安全的良好工具（盾牌、价格标签、信任区域）。
但我们才刚刚开始弄清楚如何让机器人团队保持安全，特别是在它们相互竞争或无法看到一切的时候。

最终目标是将人工智能从“通过撞车学习”转变为“通过谨慎学习”，这样我们才能在医院、道路和工厂中信任机器人。

以下是关于论文《安全强化学习与约束马尔可夫决策过程综述：单智能体与多智能体安全的技术综述》的详细技术总结。

1. 问题定义

本文探讨了将强化学习（RL）智能体部署到安全关键型现实应用（如自动驾驶、医疗保健、机器人、电网）中所面临的关键挑战。标准强化学习旨在优化累积奖励，但往往忽视安全约束，导致在训练或部署过程中发生灾难性故障。

核心问题被形式化为安全强化学习（SafeRL）：在严格满足安全约束的前提下最大化性能（累积奖励），且这些约束需在学习过程和最终部署阶段均得到满足。本文主要聚焦于约束马尔可夫决策过程（CMDP）框架，其中安全被建模为对期望累积成本（或其他风险度量）的约束，而不仅仅是奖励最大化。此外，本文还将该框架扩展至多智能体安全强化学习（SafeMARL），即多个智能体在遵守个体或全局安全约束的同时进行学习并交互。

2. 方法论与理论基础

该综述围绕 CMDP 框架及其扩展，提供了 SafeRL 的严谨数学概述。

A. 理论基础（CMDPs）

形式化定义：CMDP 被定义为 MDP 元组 $(S, A, P, r, \{c^{(i)}\}, \gamma)$ ，其中 $c^{(i)}$ 为成本函数。目标是在满足 $J_c^{(i)}(\pi) \leq d_i$ 的条件下最大化 $J(\pi)$ 。
约束类型：本文将安全规范分类为：
- 期望累积成本：标准的 CMDP 形式（最为常见）。
- 瞬时约束：每个时间步的硬性限制（如扭矩限制、碰撞避免）。
- 失败概率：对进入失败状态概率的约束（例如 $Pr[\text{crash}] \leq \delta$ ）。
- 风险度量：对高阶统计量（如方差或条件风险价值 CVaR）的约束。
- 时序逻辑：通过线性时序逻辑（LTL）公式定义的安全。
优化方法：
- 拉格朗日对偶：利用拉格朗日乘子（ $\lambda$ ）将约束问题转化为无约束问题。通过最小化对偶函数寻找最优乘子，同时最大化原始问题（策略）。
- 线性规划（LP）：对于有限状态空间，CMDP 可通过基于占用度量的线性规划精确求解。
- 理论保证：本文引用 Altman [1999] 证明了在正则性条件下平稳最优策略的存在性及强对偶性。同时回顾了性能界（Achiam 等人，2017），为信任域方法提供了理论依据。

B. 最先进算法（单智能体）

该综述将现有方法分为四大类：

基于拉格朗日的策略优化：
- 拉格朗日 Actor-Critic：同时更新策略和拉格朗日乘子（例如 Tessler 等人，2019）。方法简单，但在训练期间可能违反约束。
- 约束策略优化（CPO）：具有里程碑意义的信任域方法（Achiam 等人，2017），在每一步求解一个约束子问题，以保证近似的约束满足。
- 投影 CPO（PCPO）：将策略更新投影到可行集上以确保安全。
安全护盾与动作修正：
- 外部层（如安全层、基于 QP 的滤波器）覆盖 RL 智能体提出的不安全动作。
- 形式化护盾：利用模型检测和时序逻辑预计算安全动作集。
风险敏感与分布方法：
- 直接优化风险度量（如 CVaR），而非使用硬约束。
- 分布强化学习用于建模完整的回报分布并控制尾部风险。
安全多智能体 RL（SafeMARL）：
- 集中式：将多智能体系统视为单个联合智能体（例如 MACPO）。
- 去中心化：智能体在有限通信（例如 $\kappa$ -hop 邻域）下优化局部目标，以近似全局安全。
- 博弈论：在竞争性环境中寻求受约束的纳什均衡。

3. 主要贡献

全面的分类体系：本文提供了 SafeRL 方法的结构化分类，区分了单智能体与多智能体方法，并根据底层机制（拉格朗日、护盾、风险敏感）对算法进行分类。
数学严谨性：提供了 CMDP 理论的详细推导，包括拉格朗日对偶、线性规划形式化及策略梯度界，可作为研究人员的技术参考。
SafeMARL 聚焦：与以往侧重于单智能体 RL 的综述不同，本文投入大量篇幅关注新兴的 SafeMARL 领域，分析了合作、竞争及去中心化设置中的挑战。
开放问题识别：作者提出了五个具体的开放研究问题以指导未来工作：
- P1：零违规安全探索：保证在整个训练过程中（而不仅仅是渐近意义上）不发生任何约束违规。
- P2：部分可观测性下的安全：处理真实状态未知的 POMDP 中的安全问题。
- P3：去中心化 SafeMARL：在没有中央控制器或完全状态可观测性的情况下实现全局安全。
- P4：竞争性 SafeMARL：在非合作、零和或常和博弈中寻找安全均衡（如受约束的纳什均衡）。
- P5：非平稳多智能体安全：确保在环境或智能体群体随时间变化时的安全性。
资源汇编：本文包含精选的开源库（如 OmniSafe, SafePO）和基准环境（如 Safety Gymnasium, SMARTS）列表，以促进可复现性。

4. 结果与发现

单智能体成熟度：单智能体 SafeRL 领域相对成熟，CPO 和拉格朗日方法等算法在 Safety Gym 等基准测试中提供了强有力的理论保证和实证成功。
多智能体挑战：SafeMARL 被确定为一个新兴领域。虽然集中式方法（如 MACPO）显示出前景，但可扩展的去中心化解决方案以及针对竞争性设置的鲁棒方法仍 largely 未解决。
权衡：综述强调了安全保证与样本效率之间的根本权衡。具有强理论保证的方法（如 CPO）通常计算成本高昂，而更简单的基于惩罚的方法虽然高效，但可能在训练期间违反约束。
约束类型的重要性：约束形式化的选择（瞬时 vs. 累积，风险敏感 vs. 期望）显著影响算法设计及其在特定领域的应用（例如，机器人需要瞬时约束，而金融领域可能更偏好 CVaR）。

5. 意义

该综述具有重要意义，原因如下：

统一性：它弥合了理论控制理论（CMDPs）与现代深度 RL 之间的差距，为安全提供了统一的语言。
部署路线图：通过识别“零违规”学习和“去中心化安全”等开放问题，它勾勒出了将 SafeRL 从模拟推向高风险领域现实部署所需的路径。
社区资源：库和基准的汇编为研究人员比较算法和复现结果提供了至关重要的工具包，加速了该领域的发展。
未来方向：提出的研究问题（P1–P5）为下一代 SafeRL 研究设定了清晰的议程，强调了在部分可观测性、去中心化和动态环境中对鲁棒性的需求。

总之，本文确立了一个观点：尽管 SafeRL 已取得显著进展，特别是在单智能体设置中，但向复杂、多智能体及现实场景的过渡，需要在探索、去中心化和均衡计算方面解决根本性挑战。