🤖 AI

Robust Shielding for Safe Reinforcement Learning

本文介绍了一种针对鲁棒马尔可夫决策过程的新颖、完备且最优的屏蔽框架，该框架在结合采样方法以通过学习模型提供概率近似正确（PAC）安全保证的同时，保证了强化学习智能体在最坏情况转移不确定性下的安全性。

原作者： Edwin Hamel-De le Court, Thom Badings, Alessandro Abate, Francesco Belardinelli, Francesco Fabiano

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Edwin Hamel-De le Court, Thom Badings, Alessandro Abate, Francesco Belardinelli, Francesco Fabiano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人玩电子游戏，比如吃豆人，或者驾驶汽车。你希望机器人学会如何获得最高分或尽可能快地到达目的地。这被称为强化学习（Reinforcement Learning）。机器人通过尝试来学习：它移动、观察结果，并根据好的动作获得“奖励”（分数），或根据坏的动作受到“惩罚”。

问题在于，为了学习，机器人必须进行探索（Explore）。它必须尝试一些冒险的动作，以观察是否奏效。但在现实世界中，一个冒险的动作可能意味着机器人撞墙，或者自动驾驶汽车撞到行人。我们不能让机器人在可能导致灾难的尝试和错误中进行学习。

问题所在：“现实”的黑盒

通常，为了保持机器人的安全，我们需要一个“盾牌”——一个安全卫士，用来阻止机器人做出危险的动作。但要构建一个完美的盾牌，你需要知道世界的精确规则（物理定律、交通法规、游戏机制）。

在现实世界中，我们并不知道这些精确的规则。我们只有来自过去运行过程或模拟器的部分数据。如果我们基于有限的数据去猜测规则，我们可能会出错。如果我们的盾牌是建立在错误的猜测之上，它可能会无法阻止灾难发生。

解决方案：“最坏情况”下的雨伞

这篇论文介绍了一种新型盾牌，专门用于我们不了解确切规则的情况。与其猜测一种规则，作者将未知的世界视为两个玩家之间的游戏：

机器人（智能体）： 试图获得高分。
“小精灵”（对手）： 一个淘气的力量，它试图通过为机器人每一个动作选择最坏的结果来让机器人失败。

作者称之为鲁棒马尔可夫决策过程（Robust MDP）。你可以这样理解：

旧方法： “根据我的数据，这座桥有 90% 的概率能承重。我允许机器人通过。”（如果桥实际上断了，机器人就会掉下去）。
新方法（本论文）： “我不知道这座桥的确切强度，但我知道它在‘弱’和‘强’之间。我会构建一个假设桥是最弱的盾牌。如果机器人在桥很弱的情况下也能安全通过，那么在桥很强的情况下它肯定也是安全的。”

它是如何运作的：“安全预算”

论文使用了一个涉及**安全预算（Safety Budget）**的巧妙技巧。

想象机器人有一个钱包，里面装有特定金额的“安全资金”（假设为 100 美元）。每当机器人走一步时，都有极小的风险会损失一些钱。

盾牌会计算每种可能动作导致丢钱的最坏情况概率。
如果某个动作面临的丢钱风险超过了机器人钱包里剩余的钱，盾牌就会拦截该动作。
如果某个动作足够安全，不会让钱包破产，盾牌就会允许机器人执行该动作。

这个“钱包”是实时更新的。随着机器人对世界了解得越多（通过收集更多数据），“小精灵”就变得不再那么可怕。不确定性缩小了，“最坏情况”变得不再那么严重，机器人也就获得了采取能带来更高回报的风险的更多自由。

“盾牌”在行动中

论文描述了一个三步过程：

学习不确定性： 机器人从环境中收集数据。它不再说“掉落的概率是 5%”，而是说“掉落的概率在 2% 到 8% 之间”。这个范围就是“鲁棒”的部分。
构建盾牌： 利用这些范围，盾牌被构建出来，以确保即使在概率处于可怕的一端（8%）时也能保证安全。
让机器人开始玩： 机器人开始玩游戏。盾牌监视着每一个动作。如果机器人试图做一些可能不安全的动作（即使它只是在最坏情况下才不安全），盾牌就会介入并强制执行一个更安全的选项。

结果：既安全又聪明

作者在吃豆人和带有“彩色炸弹”的网格世界等游戏中测试了该方法。

“猜测”法（旧方法）： 如果你仅仅根据数据来猜测规则，机器人往往会获得高分，但会因为你的猜测稍有偏差而撞上幽灵或炸弹。
“鲁棒盾牌”法（新方法）：
- 起初： 当机器人数据很少时，盾牌非常严格。它会说“不，你不能去那里，那可能很危险！”机器人玩得非常谨慎，得分较低。
- 随着数据增长： 随着机器人学习得越来越多，“不确定性范围”变得越来越小。盾牌意识到：“噢，那个动作其实并没有那么危险！”于是它放宽了规则。
- 最终结果： 机器人保持了 100% 的安全（它从未撞车），但最终学会在玩游戏时表现得几乎和那些预先知道所有规则的机器人一样出色。

总结类比

想象你在教一个孩子骑自行车。

旧方法： 你告诉孩子，“我觉得路面很平坦，所以你可以骑快点。”如果路上其实有一个隐藏的坑洼，孩子就会摔倒。
新方法（本论文）： 你不知道路面是平坦还是颠簸。所以，你给自行车装上了辅助轮（即盾牌）。你告诉孩子，“我们会假设路面到处是坑洼。如果你能在带辅助轮的情况下在颠簸的路面上安全骑行，那你就是安全的。”
- 起初，辅助轮很沉重，孩子移动得很慢。
- 但随着你骑着车经过这段路，意识到路面其实很平滑，你会慢慢地撤掉辅助轮。
- 孩子从不摔倒（保证安全），但最终他们骑行的速度就像早就知道路面很平滑一样快。

这篇论文从数学上证明了这种方法是有效的：它保证了即使在对世界存在不确定性的情况下，机器人也不会做出任何危险的行为，并且随着它获取更多信息，它能学会变得更高效。

技术摘要：面向安全强化学习的鲁棒屏蔽机制

问题陈述

在被建模为马尔可夫决策过程（MDP）的未知环境中运行的强化学习（RL）智能体面临着一个关键的安全挑战：标准的算法会不受限制地探索动作，不可避免地会选择可能具有危害性的动作。虽然存在旨在通过限制智能体动作来形式化保证安全的“屏蔽”（shielding）机制，但现有技术通常需要关于安全相关转移动力学的精确知识。在实际的强化学习场景中，这些动力学是未知的。

处理未知动力学的现有方法通常依赖于学习转移概率的点估计（例如，极大似然估计）。然而，这会引入破坏形式化安全保证的统计误差。另一种策略是学习转移概率周围的不确定性集合（例如，使用概率近似正确（PAC）界限），但现有的屏蔽框架与此类集合不兼容，因为它们是为具有精确概率的模型设计的。本文旨在填补这一空白，通过利用鲁棒马尔可夫决策过程（RMDP），提供一个为在未知 MDP 中运行的 RL 智能体提供屏蔽框架的方法。

方法论

作者提出了一个针对 RMDP 的新型屏蔽框架，其中转移概率由集合（不确定性集合）而非单一数值表示。该方法论分为两个主要阶段：

1. RMDP 的形式化框架

论文将 RMDP 定义为智能体（选择动作）与对手（从不确定性集合中选择转移概率）之间的博弈。安全通过线性时序逻辑（LTL）公式定义，特别关注会导致违反规则的“坏前缀”安全片段。

屏蔽定义： 屏蔽被定义为一个对 $(D, \Gamma)$ ，其中 $D$ 是一个可控监视器（扩展了标准监视器并增加了辅助动作）， $\Gamma$ 将观测状态和监视器状态映射到允许的动作概率分布集。
构建： 屏蔽是在 RMDP 的有限安全抽象上构建的。它利用一个归纳值函数 $\beta$ ，该函数作为到达“坏”状态（违反 LTL 公式）概率的鲁棒上界。屏蔽将智能体限制在满足以下条件的动作范围内：即最坏情况下的预期下一个“违规预算”仍保持在当前预算内。
理论保证： 作者证明了对于给定的 RMDP，所构建的屏蔽是：
- 可靠的（Sound）： 由屏蔽允许的每个策略在最坏情况下的对手面前都能满足安全规范。
- 最优的（近似）： RMDP 的每个安全策略都是可被屏蔽允许的（取决于值函数的近似误差 $\epsilon$ ）。如果值函数是精确的，则该屏蔽是精确最优的。

2. 通过学习实现未知 MDP 的屏蔽

该框架通过学习流水线实例化为未知 MDP：

学习 RMDP： 使用 Clopper-Pearson 置信区间从采样转移中学习转移概率，以构建 PAC 不确定性集合。这产生了一个以高置信度（ $1 - \delta$ ）“包含”真实 MDP $M$ 的学习到的 RMDP $\hat{M}$ 。
屏蔽合成： 使用上述鲁棒值迭代方法在学习到的 RMDP $\hat{M}$ 上计算屏蔽。
部署： 将屏蔽部署在真实的（未知的）MDP 上。智能体与环境交互，但其动作选择受限于由 $\hat{M}$ 推导出的屏蔽。

论文确立了：如果学习到的 RMDP 以高置信度包含真实的 MDP，那么在该 RMDP 上构建的屏蔽将以相同的置信度保证真实 MDP 的安全性。此外，随着样本数量的增加，不确定性集合会收紧，屏蔽的保守性也会降低，从而允许智能体接近真实 MDP 的最优回报。

核心贡献

新型 RMDP 屏蔽框架： 本文引入了第一个专门为 RMDP（具有转移概率集合的 MDP）设计的屏蔽框架，解决了现有方法需要精确动力学的局限性。
可靠性与最优性证明： 作者提供了严密的证明，表明其屏蔽在最坏情况动力学下是可靠的（保证安全），并且对于 RMDP 是近似最优的（允许接近最优的回报）。
与 PAC 学习的集成： 该工作将鲁棒屏蔽与现有的采样方法相结合，以实现具有 PAC 保证的转移概率学习。这使得构建能为未知 MDP 提供高置信度安全保证的屏蔽成为可能。
实证验证： 该方法在多个环境（媒体流传输、彩色炸弹网格世界、吃豆人）中进行了评估，并与使用精确 MDP 和极大似然估计（MLE）的基准方法进行了对比。

结果

实验结果展示了数据可用性与屏蔽保守性之间的权衡：

安全保证： 在各种样本规模下，所提出的鲁棒屏蔽（Kno 和 Unk 设置）始终满足要求的安全性规范概率（ $1-p$ ），而基于 MLE 的屏蔽经常违反安全阈值，特别是在样本量较小或中等时。
性能恢复： 随着样本数量的增加，学习到的 RMDP 中的不确定性集合变得更加紧凑。因此，鲁棒屏蔽变得不再那么严格，受保护智能体的预期回报向具有完全 MDP 知识的智能体的性能收敛。
处理未知图结构： 该框架能够成功处理 MDP 图结构未知的案例（Unk 设置），前提是假设存在一个最小转移概率，尽管这需要更高的最小样本量来可靠地学习图结构。

意义与主张

论文声称为未知转移动力学下的 RL 安全探索问题提供了正式的解决方案。通过从点估计转向不确定性集合（RMDP），作者认为可以构建出既能提供形式化、高置信度安全保证，又不需要完美环境知识的屏蔽机制。

其意义在于弥合了形式化方法（通常假设模型已知）与数据驱动 RL（在未知模型下运行）之间的鸿沟。作者强调，虽然鲁棒方法在数据有限时可能较为保守，但这种保守性是确保安全的必要权衡。随着数据的积累，该方法会自然地放宽限制，使智能体能够在保持安全的同时实现强大的预期回报。这与使用点估计的最前沿方法形成了对比，论文证明了由于未建模的统计不确定性，后者可能会导致不安全行为。

这项工作本身已成为迈向“安全自主”的重要一步，特别是在模型不确定性固有的安全关键场景中，为缺乏有限样本保证的启发式安全约束或方法提供了一个具有理论依据的替代方案。