🤖 machine learning

Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning

本文提出了一种用于安全强化学习的自适应概率屏蔽框架，该框架通过整合在线模型学习，从初始未知的马尔可夫决策过程（MDP）中估计转移概率，从而动态地计算并更新安全约束。

原作者： Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand Larsen (Aalborg University, Aalborg, Denmark), Christian Schilling (Aalborg University, Aalborg, Denmark)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，机器通过尝试各种方法来学习如何做出决策，就像孩子通过跌倒并重新站起来来学习走路一样。这种被称为“强化学习”的过程，允许软件智能体通过与环境交互并从良好的选择中获得奖励，从而发现解决问题的最佳方式。然而，在现实世界中，一步错可能导致灾难性的后果。自动驾驶汽车无法承担为了测试某种危险动作是否可行而进行的尝试；医疗机器人也不能在摸索最安全路径的过程中冒着伤害患者的风险。这造成了一种根本性的张力：为了有效地学习，智能体必须进行探索；但为了保持安全，它必须避开未知。多年来，研究人员一直试图通过构建一个“屏蔽器”（shield）来解决这个问题——即一个能够拦截智能体可能采取的任何可能导致灾难的行为的安全卫士。问题在于，传统的屏蔽器需要一个完美的、预先存在的世界地图，包括对每种可能结果的精确概率。在充满变数的物理现实世界中，在智能体开始学习之前，这种完美的地图几乎并不存在。

一组研究人员开发出了一种处理这一困境的新方法，创建了一个让安全屏蔽器随智能体同步学习和适应的系统。该方法并不等待完美的地图，而是假设智能体了解环境的总体布局——即它可以去哪些地方以及可以采取哪些行动——但并不知道这些行动会导致何种结果的具体概率。随着智能体的探索，它会收集关于移动时实际发生了什么的资料。随后，一个计算机程序利用这些新鲜的数据来构建对世界规则的估计，从而填补缺失的概率。基于这种估计，系统构建了一个安全屏蔽器。最初，由于数据稀缺，屏蔽器非常谨慎，会拦截许多行动以确保万无一失。但随着智能体积累更多经验，估计变得更加精准，不确定性随之缩小，屏蔽器也会放宽限制，允许智能体进行更高效的冒险。这创造了一种伙伴关系，即智能体和它的安全卫士共同进步，确保智能体在学习如何变得高效的同时保持安全。

研究人员在几个模拟世界中测试了这个想法，范围涵盖了从避免与其他飞机碰撞的飞机到在捕食者周围导航的蚂蚁。在这些环境中，智能体必须在避开特定危险的同时达到目标，而此时发生滑倒或失败的具体概率对其而言是隐藏的。他们将这种自适应方法与另外两种方法进行了对比：一种是完全没有安全卫士的智能体，另一种是基于已知完整世界的完美屏蔽器。结果显示，这种自适应方法表现得非常成功。它学习到的策略几乎与完美屏蔽器一样安全，同时避免了没有卫士保护时频繁发生的危险碰撞。在某些情况下，这个自适应系统甚至找到了比完美屏蔽器更好的路径，因为其早期的谨慎探索引导它发现了被静态、预先计算的屏蔽器所忽略的有益路径。

一个关键发现是，当新数据进入时定期更新安全屏蔽器，系统效果最佳。如果屏蔽器更新得太慢，智能体会陷入过度谨慎的状态，无法利用已获得的知识；如果更新得太频繁，系统会花费过多时间在重新计算安全性上，而不是学习。研究人员发现了一个平衡点，即每隔一千个学习周期更新一次屏蔽器，这使得智能体能够在不停滞进度的情况下精炼其对世界的理解。他们还发现，系统估计概率的方式至关重要。一些假设未知数据处于最坏情况的方法往往过于保守，而一些稍微乐观一点的方法则允许智能体更自由地探索。最有效的方法采用了一种平衡策略，既保持安全，又不会仅仅因为数据尚不完美就阻碍潜在的有益行动。

这项研究还强调了一个关于智能体如何探索的微妙但重要的细节。当智能体决定尝试一个随机行动以学习新知识时，系统允许它从所有可能的行动中进行选择，即使是那些当前屏蔽器认为不安全的行动。这看似违反直觉，但它防止了智能体被困在世界的某个狭小、安全的角落里。通过偶尔涉足屏蔽器当前限制之外的区域，智能体能够收集到证明这些限制可以被安全扩展所需的资料。如果没有这种探索未知的自由，屏蔽器就永远无法学会变得不再那么保守。研究人员观察到，在复杂的环境中，这种承担计算风险的意愿对于找到最佳路径至关重要。

最终，这项工作表明，安全与学习并不一定是敌人。通过将安全屏蔽器视为一个并非固定围墙、而是随智能体经验不断演进的“活指南”，我们可以在事先没有完美地图的情况下导航危险环境。该系统证明，只要安全机制足够灵活，能随着智能体对世界理解的加深而成长，智能体就可以学会在保持安全的同时变得精通。这种方法为在规则尚不完全明确的现实场景中部署智能系统提供了一条切实可行的路径，确保了通往精通的旅程不会以牺牲安全为代价。

技术摘要：通过学习 MDP 实现自适应概率屏蔽，以实现安全强化学习

问题陈述

安全强化学习（Safe Reinforcement Learning, RL）通常依赖于**概率屏蔽（probabilistic shielding）**技术，即通过一个静态的“屏蔽器”来约束智能体的动作，以确保满足安全约束。传统上，这种屏蔽器是根据完全指定的马尔可夫决策过程（MDP）模型计算得出的。然而，在典型的强化学习应用中，环境的转移概率是未知的，这使得标准的屏蔽技术无法适用。

现有方法通过两步过程来弥补这一差距：首先收集数据（通常是不安全的），以学习完整的 MDP 模型，然后计算屏蔽器。这在对安全性要求极高的现实场景中是行不通的，因为在数据收集阶段就必须维持安全性。

本文解决了这样一个问题：在 MDP 拓扑结构（状态-动作图）已知但转移概率未知的情况下进行安全强化学习。 目标是在对转移动力学先验知识不足的情况下，学习一个既能最大化奖励又能遵守安全约束的策略。至关重要的是，作者承认虽然安全违规可能无法完全避免，但该方法强调在探索和模型学习阶段尽可能减少此类违规，而非追求零违规的保证。

方法论

作者提出了一种**自适应概率屏蔽（Adaptive Probabilistic Shielding）**范式，该范式将模型估计、屏蔽合成和策略学习集成到一个在线循环中。

1. 核心架构

该方法运行在一个未知的 MDP ( $M$ ) 上，该 MDP 具有已知的底层转移结构（即未知的 MDP 或 $M_U$ ）。系统由三个相互作用的组件组成：

RL 智能体： 使用 Q-learning 来学习策略 $\pi$ 。
模型估计器： 根据观察到的转移 $(s, a, s')$ 持续更新转移概率的估计值。
自适应屏蔽器： 一个运行时监控器 $\nabla$ ，根据当前的模型估计值来限制智能体的动作。

2. 模型估计与区间 MDP (iMDPs)

由于精确的概率是未知的，系统构建了区间 MDP (iMDPs)。iMDP 通过收集的数据定义转移概率的上界和下界，而非点估计。论文评估了三种特定的估计器：

MAP (最大后验估计)： 生成带有加性平滑的点估计。
PAC (可能近似正确)： 使用霍夫丁不等式（Hoeffding's inequality）生成概率区间，以保证真实的 MDP 以高概率落在估计的区间内。
LUI (线性更新区间)： 根据观测到的频率和先验强度迭代更新概率区间，虽然没有严格的 PAC 保证，但具有收敛特性。

3. 屏蔽合成

使用概率模型检查器 PRISM，基于估计的 iMDP 合成屏蔽器。屏蔽器确保对于给定的时界 $h$ ，到达不安全状态的概率保持在阈值 $\theta$ 以下。

鲁棒（悲观）屏蔽： 假设区间内存在最坏情况的转移概率（最小化安全性概率）。这种方式较为保守，但能够应对估计误差带来的风险。
乐观屏蔽： 假设存在最佳情况的转移概率（最大化安全性概率），从而允许更多的探索。
回退机制： 如果没有任何动作能满足严格的安全阈值 $\theta$ ，屏蔽器会允许那些与最安全可用动作距离为 $\kappa$ 的动作，以防止智能体被完全锁定在环境之外。

4. 自适应循环 (算法 1)

算法按回合（episode）进行。每经过 $u$ 个回合（更新延迟），系统执行以下操作：

聚合转移数据库 $D$ 。
使用选定的估计器重新估计 iMDP。
基于更新后的 iMDP 合成新的屏蔽器。
在新的屏蔽器下继续训练 RL 智能体。

探索策略： 为了防止屏蔽器抑制探索（即产生一个“保守陷阱”，使智能体无法收集数据来完善模型），作者扩展了 $\epsilon$ -greedy 策略。当智能体选择“探索”（概率为 $\epsilon$ ）时，它会从全动作空间 $A$ 中选择一个随机动作，忽略屏蔽器的限制。这确保了那些潜在安全但当前尚未验证的动作仍能被测试，从而允许模型完善其估计。

核心贡献

自适应屏蔽范式： 本文引入了一种在线计算并更新概率屏蔽的方法，以应对传统屏蔽需要已知完整 MDP 模型的局限性。
集成估计与安全性： 提出了一个统一框架，其中模型估计、屏蔽更新和策略学习同时进行，旨在即使在初始的高不确定性阶段也能最大限度地减少安全违规。
对估计器的实证评估： 作者对 MAP、PAC 和 LUI 估计器进行了全面的比较，分析了它们的特定属性（如保守性、收敛速度、数据需求）如何影响安全性与奖励之间的权衡。
设计选择分析： 论文系统地研究了关键超参数，包括屏蔽更新的频率、前瞻时界（lookahead horizon, $h$ ）以及无屏蔽探索对学习效率的影响。

实验结果

该方法在五个环境中进行了评估：飞机 (Aircraft)、蚁狮 (Antlion)、陷坑 (Sinkholes)、十字路口 (Crossroads) 和重力 (Gravity)。主要发现包括：

安全性 vs. 性能： 自适应屏蔽方法实现的安全性水平与“预知真相”（oracle）基准（使用真实 MDP）相当，并且在安全性违规方面显著优于未屏蔽的 RL，尤其是在 Crossroads 和 Gravity 等高风险环境中。
估计器的影响：
- 鲁棒估计器（PAC/LUI）通常提供更安全的策略，但可能过于保守，如果初始估计范围过宽，有时会阻碍发现最优路径。
- 乐观估计器允许更多探索并通常获得更高的奖励，但如果估计不准确，则面临更高的安全违规风险。
- MAP 估计器往往无法进行充分探索，由于缺乏不确定性边界，容易陷入局部最优。
探索策略： 允许在屏蔽器当前容许集（UnifA）之外进行探索至关重要。如果将探索限制在仅限屏蔽容许动作（Unif $\nabla(s)$ ）内，往往会阻止智能体发现更好的路径，特别是在 Antlion 和 Gravity 环境中。
更新频率： 屏蔽更新的频率 ( $u$ ) 对性能有显著影响。更新过于频繁可能会导致学习不稳定，而更新过于滞后则会延迟安全性保证的完善。在不同环境中，不存在单一的最优更新延迟。
前瞻时界 ( $h$ )： 在复杂的环境中（如 Gravity），较长的时界通常能提高安全性，但在短时界任务（如 Aircraft）中则是多余的。

重要性与主张

本文声称，自适应概率屏蔽为在环境模型部分已知（仅已知拓扑）且转移概率必须在线学习的场景下，提供了一种切实可行的解决方案。

作者强调，其方法平衡了探索与利用的矛盾以及安全约束。通过允许屏蔽器随着模型的改进而进行调整，该系统避免了“保守陷阱”——即一个静态的、过度谨慎的屏蔽器会阻止智能体学习环境的真实动力学。这项工作证明，即使在学习过程中（而非仅仅在模型完全学习之后），也是可以维持安全性保证并显著减少违规行为的，这使得该技术适用于现实世界中违规成本极高的场景。

论文的观点保持了适度的克制，承认该方法依赖于已知状态-动作图的假设，承认安全违规可能无法完全避免，并指出根据特定环境特征对估计器和超参数进行精细调优是必要的。