⚡ electrical engineering

Provably Safe, Yet Scalable Reinforcement Learning

本文介绍了 PS2-RL，这是一种新颖的两阶段框架，通过训练一个学习到的备份策略来在线生成隐式控制不变集，并利用可微投影层对其进行强制执行而不限制底层的强化学习算法，从而实现了具有理论证明的安全性且可扩展的强化学习。

原作者： Kai S. Yun, Zeyang Li, Navid Azizan

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Kai S. Yun, Zeyang Li, Navid Azizan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“野孩子”与“严厉守护者”

想象一下，你正在教一个机器人（或自动驾驶汽车）完成一项艰巨的任务，比如在赛道上驾驶赛车，或者在风暴中驾驶无人机。你希望机器人既要快速且技术高超（高性能），又要百分之百安全（绝不撞车或撞墙）。

“野孩子”（标准 AI）： 现有的 AI 方法就像野孩子。它们通过试错来学习。它们能把任务做得非常出色，但由于它们没有被正式教授物理规则，可能会发生意外碰撞。它们是“经验安全的”（目前还没撞车），但无法保证明天不会撞车。
“严厉守护者”（旧的安全方法）： 其他方法试图通过在机器人周围建立一个僵硬的笼子来强制实现安全。它们会预先计算出所有可能的安全路径。问题在于，对于复杂的机器人（例如一个 10 维的无人机），计算这个“笼子”需要耗费极长的时间。为了让它奏效，人们不得不把笼子造得非常小且保守，导致机器人几乎无法移动。它虽然安全，但因为太慢、太僵硬而变得毫无用处。

目标： 我们需要一个既拥有“野孩子”般的技能，又具备“严厉守护者”般的安全性，且不需要那个缓慢、僵硬笼子的机器人。

解决方案：PS2-RL（“两阶段”团队）

作者提出了一种名为 PS2-RL 的新框架。你可以把它想象成一个由两人组成的协作团队：一位恢复专家（Recovery Expert）和一位表现运动员（Performance Athlete）。

第一阶段：训练“恢复专家”（备份计划）

在机器人尝试执行主要任务之前，它首先要学习一个“备份计划”。

类比： 想象一名体操运动员学习如何安全地摔倒。如果他们滑倒了，他们知道如何精确地扭转身体，以便稳稳地落在双脚上并停止翻滚。
运作原理： AI 学习一种“安全到达策略”（Safe-Arrival Policy）。这并不是关于赢得比赛，而是关于如何将机器人从安全区域内的任何位置引导回一个微小的、超级安全的“家园基地”（比如一个停车位），且过程中不发生碰撞。
创新点： 旧的方法使用简单的、预先写好的数学公式来进行这种恢复（例如基础的 LQR 控制器）。本文使用 AI 来学习一个更聪明的恢复计划。这使得机器人能够从比以前更危险的情况中恢复过来，从而有效地扩大了“安全区”。

第二阶段：训练“表现运动员”（主要任务）

现在机器人已经拥有了一个超级聪明的备份计划，我们再训练它去完成实际的工作（比如飞行一个大回环）。

类比： 想象一名一级方程式赛车手。他们可以尽可能快、尽可能激进地驾驶，但是他们的方向盘上连接着一个“安全过滤器”。
运作原理： AI 尝试高速驾驶。如果它试图做出一个会导致碰撞的动作，**控制不变层（Control-Invariant Layer，即安全过滤器）**会立即拦截该指令。它不会停止车辆，而只是将方向盘轻微转向到最接近的安全角度，以确保车辆保持在赛道内。
神奇之处： 因为这个过滤器是“可微的”（数学上平滑的），所以 AI 可以通过它进行学习。AI 会学到：“如果我在这里转弯过猛，过滤器就会纠正我，我会损失时间。”因此，AI 学习如何在不越界的前提下，紧贴着安全的边缘进行驾驶，从而在保持安全的同时实现速度最大化。

为什么这意义重大

1. 它具有可扩展性（适用于大型复杂机器人）
旧的安全方法试图在机器人开始移动之前，映射出整个“安全宇宙”。对于一个拥有 10 个运动部件的机器人（例如具有位置、速度和旋转维度的无人机），这就像试图绘制一张月球大小城市的地图。这是不可能完成的任务。

PS2-RL 的窍门： 它不尝试绘制整座城市，而是只问：“如果我走这条路，我的备份专家能把我带回家吗？”它在运行过程中实时计算。这使得它足以应对复杂的高维机器人。

2. 它是“可证明安全的”（并非靠猜）
许多 AI 安全方法说：“我们认为它是安全的。”PS2-RL 则说：“我们知道它是安全的。”

保证： 由于该系统建立在数学基础（备份控制障碍函数，Backup Control Barrier Functions）之上，作者可以从数学上证明，只要机器人从安全位置出发，无论任务多么疯狂，它都永远不会离开安全区域。

3. 它并不保守（它不会畏缩不前）
因为“恢复专家”学习了一种聪明的回家方式，所以“安全过滤器”不必过于严格。机器人可以承担风险并激进驾驶，因为它知道自己拥有比以前更好的安全网。

结果：实验测试

作者在两个场景中测试了该方法：

独轮车（车道保持）： 一个试图在一条带有弯曲路径（路径会超出车道）的路径上保持在车道内的简单机器人。
- 结果： PS2-RL 始终 100% 保持在车道内，并且比其他方法更好地追踪了路径。
四旋翼无人机（动力回环）： 一个 10 维无人机，试图在进行翻转的同时完成一个垂直回环，其中回环顶部非常接近一个它绝不能撞到的“天花板”。
- 结果： 这是一个极其困难的任务。其他方法要么发生碰撞，要么为了安全而飞得非常慢。PS2-RL 完美地完成了回环，100% 保持在天花板下方，并且比次优方法更快、更精准。

总结

PS2-RL 就像是给赛车手配备了一位聪明的副驾驶。驾驶员（AI）为了赢得比赛而挑战极限。副驾驶（学习到的备份策略）观察着道路，并在驾驶员过于靠近边缘时，瞬间将车辆转向安全方向。其结果是，这辆车既快速又保证不会撞车，即使是在别人都无法驾驭的危险赛道上。

技术摘要：可证明安全且具扩展性的强化学习 (PS2-RL)

问题陈述

安全强化学习 (Safe RL) 旨在学习既能最大化任务奖励，又能严格满足安全约束的策略。现有方法主要分为两类，但两者都存在显著局限性：

软约束优化 (Soft-Constrained Optimization)： 使用拉格朗日松弛或神经证书函数的方法虽然在经验上取得了成功，但缺乏形式化保证。因此，它们无法防止部署期间发生灾难性故障。
严格保证方法 (Strictly Guaranteed Methods)： 依赖于显式证书函数（例如控制障碍函数 Control Barrier Functions 或安全指数 Safety Indices）的方法提供了形式化安全性，但需要合成和验证控制不变集。这一过程在处理高维系统时扩展性极差，往往变得在计算上不可行，并导致过于保守的行为。

核心挑战在于开发一种强化学习框架，既能为高维、输入受限的系统提供可证明的安全保证，又不会牺牲性能或扩展性。

方法论：PS2-RL 框架

作者提出了 PS2-RL（可证明安全且具扩展性的强化学习），这是一种两阶段架构，它避免了显式合成全局不变集，而是利用学习到的备份策略在线生成一个隐式控制不变集。

第一阶段：学习安全到达策略

第一阶段侧重于扩大安全区域。系统由一个小的、经过认证的基础集 $B$ （例如，LQR 稳定的平衡点）和一个基础控制器 $\pi_B$ 锚定。目标是学习一个安全到达策略 ( $\pi_{SA}$ )，该策略能将系统从更大的状态空间引导进入 $B$ ，同时保持在安全集 $S$ 内。

安全到达价值函数： 作者引入了一个新的目标函数——安全到达价值函数，它作为一个基于指标的奖励。它量化了策略在进入失败集 $F$ $F$ 之前安全到达 $B$ $B$ 的能力。
- 它满足自一致性条件和贝尔曼方程，允许使用标准 RL 流水线（如 TD3、SAC）来训练策略。
- 该目标鼓励时间最优的安全恢复，从而有效地扩大了备份诱导控制不变集 ( $C_T(\pi_b)$ )。该集合由所有能在时界 $T$ 内在不违反安全的情况下到达 $B$ 的状态组成（其中复合备份策略为 $\pi_b = \pi_{SA}$ 在 $B$ 之外， $\pi_B$ 在 $B$ 之内）。

第二阶段：带有控制不变层的端到端训练

第二阶段训练特定任务的 RL 策略 ( $\pi_\phi$ )，以最大化奖励，同时严格遵守由第一阶段固定的备份策略所诱导的安全约束。

控制不变层 (Control-Invariant Layer, CIL)： 作者构建了一个可微投影层，将 RL 策略的标称输出映射到 BCBF 可容许输入集 ( $K_{BCBF}$ $K_{B C B F}$ )。
- 该集合由备份控制障碍函数 (BCBF) 约束定义，在给定固定备份流的情况下，这些约束对控制输入 $u$ 是仿射的。
- 该层通过求解二次规划 (QP) 问题，寻找最接近标称策略输出且满足安全约束的控制输入。
可微性： 至关重要的是，该 QP 求解器是可微的。这使得梯度可以在训练过程中通过安全投影进行端到端的传播。RL 策略学习在经过认证的安全集内优化性能，而不是学习一个随后被非可微屏蔽器修补的策略。

核心贡献

PS2-RL 框架： 一种两阶段架构，通过学习备份展开（rollouts）和控制空间投影，实现了高维系统的形式化安全保证，而无需合成显式的全局不变集。
安全到达价值函数： 一个编码了向目标集进行时间最优安全恢复的新目标函数。它允许贝尔曼方程，从而能够训练神经备份策略，其经验上比分析方法（如 LQR）产生的安全区域显著更大。
控制不变层： 一个强制执行 BCBF 约束的可微投影层。作者证明了该层保留了底层神经网络的通用近似属性，确保安全强制执行不会损害策略的表达能力。
理论保证： 建立了全面的证明，表明：
- 复合 PS2 策略属于安全策略类 ( $\Pi_{safe}$ )。
- 该框架解决了原始安全 RL 问题的认证内近似问题。
- 投影层保持了策略网络的近似能力。

实验结果

该框架在两个具有故意不安全参考轨迹的跟踪任务上进行了评估：

独轮车车道保持 (3D 状态)： PS2-RL 在所有种子下均实现了 100% 的安全性，并在保持安全性的同时，在跟踪精度（横向和航向 RMSE）方面优于所有基准方法。与使用分析备份策略 (PS2ABP) 相比，它显著降低了保守性。
四旋翼动力环 (Quadrotor Powerloop, 10D 状态)： 该任务涉及一个具有紧凑执行器限制和高相对阶高度约束的 10 维系统。
- PS2-RL 实现了 100% 的安全性，而依赖于期望成本约束 (CMDP) 或软惩罚的方法经常违反安全性。
- 与具有形式化安全机制的基准方法（CBF-RL、模型预测屏蔽/Model Predictive Shielding）相比，PS2-RL 展示了大幅降低的跟踪误差（RMSE 减少约 40–70%）。
- 学习到的安全到达策略将任务相关近天花板状态的可恢复性从 60.9%（分析法）提高到了 85.9%。

消融研究： 在部署时移除控制不变层会导致安全性降至 0%，证实了该层对于保证安全性的必要性。相反，仅将该层作为事后过滤器（而不进行端到端训练）会导致跟踪性能下降 43–53%，凸显了通过可微投影进行训练的必要性。

意义与主张

论文声称 PS2-RL 成功弥合了可证明安全性与扩展性之间的鸿沟。通过使用学习到的备份展开和可微控制空间投影取代难以处理的全局不变集合成，该框架使得在高维系统（实验中高达 10 个状态）上的安全 RL 成为可能，而之前的可证明安全方法在这些系统中往往难以实现或变得不切实际。

作者强调，该方法对底层 RL 算法没有限制，可以集成到现有的训练流水线中。理论结果确认，该方法在提供硬安全保证的同时，保留了复杂机器人控制任务所需的高性能和高表达能力。

承认局限性： 形式化保证依赖于可用控制仿射分析动力学模型或可微模拟器。作者指出，将该框架扩展到不确定动力学和基于感知的约束，以及硬件部署，仍是未来的工作方向。