🤖 AI

Conformal Reachability for Safe Control in Unknown Environments

本文提出了一种将符合预测（conformal prediction）与可达性分析相结合的新型框架，旨在为未知动力系统实现具有可证明安全性（provably safe）的控制，并通过广泛的实验证明，所生成的策略在不同领域中均能在保持高性能的同时，实现强大的概率安全性保证。

原作者： Xinhang Ma, Junlin Wu, Yiannis Kantaros, Yevgeniy Vorobeychik

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinhang Ma, Junlin Wu, Yiannis Kantaros, Yevgeniy Vorobeychik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人开车、驾驶无人机或平衡一根杆子。你希望机器人既快又高效（获得高“奖励”），但你也需要保证它永远不会撞车或摔倒。这就是**安全控制（Safe Control）**的核心挑战。

目前大多数 AI 方法的问题在于，它们就像是一个通过猜测来应付考试的学生。他们可能平均分很高，但如果你问他们：“你确定在这种特定情况下不会撞车吗？”他们无法给出数学上证明的“是”。他们依赖的是运气或过去的平均值，这在关乎生死的场景（如自动驾驶汽车）中是远远不够的。

这篇论文介绍了一种名为 ReCORS（基于共形不确定性集的强化学习可达性分析，Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees）的新方法。以下是其工作原理的拆解，采用了简单的概念：

1. 问题所在：“黑盒”与未知的道路

通常，要证明一个机器人是安全的，你需要精确了解世界是如何运作的（即物理规律）。但在现实世界中，“物理规律”往往是未知或混乱的（比如影响无人机的阵风）。

旧方法： 假设你完美掌握了规则，或者假设世界是简单的。如果世界实际上很复杂，安全保证就会失效。
本文的方法： 我们承认我们并不完美地了解规则。我们不是在猜测，而是在我们的预测周围构建一个“安全网”。

2. 解决方案：“安全网”（共形预测）

把**共形预测（Conformal Prediction）**想象成一种在机器人的预测路径周围绘制一个模糊、扩张气泡的方法。

系统不是说：“机器人在下午 2:00 会精确地在这里”，而是说：“我们有 95% 的把握确定机器人在 2:00 会处于这个特定的气泡范围内。”
论文使用了一种特殊的统计技巧来确保这些气泡的大小适中。如果气泡太小，机器人可能会滑出范围导致撞车；如果气泡太大，机器人会变得过于胆小而不敢移动。这种方法找到了一个“金发姑娘原则”（Goldilocks）下的理想大小，即即使机器人的内部模型不完美，也能在数学上保证捕捉到 95% 的情况。

3. 地图检查（可达性分析）

一旦系统为机器人旅程中的每一秒都绘制了这些气泡，它就会进行一次可达性分析（Reachability Analysis）。

想象你在检查一张地图。你观察机器人每一步可能存在的“气泡”。
系统会询问：“这个气泡的任何部分是否触碰到了‘危险区域’（如墙壁或悬崖）？”
如果答案是“不，气泡远离了危险”，那么该路径被证明是安全的。
如果气泡触碰了危险，机器人就知道它必须改变计划。

4. 训练：学习勇敢且谨慎

论文描述了一个训练过程（ReCORS），它同时教机器人两件事：

追求效率： 尝试获得最高分（跑得快、到达目标）。
保持安全： 调整其行为，使得“安全气泡”永远不会触碰到危险区域。

作者创建了一个特殊的“计分卡”（损失函数），如果机器人的安全气泡变得过大或离危险区域过近，就会对其进行惩罚。这迫使机器人学习一种既高性能又经过数学验证的安全策略。

5. 结果：“聪明驾驶员”

研究人员在七种不同的场景中测试了它，从平衡杆（Cartpole）到飞行无人机和驾驶汽车。

竞争对手： 他们将 ReCORS 与其他顶尖的 AI 安全方法进行了对比。
结果： 其他方法在时间跨度变长时（例如 20 秒后），往往无法提供“证明过的”安全保证。它们就像是能安全行驶几秒钟，但随后可能会撞车的驾驶员。
ReCORS： 它能够在更长时间内（50 秒以上）证明安全性，同时仍能快速行驶并获得高奖励。
权衡： 其他一些方法在某些游戏中得分略高，但它们是通过冒险实现的（本质上是在赌自己不会撞车）。ReCORS 是唯一一个能同时提供高水平性能和数学证明的防撞保证的方法。

总结类比

想象你正在悬崖上走钢丝。

旧 AI： 走得很快，并说：“我已经走过 100 次了，只掉下去过一次，所以我大概是安全的。”
ReCORS： 走得很快，但随身携带一个巨大的、隐形的、在数学上保证能接住你的安全网。它不断检查安全网的位置是否靠近悬崖壁。如果网离墙太近，它就会减速或调整路径。它向你证明：“我不会掉下去”，而无需牺牲你行走的步速。

论文得出结论，这种方法使我们能够构建出真正可以信任的自主系统，即使在那些我们无法完全理解其运行环境的情况下也是如此。

技术摘要：用于未知环境下安全控制的共形可达性研究

1. 问题陈述

本文旨在解决为在未知动力学环境中运行的自主系统设计具有可证明安全性控制策略的挑战。虽然强化学习（RL）推动了自主性的进步，但标准方法往往缺乏严格的安全保证，通常仅优化平均性能，或依赖于在安全性关键场景下失效的经验安全性。

现有的验证与综合技术面临显著局限性：

已知/确定性假设： 许多方法假设系统动力学是已知或确定性的，这在实际应用中极少成立。
有限状态/动作空间： 现有方法通常要求有限的状态或动作空间，限制了其在连续系统中的适用性。
可扩展性与平滑性： 诸如 Hamilton-Jacobi 可达性等形式化方法在处理复杂系统时扩展性较差，而许多基于学习的方法则假设动力学是平滑的或具有特定的模型形式（例如高斯过程）。
近似保证： 当前的安全强化学习方法通常仅提供“平均”安全性（例如通过约束 MDP），或仅在极限情况下提供保证，而非针对未知且具有潜在随机性的动力学提供有限时界的概率保证。

核心问题在于学习一个策略，在对系统动力学 $P$ 或奖励函数 $r$ 一无所知的情况下，在决策时界 $K$ 内最大化累积奖励，同时确保系统保持在安全集 $S_s$ 内，并提供严谨的高概率保证。

2. 方法论：ReCORS

作者提出了 ReCORS（用于具有安全性保证的强化学习的共形不确定性集可达性框架），该框架整合了基于模型与无模型强化学习、共形预测（Conformal Prediction, CP）以及可达性分析。

2.1 系统动力学逼近

该方法学习一个参数化的离散时间动力学模型 $\hat{f}_\beta$ （神经网络），将状态-动作对映射到预测的下一状态。

安全性感知训练： 与标准的动力学学习不同， $\hat{f}_\beta$ 的损失函数引入了安全性权重。对安全性约束更为关键的状态空间维度（例如，靠近障碍物的距离）被分配更高的权重。这优先保证了安全性关键维度的预测精度，即使这可能会略微增加整体预测误差。
训练流水线： 该模型首先在随机动作上进行预训练，然后利用从当前策略收集的数据进行迭代微调。

2.2 共形安全性分析 (CSA)

为了在不假设特定动力学分布的情况下提供概率保证，ReCORS 采用了共形预测。

不确定性量化： CP 被用于为动力学模型生成有效的预测区间（不确定性集）。对于给定的状态和动作，真实的下一状态以 $1-\alpha$ 的概率保证落在区间 $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ 内。
轨迹级边界： 为了避免在时间步上使用过于保守的联合界（union bounds），作者利用了轨迹级非一致性得分（基于 Cleaveland 等人 [12]）。它通过优化每个时间步的权重，在整个时界 $K$ 内产生更紧凑的边界。
可达性验证： 利用学习到的动力学 $\hat{f}_\beta$ 和共形不确定性边界 $\eta$ ，系统执行前向可达性分析。它验证在任何时间 $t \in [1, K]$ 内，可达状态集是否与不安全集 $S_u$ 相交。
初始状态分布： 该框架通过对经验验证结果应用有限样本尾部界（Hoeffding 不等式）来考虑初始状态分布 $\rho$ 的不确定性，从而确保安全性保证适用于整个分布，而不仅仅是采样的初始状态。

2.3 可微训练流水线

一项关键创新是使安全性验证过程变得可微，从而实现端到端的策略优化。

神经共形预测器： 一个独立的神经网络 $\eta_\omega$ 被训练用于预测共形阈值 $\eta$ 。这取代了标准 CP 中不可微的分位数计算。
损失函数：
- 共形损失： 结合了效率项（最小化预测集的大小）和覆盖项（确保经验覆盖率达到目标 $1-\alpha$ ）。
- 安全性损失： 显式惩罚时界内的最大安全性违规，并鼓励安全性得分从初始步到最终步的提升。
联合优化： 策略（Actor）、评论家（Critic）、动力学模型和共形预测器进行联合优化。总损失结合了标准 RL 奖励目标与共形及安全性损失。
课程学习： 该算法采用课程学习策略，从短安全性时界 $K_0$ 开始，随着策略实现可证明的安全性，逐步增加时界长度，从而允许系统循序渐进地学习复杂行为。

3. 核心贡献

共形安全性分析 (CSA)： 一种将共形预测与可达性分析相结合的新型框架，用于未知动力学系统中的学习型控制器。它提供了严谨的概率安全性保证，且无需假设动力学的平滑性或特定形式。
可证明的安全策略学习： 一个整合了无模型 RL（用于奖励最大化）与基于模型的实现可达性估计（用于安全性）的训练框架。它通过源自共形不确定性集的微分损失函数来强制执行硬性安全性约束。
一旦实现了这些目标，即可确保安全性。
全面的评估： 在七个环境（包括 Cartpole、车道跟随、2D/3D 四旋翼、CarGoal 和 HalfCheetah）中进行了广泛实验，涵盖了线性（仿射）和非线性安全性规范。

4. 实验结果

作者将 ReCORS 与五种最先进的基准方法（PPOLag, PCPO, CRPO, P3O, RESPO）进行了对比评估。

经过验证的安全性： ReCORS 取得了比所有基准方法显著更强的可证明安全性保证。例如，在 Cartpole 环境中，基准方法在时界 $K=20$ 之后无法提供有效的保证，而 ReCORS 在 $K \ge 50$ 时仍能保持高概率安全性。
奖励与安全性的权衡： 虽然某些基准方法实现了更高的奖励，但它们是以牺牲安全性为代价的（频繁发生违规）。ReCORS 是唯一能够持续实现高性能与经验证安全性平衡的方法。在某些领域（如 2D 四旋翼），ReCORS 在奖励和安全性方面均优于所有基准方法。
非线性约束： 该方法成功处理了非线性安全性约束（例如 2D 四旋翼中的安全距离），优于那些要么无法验证安全性，要么导致过于保守行为（如无人机保持静止）的基准方法。
消融研究： 结果证实了动力学训练中安全性权重以及动力学模型与不确定性模型联合优化的重要性。

5. 重要性与主张

本文声称提出了一种新颖的方法，弥合了高性能学习与未知环境下严谨安全性验证之间的鸿沟。其重要性在于：

消除限制性假设： 与以往工作不同，它不假设动力学是已知的、确定性的或平滑的，也不要求有限的状态空间。
无分布限制的保证： 通过利用共形预测，它提供了统计校准的、无分布限制的不确定性量化，使安全性保证对模型误差和未知的随机性具有鲁棒性。
可扩展性： 与基于偏微分方程（PDE）的 Hamilton-Jacobi 方法相比，离散时间有限步可达性公式在处理复杂系统时具有更好的扩展性。
实际应用价值： 该方法在多种领域中均表现出色，为追求安全性不容妥协的可靠自主系统提供了一条可行路径。

作者也承认了局限性，指出当前方法假设系统状态是完全可观测的，这仍是未来研究中待解决的开放性问题。