⚡ electrical engineering

Uncertainty-Aware Predictive Safety Filters for Probabilistic Neural Network Dynamics

本文介绍了一种不确定性感知预测安全过滤器（UPSi），这是一个将概率集成神经网络与严谨的可达集验证相结合的新型框架，旨在为基于模型的强化学习提供可扩展且具有安全保证的探索，同时不牺牲性能。

原作者： Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Bernd Frauenknecht, Lukas Kesper, Daniel Mayfrank, Henrik Hose, Sebastian Trimpe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人玩电子游戏，但有一个特别之处：机器人通过尝试各种方法来学习，有时还会进行一些大胆的猜测来观察结果。这被称为强化学习（Reinforcement Learning），也是机器如何掌握复杂任务（如驾驶汽车或下国际象棋）的方式。但这里有一个巨大的问题：如果机器人的“大胆猜测”过于疯狂，它可能会撞车或导致游戏崩溃。我们需要一种方法，既能让机器人探索和学习，又能能在危险发生前及时阻止它。

为了解决这个问题，科学家们使用了一种叫做“预测性安全过滤器”（Predictive Safety Filter）的技术。把它想象成一个超级聪明的守护天使，或者是一个严厉的教练，站在机器人身边。在机器人做出动作之前，教练会在脑海中进行快速模拟：“如果它跳到那里，会撞到墙吗？”如果答案是“可能”，教练就会介入，并将机器人的动作改为更安全的动作。传统上，这些教练非常谨慎，需要对世界有一个完美的教科书式描述才能工作。但现实世界是混乱且复杂的，因此旧的教练往往会陷入困境，或者无法处理复杂的游戏。本文介绍了一种全新的教练，它既超级聪明又非常谨慎，能够让机器人在不受伤的前提下更快地学习。

问题所在： “黑盒”教练

在机器学习领域，有一个流行的工具叫做“概率集成”（Probabilistic Ensemble，简称 PE）。想象一下你有一支由五位不同专家（神经网络）组成的团队，试图预测游戏中下一步会发生什么。你不仅仅信任其中一位，而是询问所有五位专家并查看他们的答案。如果他们意见一致，你会感到很有信心；如果他们意见分歧，你就知道你处于一个模型不太了解的“迷雾”区域。这对于学习复杂事物非常有帮助，但它有一个缺陷：有时这支专家团队会在迷雾中过度自信。即使他们实际上是在胡乱猜测，他们也可能说：“我们 100% 确定你不会撞车。”

以往使用这些“专家团队”作为安全教练的尝试之所以失败，是因为它们缺乏一种严格的方法来检查这支团队是否真的在陈述事实，还是仅仅在产生幻觉。它们就像一个只说“我觉得你是安全的”，却完全没有查看地图的教练，导致机器人在尝试过于冒险的行为时发生事故。

解决方案：UPSi（“哎呀，瞧瞧”过滤器）

论文作者引入了一个名为 UPSi（读作 "oop-see"）的新系统，全称是 不确定性感知预测安全过滤器（Uncertainty-Aware Predictive Safety Filter）。

把 UPSi 想象成一个不仅询问专家答案，还会检查专家信心水平的安全教练。它使用一种巧妙的数学技巧，在机器人的可能未来路径周围绘制一个“安全气泡”。

安全气泡： UPSi 不仅仅是猜测一条单一的未来路径，它还会计算出一个机器人可能到达的整个“云团”。它确保这整个云团都保持在“安全区域”内（比如留在赛道上）。
确定性检查： 这是神奇之处。UPSi 有一条特殊规则：“只有当专家处于‘确定集’中时，我们才信任他们。”如果机器人试图移动到一个专家感到困惑（高不确定性）的区域，UPSi 会说：“不，我对这个区域了解不够，无法保证安全。我们不要去那里。”这防止了机器人通过误导模型，让模型误以为一个危险的动作是安全的。

实际应用中的运作方式

研究人员在三个不同的模拟世界中测试了 UPSi：

单摆（Pendulum）： 一个试图向上摆动而不进入禁区的机器人手臂。
倒立摆（Cartpole）： 一个经典的平衡动作，其中一根杆必须在移动的小车上保持直立。
无人机（Drone）： 一个试图在不坠毁的情况下达到目标高度的飞行机器人。

在这些测试中，他们将 UPSi 与其他安全过滤器进行了对比。结果非常明确：

更少的碰撞： 与之前的方案相比，UPSi 能更频繁地阻止机器人做出危险动作。在倒立摆测试中，旧方法失败（碰撞）的概率为 7.15%，而 UPSi 仅为 0.75%。
学习效果同样出色： 尽管 UPSi 非常谨慎，但机器人学习玩游戏的效果与没有过滤器时一样好。它并没有减慢学习进程。

“如果……会怎样”与“有多确定”

作者对自己的主张非常谨慎。他们不仅仅是猜测 UPSi 有效，还通过数学证明了他们的“安全气泡”（称为可达集，reachable sets）足够大，可以捕捉到每一种可能的结果，即使机器人的世界模型稍有偏差。他们证明了，只要机器人保持在这些气泡内，在数学上就能保证其安全性。

然而，他们也承认，目前的版本在处理非常复杂的场景（如快速飞行的无人机）时，实时性略显不足。在他们的模拟中，根据复杂程度的不同，过滤器做出决策所需的时间在 0.04 秒到 25 秒之间。虽然这对于他们进行的测试来说已经足够快，但他们指出，要让它快到足以应对现实世界中瞬息万变的决策，仍是未来的一个挑战。

核心总结

这篇论文弥合了两个世界之间的鸿沟：现代 AI 灵活、强大的学习能力，以及传统工程学严谨、可靠的安全保障。UPSi 表明，我们可以使用强大且依赖数据的 AI 模型来教授机器人复杂的技能，只要我们为它们包裹上一层“懂得何时承认自己不知道”的安全过滤器。这是迈向让机器人能够在探索未知的同时，又不破坏现实世界的关键一步。

技术摘要：用于概率神经网络动力学的确定性感知预测安全滤波器

问题陈述

深度强化学习（RL）在探索安全性方面面临重大挑战。虽然预测安全滤波器（PSF）通过利用模型预测控制（MPC）的概念提供了严格的安全保证，但其在实际中的应用往往受限于对第一性原理模型或高斯过程（GP）的依赖。这些传统的模型类别要么需要大量的先验领域知识，要么无法随着大规模数据集和高维系统进行有效扩展。相反，现代基于模型的强化学习（MBRL）方法利用概率集成（PE）神经网络从数据中学习复杂的高维动力学，且对先验知识的需求极低。然而，现有的将 PE 模型集成到 PSF 中的尝试缺乏严谨的不确定性量化，导致其安全检查往往基于启发式方法，在高度认识论不确定性（epistemic uncertainty）下容易受到模型利用（model exploitation）的影响。

方法论

作者提出了不确定性感知预测安全滤波器（UPSi），该框架将基于 PE 的 MBRL 的可扩展性与 MPC 的严谨安全保证相结合。UPSi 在 Dyna 式 MBRL 架构（如 MBPO）内运行，并将未来结果表述为可达集，以强制执行约束满足。

核心组件

概率集成动力学： UPSi 使用由 $E$ 个神经网络组成的 PE 模型来逼近系统动力学。该模型通过集成差异将偶然不确定性（不可约的过程噪声）与认识论不确定性（数据缺失）区分开来。
确定集（ $C_j$ ）： 为了防止模型利用，UPSi 定义了一个“确定集” $C_j \subseteq S \times A$ 。在该集合内，模型的预测不确定性足够低。该集合是利用基于传感器融合原理的卡尔曼增益度量来确定的，确保仅在模型具有充足数据支持的地方才信任预测。
可达集构建：
- 该方法通过沿名义轨迹传播椭圆管（ellipsoidal tubes）来过近似估计鲁棒可达集（RRS）。
- 管状形状矩阵 $P_{n|t}$ 通过传播偶然方差并考虑线性化误差来进行更新。
- 至关重要的是，作者推导出了由一阶泰勒展开近似非线性动力学所导致的**线性化误差（ $e_{max}$ ）**的严谨上界。该误差被显式地添加到形状矩阵传播中，以确保计算出的可达集是真实系统行为的有效过近似。
安全滤波器公式化： 安全滤波器在每个时间步求解一个约束优化问题。它寻求一个动作序列，在满足以下条件的同时，最小化与 RL 智能体提出的动作之间的偏差：
- 状态和输入约束（ $S, A$ ）。
- 终端集约束（ $T_j$ ）。
- 确定性约束： 轨迹上的所有预测状态-动作对必须保持在确定集 $C_j$ 内。这通过基于不确定性度量的 Lipschitz 连续性来通过收紧约束来实现。
终端集扩展： 为了减少保守性，终端集 $T_j$ 使用数据驱动的方法进行迭代扩展。来自以往回合的可行轨迹被用于近似一个更大的可控集，从而允许智能体在保持安全的同时进行更广泛的探索。

主要贡献

本文提出了三个主要贡献：

来自 PE 模型的严谨可达集： 作者推导了一种从概率神经网络模型计算可证明过近似可达集的方法。这涉及分离偶然不确定性和认识论不确定性，并显式界定线性化误差，以确保计算出的集合包含所有可能的系统轨迹。
显式确定性约束： 在 PSF 公式中引入了一种新型约束，以防止智能体利用模型的误差。通过将规划时界限制在“确定集”内，滤波器即使在模型不确定时也能确保安全性。
实验验证与实际集成： 作者验证了其理论过近似性，并将简化版的 UPSi 集成到 MBPO 框架中。结果表明，与之前的基于神经网络的 PSF（特别是 XMPSC）相比，该方法显著提高了探索安全性，同时保持了与标准 MBPO 相当的性能。

实验结果

评估在三个标准安全强化学习基准测试上进行：倒立摆（Pendulum）、车杆（Cartpole）和无人机（Drone）。

可达集验证： 在车杆环境中，所提出的椭圆管构建被证明能够一致地过近似地面真值可达集（通过 100,000 次模拟轨迹进行验证），证实了理论界限。
安全性能： 当集成到 MBPO 中时，UPSi 与 XMPSC（一种先前的 PE 型安全滤波器）相比，表现出显著降低的约束违反率。例如，在车杆环境中，不可行率从 XMPSC 的 7.15% 下降到了 UPSi 的 0.75%。
性能： 尽管增加了安全约束，UPSi 仍实现了与标准 MBPO 和 SAC 基准线相当的控制回报。
过滤行为： UPSi 的干预频率高于 XMPSC，但能找到更多的可行解，这表明它在安全执行与探索能力之间取得了更好的平衡。

意义与主张

本文声称成功弥合了现代 MBRL 方法的可扩展性与预测安全滤波器的严谨安全保证之间的差距。通过允许在严谨的 MPC 框架内使用灵活的、数据驱动的 PE 模型，UPSi 将安全滤波器的适用范围扩展到了更广泛的高维非线性系统，而这些系统此前难以使用第一性原理或 GP 进行建模。

作者承认存在局限性，指出实际实现依赖于简化处理（例如，简化的管状传播、实验中没有辅助控制器），这会破坏形式化保证，且对于高维系统（如无人机）的实时可行性仍是一个挑战。然而，这项工作为基于学习的控制中的不确定性感知安全建立了一个基础性方法，表明未来对实时可行性的改进将使其能够部署在更复杂的硬件上。