⚡ electrical engineering

Herding End-to-End Autonomous Driving via Neuro-Symbolic Safety Guards

本文介绍了一种轻量级、不可训练的神经符号安全防护机制，该机制通过将不安全指令替换为安全替代方案来强制执行显式交通规则，并附加在端到端自动驾驶智能体上，在不损害整体驾驶性能的前提下，显著降低了碰撞率并提高了长尾基准测试中的成功率。

原作者： Simón Patiño Idarraga, Erick Silva, Rehana Yasmin, Ali Shoker

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Simón Patiño Idarraga, Erick Silva, Rehana Yasmin, Ali Shoker

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在通过向机器人展示数千段汽车在道路上行驶的视频来教它驾驶。这被称为“端到端”学习，即机器人通过观察摄像头，直接决定如何转动方向盘或踩下油门，就像人类的大脑一样。这种方法非常擅长学习模式；如果它看到前方有一辆红车，它就知道应该减速，因为它已经见过一百万次了。但棘手的地方在于：机器人是一个模式匹配机器，而不是规则遵循者。它并不真正理解为什么要停在红灯前，也不理解物理学是如何运作的。它只是根据以前见过的场景进行猜测。如果它遇到了一种在训练视频中从未见过的奇特情况——比如一个巨大的充气鸭子挡住了道路，或者一面看起来像车道的彩绘墙——它可能会猜错并导致碰撞。这是一个大问题，因为即使一个机器人驾驶员在 99% 的时间里都是完美的，那一次失误也可能是灾难性的。我们需要一种方法，让机器人可以自由驾驶，但同时拥有一个安全网，能在它尝试做危险动作时将其拦截。

这篇论文介绍了一种巧妙的解决方案，称为“神经符号安全卫士”（neuro-symbolic safety guard）。把机器人驾驶员想象成一个正在学习驾驶、才华横溢但有些冲动的青少年，而安全卫士则是坐在副驾驶座上、严格遵守规则的家长。青少年（机器人）做出所有的驾驶决策并提议行驶路径。但在汽车实际移动之前，家长（安全卫士）会根据一份简单的、不可逾越的规则清单来检查青少年的计划，例如“绝不撞到行人”或“为红灯停车”。如果青少年的计划是安全的，家长就保持沉默并让他们驾驶。但如果青少年试图闯红灯或撞向墙壁，家长会瞬间夺过控制权，并将汽车转向最近的安全替代路径。最棒的是，家长不需要学习任何新知识，也不会改变青少年的学习方式。他们只是站在那里，准备在绝对必要时进行干预。

研究人员使用了一个非常智能、处于尖端水平的机器人驾驶系统 TransFuser v6 测试了这个想法。他们在驾驶员面前安装了安全卫士，并让它经历了一系列复杂的、罕见的驾驶场景，而这些场景是该机器人从未见过的。结果令人印象深刻。当机器人面临这些陌生的危险情况时，安全卫士帮助其成功率提升了 15%。更重要的是，它将危险碰撞减少了高达 53%。这个卫士不仅让机器人变得更安全，还让它变得更可靠，且没有降低其整体驾驶评分。该论文表明，通过在学习系统的末端添加一个轻量级的、基于规则的“守护天使”，我们可以既保持智能机器人的灵活性，又确保它绝不会违反基本的物理定律和交通法规。作者们通过计算机模拟测量了这些改进，表明这种方法可能是迈向让我们真正信任的自动驾驶汽车的关键一步。

技术摘要：通过神经符号安全护卫实现端到端自动驾驶的驯化

1. 问题陈述

现代端到端（E2E）自动驾驶智能体在标准基准测试中取得了极高的平均性能，但在罕见的高后果场景（如闯红灯、未让行行人）中频繁违反基本的交通规则。其根本原因在于结构性问题：这些智能体学习的是来自训练数据的统计模式，而非保证安全的底层物理条件。因此，其决策过程是不透明的，且安全约束并未得到显式执行。这种脆弱性导致了在“长尾”情况下的失效——即人类驾驶员会认为显而易见的罕见事件——从而削弱了公众信任并阻碍了部署。目前的解决方案，如安全强化学习（Safe-RL）屏蔽，是在训练期间约束动作，而基于规则的规划器则完全取代了学习到的控制器。因此，需要一种机制，能够在不重新训练或改变智能体核心感知与规划能力的情况下，对已冻结且训练完成的策略实施安全强制执行。

2. 方法论

本文提出了一种神经符号安全护卫（neuro-symbolic safety guard），这是一个轻量级模块，附加在已训练好的端到端智能体的最终控制指令接口上。该护卫在执行阶段运行，仅在必要时进行干预，以确保车辆不会进入不可恢复或危险的状态。

架构与工作流：
系统在不修改神经网络权重的情况下，通过三个阶段（读取、推理、限制）运行：

读取（Read）： 护卫访问 E2E 堆栈在正向传播过程中已经暴露出的结构化场景信号。这些信号包括物体检测（ $K$ ）、鸟瞰图语义地图（ $B$ ）、雷达回波（ $V$ ）以及智能体自身的规划路径点（ $W$ ）。
推理（Reason）： 一组由五个显式闭式规则组成的集合处理这些信号。每条规则根据既定的物理模型推导出对控制指令（油门/刹车或转向）的具体边界：
- R1（规划路径碰撞保障）： 利用责任敏感安全模型（RSS）防止与预期路径上的障碍物发生碰撞，并区分路径内威胁与路径外杂物。
- R2（限速合规）： 确保车辆处于城市行驶速度包络线内。
- R3（红灯停车合规）： 当红灯激活且剩余距离不足以安全通过时，强制停车。
- R4（行人优先保护）： 在过街走廊内强制执行早期让行。
- R5（速度调节转向稳定性）： 基于车辆运动学自行车模型，根据车速限制转向角度，以防止失去抓地力。
限制（Restrict）： 护卫定义了一个基于活跃规则边界的可行集 $C(o)$ 。它通过求解二次规划（QP）问题，将智能体的标称指令（ $x_0$ ）投影到该安全集内的最近点（ $x^*$ ）。如果原始指令是安全的，则保持不变；如果不安全，则将其最小化调整为最接近的安全替代方案。

核心设计原则：

架构无关性： 护卫可附加于任何暴露场景信号的 E2E 模型，而不影响原有策略。
可追溯性： 每次干预都是确定性的，且可以直接归因于特定的规则，使系统具有可审计性。
无需重训： 护卫不需要学习，也不增加任何学习组件。

3. 核心贡献

神经符号安全护卫： 一种新型模块，用于封装冻结的神经智能体，结合了学习策略的灵活性与显式规则的保证。与 Safe-RL 不同，它不约束训练；与基于规则的规划器不同，它不取代控制器。
基于物理基础的交通安全规则： 五条规则源自成熟的安全（RSS）和车辆动力学（自行车模型）原理。这些规则将复杂的安全要求简化为对油门、刹车或转向的单一边界，确保修正过程是基于物理准则而非调优启发式的可验证过程。
经测量的鲁棒性与安全增益： 通过实证验证表明，该护卫在提升长尾基准测试安全性方面效果显著，同时保留了通用的驾驶能力。

4. 实验结果

该护卫在 Fail2Drive 和 Bench2Drive 基准测试上进行了评估，并以最先进的 TransFuser v6 (TFv6) 智能体作为案例研究。评估重点关注了一个泛化拆分集，其中危害场景呈现了陌生的物体和布局。

安全性提升： 在泛化拆分集中，护卫将成功率（SR）提高了 15%，并将安全关键碰撞减少了高达 53%。
能力保持： **驾驶得分（DS）**基本保持不变。在泛化拆分集中，DS 与 SR 的调和平均值（HM）提升了 7.8%，这表明护卫在有效缓解罕见失效的同时，并未降低在熟悉路线上的表现。
泛化鲁棒性： 护卫将从分布内移动到泛化拆分时的性能下降（能力损失）从 18.4%（仅使用 TFv6）降至 9.8%（TFv6 + 护卫），这是测试的所有学习型智能体中损失最小的一个。
权衡（Trade-offs）： 干预主要导致了“时间损失”（例如，为了可能可以通行但存在风险的障碍物而停车，或等待间隙），导致超时违规略有增加。然而，这种权衡成功防止了碰撞。

5. 意义与主张

论文认为，衡量自动驾驶系统的主要价值不应取决于行驶距离或平均路径得分，而应取决于其指令在罕见、高后果条件下所能满足的保证。

信任与部署： 通过使决策过程可审计并确保显式执行安全约束，该护卫解决了学习型智能体在罕见场景下的“脆弱性”，有望加速公众信任和监管审批。
效率： 该方法提供了一种“即插即用”的安全层，不需要重新训练大型模型，使其适用于现有及未来的 E2E 智能体。
评估范式： 结果表明，当前的基准测试可能需要将谨慎停车与碰撞视为截然不同的结果，而非仅仅是加权违规，因为安全护卫可能会为了防止灾难性失败而牺牲路径进度。

作者总结道，神经符号护卫允许受训驾驶员在严格遵守安全部署所需的物理与法律约束的同时，保留其学习到的灵活性。