💻 computer science

BeyondSight: Object Permanence for End-to-End Autonomous Driving

该论文介绍了 BeyondSight，一种具备持久性感知能力的端到端自动驾驶框架，该框架在遮挡期间维持持久的参与者假设，以改进推理与规划，并通过新的 nuScenes-Permanence 数据集进行了验证。

原作者： Sandro Papais, Letian Wang, Mudit Jain, Behnaz Rezaei, Steven L. Waslander

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Sandro Papais, Letian Wang, Mudit Jain, Behnaz Rezaei, Steven L. Waslander

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在开车，但驾驶座后面不是人类，而是一个超级聪明的机器人大脑。这个大脑利用摄像头来观察世界，就像你一样。但棘手的部分在于：世界充满了盲区。一辆大卡车可能会挡住你的视线，让你看不见行人；或者一栋建筑可能会遮挡住一名骑行者。

长期以来，最优秀的机器人大脑都有一个奇怪的故障：如果它们看不见某个东西，它们就会表现得好像那个东西不存在一样。

这就像是在玩一场“马可波罗”游戏，机器人只计算它能看到的玩家。如果一个玩家游到了一个浮岛后面消失了，机器人会立即忘记他们的存在。就好像玩家凭空消失了一样。这是非常危险的！如果机器人忘记了卡车后面的行人，它可能会直接开向那个行人即将踏出的位置。

“幽灵”问题

论文将这个问题称为物体恒常性（Object Permanence）。简单来说，物体恒常性是指即便看不见物体，也能知道它们依然存在的能力。婴儿在很早的时候就会学习这一点；如果把玩具藏在毯子下面，他们知道玩具还在那里。

目前大多数自动驾驶系统（比如论文中进行对比的那些系统）就像是还没学会这一点的婴儿。它们将“存在”与“视觉”直接挂钩：

看到了？ 它就在那里。
没看到？ 它就不存在了。

作者反对这种做法。他们认为，仅仅因为传感器（如摄像头或激光雷达）无法捕捉到车辆或人的信号，并不意味着那辆车或那个人就不存在了。论文明确排除了这样一种观点，即我们不应该仅仅等待物体重新出现后再去担心它。等待就太晚了；在那之前可能已经发生碰撞了。

走进“BeyondSight”：拥有记忆的机器人

研究人员引入了一个名为 BeyondSight 的新系统。你可以把 BeyondSight 想象成一个为它见过的每一辆车或每一个人都保留着“心理便签”的机器人。

它是如何工作的，我们可以用一个有趣的类比来理解：
想象机器人是一名正在侦破案件的侦探。

观察： 侦探看到一名嫌疑人（一辆车）正在街上奔跑。
消失： 嫌疑人躲到了墙后。侦探看不见他们了。
旧方法： 侦探说：“好吧，我看不见他们了，所以他们一定是瞬间移动走了。结案！”然后停止追踪。
BeyondSight 方法： 侦探说：“我看不见他们，但我知道他们刚才正朝着那个方向跑。即使墙挡住了我的视线，我也要在心里记下他们应该在的位置。”

BeyondSight 通过数学方式实现这一点。它会对隐藏的行动者保持一个“假设”（猜测）。它会根据行动者在被遮挡前移动的速度和方向来更新这个猜测。即使摄像头什么也看不见，机器人的大脑也会让那个行动者的“幽灵”在规划中保持活跃状态。

证明：它奏效了吗？

作者不仅仅是凭空构想，他们还进行了测试。他们创建了一个著名驾驶数据集 nuScenes 的新版本，并将其命名为 nuएससीnes-Permanence。

在旧的数据集中，如果一辆车躲在建筑后面，数据会显示“此处无物”。而新的数据集则会说：“有一辆车在那里，但它被遮挡了。”这使得他们能够训练机器人去记住隐藏的事物。

以下是他们在测试中发现的结果，包含了测试中的准确数字：

“不可见”得分： 在使用 BeyondSight 之前，机器人检测完全隐藏的行动者的能力为 0。仿佛他们不存在一样。使用 BeyondSight 后，这个得分跃升至 0.249 mAP。这实现了从无到有的巨大飞跃！
安全得分： 最重要的部分是汽车的驾驶表现。研究人员测量了“规划误差”（即汽车路径偏离完美安全路径的程度）。
- 旧方法有 0.61 的误差。
- BeyondSight 将此误差降低到了 0.54。
- 他们还测量了“碰撞率”（机器人差点撞到东西的频率）。旧方法为 0.08%，而 BeyondSight 降至 0.07%。

这为什么重要

论文指出，这种“记忆”让机器人变得更安全，尤其是在交叉路口或过街路口等复杂路段，因为车辆经常会躲在其他车辆后面。

在一个特定的测试中，他们观察了一个行人躲在卡车后面的情况。

旧机器人： 忘记了行人。它规划了一条路径，这条路径会直接撞向行人的未来位置。
BeyondSight： 记住了行人。它规划了一条路径，即使看不见那个人，也为隐藏的行人留出了充足的空间。

难点（他们尚不了解的部分）

作者谨慎地表示，这并不意味着问题已经完美解决。他们承认，如果一个隐藏物体在长时间内保持隐藏状态，机器人的猜测可能会变得有些“陈旧”或产生偏差。这就像是在猜墙后朋友奔跑的方向；如果墙长达 100 米，当他们出来时，你的猜测可能会有些偏差。

此外，该系统在隐藏物体运动平稳时效果最好。如果一辆隐藏的汽车突然停止或以机器人未预料到的方式转向，系统可能无法立即捕捉到它。

总结

主要结论是，为了实现真正的安全，自动驾驶汽车需要停止表现得好像它们只存在于当下。它们需要记住一秒钟前看到的东西，即使现在已经被遮挡了。

BeyondSight 表明，通过赋予机器人对隐藏物体的“记忆”，我们可以让它们在大多数现实危险所隐藏的盲区中做出更好的决策并避免事故。这是迈向让汽车不仅能“看见”世界，而且能真正“理解”世界的关键一步。

技术摘要：BeyondSight：面向端到端自动驾驶的物体恒常性研究

1. 问题陈述

自动驾驶系统运行在部分可观测的环境中，其中的参与者（车辆、行人）经常会被基础设施或其他车辆完全遮挡。对 nuScenes 数据集的分析表明，大约 30% 的参与者在任何给定时间步都是完全不可观测的，其中包括那些处于自车近距离范围内的参与者。

目前的端到端自动驾驶（E2E-AD）系统通常将参与者的存在与瞬时观测相耦合。当一个参与者变得完全不可观测时，其在模型中的表示往往会退化或完全消失。这种从场景表示中移除“不可见”智能体的行为，迫使下游的预测和规划模块仅针对当前可见的智能体进行推理。因此，这些系统在遮挡严重的场景（如交叉路口）中表现出反应式或脆弱的行为，无法为那些暂时隐藏但仍然存在的智能体维持安全的轨迹。此外，标准的感知基准测试隐含地将可观测性等同于存在性，将不可观测的参与者从监督和评估中过滤掉，从而阻碍了模型在观测间隙学习持久表示的能力。

2. 方法论：BeyondSight

作者提出了 BeyondSight，这是一个具备永久性意识的 E2E-AD 框架，它显式地将参与者的存在与瞬时可观测性解耦。该系统能够维持随时间变化的持久参与者假设，使得联合感知、预测和规划能够在参与者暂时不可观测时仍能对其进行推理。

核心架构

BeyondSight 基于 SparseDrive 架构构建，后者使用稀疏查询（sparse queries）来表示动态参与者和地图元素。其核心创新是一个受贝叶斯滤波启发的三阶段推理流水线，旨在传播并更新参与者假设：

时间先验解码器 (Temporal Prior Decoder)： 该模块将上一帧的参与者查询 ( $q_{t-1}$ ) 传播到当前时间步 ( $t$ )，以生成运动条件的假设集 ( $q_t^{\text{prior}}$ )。至关重要的是，此阶段仅基于查询嵌入（query embeddings）通过自注意力机制和轻量级 MLP 进行操作，不访问当前的图像特征。这使得模型即使在没有任何视觉证据的情况下，也能维持对参与者的假设。
观测解码器 (Observation Decoder)： 该阶段将时间先验与新初始化的对象查询以及当前 BEV 特征 ( $F_t$ ) 相结合，生成观测条件下的假设 ( $q_t^{\text{obs}}$ )。该组件仅使用可观测的地面真值参与者进行监督。
后验融合解码器 (Posterior Fusion Decoder)： 该模块协调传播的先验与观测条件下的假设。它为每个参与者选择分类置信度较高的提议，并对其进行精细化处理，以生成最终的场景表示 ( $q_t^{\text{post}}$ )。这种融合后的表示包含了既有可见也有不可见的参与者，为下游规划提供了更丰富的上下文。

优化与监督

训练遵循两阶段协议（感知预训练及随后的端到端联合训练）。为了强制实现物体恒常性，作者引入了具备永久性意识的监督 (Permanence-Aware Supervision)：

扩展地面真值： 检测和运动损失是在全集参与者 ( $G_{\text{all}} = G_{\text{obs}} \cup G_{\text{unobs}}$ ) 上计算的，包括那些当前不可观测的参与者。
可观测性分类： 后验解码器为每个查询预测一个可观测性状态 ( $\hat{o}_t^i$ )，并通过二元交叉熵进行监督。这显式地教会模型区分被遮挡的参与者与不存在的参与者。
损失函数： 总目标函数包括标准的检测、地图、运动和规划损失，并辅以改进的检测损失 ( $\mathcal{L}_{\text{det}}'$ )（用于监督不可观测的参与者）和可观测性分类损失 ( $\mathcal{L}_{\text{obs}}$ )。

3. 主要贡献

本文提出了三个主要贡献：

形式化物体恒常性： 作者将 E2E-AD 中的物体恒常性定义为一种表示层面的约束，即先前观测到的参与者即使在暂时不可观测时，也必须在模型的假设集中保持表示。
nuScenes-Permanence 基准： 对 nuScenes 数据集的扩展，提供了针对不可观测参与者的监督和评估协议。这涉及利用物理驱动的运动先验，重建传感器支持缺失期间缺失的轨迹状态，从而将标注集扩大了约 30%。
BeyondSight 框架： 作为稀疏查询 E2E-AD 架构的一种具备永久性意识的扩展，它通过时间传播和具备可观测性意识的融合来维持持久假设，从而实现在长时间遮挡下的推理。

4. 实验结果

实验在 nuScenes 验证集和提出的 nuScences-Permanence 基准上进行。

标准性能

在标准 nuScenes 指标上，BeyondSight 在提升下游规划能力的同时保持了具有竞争力的性能：

规划： 开环规划误差 ( $L2_{\text{avg}}$ ) 从 0.61 (SparseDrive) 提升至 0.54，碰撞率从 0.08% 降低至 0.07%。
感知： 检测性能 (mAP) 从 0.415 提高到 0.427，跟踪性能 (AMOTA) 从 0.372 提高到 0.401。
虚警： 模型在官方评估协议下并未产生额外的虚警，证明了维持持久假设并不会降低标准基准的性能。

物体恒常性性能 (nuScenes-Permanence)

所提出的基于可观测性的指标显示出在处理遮挡参与者方面的显著增益：

不可观测检测： 模型实现了 0.249 的 mAP $_{\text{unobs}}$ ，相比之下，基准模型 SparseDrive 的得分仅为 0（因为它会丢弃不可观测的参与者）。
整体理解： 聚合指标 mAP $_{\text{all}}$ 从 0.389 提升至 0.413。
遮挡下的规划： 在一个隐藏参与者的未来轨迹接近自车的高遮挡子集中，BeyondSight 将规划误差从 0.64 降低至 0.56，并将碰撞率从 0.163 降低至 0.08。

消融实验

消减实验证实了：

仅靠时间传播（没有永久性意识监督）无法实现对完全不可观测参与者的检测（mAP $_{\text{unobs}}$ 仍为 0）。
必须结合时间传播、后验融合以及对不可观测参与者的监督，才能实现所报告的增益。
后验融合解码器对于协调传播的假设与当前观测至关重要。

5. 意义与局限性

本文认为，物体恒常性是实现鲁棒端到端自动驾驶的关键建模原则。通过将参与者的存在与瞬时可观测性解耦，BeyondSight 使系统能够对完整的动态环境进行推理，从而在遮挡严重的场景中实现更安全的规划。nuScenes-Permanence 的引入提供了第一个系统性的协议，用于训练和评估这一能力。

局限性：

陈旧假设 (Stale Hypotheses)： 如果参与者在长时间遮挡期间大幅偏离学习到的时间先验，持久假设可能会变得不准确（即“陈旧”），从而可能导致定位漂移。
运动假设： nuScenes-Permanence 的标注假设运动近似连续。该基准可能无法捕捉到无法从周围观测中可靠推断出的突发性隐蔽动作（例如突然停止、急转弯或意图改变）。
未来方向： 作者建议未来的工作应探索具备不确定性意识的记忆、带有特权标签的仿真标注，以及用于直接评估遮挡情况的多观测者数据集。