技术摘要：基于 Transformer 的跨层级目标列表 3D 物体检测融合技术

问题陈述

在自动驾驶领域，传感器融合对于实现鲁棒感知至关重要。传统的融合架构可分为低层级（原始数据）、中层级（特征）和高层级（目标列表/决策）。虽然低层级融合在理论上能提供最优的状态估计，但实际约束往往限制了其应用。具体而言，由于带宽限制和内部处理能力的限制，车联网（V2X）模块和智能传感器（如 MobileEye、Continental 雷达）通常仅输出处理后的目标列表，而非原始数据。

因此，融合通常被限制在高层级，即由分布式目标检测器将状态估计发送给中央融合器。这种方法存在数据关联错误以及细粒度信息丢失的问题。相反，现有的数据级融合方法是为密集数据（如点云）设计的，并不直接适用于具有稀疏性和结构化特征的目标列表。目前缺乏研究探索如何通过端到端学习方法，将高度抽象的目标列表信息与原始传感器数据（特别是相机图像）在特征层级进行融合。

方法论

作者提出了一种端到端的跨层级融合框架，该框架利用基于 Transformer 的架构（具体为扩展的 PETRv2 3D 目标检测模型）将目标列表与原始相机图像进行集成。其核心创新在于将目标列表不视为最终决策，而是将其作为引导特征提取和检测过程的先验信息。

该方法由三个关键组件组成：

1. 以目标为中心的查询去噪 (QDN)：

   • 受 DN-DETR 的启发，该系统将目标列表视为包含估计误差、假阳性（误报）和假阴性（漏报）的“噪声”地面真值（Ground Truth）。
   • 这些目标列表被转换为去噪（DN）查询，并与可学习的检测查询进行拼接。
   • 不同于标准 DN-DETR 在推理阶段丢弃 DN 查询，该框架允许检测查询通过自注意力机制与去噪查询进行交互。这使得模型能够通过从噪声列表输入中重建清晰的目标状态，并在交叉注意力过程中利用原始图像特征来丰富查询，从而学习到鲁棒的特征表示。
   • 为了促进信息流，DN 查询与可学习查询之间的注意力掩码被移除，这与 DN-DETR 中严格分离的设计不同。

2. 通过可变形高斯掩码实现的显式注意力引导：

   • 为了显式引导 Transformer 解码器，作者引入了基于目标列表的位置和尺寸先验生成的可变形高斯掩码。
   • 目标列表的坐标通过相机参数投影到 2D 图像平面上，以生成多目标共享高斯掩码 ($M$)。
   • 该掩码被集成到 Transformer 解码器的交叉注意力机制中。通过在标准注意力计算中加入高斯掩码的对数 ($\log G$) 来对注意力分数进行重加权：
     $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}} + \frac{\log G}{\sqrt{d_k}}\right)V$$
   • 该机制将模型的注意力引导至由目标列表定义的特定目标区域，从而加速收敛并提高定位精度。

3. 伪目标列表生成 (POLG)：

   • 由于没有任何公开数据集包含作为独立模态的目标列表，作者开发了一个 POLG 模块。
   • 该模块通过模拟真实的检测器行为（包括位置/尺寸的高斯噪声、目标丢失/假阴性、假阳性以及标签误分类）从地面真值边界框生成伪目标列表。
   • 噪声水平是可配置的，用以模拟具有不同性能能力的检测器。

核心贡献

本文声称的主要贡献如下：

1. 首个跨层级融合框架： 这是首个引入端到端 Transformer 框架进行 3D 目标检测的工作，该框架将目标列表与原始传感器数据进行融合，超越了传统的层级融合。
2. 即插即用集成： 该方法利用查询去噪和显式注意力引导（SMCA）来融合模态，在假设使用基于查询的架构前提下，无需增加额外的参数或显著的计算开销。
3. 伪目标列表生成 (POLG)： 开发了一种从地面真值生成多样化、带噪声目标列表的方法，从而能够在 nuScenes 等标准数据集上进行跨层级融合的训练与验证。

实验结果

该方法在 nuScenes 数据集上使用 PETRv2 基准模型进行了评估。

• 性能提升： 提出的模型显著优于仅视觉（vision-only）基准模型。在验证集上，它实现了 0.5685 的 NDS 和 0.5499 的 mAP，而基准模型的 NDS 为 0.4038，mAP 为 0.4136。
• 消融实验：
  • 单独添加 QDN 相比基准模型使 NDS 提升了 8.01%，mAP 提升了 2.30%。
  • 在 QDN 之上叠加 SMCA（显式注意力）后，进一步使 NDS 提升了 5.94%，mAP 提升了 4.30%。
  • 两个模块的结合展示了协同效应。
• 对模态缺失的鲁棒性： 在推理过程中移除目标列表（模拟外部传感器失效）时，模型性能显著下降（mAP 下降了约 25%），表明在当前的训练方案下，模型高度依赖提供的先验信息。然而，SMCA 组件在一定程度上缓解了这种性能退化。
• 泛化能力： 模型在不同噪声水平的合成列表中表现出鲁棒性，并且在使用来自真实世界检测器（CenterPoint 和 PointPillars）的目标列表时表现出相当的性能，验证了 POLG 噪声参数的保真度。

重要性与主张

本文将这项工作定位为弥合高层级与低层级融合差距的新颖步骤。通过将目标列表视为具有信息量的先验而非最终决策，该框架允许将抽象信息与原始传感器数据进行“早期集成”。

作者声称，这种方法：

• 通过结合高层级信息的上下文与原始数据的细粒度细节，产生了协同效应。
• 减少了状态估计误差，并提高了检测精度，特别是在无法获取二次传感器原始数据的情况下。
• 提供了一种模块化方案，可以集成到现有的 DETR 类检测器中。

作者承认了局限性，指出由于目前的去噪查询主要关注位置和尺寸，速度估计精度（mAVE）出现了轻微的权衡。他们建议未来的工作应纳入速度感知去噪和自适应融合策略，以更鲁棒地处理缺失的目标列表。论文总结道，尽管当前方法展现了巨大的潜力，但仍需与传统的层级融合方法进行进一步对比，以充分评估其在自动驾驶中的实际应用价值。