💻 computer science

SB-BEVFusion: Enhancing the Robustness against Sensor Malfunction and Corruptions

本文介绍了 SB-BEVFusion，这是一种与框架无关的融合模块，通过有效处理缺失或退化的相机与激光雷达数据，显著增强了 3D 物体检测系统对传感器故障和损坏的鲁棒性，从而在各种不利条件下超越了现有的统一表示方法。

原作者： Markus Essl, Marta Moscati, Mubashir Noman, Muhammad Zaigham Zaheer, Usman Naseem, Shah Nawaz, Markus Schedl

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Markus Essl, Marta Moscati, Mubashir Noman, Muhammad Zaigham Zaheer, Usman Naseem, Shah Nawaz, Markus Schedl

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在驾驶一辆自动驾驶汽车。为了“看清”道路，这辆车依赖两个主要助手：一个摄像头（如同人眼）和一个激光雷达（一种能构建世界精确三维地图的激光扫描仪）。

通常，这两个助手能完美协作。摄像头负责识别颜色和标志，而激光雷达则测量精确距离。大多数自动驾驶系统试图将它们的报告合并为单一的“鸟瞰图”（即俯视图），以此做出决策。

问题：当助手“生病”时
该论文指出现有系统存在一个重大缺陷：它们非常脆弱。如果摄像头被雾、雨或泥浆覆盖，或者激光雷达被遮挡或损坏，整个系统往往会陷入恐慌，无法正常工作。这就像一名侦探，只有在同时拥有目击证人和指纹时才能破案；如果缺少其中一项，他们就会彻底放弃。

解决方案：SB-BEVFusion（灵活的侦探）
作者们创造了一种名为SB-BEVFusion的新方法。这相当于训练一名侦探，使其具备足够的智慧，即使其中一个助手不可用，也能仅凭另一个助手开展工作。

以下是其工作原理，使用简单的类比说明：

“共享大脑”策略：
该系统不再为摄像头和激光雷达分别配备独立的大脑，而是使用一个共享的“下游”大脑（即实际负责判断车辆和行人位置的部分）。这个大脑是在“混合打乱”的场景中进行训练的：
- 有时它同时获得两个助手（摄像头 + 激光雷达）。
- 有时它只获得激光雷达。
- 有时它只获得摄像头。
- 结果： 大脑学会了具备鲁棒性。当其中一个助手“沉默”时，它不会感到困惑，而是继续利用现有的助手工作。
“融合开关”：
当两个助手都健康时，系统会合并它们的报告。论文测试了多种混合这些报告的方法，例如：
- 平均法： 取两个报告的中间值。
- 最大池化： 选取两者中信号最强的部分。
- 交叉注意力： 让报告相互“交流”以细化细节。
- 获胜者： 令人惊讶的是，最简单的方法——无权重平均（即直接取两者的平均值）——在应对恶劣天气和传感器故障方面，成为了最可靠的冠军。
“身份”技巧：
如果一个传感器完全损坏（例如摄像头完全变黑），系统不会强行建立断裂的连接。相反，它会像一个“直通”开关那样运作。它直接获取激光雷达的报告并将其发送给大脑，而不会尝试将其与“无数据”进行混合。这确保了系统平稳运行，而不是崩溃。

他们的发现（结果）
团队在一个名为"MultiCorrupt"的数据集上测试了该方法，该数据集模拟了极端天气（雾、雨）和传感器故障（激光被遮挡、图像模糊）。

在完美天气下： SB-BEVFusion 的表现与现有最佳系统一样出色。
在恶劣天气下： 当传感器受到干扰时，SB-BEVFusion 保持冷静。当其他系统开始犯错或漏检车辆时，SB-BEVFusion 仍能准确检测它们。
当传感器失效时： 如果摄像头完全失效，SB-BEVFusion 仍能仅利用激光雷达良好工作。反之，如果激光雷达失效，它在仅依赖摄像头的模式下表现优于许多竞争对手（尽管另一个名为 UniBEV 的系统在处理仅摄像头模式时略胜一筹）。

核心结论
该论文声称，通过训练系统预期缺失或损坏的数据，并使用简单的平均方法来融合传感器数据，他们创造了一个更难被欺骗的自动驾驶感知系统。这就像将一辆在雨中会熄火的汽车，升级为一辆无论挡风玻璃起雾还是激光扫描仪故障都能持续平稳行驶的汽车。

技术摘要：SB-BEVFusion

问题陈述
多模态传感器融合，特别是结合相机和激光雷达（LiDAR）数据，通过利用互补的视觉和几何信息，已在自动驾驶车辆的 3D 物体检测中确立了最先进的性能。现有的框架（如 BEVFusion）通常将独立的传感器数据转换为统一的鸟瞰图（BEV）表示以进行融合。然而，这些方法通常假设所有传感器均提供高质量数据。在现实场景中，当传感器数据因恶劣天气（如雾、雨）、传感器故障（如激光雷达光束减少）或时空未对齐而缺失、损坏或充满噪声时，系统性能会显著下降。当前的统一表示方法往往难以在这些特定的故障条件下保持鲁棒性。

方法论
作者提出了SB-BEVFusion（单分支 BEVFusion），这是一种与框架无关的融合模块，旨在处理一种模态缺失或损坏的场景。该方法对标准 BEVFusion 流程进行了修改，包含以下关键组件：

统一架构：模型采用一个跨两种模态共享的下流网络和检测头。为此，相机和激光雷达 BEV 表示的通道宽度被均等化（ $C_{cam} = C_{lid} \triangleq C$ ）。
自适应融合逻辑：
- 双模态（ $L+C$ ）：当两个传感器均可用时，BEV 特征使用融合算子 $\mathcal{F}$ 进行组合。论文研究了四种算子：无权重平均、最大池化、交叉注意力（Cross-Attention）和渐进模态衰减（PMD）。
- 单模态（ $L$ 或 $C$ ）：当一种模态缺失或损坏时，融合算子充当恒等函数，直接将可用的 BEV 表示传递给编码器，而不尝试融合缺失的数据。
训练策略：模型在三种模式的随机混合上进行训练：仅激光雷达（ $L$ ）、仅相机（ $C$ ）和两者兼具（ $L+C$ ）。对于平均、最大池化和交叉注意力等融合策略，每个样本均枚举这三种模式。对于 PMD，训练涉及一个“锚点”模态，其中次要模态乘以衰减因子 $\alpha$ （范围从 1 到 0），以模拟向缺失数据的过渡。
推理：在推理过程中，系统在融合算子（当两种模态均存在时）和恒等函数（当一种模态缺失时）之间动态切换，无需对网络结构进行修改。

主要贡献

鲁棒融合模块：引入了一种明确设计用于在 $L+C$ 、 $L$ 和 $C$ 场景下运行的融合模块，使模型能够在传感器故障期间保持性能。
融合策略分析：对各种融合算子（平均、最大池化、交叉注意力、PMD）进行了全面调查，以确定它们对缺失和损坏模态的鲁棒性。
实证验证：在基于 nuScenes 的 MultiCorrupt 数据集上进行了广泛的实验，证明了该方法在包括极端天气和传感器故障在内的广泛传感器退化场景中具有 improved 的鲁棒性。

结果
作者在 nuScenes 验证集上，使用包含光束减少、时空未对齐、雾和运动模糊（三个严重程度级别）等损坏的 MultiCorrupt 基准，评估了 SB-BEVFusion 与 BEVFusion 和 UniBEV 的表现。

损坏鲁棒性：在各种损坏情况下，无权重平均策略（SB-BEVFusion-Avg）实现了最高的平均抵抗能力（mRA）0.7683，优于 BEVFusion（0.7490）和 UniBEV（0.7656）。交叉注意力（SB-BEVFusion-CA）在针对时空未对齐方面显示出卓越的恢复力。
缺失模态性能：
- 仅激光雷达：SB-BEVFusion 显著优于基线，mAP 达到0.6448，而 BEVFusion 为 0.5639，UniBEV 为 0.582。
- 仅相机：虽然 UniBEV 在仅相机设置中表现出更高的鲁棒性（mAP 0.35，而 SB-BEVFusion 为 0.2002），但 SB-BEVFusion 在全传感器设置中保持了具有竞争力的性能（mAP 0.6737），同时提供了更优越的仅激光雷达鲁棒性。
定性分析：视觉比较证实，在严重损坏下（例如雾严重程度 3，运动模糊严重程度 2），BEVFusion 经常无法检测到大物体，或生成的边界框与真实值显著偏离，而 SB-BEVFusion 则保持了更准确的预测。

意义
该论文声称，SB-BEVFusion 解决了自动驾驶感知系统的一个关键弱点：对理想传感器条件的依赖。通过证明在模态可用性模式混合上训练的单分支架构可以有效处理缺失或损坏的数据，这项工作为实现现实环境中更可靠的 3D 物体检测提供了一条途径。作者强调，标准 BEVFusion 中使用的简单拼接对于损坏数据并非最优，且融合算子的选择对鲁棒性有显著影响，具体取决于传感器故障的类型。研究结论指出，虽然所提出的方法在仅激光雷达故障场景和一般抗损坏方面表现出色，但未来的工作可以探索基于 Transformer 的融合方法以及集成雷达等额外模态。

技术摘要：SB-BEVFusion

类似论文