💻 计算机科学

Degradation-Aware Modality Trust Estimation for Camera--LiDAR BEV Fusion in 3D Object Detection

本文提出了 DARFusion，这是一个轻量级框架，通过利用退化感知可靠性调节来估计模态置信度，从而增强了用于 3D 目标检测的相机-LiDAR BEV 融合，在保持对洁净数据性能的同时，显著提升了针对各种相机退化的鲁棒性。

原作者： Weifeng Xu, Yaqian Cui, Hongtao Wang

发布于 2026-10-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Weifeng Xu, Yaqian Cui, Hongtao Wang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

自动驾驶汽车通过构建周围环境的精神地图来导航世界，依靠一组传感器来观察人类驾驶员所能看到的一切。在这支团队中，有两个最重要的成员是摄像头和激光扫描仪。摄像头就像人类的眼睛，捕捉关于颜色、纹理和物体形状的丰富细节；而被称为 LiDAR 的激光扫描仪则通过发射光束来测量精确距离，并创建场景的精确 3D 骨架。为了让汽车安全行驶，工程师必须将这两种截然不同的视角合并成一个统一的画面。这个过程通常被称为“传感器融合”，它让车辆不仅能理解那里有一辆车，还能准确知道它在哪里以及有多大。然而，这种伙伴关系存在一个弱点：摄像头容易受到天气的干扰。正如人类的视力会被雨、雾或黑暗模糊一样，摄像头的视野也会受到眩光、运动模糊或低光照的影响而变得扭曲。当这种情况发生时，摄像头会向汽车的计算机发送混乱的信号。如果计算机盲目信任这些受损的信号，它可能会把镜头上的雨痕误认为真实的物体，或者无法看到阴影中的行人。研究人员面临的挑战是，要教会汽车的大脑在何时信任摄像头，以及在何时更多地依赖激光扫描仪，尤其是在摄像头的视野受到损害时。

来自华北电力大学的一个研究小组开发了一种新方法来解决这个问题，创建了一个他们称之为 DARFusion 的系统。他们的方法建立在一个简单而强大的理念之上：系统不应只是简单地将摄像头和激光数据合并在一起，而应该首先询问：“我们现在能信任摄像头多少？”在标准系统中，计算机通常将摄像头的输入视为与激光同样可靠，无论图像是清晰还是模糊。这种新方法通过增加一层判断逻辑改变了这种动态。它不断监测来自摄像头的视觉信息质量。如果摄像头看到的是晴朗的一天，系统会利用丰富的视觉细节来辅助识别物体。但如果摄像头正受困于雨天、模糊或黑暗，系统则学会降低摄像头的权重，转而更多地依赖激光扫描仪稳定的几何数据。这并不是要关闭摄像头，而是调整其“声音”的大小，这样在视野不佳时，它就不会淹没掉那些更可靠的信息。

为了实现这一目标，研究人员设计了一个轻量化模块，充当两个传感器之间的“守门人”。在摄像头和激光数据结合之前，系统会分析摄像头的视野以检测退化迹象。它寻找图像数据中的特定模式，以判断镜头是否脏污、光线是否过暗或图像是否过于模糊。它还会检查激光数据的整体可靠性。基于这些检查，系统会在场景中的每一个点上计算出一个摄像头的信任得分。这个得分决定了摄像头的多少信息应该被混合进最终的画面中。如果摄像头表现不佳，系统会减少其贡献，防止汽车根据视觉噪声做出决策。如果摄像头清晰，系统则允许完整的视觉细节来增强激光数据。这个过程实时发生，使车辆能够无需任何额外的传感器或手动调整，即可即时适应变化的天气条件。

该团队使用两个主要的真实驾驶场景数据集对这一新系统进行了测试，其中一个来自大规模自动驾驶项目，另一个来自著名的研究集。他们在理想条件下评估了系统，随后让它经历了各种模拟挑战，例如大雨、运动模糊和低光照夜间驾驶。在晴朗天气下，新系统的表现与现有的最佳方法一样出色，证明了在一切顺利时它不会减慢速度或干扰汽车。然而，当环境恶化时，差异便显现了出来。在模拟雨夜和严重运动模糊的测试中，新系统的表现显著优于标准方法。例如，在模拟降雨中，与旧方法相比，该系统在提高物体检测能力方面有了明显的提升。即使在摄像头视野受到严重限制的最困难模拟夜间条件下，该系统也保持了更高的准确度。这表明汽车的“大脑”成功学会了忽略混乱的视觉噪声，并在摄像头不可靠时依赖激光扫描仪。

研究人员还验证了这种改进在不同类型的车辆和环境中都是有效的，无论汽车是在城市还是在高速公路上行驶，都显示出一致的结果。他们发现，该系统特别擅长识别像卡车和巴士这样的大型物体，而这些物体对于安全性至关重要。该方法在实现这些结果的同时，没有增加显著的计算成本，这意味着它可以安装在目前的自动驾驶汽车上，而不需要庞大的新计算机。这项研究表明，实现稳健自动驾驶的关键不仅在于拥有更好的传感器，还在于拥有更智能的组合方式。通过教会车辆识别其视觉感官何时失效，并相应地调整信任度，该系统创造了一种更具韧性的感知能力，能够应对现实世界的不可预测性。这项工作为让自动驾驶汽车在雨天、夜晚以及人类视觉同样难以应对的其他挑战性条件下变得更加安全，提供了一条切实可行的路径。

技术摘要：面向 3D 物体检测中 Camera–LiDAR BEV 融合的退化感知模态信任估计

1. 问题陈述

当前的 Camera–LiDAR 鸟瞰图（BEV）融合方法在进行 3D 物体检测时，依赖于一个假设，即相机 BEV 分支中的强特征响应对应于可靠的视觉证据。然而，在感知性能退化的条件下（例如低照度、模糊、噪声或恶劣天气），特征激活可能源于传感器伪影或受损的纹理，而非有用的场景内容。

现有的融合策略（如直接拼接、卷积融合或注意力机制）主要是“内容驱动”的。它们根据特征对齐和语义内容来确定融合权重，但缺乏显式机制来评估当相机流保持活跃但已发生退化时，视觉证据的可靠性。因此，这些方法可能会在相机模态保持活跃但发生退化的情况下，不经意地将不可靠的、由退化引起的视觉模式传播到联合表示中，即便此时 LiDAR 模态仍能提供稳定的几何信息。核心挑战在于：如何在不需要显式退化标签或图像质量监督的情况下，实现特征表示与模alities（模态）信任估计的解耦。

2. 方法论：DARFusion

本文提出了 DARFusion（退化感知且可靠性引导的融合），这是一个轻量级框架，它将 BEV 融合重新表述为一个模态信任估计问题。DARFusion 不再直接融合原始特征，而是将融合决策建立在可靠性线索、任务驱动上下文和退化描述符的基础之上。该流水线由三个主要组件组成：

2.1 模态可靠性校准 (MRC)

在空间融合之前，MRC 对相机 ( $F_c$ ) 和 LiDAR ( $F_l$ ) 的 BEV 特征进行全局重新校准。

过程： 通过全局平均池化（GAP）操作为每个模态生成紧凑的描述符 $s_m$ 。
输出： 两个轻量级分支处理 $s_m$ $s_{m}$ ：
1. 一个可靠性线索 $q_m \in [0, 1]$ （通过 Sigmoid 函数），用于缩放特征图（ $\tilde{F}_m = q_m \odot F_m$ ）。
2. 一个任务驱动的辅助上下文 $u_m$ （源自预测的对数方差），提供样本级的模态上下文。
性质： 这些不是统计学上的不确定性估计，而是通过检测损失学习到的、用于调整模态强度的任务驱动线索。

2.2 退化感知调节 (DAC)

为了解决相机流虽然可用但已受损的活跃退化问题，DAC 直接从校准后的相机 BEV 特征 ( $\tilde{F}_c$ ) 中提取紧凑的退化描述符 ( $d$ )。

机制： 将相机特征投影到单通道响应图 $X$ $X$ 。计算三个响应统计代理：
1. 激活水平代理 ( $r_b$ )： 全局平均激活值（对照度敏感）。
2. 边缘响应代理 ( $r_s$ )： 平均边缘响应的倒数（对模糊敏感）。
3. 高频残差代理 ( $r_n$ )： 局部残差的标准差（对噪声敏感）。
描述符： 这些代理通过可学习的仿射变换和 Sigmoid 函数映射到 $[0, 1]$ ，形成 $d = [d_b, d_s, d_n]$ 。该描述符在无需外部监督的情况下，向融合门展示了视觉感知状态（亮度、模糊、噪声）。

2.3 退化调节的融合门

融合门基于拼接后的输入向量 $Z$ 预测相机和 LiDAR 分支的空间权重：
$Z = [\bar{F}_c, \bar{F}_l, u_c, u_l, d]$
其中 $\bar{F}$ 代表投影后的校准特征， $u$ 代表辅助上下文， $d$ 是退化描述符。

操作： 一个轻量级网络（包含两个带有 ReLU 和 Sigmoid 的 $1\times1$ 卷积）输出门矩阵 $G_c$ 和 $G_l$ （满足 $G_c + G_l = 1$ ）。
融合： 最终的 BEV 特征通过加权求和计算得出： $F_{fuse} = G_c \odot \bar{F}_c + G_l \odot \bar{F}_l$ 。
逻辑： 当退化描述符指示感知条件较差时，门控机制会学习降低相机分支的权重，从而更多地依赖 LiDAR 的几何信息。

3. 核心贡献

问题建模： 作者识别并阐述了内容驱动型 BEV 融合中的可靠性局限性，即在感知退化时，特征响应可能会与模态信任度发生纠缠。
DARFusion 架构： 一种集成以下功能的轻量级融合方法：
- MRC： 用于全局模态特征重新校准。
- DAC： 从 BEV 特征中提取紧凑的退化描述符（亮度、模糊、噪声），且无需图像质量标签。
- 可靠性引导融合： 一个利用这些线索在空间维度上估计模态信任度的门控机制。
全面评估： 在 nuScenes 和 KITTI 上进行了面向退化的评估，涵盖：
- 清洁验证集。
- 真实世界的雨天和夜间子集。
- 受控的合成退化（合成夜间、运动模糊、高斯噪声）。
- 跨数据集的鲁棒性一致性。

4. 实验结果

该方法针对复现的 BEVFusion 基准模型及其他最先进的检测器进行了评估。

4.1 清洁集表现

DARFusion 在清洁数据上保持并略微提升了性能：

nuScenes： 实现了 68.4 mAP 和 71.5 NDS（对比基准 67.8 mAP / 71.0 NDS）。
KITTI： 将平均 Moderate 3D APR40 从 76.2 提升至 77.1。
效率： 仅增加了 0.04M 参数（约 0.1% 的开销），在 RTX 4090 上将 FPS 从 4.57 降至 4.46。

4.2 退化下的鲁棒性

DARFusion 在恶劣条件下展现出显著增益：

真实世界子集：
- 雨天： mAP 提升了 1.41。
- 夜间： mAP 提升了 1.31。
合成退化：
- 合成夜间： 在低、中、高不同严重程度下均有持续增益，其中在中等程度退化时增益最大（+1.1 mAP）。
- 运动模糊： 在所有模糊强度（ $k=1$ 到 $21$）下均保持了较高的 mAP，峰值增益为 +1.2 mAP。
- 高斯噪声： 在低到中等噪声水平下显示出改进（+0.6 mAP），但在视觉证据严重受损的极端噪声水平（ $\sigma=30$ ）下，增益有所减弱。
跨数据集一致性： 鲁棒性提升在 nuScenes 和 KITTI 上均表现一致，DARFusion 在 KITTI 所有 9 个测试的损坏严重程度设置下均优于基准模型。

4.3 机制分析

消融实验： 去除退化感知调节 (DAC) 或辅助上下文 (U) 会导致性能下降，证实了两者（可靠性线索和退化描述符）的必要性。
行为分析： 随着退化严重程度的增加，基于幅值的相对相机贡献度 ( $R_{cam}$ ) 系统性地下降。Spearman 相关性分析证实，退化严重程度与相机贡献度之间存在强负相关，且学习到的描述符与严重程度之间存在正相关。

5. 意义与主张

论文声称，显式建模相机可靠性是提高 BEV 融合鲁棒性的有效且轻量级的策略。

关键洞察： 通过将融合重新定义为以从 BEV 特征中提取的退化描述符为条件的信任估计问题，系统可以区分有用的语义证据与由退化引起的干扰。
实用性： 该方法不需要退化标签或额外的图像质量监督，使其适用于无法获得此类地面真值的实际应用场景。
局限性： 作者谦虚地指出，目前的研究侧重于主动相机退化且 LiDAR 保持不变。它并未涵盖耦合的传感器失效或 LiDAR 退化。此外，尽管该方法能很好地处理中等程度的噪声，但极高密度的像素级噪声仍然是一个挑战。此外，这些描述符是任务驱动的线索，而非经过校准的物理测量值。

总之，DARFusion 提供了一种实用的路径，通过将特征表示与模态信任度解耦，确保 3D 物体检测系统在视觉感知受损时仍能保持鲁棒。