💻 computer science

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

本文介绍了 FogDrive，这是一个经过严格校准的多模态合成数据集，其特征是在四种能见度水平和昼夜周期下具有同步的相机、激光雷达和雷达数据，旨在弥补现有基准测试的空白，并实现对感知系统在分级雾天条件下进行鲁棒性评估。

原作者： Vansh Panwar

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Vansh Panwar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人开车。你不会只给它看一段晴天的视频，然后就指望它能应对暴风雪或浓雾，对吧？这就是自动驾驶的世界，计算机利用摄像头和传感器来“看见”道路。但棘手之处在于：当天气变差时，比如浓雾袭来，这些传感器就会变得混乱。摄像头看到的只是一片模糊的景象，而激光雷达（称为 LiDAR）会被微小的水滴阻挡。科学家们一直试图构建数据集——即大规模的驾驶数据集合——来教会机器人如何应对这种情况。但现实世界中的数据大多是杂乱无章的；你无法精确控制雾有多厚，也很难拥有同一个场景的“清晰”版本来进行对比。这就像是试图通过跳入波涛汹涌的大海来学习游泳，却从未见过平静的水面是什么样子。为了解决这个问题，研究人员需要一种能够完美模拟雾的方法，从而创建“之前”和“之后”的场景对，以便测试他们的机器人是真的变得更聪明了，还是仅仅在瞎猜。

于是有了 FogDrive，这是一个由印度理工学院古瓦哈提分校的研究人员创建的、超级有序的数字游乐场。把 FogDrive 想象成一个大型的高科技视频游戏关卡，其中的天气是一个研究人员可以精准旋转的旋钮。研究人员没有寄希望于在现实世界中等待雾天，而是使用了一个名为 CARLA 的模拟器，生成了 660 个驾驶场景（约 133,000 帧视频），横跨六个不同的虚拟城镇。神奇之处在于？每一个场景都被捕捉了四次：一次是在晶莹剔透的天气下，另外三次则是在雾气不断增加的浓度下。他们将这些雾度校准到了特定的可见距离：160 米、100 米和 50 米。这就像是拍了一张你客厅的照片，然后又拍了三张照片，只是在房间里慢慢填入越来越厚的棉花糖，直到你几乎看不见沙发为止。

让 FogDrive 脱颖而出的是，它不仅仅使用摄像头。它模仿了一个真实自动驾驶汽车的大脑，捕捉来自四个摄像头、一个 360 度激光雷达（充当激光扫描仪）、一个语义激光雷达（能够识别物体）以及一个雷达的数据。研究人员使用真实的物理定律来模拟雾气：用于摄像头的 Koschmieder 模型（解释了为什么物体看起来很朦胧）以及用于激光雷达的 Beer-Lambert 定律（解释了激光是如何被吸收的）。他们甚至对 8,000 张图像进行了质量审计，发现他们对车辆的标签精度达到了 95.1%，并且在 40 米范围内的车辆召回率超过了 99%。这意味着他们用来教机器人的“地面真值”（ground truth）是非常可靠的。

研究人员利用这个数据集测试了关于如何教机器人在雾中驾驶的两个大问题。首先，他们问道：“我们应该先教机器人看穿雾气，然后再找到汽车吗？”（这种方法被称为“先去雾再检测”）；或者，“我们应该直接教机器人在雾气的混乱中寻找汽车吗？”（称为“在雾中训练”）。在他们的模拟中，他们发现直接在有雾的数据上进行训练是明显的赢家。那些学会直接在雾中驾驶（而不是尝试先“清理”图像）的机器人表现得好得多。事实上，尝试先清理图像往往会让情况变得更糟，或者充其量不如直接从雾中学习那么有效。

其次，他们测试了在训练过程中混合不同类型的雾是否有帮助。他们发现，如果训练一个机器人在轻雾、中雾和浓雾的混合体中，它会比仅在一种类型的雾中训练变得更加鲁棒。有趣的是，他们发现仅仅增加更多的数据并没有像增加多样性那样有效。一个在不同雾密度混合数据上训练的机器人（即使总数据量较少），也能比一个在大量单一类型雾中训练的机器人更好地检测到汽车。然而，当涉及到精确确定汽车所在的位置（其几何形状）时，在混合数据中拥有更多数据确实有助于收紧这些测量值。

最令人惊讶的发现之一是关于我们如何衡量成功。通常，当我们试图修复一张模糊的图像时，我们会使用 PSNR 和 SSIM 等指标来查看“修复后”的图像与原始清晰图像有多接近。研究人员发现，这些指标是预测机器人是否能发现汽车的糟糕指标。一种根据这些评分使图像看起来非常“清晰”且高质量的方法，实际上无法有效地帮助机器人找到汽车。相反，一种让图像看起来有点奇怪或过度饱和（但对比度很高）的方法，反而能更好地帮助机器人找到汽车。事实证明，对于机器人来说，看到汽车的边缘和形状比看到完美的车漆颜色更为重要。

简而言之，FogDrive 提供了一个受控的、基于物理学的游乐场，它证明了两件事：第一，直接教机器人如何在雾中驾驶，比尝试把雾气清除掉要更好；第二，我们通常判断“图像质量好坏”的方式并不一定能告诉我们机器人是否安全。通过提供这个完美的、多传感器的配对数据集，作者希望帮助工程师制造出不仅能在晴天工作，而且能真正应对阴暗、多雾的现实道路的自动驾驶汽车。

技术摘要：FogDrive —— 用于评估分级雾天感知性能的多模态合成驾驶数据集

问题陈述

在恶劣天气（尤其是雾天）下的鲁棒感知仍然是实现可靠自动驾驶的关键瓶颈。现有的基准测试由于以下两个主要局限性，无法支持对传感器融合和鲁棒性策略进行系统性评估：

真实世界数据集存在数据采集不受控的问题，其中雾密度未经校准，天气状况仅在单一严重程度下被观察到，且缺乏成对的“清晰-雾天”对应数据。这些因素（光照、交通、传感器噪声）的交织使得研究人员无法隔离雾气严重程度对感知性能的具体影响。
合成替代方案要么严格侧重于单相机图像修复（缺乏多模态对齐），要么缺乏所需的成对“清晰与雾天”结构，从而无法针对“先去雾再检测”流程与“在雾天训练”方法进行基准对比。此外，现有的大规模模拟器（如 SHIFT）通常将天气建模为连续参数，但并未为每个场景提供匹配的观测值，这阻碍了受控对比研究。

因此，迫切需要一个能够提供成对的清晰与退化观测、多种校准后的雾密度、完整的多模态传感器套件以及跨相同驾驶场景的一致性标注的数据集，以支持对感知鲁棒性的受控消融实验。

方法论

作者引入了 FogDrive，这是一个使用 CARLA 模拟器生成的经过严格校准的多模态合成数据集。

数据集构建

规模与多样性： 该数据集包含约 660 个场景（133,000 个同步帧），分布在六个 CARLA 城镇中，具有 50:50 的昼夜平衡分布。
传感器套件： 每个场景都捕获了四个同步传感器的数据（RGB 摄像头、深度图、语义分割）、一个 64 线 LiDAR、一个语义 LiDAR 以及一个前向雷达。
配对设计： 每个场景都以四种完全匹配的版本发布：一个清晰天气参考版本和三个分级雾度版本（轻度、中度、重度）。
基于物理的退化模型：
- 摄像头： 雾气使用 Koschmieder 大气光学模型（ $I(x) = J(x)t(x) + A(1 - t(x))$ ）进行建模，其中透射率随场景深度呈指数级衰减。
- LiDAR： 雾气使用 Beer-Lambert 定律进行衰减建模（ $P_{rec} \propto P_{emit} \exp(-2\beta r)$ ），随后通过重采样来模拟后向散射和逐点噪声。
- 雷达： 未进行退化处理发布，因为实证表明 77 GHz 车载雷达与光学传感器相比，对雾滴并不敏感。
校准可见度： 三个雾度等级分别对应约 160m、100m 和 50m 的气象能见度距离（由 5% 对比度阈值定义）。
标注： 数据集包含车辆（乘用车、卡车、大型车辆）的 2D 和 3D 边界框。标注是通过改进的 CARLA-2DBBox 模块生成的，该模块利用语义 LiDAR 可视性过滤器来确保在所有天气条件下的一致性。

质量保证

通过对 8,000 幅图像进行针对独立语义分割地面真值（CARLA 的分割相机）的定量审计，验证了标注质量。结果显示，在 40 米范围内的车辆，精确度（Precision）为 95.1%，召回率（Recall）大于 99%。由于 LiDAR 点云密度的限制，召回率在较远距离处会逐渐下降，且精度会受到多层几何遮挡的轻微影响。

核心贡献

FogDrive 数据集： 一个大规模多模态基准数据集，提供成对的清晰与雾天观测及三种校准后的密度，实现了在受控环境退化下的系统性评估。
受控基准测试： 配对设计允许直接比较不同的鲁棒性策略（例如，“先去雾再检测”对比“在雾天训练”）以及对天气诱导的分布偏移进行系统性研究。
标注验证： 一套严谨的预注册审计协议，建立了高保真标注（40m 内精度 95.1%，召回率 >99%），并量化了可见性过滤器的局限性。
实证发现： 本文通过使用最先进的架构（TransFusion, BEVFusion, YOLOv8-m）建立了基准测试，以解决感知研究中的两个关键问题。

实验结果

实验 1：3D 多模态检测（单密度 vs. 混合密度）

作者比较了在单一雾度密度下训练与在训练中混合不同雾度密度的效果。

检测率： 使用混合雾度密度（轻度、中度、重度）进行训练，在原始检测率（mAP）方面始终优于单一密度训练，即使在总训练预算相等的情况下也是如此。这表明，对于检测率而言，雾度的多样性比单纯的数据量更具益处。
几何精度： 扩展训练组合（增加混合数据的量）显著提高了检测的几何精度（平均真阳性值和平均平移误差）。具体而言，与单密度训练相比，混合密度训练在中度雾天下的平移误差减少了约 4 cm。
结论： 混合雾度密度可以在不增加额外数据成本的情况下提高检测率，而进一步扩展混合数据则能提升几何精度，这对于下游的运动规划至关重要。

实验 2：2D 图像修复 vs. 直接训练

作者评估了“先去雾再检测”流程是否优于直接在雾天数据上进行训练，以及标准图像质量指标是否能预测下游性能。

直接训练的优越性： 直接在雾天数据上训练的检测器（Pipeline D）接近了清晰数据的上限，并且无论使用何种去雾方法，其表现始终优于所有的“先去雾再检测”流程（Pipeline C）。
图像质量指标的失效： 标准指标如 PSNR 和 SSIM 被证明是下游目标检测性能的糟糕预测指标。
- 示例： DehazeFormer-S 模型虽然获得了最高的 SSIM，但在检测性能上却逊于 DCP（暗通道先验）。
- 示例： 微调 AOD-Net 虽然使 PSNR 提升了约 4.9 dB，但与基准相比，对检测 mAP 的提升微乎其微；而 DCP（其 PSNR 低于雾天基准）却显著提升了检测性能。
结论： 图像质量指标优先考虑像素级的重建（纹理、色彩），但这并不一定与目标检测所需的特征图（对比度、边缘）相一致。直接从退化观测中学习是更优的策略；只有在无法重新训练时，去雾才是一种备选方案。

意义与主张

本文声称 FogDrive 通过提供首个受控的多模态基准，填补了自动驾驶研究中的关键空白，该基准同时提供了成对的清晰/雾天观测、校准后的雾密度以及一致的标注。

这项工作的意义在于其能够：

解耦变量： 允许研究人员隔离雾气严重程度对感知的影响，而不受真实世界数据采集中混杂因素的影响。
指导以数据为中心的机器学习： 证明在训练期间混合雾度密度是一种低成本、高回报的策略，可以提高鲁棒性，并证明扩展混合数据可以提升几何精度。
重新评估修复流程： 挑战了“提高图像质量（PSNR/SSIM）会导致更好检测”的假设，表明直接从退化输入中学习更为有效，并且经典的对比度恢复方法（如 DCP）在检测任务上可以优于基于深度学习的修复方法。

作者将 FogDrive 定位为加速鲁棒多模态研究的工具，并将数据集、生成框架和审计协议全部开源。