💻 computer science

ViCo3D: Empowering LiDAR-based Collaborative 3D Object Detection with Vision Foundation Models

ViCo3D 是一个新颖的协作式 3D 物体检测框架，它通过将点云投影到 BEV 图像中以进行 DINOv2 特征提取，从而弥合了 LiDAR 与视觉基础模型之间的模态间隙，进而显著增强了特征级协作，并在 V2X 系统中实现了最先进的性能。

原作者： Haojie Ren, Songrui Luo, Lingfeng Wang, Yan Xia, Yao Li, Jing Li, Lu Zhang, Jiajun Deng, Yanyong Zhang

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haojie Ren, Songrui Luo, Lingfeng Wang, Yan Xia, Yao Li, Jing Li, Lu Zhang, Jiajun Deng, Yanyong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在驾驶一辆自动驾驶汽车，但你不仅仅依赖于你自己的眼睛（你的 LiDAR 传感器），你还有一个朋友团队在协助你观察道路。有些朋友在其他车里，有些则站在街角，配备了超强的摄像头。这被称为 V2X（车联网）协作。其目标是分享每个人所看到的信息，这样你就能比独自观察时更有效地发现隐藏的行人或狡猾的车辆。

但问题在于：你的朋友们看世界的方式各不相同。路角的车辆从高角度观察，视野密集且清晰；而你的车则从低角度观察，视野较为稀疏且“颗粒感”较强。试图将这两幅不同的图像进行融合，就像是试图将一张高清照片与一张草图进行混合。通常情况下，计算机会感到困惑，导致这种团队协作的效果并不理想。

大创意：借鉴 2D 图像的“超级大脑”
这项研究背后的研究人员开发了一个名为 ViCo3D 的奇思妙想。他们注意到，虽然 LiDAR 数据（3D 点云）杂乱且难以理解，但 视觉基础模型（VFMs）——特别是名为 DINOv2 的模型——已经非常擅长理解 2D 图像。这些模型在数百万张照片上进行了训练，非常擅长识别形状、纹理和物体。

团队提出了一个问题：如果我们能“欺骗” DINOv2，让它把我们的 3D LiDAR 数据当作一张 2D 图片来看待，会发生什么呢？

他们是如何做到的（魔术技巧）

转换（The Transformation）： 他们将来自 LiDAR 的 3D 点投影到一个平面地图上（称为鸟瞰图或 BEV）。他们用三种“颜色”（通道）为这张地图着色：一个代表高度，一个代表反射强度（亮度），一个代表点的密集程度。突然之间，那些杂乱的 3D 点看起来就像一张普通的图像了。
超级大脑（The Super-Brain）： 他们将这个“LiDAR 图像”输入到 DINOv2 中。作为 2D 图像专家，这个 AI 立即开始提取关于场景的丰富且智能的特征——比如“那看起来像是一辆车”或“那个区域是空的”。
融合（The Merging）： 但是，等等！DINOv2 擅长“看”，但并不擅长“测量”精确距离（定位）。因此，研究人员并没有直接用 DINOv2 替换掉原有的系统。相反，他们构建了一个融合引擎。他们提取了来自 DINOv2 的“智能视觉”信息，并将其与原始 LiDAR 系统的“精确测量”信息相结合。
- 首先，他们观察全局（全局上下文），以理解整个场景。
- 然后，他们进行局部缩放以修正微小的细节（局部细化），从而确保不会丢失物体的精确形状。

他们反对哪些观点
论文明确反对了一些常见的观点：

不要强行让所有人看起来都一样： 一些之前的方法试图强迫车辆的视角和街角的视角变得完全一致。作者说：“不！”不同的视角有不同的优势。你应该保留这些差异，因为它们提供了互补信息（一个看到的正是另一个所忽略的）。
不要仅仅更换大脑： 你不能直接扔掉 LiDAR 传感器只使用 DINOv2。论文表明，仅使用视觉模型特征会导致性能大幅下降（这就像是尝试仅凭一张没有速度计的地图来开车）。你需要两者兼备。
不要忽视“模态间隙（Modality Gap）”： 你不能直接把训练好的图像 AI 粘贴到 3D 数据上而不进行翻译。论文证明，如果没有他们特殊的融合步骤，这个经过图像训练的模型在处理 3D 任务时会表现得非常糟糕。

结果：效果提升了多少？
团队在两个真实世界的数据集上进行了测试：DAIR-V2X（真实世界数据）和 V2XSet（模拟数据）。

胜出： ViCo3D 击败了他们测试的所有其他方法。在 DAIR-V2X 数据集上，它实现了 82.80 的 AP@0.5 和 71.39 的 AP@0.7。（AP 代表平均精度；数值越高越好）。
协作带来的提升： 这是最酷的部分。当他们加入团队协作（Collaboration）后，其方法比单车独立工作时的表现提升了 13.01 个百分点。
对比： 其他方法的提升仅约为 7 到 8 个点。作者指出，他们的算法从团队协作中获得的收益比以往的方法高出多达 1.8 倍（或在文中为 1.89 倍）。

他们有多确定？
作者对这些数字非常有信心，因为他们在标准的公共基准测试上进行了广泛的实验。他们不是在猜测，而是在实测。

他们证明了该方法创造了一个“更丰富”的特征空间。与其依赖少数几个主导通道（就像一个大嗓门在人群中喧哗），该方法将信息分散到许多通道中，从而实现更详细、更多样化的理解。
他们展示了虽然该方法使车辆与街角之间的特征相似度降低了（余弦相似度较低），但这实际上是一件好事，因为它保留了每个代理所看到的独特且有用的细节。

总结
ViCo3D 是一种让自动驾驶汽车更好地协同工作的新方法。通过将 3D LiDAR 数据转换为 2D 图像专家（DINOv2）可以理解的格式，并仔细地将这种“智能视觉”与精确的 3D 测量相结合，他们创造了一个能够更准确地识别物体，并能比以往任何时候都更好地从团队协作中获益的系统。这并不是解决所有问题的万灵药（他们承认仍需研究时间延迟以及未来添加摄像头的问题），但就目前而言，这是迈向让汽车作为团队共同观察世界的巨大进步。

技术摘要：ViCo3D

问题陈述

基于 LiDAR 的车路协同（V2X）协同感知通常依赖于融合来自多个智能体（车辆和基础设施）提取的鸟瞰图（BEV）特征。然而，目前最先进的方法面临两个主要局限性：

特征异构性： 现有的 LiDAR 主干网络通常是在特定任务数据集上从头开始训练的，导致 BEV 表示过度依赖几何结构，缺乏通用的语义先验。由于传感器配置、观测视角以及数据密度（例如，高密度基础设施 LiDAR 与低密度车辆 LiDAR）的差异，这导致了不同智能体之间特征分布的显著差异。
模态鸿沟： 虽然视觉基础模型（VFM，如 DINOv2）在从大规模图像数据中学习通用视觉表示方面表现出了卓越的能力，但将其直接应用于基于 LiDAR 的 3D 检测并非易事。2D 图像模态与不规则 3D 点云之间的巨大差异，结合原始 VFM 特征缺乏定位敏感性的问题，会导致如果孤立使用 VFM 时会出现严重的性能下降。

现有试图对齐跨智能体特征的方法往往优先考虑特征一致性，这可能会抑制不同观测中固有的互补信息。本文认为，有效的协作应当保留这些与检测相关的互补线索，而不是强行进行严格的特征对齐。

方法论：ViCo3D

ViCo3D 是一个旨在通过将视觉基础模型（特别是 DINOv2）与基于 LiDAR 的感知相结合，来弥合图像-点云模态鸿沟的协同 3D 物体检测框架。该框架通过三个核心阶段运行：

1. 双支路特征提取

为了在不丢弃几何精度的前提下利用 VFM，ViCo3D 为每个智能体采用了双支路编码器：

Pillar 支路： 利用标准的基于 PointPillars 的编码器，直接从体素化的点云中提取稠密的 LiDAR BEV 特征（ $F_P$ ），以保留对 3D 检测至关重要的局部几何结构。
DINOv2 支路： 将原始 LiDAR 点云投影到 BEV 平面上以生成三通道“BEV 图像”。这些通道编码了：(1) 最大归一化高度，(2) 归一化反射强度，以及 (3) 点密度（对数缩放）。这些结构化图像被输入到预训练的 DINOv2 主干网络中，以提取富含语义先验的 BEV 空间视觉特征（ $F_D$ ）。

2. 特征对齐与多尺度融合

为了有效整合几何特征（ $F_P$ ）和语义特征（ $F_D$ ），该框架引入了一个多尺度融合模块：

特征对齐： 可学习的投影层将来自两个支路的特征映射到一个共享的特征空间，以减轻表示不匹配的问题。
低分辨率全局融合 (LRG)： 为了避免在高分辨率 BEV 图上进行密集注意力机制带来的高昂内存成本，特征被下采样（4倍）。应用了一种以 PointPillars 为主导的交叉注意力机制，其中 Pillar 特征作为查询（Query），DINOv2 特征作为键（Key）和值（Value）。这有效地捕捉了全局上下文交互。
高分辨率精细化融合 (HRR)： 为了恢复在下采样过程中丢失的细粒度局部细节，高分辨率精细化阶段在原始分辨率上运行。它通过显式建模差值（ $|F'_P - F'_D|$ ）和元素级乘积（ $F'_P \odot F'_D$ ）项来突出差异和互补激活区域，从而建模局部关系。一个空间动态门控会自适应地平衡融合后的特征与原始 Pillar 残差流。

3. 以自我为中心的协同融合

主动通信： 受 Where2comm 的启发，该框架采用了一种主动通信机制，即智能体仅传输空间关键区域（基于置信度图）而非完整的稠密特征图，从而降低带宽消耗。
以自我为中心的聚合： 在接收到来自相邻智能体的特征后，自我车辆将其变换到自身的坐标系中。一种门控机制会自适应地调整相邻特征相对于自我特征的贡献，通过执行残差更新来合并互补信息，同时保持自我中心表示作为主要锚点。

核心贡献

由 VFM 增强的 LiDAR 感知： ViCo3D 是首个探索利用视觉基础模型（DINOv2）来增强智能体级 LiDAR BEV 表示以提升协同感知能力的著作，成功弥合了图像-点云的模态鸿沟。
多尺度融合架构： 本文提出了一种结合低分辨率全局融合（用于高效上下文建模）和高分辨率精细化（用于保留局部细节）的新型融合策略，实现了语义先验与几何特征的有效集成。
互补性优于一致性： 与以往侧重于通过特征蒸馏来强制实现一致性的方法不同，ViCo3D 证明了保留多样化、互补的特征表示可以带来更优的协同增益。实证分析表明，尽管 ViCo3D 的跨视图特征相似度低于基准模型，但其检测性能却更高。

实验结果

该框架在两个基准数据集上进行了评估：真实世界的 DAIR-V2X 数据集和模拟的 V2XSet 数据集。

最先进的性能： ViCo3D 在基于 BEV 的检测方法中达到了最佳性能。
- 在 DAIR-V2X 上，达到了 82.80 AP@0.5 和 71.39 AP@0.7。
- 在 V2XSet 上，达到了 97.20 AP@0.5 和 93.23 AP@0.7。
协同增益： ViCo3D 展示了相对于单智能体基准模型的最大提升。在 DAIR-V2X 的 IoU=0.5 时，它比基准模型提升了 13.01 个百分点，这大约是 INSTINCT 增益的 1.89 倍 以及 DI-V2X 增益的 1.60 倍。
消融研究：
- 仅使用 DINOv2 特征会导致性能较差（AP@0.5 $\approx$ 14.49），证实了双支路融合的必要性。
- 研究表明 LRG 和 HRR 模块的结合至关重要，其中 LRG 提高了召回率，而 HRR 恢复了精确度。
- 特征空间分析（PCA 和通道能量）显示，与基准模型相比，ViCo3D 学习到了一个更具分布性的特征子空间，这支持了其通过保留互补信息而非强制对齐来实现目标的假设。

重要性与主张

本文声称 ViCo3D 从根本上改变了协同感知的范式，即从寻求特征一致性转向利用特征互补性。通过将视觉基础模型的通用语义先验与 LiDAR 主干网络的几何精度相结合，该框架克服了 V2X 系统中固有的异构性问题。作者断言，这种方法不仅为 3D 检测树立了新的标杆，还提供了一种更鲁棒的跨智能体信息共享机制，提供了比现有中间融合方法显著更高的协同增益。该工作强调，通过结构化 BEV 投影和多尺度融合，可以有效地弥合图像与点云之间的“模态鸿沟”，而无需开发全新的 3D 基础模型。