HeCoFuse: Cross-Modal Complementary V2X Cooperative Perception with Heterogeneous Sensors

针对现实 V2X 系统中因传感器异构配置带来的融合挑战，本文提出了 HeCoFuse 框架，通过层级融合机制、自适应空间分辨率调整及协同学习策略，在 TUMTraf-V2X 数据集上实现了跨模态互补感知，以 43.38% 的 3D mAP 成绩刷新了该数据集的 SOTA 纪录并荣获 CVPR 2025 DriveX 挑战赛冠军。

要点

想象一下，未来的城市交通就像一个巨大的交响乐团。在这个乐团里，每辆车（车辆节点）和路边的智能设施（基础设施节点）都是乐手。为了让交通流畅、安全，这些乐手需要互相“听”到彼此，共享视野，从而避开障碍物、防止事故。这就是V2X（车联网）协同感知。

然而，现实世界并不像交响乐谱上写的那样完美。现实中，有的乐手拿着昂贵的激光雷达（LiDAR）（像一把高精度的 3D 扫描仪，能看清距离和形状，但很贵），有的只拿着普通的摄像头（像人眼，能看清颜色和文字，但受光线影响大，且看不清深度），还有的两者都有。

如果让拿着不同“乐器”的乐手强行合奏，或者让一个只拿摄像头的乐手去指挥一个只拿激光雷达的乐手，音乐就会乱套。这就是**异构传感器（Heterogeneous Sensors）**带来的挑战。

这篇论文提出的 HeCoFuse，就是为了解决这个“乐器不统一”的难题，打造了一个万能指挥家。

1. 核心问题：大家“拿的装备”不一样

在理想的实验室里，大家假设所有车都装了一模一样的设备。但在现实中：

• 车 A：有激光雷达 + 摄像头（全副武装）。
• 车 B：只有摄像头（为了省钱）。
• 路边站 C：只有激光雷达（为了覆盖远距离）。

如果直接把这些不同的数据拼在一起，就像把“乐谱”和“照片”硬塞进同一个文件夹，系统会晕头转向，不知道听谁的，或者因为数据格式对不上而崩溃。

2. HeCoFuse 的三大绝招

为了解决这个问题，HeCoFuse 设计了三个聪明的机制：

🎯 绝招一：智能“注意力”指挥棒 (Hierarchical Attention Fusion)

想象一下，当车 B（只有摄像头）和路边站 C（只有激光雷达）合作时：

• 车道宽度、物体形状：激光雷达看得准，摄像头容易看错。这时候，HeCoFuse 的“指挥棒”会把注意力集中在激光雷达的数据上，告诉系统：“听 C 的，它看得更准！”
• 红绿灯颜色、路牌文字：激光雷达看不见，摄像头看得清。这时候，指挥棒会立刻转向摄像头，说：“听 B 的，它知道这是红灯！”

比喻：这就像你在黑暗中找人。如果你手里有手电筒（激光雷达），你就主要靠光看轮廓；如果你手里有望远镜（摄像头），你就主要靠看衣服颜色。HeCoFuse 能根据环境（白天/黑夜/遮挡），动态决定该相信谁，把两者的优点结合起来，而不是死板地平均分配。

📏 绝招二：自适应“分辨率”调节器 (Adaptive Spatial Resolution)

不同装备产生的数据“颗粒度”不一样。激光雷达的数据可能很精细但计算量大，摄像头的数据可能很模糊但计算快。

• HeCoFuse 就像一个智能裁缝。如果对方只有摄像头，它就自动把数据“裁剪”得稍微粗糙一点，节省算力；如果对方有激光雷达，它就保留精细的“布料”。
• 比喻：就像你在发微信图片。如果对方网速慢（算力低），系统自动发缩略图；如果对方网速快，就发原图。这样既保证了大家都能收到信息，又不会让系统“卡死”。

🧩 绝招三：万能“翻译官” (PseudoFusion)

有些节点可能只有一个传感器，甚至暂时没信号。

• HeCoFuse 内置了一个“翻译官”，能把只有摄像头的数据，强行“翻译”成激光雷达能懂的语言格式；反之亦然。
• 比喻：就像在联合国会议上，不管你是讲中文、英文还是法文，翻译官都能确保大家坐在同一张桌子上开会，不会因为语言不通而散伙。即使有人没带翻译（传感器缺失），系统也能用“默认值”撑住场面，保证不崩溃。

3. 实战成绩：真的好用吗？

作者们在真实的慕尼黑交通数据集（TUMTraf-V2X）上进行了测试，这个数据集包含了各种复杂的交通场景。

• 全能模式：当所有设备都齐全时，HeCoFuse 的表现比之前的冠军算法（CoopDet3D）还要好，准确率提升了约 1.17%。
• 混搭模式：在“车只有激光雷达 + 路边站有全套设备”这种不对称的情况下，它甚至取得了**43.38%**的超高准确率，比全副武装的模式还高！
• 极端模式：即使是在“车只有摄像头 + 路边站只有激光雷达”这种最差的组合下，它依然能保持 21.74% 的准确率，没有像其他算法那样直接“摆烂”。

最终结果：HeCoFuse 在 CVPR 2025 DriveX 挑战赛中拿到了第一名，证明了它是目前处理这种“装备参差不齐”交通场景的最强方案。

总结

HeCoFuse 的核心思想就是：不要强求大家装备一样，而是要学会“取长补短”。

它就像一位经验丰富的老练的乐队指挥，不管乐手手里拿的是昂贵的长笛还是普通的口琴，也不管是在嘈杂的街头还是安静的音乐厅，它都能通过动态调整注意力和灵活适配节奏，指挥大家奏出最和谐、最安全的交通乐章。这让未来的自动驾驶不再依赖昂贵的“顶配”车辆，而是让各种不同配置的车和路，都能安全地协同工作。

技术摘要

HeCoFuse 论文技术总结

论文标题：HeCoFuse: Cross-Modal Complementary V2X Cooperative Perception with Heterogeneous Sensors (HeCoFuse：基于异构传感器的跨模态互补 V2X 协同感知)

1. 研究背景与问题 (Problem)

现有的车路协同（V2X）感知系统研究大多假设所有节点（车辆和路侧基础设施）拥有相同或相似的传感器配置。然而，在现实世界的部署中，受限于成本、硬件升级路径及基础设施差异，传感器配置具有高度的异构性（Heterogeneity）。

• 核心挑战：
  1. 模态不对称：节点可能仅配备激光雷达（LiDAR）、仅配备摄像头（Camera），或两者兼具。这导致特征在空间分辨率、视场（FOV）和信息密度上存在巨大差异，难以直接对齐和融合。
  2. 特征不一致性：当某些节点缺失特定模态时，传统的融合策略（如简单的特征相加）效果不佳，导致次优的感知性能。
  3. 鲁棒性要求：系统必须在部分传感器失效或节点能力参差不齐的情况下，仍能通过自适应机制维持感知能力，实现“优雅降级”。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 HeCoFuse，这是一个统一的协同感知框架，旨在支持任意组合的异构传感器配置（共涵盖 9 种典型场景，如 LC+LC, L+C, C+LC 等）。

2.1 整体架构

HeCoFuse 采用模块化设计，包含以下核心组件：

• 模态特定编码器：
  • LiDAR 路径：通过动态体素化（Dynamic Voxelization）将点云转换为结构化 3D 网格，利用 3D 稀疏卷积提取特征，并投影为鸟瞰图（BEV）。
  • Camera 路径：使用 2D 卷积骨干网络提取图像特征，通过深度估计和视图转换模块（View Transformation）将透视视图特征转换为 BEV 空间。
• 节点内融合（Intra-node Fusion）：
  • 对于多模态节点（如 LC），通过拼接通道并应用卷积层融合 LiDAR 的精确空间信息和相机的丰富语义信息。
  • 对于单模态节点，引入 PseudoFusion（伪融合） 机制，利用传感器特定的适配器（Adapter）将特征映射到统一的维度，确保不同节点间的特征兼容性。

2.2 核心创新机制

1. 分层注意力融合（Hierarchical Attention Fusion, HAF）：

   • 通道注意力：自适应地评估不同传感器模态提供的特征通道的重要性（例如，在距离估计上更信任 LiDAR 通道，在外观识别上更信任相机通道）。
   • 空间注意力：生成空间注意力图，根据节点传感器的特性，在特定空间区域（如远距离或复杂视觉区域）加权不同节点的特征。
   • 通过通道和空间的双重加权，有效解决跨模态特征错位和表示质量不平衡的问题。

2. 自适应空间分辨率调整（Adaptive Spatial Resolution, ASR）：

   • 针对不同传感器配置产生的特征图尺度差异，ASR 模块根据节点配置动态调整下采样和上采样策略。
   • 在融合前对特征进行配置感知的下采样，融合后根据最精确传感器的配置进行上采样，从而在降低计算成本（减少 30-45%）的同时保持信息保真度。

3. 协同学习策略（Cooperative Learning Strategy）：

   • 训练过程中随机采样所有 9 种异构配置，使模型学习通用的融合策略，而非针对单一配置过拟合。这确保了模型在面对未见过的传感器组合时仍能保持鲁棒性。

3. 主要贡献 (Key Contributions)

1. 首个统一框架：提出了 HeCoFuse，这是首个专门为 V2X 网络中异构传感器配置设计的统一协同感知框架，能够处理从单传感器到多传感器的任意组合。
2. 双重创新机制：开发了**分层注意力融合（HAF）和自适应空间分辨率（ASR）**模块，实现了跨模态特征的动态集成和特征尺度的协调，解决了异构数据融合中的对齐与效率难题。
3. 实车数据验证：在真实世界的 TUMTraf-V2X 数据集上进行了广泛实验，证明了该方法在从头训练（from scratch）的情况下即可达到最先进（SOTA）性能，并在 9 种异构配置下均保持了高鲁棒性。

4. 实验结果 (Results)

实验基于 TUMTraf-V2X 数据集（慕尼黑城市路口真实数据），使用单张 RTX 4090 GPU 训练。

• SOTA 性能：
  • 在 LC+LC（全传感器配置）下，HeCoFuse 达到 43.22% 的 3D mAP，优于基线模型 CoopDet3D（42.05%）1.17%。
  • 在 L+LC（车辆仅 LiDAR，路侧 LiDAR+ 相机）配置下，性能进一步提升至 43.38% 的 3D mAP，甚至超过了全传感器配置，证明了路侧多模态信息的巨大价值。
• 异构鲁棒性：
  • 在 9 种异构配置中，3D mAP 范围稳定在 21.74% – 43.38% 之间。
  • 即使在纯相机配置（C+C）下（21.74%），系统仍能保持基本感知能力，体现了良好的降级特性。
• 竞赛成绩：凭借 L+LC 配置下的优异表现，HeCoFuse 获得了 CVPR 2025 DriveX Challenge 的第一名。
• 定性分析：可视化结果显示，该框架在夜间等低光照条件下表现稳健，能够动态增加 LiDAR 特征的权重以弥补相机在暗光下的不足，有效解决了遮挡问题并扩展了感知范围。

5. 意义与展望 (Significance)

• 现实意义：HeCoFuse 打破了理想化研究假设（同构传感器）与真实部署（异构传感器）之间的鸿沟，为低成本、渐进式升级的 V2X 系统提供了可行的技术路径。
• 技术价值：证明了通过自适应注意力机制和协同学习，可以在不牺牲精度的前提下，灵活应对复杂的传感器组合，显著提升了系统的容错能力和部署灵活性。
• 未来方向：
  • 扩展至多节点（>2 个）场景以验证可扩展性。
  • 在雨、雾、雪等极端天气下测试异构融合的互补优势。
  • 探索更多样化的车载相机布局，以缩小纯相机方案与多模态方案的性能差距，降低系统成本。

总结：HeCoFuse 通过创新的注意力融合机制和自适应分辨率策略，成功解决了 V2X 协同感知中传感器异构性带来的核心挑战，在真实数据集上取得了领先性能，为未来大规模、多样化的智能交通系统部署奠定了坚实基础。代码已开源。