CLAP: Unsupervised 3D Representation Learning for Fusion 3D Perception via Curvature Sampling and Prototype Learning

本文提出了名为 CLAP 的无监督联合预训练方法，通过曲率采样降低计算成本并利用可学习原型挖掘图像与点云的互补性，从而在融合 3D 感知任务中显著超越了现有最先进方法。

要点

这篇论文介绍了一种名为 CLAP 的新方法，旨在帮助自动驾驶汽车更好地“看懂”世界。

想象一下，自动驾驶汽车就像是一个刚出生的婴儿，它需要学习如何识别路上的车、人、障碍物。通常，教它学习需要人类老师（标注员）花大量时间给每一张图片、每一个激光雷达点云打上标签（比如“这是车”、“那是行人”）。但这既昂贵又耗时。

这篇论文的核心思想是：让汽车自己通过“观察”和“联想”来学习，而不需要人类老师手把手教。

为了让你更容易理解，我们可以把 CLAP 的工作过程比作一个**“超级侦探训练营”**，它有三个独门秘籍：

1. 核心难题：为什么以前的方法不够好？

以前的训练方法（比如 UniPAD）就像是在教学生时，把“看图片”和“看 3D 模型”分成了两门课，分别上课。

• 问题在于： 图片（相机）能告诉你物体的颜色和纹理（比如“这是一辆红色的法拉利”），但很难判断距离和形状；而激光雷达（LiDAR）能精准画出物体的 3D 轮廓（比如“这是一个长方体，距离 10 米”），但不知道它是什么颜色或材质。
• 以前的做法： 因为数据量太大，电脑算不过来，所以只能分开训练。这就导致学生只学会了看平面，或者只学会了看立体，没能把两者结合起来，无法真正理解“这是一辆红色的法拉利，距离我 10 米”。

2. CLAP 的三大独门秘籍

秘籍一：曲率采样（Curvature Sampling）—— “只挑重点看”

• 比喻： 想象你要画一幅复杂的风景画。如果你把画布上每一寸地方（比如平坦的草地、天空）都花同样的时间去描摹，你会累死，而且画不出重点。
• CLAP 的做法： 它发现，平坦的地方（如路面、天空）信息量很少，而弯曲、复杂的地方（如汽车的轮廓、行人的关节）信息量巨大。
• 操作： CLAP 像是一个精明的侦探，它会自动计算哪里是“弯曲”的（曲率高），哪里是“平坦”的。它只把精力集中在那些弯曲、复杂的“关键部位”，忽略平坦的背景。
• 效果： 这就像把原本需要 100 个人力才能完成的工作，压缩到只需要 1 个人就能高效完成，从而让电脑能够同时处理图片和 3D 数据，不再需要分开训练。

秘籍二：可学习原型（Learnable Prototypes）—— “建立通用语言”

• 比喻： 想象相机和激光雷达是两个说不同语言的人。相机说：“这是红色的、光滑的”，激光雷达说：“这是立体的、有棱角的”。他们没法直接交流。
• CLAP 的做法： CLAP 引入了一组**“万能翻译官”（原型）**。这些翻译官不是预先定义好的，而是在训练中自己学会的。
  • 比如，当相机看到“红色的光滑表面”，激光雷达看到“立体的方块”时，CLAP 会训练这两个翻译官都指向同一个概念——“汽车”。
  • 通过这种机制，它强行把图片和 3D 点云拉到了同一个“特征空间”里，让它们能互相理解。

秘籍三：交换预测与防坍塌（Swapping & Regularization）—— “互相出题考试”

• 比喻： 为了防止学生死记硬背或者偷懒（比如所有翻译官都变成同一个词，这就叫“坍塌”），CLAP 设计了一套**“交换考试”**机制。
• 操作：
  • 它让相机分支去猜激光雷达的特征，又让激光雷达分支去猜相机的特征。
  • 同时，它给每个“翻译官”发一张“身份证”（Gram Matrix 正则化），确保它们彼此不同，不会变成同一个词。
• 效果： 这种互相出题的方式，强迫模型深入理解图片和 3D 数据之间深层的互补关系，而不是表面上的模仿。

3. 结果如何？

在著名的自动驾驶数据集（NuScenes 和 Waymo）上，CLAP 的表现令人惊叹：

• 效率提升： 它的性能提升幅度比之前最先进的方法（SOTA）还要高出 100%。
• 少样本学习： 即使只给模型看极少量的标注数据（比如只有 0.5% 的数据）进行微调，CLAP 也能表现得非常好。这意味着它学到的“直觉”非常扎实。

总结

CLAP 就像是一个聪明的教练，它教自动驾驶汽车：

1. 抓重点（曲率采样）：不看无聊的平地，只看关键的轮廓。
2. 建桥梁（原型学习）：让图片和 3D 数据用同一种语言交流。
3. 互相考（交换预测）：通过互相出题，确保学到的知识既全面又准确。

最终，它让自动驾驶汽车在没有人类老师大量标注的情况下，也能学会如何安全、精准地感知 3D 世界。这大大降低了自动驾驶技术的开发成本，是迈向全自动驾驶的重要一步。

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为 CLAP: UNSUPERVISED 3D REPRESENTATION LEARNING FOR FUSION 3D PERCEPTION VIA CURVATURE SAMPLING AND PROTOTYPE LEARNING（CLAP：基于曲率采样和原型学习的无监督融合 3D 感知表示学习）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 多模态融合感知的重要性：自动驾驶等 3D 感知任务通常依赖相机（RGB 图像）和激光雷达（LiDAR 点云）的融合。融合两种模态通常比单一模态性能更好，因为图像提供高级语义，而点云提供几何结构。
• 标注成本高：3D 空间的数据标注极其耗时耗力，限制了监督学习的发展。
• 现有无监督方法的局限性：
  • 现有的基于可微渲染（Differentiable Rendering）的无监督预训练方法（如 UniPAD）虽然有效，但由于处理大规模点云和图像的计算成本极高（显存限制），通常只能分别对图像和点云编码器进行预训练。
  • 这种分离式训练无法利用图像的高级语义和点云的几何结构之间的互补性，导致预训练效果受限。
• 核心挑战：如何在有限的计算资源下，实现图像和点云模态的联合无监督预训练，并有效挖掘两者间的互补信息。

2. 方法论 (Methodology)

作者提出了 CLAP (Curvature sampLing and leArnable Prototype) 框架，通过以下三个核心组件解决上述问题：

A. 曲率采样 (Curvature Sampling)

• 目的：解决联合预训练的计算瓶颈。由于无法处理所有点/像素，需要采样最具信息量的部分。
• 原理：
  • 观察到平坦表面（如路面）的信息冗余度高，而高曲率表面（如车辆边缘）包含更多几何信息。
  • 通过计算 Signed Distance Field (SDF) 函数的二阶导数来估计每个点的法向量和曲率。
  • 利用曲率作为采样权重，优先采样高曲率区域（信息丰富点），丢弃低曲率区域（平坦背景）。
• 效果：显著降低了计算量，使得在单张 GPU 上同时处理图像和点云成为可能，同时保留了关键的几何细节。

B. 可学习原型学习 (Learnable Prototype Learning)

• 目的：在图像和点云之间建立共享的特征空间，挖掘模态间的互补性。
• 机制：
  • 引入一组可学习原型 (Learnable Prototypes)，用于表示 3D 场景的不同部分（如物体部件）。
  • 期望最大化 (EM) 训练方案：通过 EM 算法优化原型，最大化每个模态的嵌入向量与原型集合之间的相似度，使原型能够代表场景的语义部分。
  • 交换预测损失 (Swapping Prediction Loss)：借鉴 SwAV 的思想，利用交换预测损失来探索图像和点云模态之间的交互，强制模型学习跨模态的一致性。

C. 稳定性优化 (Stability Optimization)

• 问题：在训练过程中，原型容易坍缩（Collapse）到同一个向量，导致学习失效。
• 解决方案：引入 Gram 矩阵正则化 (Gram Matrix Regularization) 损失项，最小化原型之间的相似度（即最大化正交性），防止原型坍缩，确保每个原型代表不同的场景部分。

D. 整体流程

1. 编码：分别通过 LiDAR 编码器和相机编码器提取特征，融合后得到融合特征。
2. 采样：使用曲率采样策略从融合特征中选取关键点和像素。
3. 可微渲染：利用神经场（Neural Field）进行掩码重建，预测 SDF 值和 RGB 颜色，计算重建损失。
4. 原型优化：结合 EM 损失、交换预测损失和 Gram 矩阵正则化损失，优化共享特征空间。

3. 主要贡献 (Key Contributions)

1. 首个联合预训练方法：提出了基于曲率采样的策略，首次实现了基于可微渲染的图像与点云联合无监督预训练，打破了以往分离训练的局限。
2. 共享特征空间构建：利用可学习原型和 EM 训练方案，成功在图像语义和 LiDAR 几何之间建立了共享特征空间，有效利用了模态互补性。
3. 创新的损失函数设计：提出了交换预测损失以探索模态交互，并引入 Gram 矩阵正则化防止原型坍缩，提升了训练稳定性。
4. 显著的性能提升：在 NuScenes 和 Waymo 数据集上验证了方法的有效性，证明了其优越的扩展性（Scaling Property）。

4. 实验结果 (Results)

实验在 NuScenes 和 Waymo 两个主流自动驾驶数据集上进行，下游任务为 3D 目标检测（Few-shot 设置，如 5% 或 1% 数据微调）。

• NuScenes 数据集：
  • CLAP 在 mAP 上比随机初始化提升了 2.48%，比之前的 SOTA 方法 UniPAD 提升了 100% 的增益幅度。
  • 在 NDS (NuScenes Detection Score) 指标上提升了 1.76%。
  • 在所有类别（如施工车辆、公交车、行人等）上均表现出性能提升。
• Waymo 数据集：
  • 在 Level-1 和 Level-2 难度下，CLAP 均取得了最佳性能。
  • 相比之前的最佳预训练方法（OCC-MAE），CLAP 带来的性能提升约为其 2 倍。
• 扩展性 (Scaling Property)：
  • 随着微调数据比例降低（从 5% 降至 0.5%），CLAP 相对于随机初始化的优势显著扩大。在仅使用 0.5% 微调数据时，mAP 提升了 7.22%，NDS 提升了 4.71%。这表明 CLAP 具有极强的数据效率，且随着预训练数据量的增加，性能有望进一步提升。
• 消融实验：
  • 证明了“曲率采样”比均匀采样更有效。
  • 证明了“原型学习”模块对于融合模态交互至关重要。

5. 意义与影响 (Significance)

• 突破计算瓶颈：通过曲率采样，CLAP 解决了高维多模态数据联合预训练的计算显存瓶颈，为未来更复杂的融合感知预训练提供了可行路径。
• 挖掘互补性：首次在无监督框架下，通过原型学习有效地利用了图像语义和点云几何的互补性，证明了联合预训练优于分离预训练。
• 提升数据效率：在少样本（Few-shot）场景下表现优异，显著降低了自动驾驶系统对昂贵 3D 标注数据的依赖，具有极高的实际应用价值。
• 未来方向：该方法展示了良好的扩展性，暗示随着预训练数据规模的扩大，3D 融合感知模型的性能仍有巨大的提升空间。

总结：CLAP 通过创新的曲率采样和原型学习机制，成功实现了图像与点云的联合无监督预训练，显著提升了 3D 融合感知任务的性能，特别是在标注数据稀缺的场景下，为自动驾驶感知系统的开发提供了强有力的技术支撑。