🤖 AI

HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-trainin

HiLDA 是一个用于 LiDAR 主干网络的自监督预训练框架，它利用来自视觉基础模型的层次化蒸馏以及时序占用扩散目标，通过更好地捕捉语义和几何信息，在 3D 目标检测、场景流和语义占用预测方面实现了最先进的性能。

原作者： Maciej Wozniak, Jesper Ericsson, Hariprasath Govindarajan, Truls Nyberg, Thomas Gustafsson, Patric Jensfelt, Olov Andersson

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Maciej Wozniak, Jesper Ericsson, Hariprasath Govindarajan, Truls Nyberg, Thomas Gustafsson, Patric Jensfelt, Olov Andersson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人驾驶员如何观察世界。你有两种类型的“眼睛”：

摄像头（The Camera）： 它像人类一样观察世界——充满色彩、纹理和清晰的标签（比如“那是停止标志”或“那是一只狗”）。它非常擅长理解事物是“什么”，但它并不清楚这些事物在 3D 空间中确切的“位置”或运动方式。
激光雷达（LiDAR）： 它是一个精确的 3D 扫描仪，创建了一个世界的精确地图。它知道每一个点确切的“位置”，但它看到的只是一个没有标签的世界，由无数个点组成的云团。它不知道一个点是树还是汽车；它只知道那里有一个点。

问题在于，教导激光雷达识别物体通常需要人类手动标注数百万个 3D 点，这既缓慢又昂贵，而且无法覆盖所有可能发生的情况（比如一只狗从卡车后面跑出来，或者在雨天中跑出来）。

由此诞生了 HilDA： 这是一种新的方法，它教导激光雷达“向摄像头学习”，而不需要人类进行标注。作者称之为 HilDA（基于扩散的层次化蒸馏，Hierarchical Distillation with Diffusion）。以下是它的工作原理，使用简单的类比：

1. “大师级厨师”与“学徒”（层次化蒸馏）

通常，当你把一个学生（激光雷达模型）从一位大师（摄像头模型）那里进行教学时，你只关注最终的结果。这就像一位烹饪老师只给学生展示做好的蛋糕，并说：“照着这个做。”

作者意识到这种方式效率很低。一位大师级厨师不仅会制作蛋糕，还会按照特定的顺序搅拌面糊、检查温度并涂抹奶油层。

旧方法： 激光雷达只尝试模仿摄像头的脑部最终产物（即最后一层“蛋糕”）。
HilDA 的方法： 激光雷达会观察整个过程。它从“搅拌阶段”、“烘焙阶段”和“涂抹奶油阶段”（摄像头的多个大脑层级）中学习。
全局上下文（Global Context）： 它还教会激光雷达理解整个场景的“氛围”。就像厨师能根据整张桌子的布置分辨出是婚礼蛋糕还是生日蛋糕一样，HilDA 教会激光雷达识别它是在高速公路上还是在住宅区，而不只是盯着单个的点看。

2. “穿越时空的预言水晶球”（时空占用扩散）

知道事物是什么固然很好，但自动驾驶汽车还需要知道接下来会发生什么。摄像头擅长识别“现在”的一辆车，但它本身并不理解这辆车在下一秒会如何移动。

为了解决这个问题，HilDA 加入了一个“水晶球”训练练习：

游戏规则： 激光雷达会被展示时间 $T$ 和时间 $T-1$ 的道路情况。然后，它被要求“预测”时间 $T+1$ 时道路的样子。
扩散技巧（Diffusion Trick）： 模型不是直接进行猜测，而是玩一个“去噪”的游戏。想象未来的道路被一层静态噪声所覆盖，模型必须慢慢地抹去这些噪声，从而显现出清晰的未来道路。
为什么这会有帮助： 这迫使激光雷达学习物理规律和运动规律。它学习到汽车是平滑移动的，行人是在行走，而建筑物是静止不动的。它学习的是世界的“几何结构”，而不仅仅是标签。

3. 结果：一位感知力超强的驾驶员

通过结合这两个想法——从摄像头中学习识别物体的“分步过程”，以及通过“扩散游戏”学习“预测未来”——HilDA 创造了一个极其聪明的激光雷达模型。

该论文声称这实现了以下目标：

更高的准确性： 激光雷达在识别物体时犯错更少，即使是在棘手的场景下，比如站在卡车顶上的行人或雨中的骑行者。
更少的数据需求： 即使团队只有极少量的标注数据（仅为其他方法所需量的 1%），它也能表现得非常好。
鲁棒性（稳健性）： 与以往的方法相比，它在恶劣天气（雪、雾）和传感器误差面前表现得更加稳健。
多功能性： 这个单一训练的模型可以胜任许多不同的驾驶任务，而不仅仅是一个。它有助于：
- 3D 物体检测： 寻找汽车和行人。
- 场景流（Scene Flow）： 理解物体的移动速度和方向。
- 语义占用（Semantic Occupancy）： 明确知道 3D 空间的哪些部分是空的、实心的，或者被特定物体占据的。

简而言之，HilDA 就像是给了机器人驾驶员一位导师，这位导师不仅展示了整个烹饪过程，还提供了一个可以预测未来的水晶球，从而造就了一位既理解事物“是什么”，又理解它们“要去向何方”的驾驶员。

技术摘要：HilDA —— 用于 LiDAR 预训练的分层扩散蒸馏

1. 问题陈述

自动驾驶（AD）系统需要在动态环境中具备鲁棒的空间感知能力。虽然 LiDAR 提供了高保真度的几何数据，但训练 3D 模型通常需要大规模的有标签数据集。人工标注不仅成本高昂，而且无法覆盖现实世界几何与运动的组合多样性。为了解决这一问题，业界转向利用视觉基础模型（VFM）进行知识蒸馏（KD），将其作为 LiDAR 主干网络的自监督预训练策略。

然而，现有的跨模态蒸馏方法存在两个主要局限性：

末层限制（Final-Layer Restriction）： 当前的方法将 VFM 视为黑盒，仅蒸馏来自最后一层的特征。这忽略了分布在 VFM 各层中的渐进式语义细化和中间表示，而这些表示对于捕捉特征是如何构建的至关重要。此外，这些方法通常会丢弃 VFM 中编码的全局上下文（CLS token）。
缺乏时空监督（Lack of Spatiotemporal Supervision）： 在图像上训练的 VFM 擅长语义识别，但缺乏显式的 3D 几何和时间线索。纯语义蒸馏会导致 3D 结构约束不足。虽然此前的一些工作引入了占据预测（occupancy prediction），但它们通常依赖于建模局部边缘分布的判别式目标，而非联合场景分布，从而无法强制实现全局时空一致性。

2. 方法论：HilDA 框架

作者提出了 HilDA（Hierarchical Distillation with Diffusion，分层扩散蒸馏），这是一个结合了分层蒸馏与时间占据扩散目标的自监督预训练框架。该框架处理三个帧的时间序列（ $t_{-1}, t_0, t_1$ ），利用过去和现在的帧进行特征提取，并将未来帧作为占据预测的目标。

2.1 分层蒸馏

HilDA 通过两种机制超越了单层蒸馏，捕捉 VFM 的语义演变：

多层蒸馏（Multi-Layer Distillation）： Hil-DA 不仅对齐最终输出，还通过对齐 LiDAR 学生网络与冻结的 VFM 教师网络的对应层来捕捉语义演变。这是通过一种“稠密到稀疏”的策略实现的，即将 3D 点通过标定参数投影到 2D 相机图像上。一个轻量级的、针对特定层的 MLP 用于对齐特征维度，并在多个层级上最小化有效点-像素对应关系之间的余弦距离。这使得学生网络能够学习视觉概念的渐进式构建过程。
全局上下文蒸馏（Global Context Distillation）： 为了捕捉场景级语义，该框架将 VFM 的 CLS token（编码了全局场景信息）与学生网络中可学习的 3D 全局上下文 token 进行对齐。学生网络的全局 token 是通过对最后一层特征应用专用 MLP 并进行全局最大池化生成的。对齐通过均方误差（MSE）强制执行，起到场景级正则化器的作用。

2.2 时间占据扩散

为了解决显式 3D 几何和时间动态性的缺失，HilDA 引入了一个辅助自监督任务：时间占据扩散（Temporal Occupancy Diffusion）。

公式化： 该任务被构建为条件去噪扩散概率模型（DDPM）生成任务。给定 $t_{-1}$ 和 $t_0$ 时刻的 LiDAR 扫描数据，学生网络将它们编码为共享的稠密鸟瞰图（BEV）历史特征图。
目标： 模型学习在历史条件的约束下，对受损的未来占据目标（ $t_1$ 时刻的 $x_{occ}$ ）进行去噪。训练目标结合了噪声预测损失（标准扩散）和占据图的重建损失。
益处： 这种生成式方法鼓励模型通过迭代细化来内化空间流形和表面层次结构，从而促进时空一致性和物体持久性，且无需人工标签。

2.3 总目标函数

该框架使用三个损失函数的加权和进行端到端训练：
$\mathcal{L}_{total} = \omega_{ds}\mathcal{L}_{distill} + \omega_{gl}\mathcal{L}_{cls} + \omega_{df}\mathcal{L}_{diffusion}$
其中 $\mathcal{L}_{distill}$ 是多层点-像素损失， $\mathcal{L}_{cls}$ 是全局上下文损失， $\mathcal{L}_{diffusion}$ 是时间占据扩散损失。

3. 核心贡献

分层蒸馏策略： 一种创新的方法，通过从 VFM 蒸馏多层中间特征和全局 CLS token，使 LiDAR 学生网络能够学习渐进式语义细化和整体场景上下文。
时间占据扩散： 一种辅助生成式目标，将未来占据预测构建为条件扩散，有效地将多尺度几何和运动线索注入 LiDAR 编码器。
最先进的性能（SOTA）： 这些组件的集成使得所学表示在多个基准测试中优于先前的蒸馏方法。

4. 实验结果

作者在 nuScenes 数据集上评估了 HilDA 的预训练效果，并将学习到的主干网络迁移到各种下游任务，而无需重新进行预训练。

3D 语义分割： HilDA 在 nuScences、SemanticKITTI 和 Waymo Open Dataset 上达到了最先进（SOTA）的结果。它在数据稀缺场景（1%–10% 标签）中表现出显著增益，超越了 CleverDistiller、LiMoE 和 ScaLR 等方法。它还在非结构化越野环境（Rellis-3D）和涂鸦标签数据集（ScribbleKITTI）上展示了卓越的领域泛化能力。
鲁棒性： 在受损的 nuScenes-C 基准测试中，HilDA 对天气（雪、雨）和传感器故障（光束回波、跨传感器）表现出卓越的韧性，实现了最低的平均损坏误差（mCE）。
3D 目标检测： 当用作 PointRCNN 的初始化时，HilDA 提升了 KITTI 和 nuScenes 的 mAP，特别是在涉及远距离和重度遮挡的复杂场景中。
语义占据与场景流： HilDA 在 3D 和 4D 语义占据预测及场景流估计（Argoverse 2）方面优于基准模型。扩散辅助任务特别提升了对动态物体和运动估计的性能。

5. 重要性与声明

论文声称 HilDA 成功弥合了 LiDAR 预训练中语义丰富性与几何/时间鲁棒性之间的差距。通过超越“黑盒”式的末层蒸馏并结合生成式扩散先验，该框架创建了一种既能捕捉“语义是什么”（来自 VFM）又能捕捉“几何在哪里”（来自扩散）的表示。

作者强调，这种方法降低了对大规模标注数据的依赖，同时产生了可跨多种领域和任务迁移的特征。他们也指出了一项局限性：点-像素蒸馏对 LiDAR-相机对齐仍然较为敏感，尽管 HilDA 通过免对齐的全局上下文蒸馏和时间扩散在一定程度上缓解了这一问题。未来的工作建议探索用于层间对齐的学习型匹配策略，并将扩散扩展到 BEV 表示之外。