Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models

自动驾驶汽车依赖于持续、高速的数据流来理解周围的世界。虽然摄像头可以捕捉到场景的视觉丰富性，但在恶劣天气或弱光环境下，它们可能会表现不佳。为了弥补这一不足，许多自动驾驶系统使用激光雷达（LiDAR），这是一种通过发射快速的激光脉冲来测量距离并构建环境三维地图的传感器。这张地图呈现为由数百万个微小点组成的云团，每个点都代表激光击中的一个表面。为了使这些数据对导航发挥作用，计算机必须学会识别这些点属于什么——那个簇是行人、汽车还是树木？此外，由于车辆是在移动的，系统必须随时间追踪这些物体，将前后时刻的点连接起来，以理解运动和意图。这个过程被称为四维分割（four-dimensional segmentation），它是安全自动驾驶的支柱，但面临着一个巨大的障碍：教导这些系统所需的训练数据极其难以且昂贵地创建。

为了让计算机学习如何在激光雷达点云中识别物体，人类必须首先手动标注数千帧数据，在每一帧点云中的每一辆车和每一个人周围画出轮廓。这是一项缓慢、乏味且易出错的任务。由于点在三维空间中是稀疏且分散的，标注它们远不像在平面照片上绘图那样直观。因此，这些系统的进展往往不是受限于算法的智能，而是受限于高质量标注数据的极度匮乏。研究人员长期以来一直在思考，是否有一种方法可以自动生成这种训练数据，或许可以通过借鉴计算机已经从数十亿图像和视频中学习到的视觉理解能力。

来自韩国科学技术院（KAIST）和中央大学的一支研究团队通过一个名为 LiDAR-SAM2 的新框架，在回答这个问题方面迈出了重要一步。他们的工作证明，无需人类在点云上画任何一条线，就可以创建一个强大的 3D 激光雷达数据标注工具。他们并没有依赖人工标注，而是构建了一个系统，将基于视频的人工智能模型的能力转化为 3D 激光扫描的语言。其核心思想是使用一种基础模型（一种在海量视频数据上训练、能够跨时间追踪物体的 AI 模型），并使其适应激光雷达传感器的独特几何结构。通过这种方式，他们将一个 2D 视频专家变成了一个 4D 激光雷达监督者。

该过程始于一组同步的数据：一组 3D 激光雷达扫描序列与安装在同一车辆上的标准摄像机视频片段。研究人员首先将视频片段输入到视频基础模型中，该模型擅长识别物体并追踪它们在帧与帧之间的移动。当用户点击第一帧视频中的一辆车时，模型会自动追踪该车在整个视频序列中的移动，并在后续每一帧中创建一个掩码（mask）来勾勒出该车辆。研究人员随后将这些 2D 轮廓投影到相应的 3D 激光雷达点上。由于摄像头和激光传感器经过校准，能够精确了解彼此之间的关系，系统可以确定哪些激光点对应于视频掩码中的像素。

然而，仅仅将 2D 掩码投影到 3D 点上是不够的。单个摄像头无法看到整辆车；它可能看到了侧面却错过了背面，或者视图可能被其他物体遮挡。为了解决这个问题，研究人员开发了一种结合多个摄像头视角并随时间进行拼接的方法。他们利用车辆已知的运动轨迹，将前一时刻所见的内容投影到当前时刻，从而填补摄像头视野受限时的空白。这创建了一套密集且一致的 3D 点标签，有效地自动生成了高质量的训练数据集。这些生成的标签被研究人员称为“伪标签”（pseudo-labels），随后用于训练专门用于理解激光雷达数据的模型。

最终生成的系统 LiDAR-SAM2 是一个交互式工具。人类操作员只需点击激光雷达序列第一帧中的一个物体，系统就会自动为该物体在整个视频过程中生成一个一致且高质量的追踪轨迹。研究人员在包含复杂城市驾驶场景的标准数据集 SemanticKITTI 上测试了这种方法。他们发现，系统生成的标签非常准确，实现了极高的精确率和召回率。当他们使用这些自动生成的标签来训练标准的 3D 分割模型时，这些模型的表现几乎与使用人工精心标注的数据训练的模型一样出色。事实上，对于语义分割任务，使用自动生成标签训练的模型所达到的性能水平，已经接近了完整的由人类标注的真实值（ground truth），尽管从未有人手动标注过用于训练的激光雷达点。

该研究还探讨了标签本身的质量。通过可视化输出结果，研究人员展示了该系统能产生围绕物体的清晰边界，并在物体穿过场景时保持身份的一致性。这种一致性对于自动驾驶至关重要，因为系统必须知道十秒钟前看到的车就是现在看到的这辆车。研究人员证明，通过极少的人类输入（仅需对每个物体进行几次点击进行初始化），即可实现这种质量水平。这表明，减轻 3D 和 4D 场景理解中沉重的数据标注负担是可能的，这可能允许更快速地开发更安全、更强大的自动驾驶系统，而无需庞大的人工标注团队。

这项工作明确挑战了“高质量 3D 训练数据必须始终来自人力劳动”的观点。以往的交互式 4D 分割尝试依赖于人工标注的数据集来教导系统如何追踪物体，而这种新方法通过仅需极少的提示，最大限度地减少了这种依赖。研究人员认为，通过利用视频基础模型中已有的时间理解能力，可以从零开始引导出一个 3D 标注系统。他们证明了该方法不仅是一个理论上的可能性，而且是一个能产生可用、高保真数据的实用工具。结果表明，自动化数据与人工标注数据之间的差距正在迅速缩小，为下一代感知系统提供了一条可扩展的路径。

在更广泛的人工智能背景下，这项研究凸显了利用一种强大的模型来教导另一种模型的趋势。通过将 2D 视频模型视为 3D 数据的监督来源，该团队绕过了 3D 领域的传统局限。他们并没有发明一种新的观察世界的方式；相反，他们找到了一种将计算机已掌握的视频知识转化为激光扫描语言的方法。研究结果表明，自动驾驶数据的未来可能不在于雇佣更多的标注员，而在于在不同类型的视觉数据之间建立更智能的桥梁。随着技术的成熟，它将能够创建庞大且多样化的数据集，使自动驾驶技术更加稳健且易于普及。研究结论指出，拥有正确的框架，自动化的、高质量的 3D 标注之梦不再是一个遥远的目标，而是正在实现的现实。