💻 computer science

Investigating Vision-Language Model for Point Cloud-based Vehicle Classification

本研究提出了一种新颖的框架，通过将真实世界的激光雷达数据与专门的预处理及少样本上下文学习相结合，使视觉-语言模型能够适配基于点云的重型卡车分类任务，从而在降低标注成本的同时，增强协作式自动驾驶中的安全性。

原作者： Yiqiao Li, Jie Wei, Camille Kamga

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiqiao Li, Jie Wei, Camille Kamga

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在道路上，大型车辆往往是最危险的。重型卡车承载着巨大的重量并占据了显著的空间，然而它们的制动速度无法像轿车那样迅速，且周围存在着驾驶员无法看到的巨大盲区。为了让未来的安全自动驾驶成为现实，引导这些车辆的计算机需要准确理解它们面对的是哪种类型的卡车以及该卡车是如何移动的。传统上，教计算机识别这些车辆需要一个缓慢且昂贵的过程，即由人工手动标注数以千计的图像或传感器扫描数据。然而，一种借鉴了大语言模型理解文本和图像方式的新方法正在兴起，旨在通过更少的人力投入来教会机器识别卡车。

纽约市立学院的研究人员开发出一种方法，帮助计算机利用来自路侧传感器的数据来识别重型卡车。这些被称为激光雷达（LiDAR）的传感器通过发送激光脉冲来测量距离，从而创建一个代表现实世界物体形状的点云。虽然这项技术在观察物理世界方面表现出色，但它产生的数据与大多数现代人工智能系统所训练理解的标准照片看起来截然不同。这项新研究通过将激光传感器的原始、零散的点转化为视觉-语言模型可以读取的格式，弥合了这一差距。这些模型是能够同时理解图像和文字的高级计算机程序，但它们通常预期看到的是标准照片，而非激光点云。

为了使激光数据可用，团队首先将卡车经过传感器时的多个快照结合在一起。单个快照往往过于稀疏，无法显示清晰的细节，因此研究人员将多个帧对齐在一起，以构建出车辆更密集、更完整的图像。随后，他们对图像进行了平滑处理，去除了微小的误差和噪声，从而创建出卡车的清晰轮廓。数据准备就绪后，他们使用了一种称为“少样本提示”（few-shot prompting）的技术。他们并没有花费数月时间用数千个标注示例来教计算机，而是向模型展示了仅仅几个示例——有时甚至仅为三个——并附带了关于寻找目标的描述。这使得模型能够通过观察所提供的少量示例中的模式来快速学习任务，而不是需要一个包含每种可能卡车类型的庞大预建数据库。

研究人员使用采集自南加州某主要高速公路匝道的真实世界数据对该系统进行了测试，该处是加州南北部之间卡车往来的通道。传感器捕捉到了在自由流和拥堵交通条件下，速度在零到每小时五十英里之间的车辆。目标是观察该系统是否能正确识别十二种不同的车辆类别，包括各种类型的半挂车、油罐车和乘用车。当他们将处理后的图像结果与原始、未经处理的数据进行对比时，改进效果显而易见。当在要求模型对新卡车进行分类前先展示三个示例时，系统的表现最为出色。通过这种少量的引导和经过清理的图像，该模型实现了极高的准确度，平均在超过一半的情况下都能正确识别车辆类型。

研究发现，虽然该方法对许多卡车类型都有效，但在面对外观差异极大的车辆（例如可能为空载或承载着形状奇特货物的平板卡车）时面临挑战。这些变化使得模型难以找到一个统一的模式来遵循。尽管如此，结果表明这种方法可以显著减少训练自动驾驶安全系统所需的时间和成本。通过利用现代语言模型的强大推理能力，并使其适应激光传感器数据，研究人员证明了无需传统上所需的庞大数据集，也能实现准确的车辆分类。这项工作代表了迈向更安全道路的一项初步尝试，通过赋予自动化系统一种更高效、更精准的方式，使其能够更好地理解与它们共享高速公路的重型车辆。

技术摘要：研究基于视觉语言模型（VLM）的点云重型卡车分类

问题陈述

由于其体积大、重量重且机动性有限，重型卡车在协同自动驾驶中带来了显著的安全挑战。传统的基于 LiDAR 的车辆分类方法依赖于手工设计的特征提取和大量的手动标注，这使得该过程不仅耗时耗力、成本高昂，而且在不同道路环境下的泛化能力较弱。虽然视觉语言模型（VLM）在基于图像的任务中展示了卓越的少样本学习能力，但它们主要是在 2D 图像数据集上进行训练的。因此，将这些模型直接应用于稀疏且分散的 3D LiDAR 点云数据面临着重大的技术挑战。

研究方法

本研究提出了一种创新的框架，通过整合路侧 LiDAR 点云数据与视觉语言模型（VLM），以实现高效的车辆分类。该方法由三个主要阶段组成：

1. 点云数据处理

为了解决单帧 LiDAR 数据稀疏的问题，本研究采用了多步处理流水线：

分割与跟踪： 使用背景减除法和 DBSCAN 聚类对车辆点云进行分割。利用带有卡尔曼滤波（Kalman filtering）和匈牙利算法（Hungarian algorithm）分配的 SORT 算法实现跨帧跟踪。
点云配准： 为了生成适合 VLM（其期望接收类似 RGB 的输入）的密集 3D 渲染图，应用了一种基于概率的成对点云配准方法。该方法通过最小化点对点距离来对齐连续帧之间的车辆目标，并利用点到面（point-to-plane）策略进行优化，以增强车辆靠近传感器时的精度。
图像优化： 重建的点云经过统计学离群点去除和数学形态学操作（开运算：先腐蚀后膨胀）。这些技术平滑了轮廓、消除了噪声并保留了整体车辆结构，从而生成更清晰的 2D 表示。

2. 基于上下文学习（ICL）的少样本提示

本研究并未对模型参数进行微调，而是利用了带有少样本提示的上下文学习（ICL）。通过将任务演示示例（图像示例及其对应的类别标签）直接嵌入到输入提示词中来引导 VLM。这使得预训练模型能够在无需昂贵的参数更新的情况下，推断出所需的分类任务。该方法将问题构建为：在给定查询图像和 $k$ 个演示示例的情况下，预测具有最高概率得分的类别。

3. 实验设置

该框架使用 Gemini 1.5 VLM 进行了评估。实验在从南加州 I-5S 高速公路入口匝道采集的数据集上进行，该数据集包含 12 个细粒度的车辆类别（11 类卡车和 1 类乘用车）。研究对比了所提出的处理后图像与原始投影 2D 点云图像在不同 shot 设置（1-shot 到 9-shot）下的表现。

核心贡献

论文概述了三项具体创新：

真实世界数据利用： 利用路侧 LiDAR 传感器数据来捕捉详细的点云表示，确保了在现实场景中的实用性。
系统化适配流程： 提出了一种使点云数据适配 VLM 输入的方法，结合了用于密集渲染的点云配准技术和用于特征增强的形态学技术。
少样本分类策略： 引入了少样本提示方法，使 VLM 能够仅通过极少的标注数据即可对重型卡车进行分类，显著降低了对大规模手动标注的需求。

实验结果

研究使用 F1 分数（精确率与召回率的调和平均值）对 12 个车辆类别进行了评估：

处理方式的影响： 所提出的图像处理方法表现始终优于使用原始图像的方法。在处理后的图像上，3-shot 设置达到了最佳整体性能，平均 F1 分数为 0.53。这比 3-shot 在原始图像上的表现（0.46）提升了 15%。
特定类别表现： 四个车辆类别（Bobtail、Tank Tank、Enclosed Van (SU) 和 Passenger Vehicle）在 3-shot 处理方法下的 F1 分数超过了 0.60。
挑战： 具有高类内差异性的类别，如“Platform (SU)”、“Low Boy Platform”和“Pickup/Utility/Service”，表现出较低的 F1 分数。这归因于货物和装载配置的多样性，使得这些差异难以被少样本学习技术捕获。
效率： 不同于需要大规模训练数据集的传统深度学习方法（如 PointNet），该方法仅通过 3 个 shot 就实现了大于 0.50 的 F1 分数，展示了标注成本的大幅降低。

重要性与主张

作者将这项工作定位为将 VLM 的表示能力直接迁移到基于 LiDAR 图像进行重型卡车分类的初步尝试。他们声称这是该领域首个应用 VLM 的研究，并在真实数据集上观察到了令人鼓舞的结果。

论文谦逊地将这些发现定位为一个起点。他们指出，尽管目前的结果具有前景，但未来的工作将包括：

将此方法与传统的少样本学习实现进行比较。
集成视觉深度网络（如 YOLO）和检索增强生成（RAG）系统。
利用低秩自适应（LoRA）进行微调。
探索智能体（Agentic）工作流和思维链（Chain-of-Thought）提示，以进一步利用 VLM 在交通安全监测和内容理解方面的能力。