⚡ electrical engineering

An Open-Source Two-Stage Computer Vision Pipeline for Fine-Grained Vehicle Classification using Vision Transformers

本文介绍了一种开源的两阶段计算机视觉流水线，该流水线结合了 RT-DETR 和视觉 Transformer，用于准确分类与骑行者安全相关的六种细粒度车辆车身类型，并具有基于置信度的弃权机制，从而在不同录制场景下保持高鲁棒性，同时防止无声误分类。

原作者： Gandhimathi Padmanaban, Fred Feng

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gandhimathi Padmanaban, Fred Feng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在整理一大堆邮件。有些信件清楚地标着“报纸”，有些是“杂志”，有些是“垃圾邮件”。但你还有成千上万个信封，它们看起来可能是什么都有：生日卡、账单、传单，或者是律师的信。如果你只是瞎猜，可能会出错。

这篇论文描述了一种全新的、开源的“机器人分拣器”，旨在观察街道视频并将车辆分类为非常具体的类别，而不仅仅是通常看到的那些宽泛类别。

以下是该系统的运作方式，分为几个简单的步骤：

1. 问题所在：为什么我们需要更好的分拣器

目前，大多数交通摄像头和安全研究只能区分“汽车”、“卡车”或“巴士”。但对于自行车骑行者的安全而言，这还不够。

类比： 想象一下一名骑行者被撞了。如果是一辆小型轿车撞到了他，情况很糟糕。但如果是一辆高大的 SUV 或一辆巨大的商用卡车撞到了他，伤势往往会严重得多，因为车辆的前部更高，撞击骑行者的位置也不同。
差距： 我们需要知道究竟是哪种类型的车辆经过了骑行者（例如，是小型面包车还是大型厢式货车？是皮卡还是商用卡车？）。现有的工具无法在真实的、杂乱的视频中分辨出这些具体的类型。

2. 解决方案：一个两阶段的“侦探团队”

作者构建了一个两步走的系统，就像一个由两名侦探组成的协作团队。

侦探 #1：快速侦察员 (RT-DETR)

任务： 这名侦探快速扫描视频。它不需要知道汽车的具体型号；它只需要说：“嘿，那里有一辆车！”并在其周围画一个框。
专长： 它非常擅长发现任何看起来像汽车、卡车、巴士或摩托车的物体。它使用了一个预训练的“大脑”，因此它不需要从零开始学习如何识别汽车。
过滤器： 如果它看到巴士或摩托车，它就会停止工作。如果它看到“汽车”或“卡车”，它会将任务传递给侦探 #2。

侦探 #2：专家分类器 (Vision Transformer)

任务： 这名侦探会接过侦探 #1 提供的特定“裁剪图”（即框内的图像），并进行仔细观察。
专长： 它是细粒度的专家。它将车辆归入六个特定的类别之一：
1. 乘用车 (Passenger Car)
2. SUV
3. 皮卡 (Pickup Truck)
4. 小型面包车 (Minivan)
5. 大型厢式货车 (Large Van)
6. 商用卡车 (Commercial Truck)
“我不知道”按钮： 这是最重要的部分。如果图片模糊、角度奇怪或者车辆被部分遮挡，这名侦探可能会感到不确定。它不会盲目猜测，而是遵循一条规则：“如果我的确定度低于 60%，我会说‘未知’。”
- 为什么这很重要： 在安全研究中，说“我不知道”比自信地断定“那是一辆皮卡”但实际上是一辆小型面包车要好。这可以防止产生“沉默错误”。

3. 训练：他们是如何教机器人的

教机器人区分“大型厢式货车”和“商用卡车”很难，因为在标准数据集中，这类特定卡车的照片非常少。

混合配方： 研究人员通过混合三类数据构建了一个自定义训练库：
1. 影棚照片： 来自著名数据集 (Stanford Cars) 的高质量汽车照片。
2. 网络爬取： 他们从互联网上收集了许多面包车和卡车的图片。
3. 真实街景剪辑： 他们从密歇根州安娜堡市的实际视频片段中提取了车辆，向机器人展示真实的、杂乱的街道环境（如模糊、侧向视角、部分遮挡等）。
不平衡问题： 机器人看到的普通汽车和 SUV 图片远多于大型卡车。为了解决这个问题，训练过程进行了调整，让机器人更加关注那些稀有的卡车图片，以免忽略它们。

4. 结果：效果如何？

团队在两组不同的视频上测试了这个机器人。

测试 1：“主场作战” (分布内测试/In-Distribution)

设置： 他们在与训练剪辑相同的街道（安娜堡）上的视频进行测试。
得分： 准确率达到了 94%。
细节： 它在识别 SUV 方面表现出色（准确率 9 de 7%）。它在处理乘用车和皮卡方面也非常出色。唯一它感到吃力的情况是当车辆难以看清时，它正确地使用了“我不知道”按钮，而不是做出错误的猜测。

测试 2：“客场挑战” (分布外测试/Out-of-Distribution)

设置： 他们在完全不同的地点、使用特殊的科研自行车及不同的摄像机和光照条件下的视频上进行了测试。他们没有针对这个新地点对机器人进行重新训练。
得分： 准确率为 89%。
细节： 对于一个未经重新训练就能适应新环境的系统来说，这是一个非常强劲的结果。
- SUV 和皮卡 的准确率保持很高。
- 小型面包车 的识别变得有些棘手。准确率有所下降，但这主要是因为机器人变得更加谨慎了。它开始更频繁地表示“未知”（占 25% 的时间），因为在新的视频中，小型面包车的样子看起来有所不同。它并没有开始胡乱猜测，而是承认了不确定性。

5. 为什么这很重要

它是开源的： 作者免费发布了所有的代码、训练好的机器人“大脑”以及数据。任何人都可以下载并使用它来分析自己的街道视频。
安全第一： 通过区分小型汽车和大型卡车，城市规划者和安全研究人员终于可以了解究竟是哪种类型的车辆让骑行者面临风险。
无需人工干预： 在此之前，人类必须观看数小时的视频来统计这些车辆。现在，这个工具可以自动完成这项工作。

简而言之，这篇论文展示了一个聪明的、免费的工具，它像是一个两步过滤系统。首先，它寻找汽车；其次，它仔细地将它们分类。如果它不确定，它会承认，从而确保安全数据不会被错误的猜测所污染。即使在不需要重新训练的情况下，它在新的街道环境下也能表现良好。

技术摘要：一种用于细粒度车辆分类的开源两阶段计算机视觉流水线

问题陈述
本文针对自行车安全研究中的一个关键空白：缺乏能够将车辆分类为与伤害风险相关的类别，并应用于自然道路视频的自动化工具。标准的物体检测基准（如 COCO）仅提供粗粒度的标签（汽车、卡车、巴士、摩托车），这些标签不足以支持需要区分特定车身类型（例如乘用车与 SUV 或商用卡车）的安全分析。现有的细粒度识别系统通常针对受控的前向图像（如制造商照片）进行训练，且尚未在涉及运动模糊、遮挡和多变光照条件的自然环境或不同录制场景下进行严格的鲁棒性评估。此外，目前尚不存在一个开源的端到端流水线，能够集成实时检测与细粒度分类，以便在无需自定义基础设施的情况下部署在现有的路侧视频存档上。

方法论
作者提出了一种模块化的两阶段计算机视觉流水线，旨在部署于标准路侧视频：

第一阶段：粗粒度车辆定位
- 模型： 预训练的 RT-DETR（实时 DEtection TRansformer）检测器，具体使用 rtdetr_r50vd_coco_o365 检查点。
- 功能： 扫描全分辨率视频帧以检测所有车辆，并分配粗粒度的 COCO 类别标签（汽车、卡车、巴士、摩托车）。
- 过滤： 系统仅保留“汽车（car）”和“卡车（truck）”的检测结果以进行后续处理。巴士和摩托车的检测结果会被保留其粗粒度标签。
- 约束： 通过 0.35 的置信度阈值过滤低置信度检测。同时通过尺寸门限排除短边小于帧高 5.5% 或面积小于 0.04% 的边界框，以防止第二阶段处理过远而无法进行有效纹理分析的车辆。
第二阶段：细粒度分类
- 模型： 在 ImageNet-21k 上预训练的微调 Vision Transformer (Vi-Base/16)。
- 输入： 第一阶段检测到的车辆裁剪图像。
- 输出： 六种特定的车身类型类别：乘用车 (passenger car)、SUV、皮卡 (pickup truck)、面包车 (minivan)、大型厢式货车 (large van) 以及商用卡车 (commercial truck)。
- 训练策略： 模型是在一个复合数据集（16,581 张图像）上训练的，该数据集结合了 Stanford Cars（映射为 4 个类别）、网络爬取的图像（用于样本较少的类别）以及来自 Ann Arbor 研究现场的实地采集图像。为了解决严重的类别不平衡问题（例如，商用卡车的占比不足 1%），作者采用了带有逆频率权重的焦点损失（focal loss）和加权随机采样器。
- 弃权机制： 在第二阶段的 Softmax 输出中应用了基于置信度的门控机制。如果最大预测概率低于 0.60 的类别特定阈值，系统将输出“未知（unknown）”标签，而非低置信度的预测。这旨在防止在歧义场景下出现无声的误分类。

核心贡献

新颖的词汇表与流水线： 首个专门针对与伤害风险相关的六类车身类型分类法进行训练和评估的开源系统，超越了粗粒度的 COCO 标签或品牌型号识别。
基于置信度的弃权机制： 实现了将不确定预测转换为“未知”标签的阈值机制，从而提供了一种经过校准的模型不确定性度量，而不是强制进行错误的分类。
严谨的评估： 研究通过对自行车道走廊内的 3,805 个标注超车事件（分布内数据）进行大规模评估，并在一个独立的、包含 311 个事件的独立仪表化自行车数据集（分布外数据）上进行了无需重新训练的评估。
开源发布： 发布了完整的流水线，包括推理脚本、训练代码、评估工具和微调后的模型权重，以支持可复现性。

结果

分布内性能： 在 Ann Arbor 数据集（3,805 个事件）上，该流水线的整体准确率达到 0.94。各类别 F1 分数在 0.91（面包车）至 0.97（SUV）之间。主要的错误涉及视觉相似类别之间的混淆（例如，乘用车与 SUV）。
分布外性能： 在独立的仪表化自行车数据集（311 个事件）上，该流水线在无需任何重新训练或阈值调整的情况下，实现了 0.89 的整体准确率。
- 四个代表性良好的类别中的三个（SUV、皮卡、乘用车）保持了 $\ge$ 0.90 的 F1 分数。
- 面包车性能退化： 最显著的下降出现在面包车类别（F1 从 0.91 $\to$ 0.72）。作者将其主要归因于弃权率的上升（从 2.4% 升至 25.0%）而非主动误分类，这表明置信度机制成功地传播了模型的不确定性。
少数类： 由于训练和评估集中样本量稀少，商用卡车和大容量厢式货车表现出较高的不确定性，尽管模型在它们出现时展现出了分类能力。

意义与主张
本文主张，一种结合了通用检测器与微调 Vision Transformer 的模块化、由粗到精的架构，可以在无需针对检测阶段进行边界框标注或针对部署进行特定站点重训练的情况下，在自然道路视频上实现稳健的细粒度车辆分类。

这项工作的意义在于其在自行车安全研究中的应用。通过实现车辆车身类型的自动化、规模化标注，该流水线使研究人员能够量化暴露于特定车辆类型（如 SUV 与乘用车）下的风险，而这些类型与严重伤害具有不成比例的相关性。这种粒度在目前的交通监测和事故数据库中是缺失的。此外，基于置信度的弃权机制为自动化监控系统提供了一个安全关键特性，使其能够通过标记不确定事件供人工审查来实现平滑降级，而不是产生无声的错误。该工具的开源性质旨在降低研究脆弱道路使用者暴露和交通组成的研究人员的门槛。