💻 computer science

ALPR in Bad Conditions

本文提出了一种针对挑战性越南道路环境定制的紧凑型、CPU 优化的自动车牌识别（ALPR）系统，该系统集成了 YOLOv8n 检测器、ByteTrack、快速纠偏以及通过时空投票实现的 ONNX 加速 OCR，从而在面对恶劣天气、运动模糊和多样化车牌格式时，仍能实现高精度与实时性能。

原作者： Nghia Nguyen

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nghia Nguyen

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正站在繁忙的街角，试图阅读一辆行驶中汽车上的标牌。如果汽车正迎着阳光笔直向你驶来，这很容易。但如果它正以每小时60英里的速度疾驰而过，正值大雨倾盆，路灯闪烁不定，且摄像头还以一种奇怪的角度倾斜着？对于试图读取车牌的计算机来说，这就是一场噩梦。这个科学领域被称为自动车牌识别（ALPR），它是智能红绿灯、自动收费站和停车场背后的“大脑”。为了实现这一目标，计算机需要完成三件棘手的事情：首先，要在像素海洋中找到汽车；第二，要搞清楚在视频移动过程中哪辆车是哪辆；第三，即使字母和数字因为雨水而模糊、歪斜或被冲刷得模糊不清，也要能读出它们。大多数此类系统都需要超昂贵、功能强大的计算机（如大型 GPU）来快速处理，这使得许多普通城市难以负担。

这篇研究论文解决了一个非常具体的问题：如何构建一个能在越南交通这种混乱、多变的现实环境中运行，但却能在标准、廉ately 的普通计算机处理器（CPU）上运行的车牌阅读器。作者 Nghia Nguyen 观察到，虽然人工智能在完美的实验室条件下表现出色，但在面对大雨、浓雾、弱光或越南特有的单行摩托车牌与双行汽车牌混合的情况时，往往会失效。该论文提出了一种新的“工具包”，它就像一个聪明的、多步骤的侦探。它并不依赖于一个强大且昂贵的“大脑”，而是使用五个较小的、专门化的“助手”协同工作。它使用一个快速的检测器来发现车辆，一个追踪器来跟踪车辆，一个快速的“校正器”来修复歪斜的角度，一组图像滤波器来清理雨水和雾气，以及一个投票系统来确保最终的读取结果正确。其结果是，该系统可以在普通的笔记本电脑上实现实时处理（每秒超过35帧），即使在天气恶劣的情况下也能保持高准确度。

五步侦探团队

不要把这个 ALPR 系统看作一个单一的机器人，而要把它看作一个五人团队，像传接“烫手山芋”一样将任务传递下去。每个成员都有特定的职责，以确保最终答案的完美。

1. 观察员 (YOLOv8n)
第一位团队成员是“观察员”。想象一名正在人群中巡视的保安。他们的工作是喊道：“我看到车了！”并准确地指向位置。论文中使用了一个名为 YOLOv8n 的模型，它就像一个超快、轻量级的保安，经过了包含 12,500 张照片的海量相册训练。这些照片不仅有晴天，还包括大雨、浓雾和黑夜。因为观察员在所有这些恶劣条件下都进行了练习，所以它在天气良好时能以 94.8% 的准确率找到车牌，即使在天气灾难性的情况下，仍能保持 86.8% 的准确率。

2. 追踪员 (ByteTrack)
一旦观察员找到了车，就由“追踪员”接手。如果你观察一辆车驶过，它可能会在几秒钟内消失在树后。普通的摄像头可能会丢失追踪，并在车辆重新出现时认为这是一辆新车。使用名为 ByteTrack 方法的追踪员，就像一位在拥挤商场里永远不会弄丢你的朋友。它在视频帧中跟踪车辆的身份，即使车辆暂时被遮挡或图像模糊，它也能持续跟踪。这确保了系统始终知道它一直在观察的是同一辆车。

3. 校正器 (Projection-Profile Deskew)
这是论文最聪明的地方。在越南，摄像头通常安装在角度很尖锐的电线杆上，导致车牌看起来是倾斜的，就像一个歪掉的相框。传统方法试图寻找车牌的四个角来将其扶正，但如果车牌脏了或模糊了，计算机就找不到角点，方法就会失效。
论文中的“校正器”使用了另一种被称为投影轮廓去倾斜 (Projection-Profile Deskew) 的技巧。想象你在看一个倾斜的书架。与其尝试测量每本书的角点，不如直接看书在墙上投下的影子。当书完全摆正时，影子是清晰且分明的。计算机对车牌上的字母也做同样的操作：它会轻微旋转图像，直到文本行的“影子”尽可能清晰。这个过程极其迅速——仅需 2.1 毫秒——并且即使在车牌脏污或角点缺失的情况下也能奏效。与旧方法相比，它将倾斜车牌的读取能力提高了 45 个百分点以上。

4. 清洁工与阅读器 (Image Enhancement & ONNX OCR)
一旦车牌扶正，它可能仍然被雨或雾覆盖。 “清洁工”使用一系列滤波器来锐化图像、去除噪声并修复光照，使字母更加突出。然后，“阅读器”介入。通常，在计算机上读取文本很慢且需要重型设备。这个团队使用了一个经过速度优化的轻量级阅读器（ONNX Runtime），它能在大约 12.5 毫秒内读出一个车牌。这大约比在标准计算机上运行的其他常用工具快 32 倍。它如此之快，以至于几乎可以瞬间读取车牌，而不需要超级计算机。

5. 陪审团 (Majority Voting Consensus)
最后，系统并不会仅仅信任它得到的第一次读取结果。想象一个陪审团，一个人说“车牌是 ABC-123”，而另一个人说“ABC-124”。为了避免错误，该系统会等待。它会观察车辆几秒钟，并进行投票。只有当同一个结果连续出现至少三次时，它才会记录下车牌号码。这种“多数投票制”确保了如果摄像头出现一两次闪烁或失误，系统不会记录一条虚假信息。论文报告称，在测试期间，该方法实现了 100% 的记录精确度（意味着它从未记录过错误的正向匹配或重复条目），有效地消除了错误的记录，尽管在困难条件下的字符整体识别准确率仍略低。

结果：快速、廉价且强韧

作者在配备 Intel i5 处理器和 8 GB 内存的标准计算机上测试了整个团队——这种硬件在普通的办公笔记本电脑中随处可见，而非高科技服务器房。结果令人印象深刻。

速度： 系统处理视频的速度超过 35 帧/秒。这意味着即使是在 CPU 上运行，它也能跟上实时交通，而不会出现延迟。
准确度： 在理想光照下，系统正确识别车牌的概率为 93.8%。即使在最恶劣的条件下（大雨、浓雾或弱光），它仍能保持 85.1% 的准确率。
对比： 与其他系统相比，这种方法速度更快。例如，像 EasyOCR 这样的旧方法在 CPU 上的运行速度低于 5 帧/秒，而本系统则超过 35 帧/秒。许多高准确度的系统通常需要昂贵的图形卡（GPU）才能运行，而这个系统完全可以在 CPU 上运行。

作者明确排除了“必须使用昂贵的服务器级 GPU 才能构建智能交通系统”的想法。他们证明了，通过正确的算法组合和精细的数据训练，标准计算机完全可以胜任这项工作。他们还指出，虽然该系统具有鲁棒性，但也存在局限性：如果车辆倾斜超过 25 度，或者在完全没有光线的漆黑环境下，准确率会下降。然而，对于越南绝大多数的现实场景，这个“五人团队”提供了一个强大、经济且快速的解决方案，让交通更加顺畅。

技术摘要：针对越南交通环境的实时 CPU 优化型 ALPR 系统

1. 问题陈述

越南城市车辆交通量的快速增长（预计到 2024 年将超过 7000 万辆）使得稳健的自动化监控、电子收费和停车解决方案变得至关重要。然而，在这一特定领域实施自动车牌识别（ALPR）面临着独特的、严峻的挑战，这些挑战会导致传统视觉系统的性能下降：

多样化的车牌格式： 单行摩托车车牌与双行汽车车牌并存，增加了几何复杂性。
恶劣的环境条件： 热带气候模式（包括强降雨、浓雾和低光照夜间场景）会显著降低图像质量。
几何畸变： 路侧摄像头经常以锐角捕捉车辆，导致标准光学字符识别（OCR）系统难以纠正的旋转偏斜和透视畸变。
硬件限制： 许多部署场景无法使用昂贵的服务器级 GPU，因此需要能够在标准 CPU 硬件上高效运行的解决方案。

现有的解决方案通常依赖 GPU 加速，或者在这些特定的“恶劣条件”下无法维持准确性，导致高比例的漏检或错误记录。

2. 方法论

作者提出了一个紧凑、模块化的五阶段 ALPR 框架，专门设计用于在仅 CPU 的系统上进行实时处理。该流水线集成了以下组件：

A. 物体检测 (YOLOv8n)

系统采用 YOLOv8n (nano)，这是一种针对低延迟推理优化的轻量级单阶段检测器。该模型是在一个包含 12,500 张图像的定制数据集上训练的，并通过增强技术涵盖了四种不同的天气条件（晴天、大雨、低光照和浓雾）。为了最大限度地减少噪声，对边界框应用了 6% 的内部边缘裁剪。

B. 时序跟踪 (ByteTrack)

为了在视频序列中维持车辆身份并处理遮挡问题，系统采用了 ByteTrack。与需要重型 GPU 基于 Re-ID 特征提取的方法不同，ByteTrack 通过运动预测关联高置信度和低置信度的检测框，从而在无需密集计算的情况下实现稳健的跟踪。

C. 投影轮廓去偏引擎 (Projection-Profile Deskew Engine)

为了解决旋转畸变（±25°）且不依赖于易失效的四角轮廓拟合步骤，作者引入了一种 投影轮廓去偏 算法。

机制： 该算法不通过几何角点检测，而是计算不同旋转角度下 1D 水平投影 ( $P_\theta(y)$ ) 的方差。
优化： 在方差最大的角度（即对应文本行对齐的角度）确定正确的角度 ( $\theta^*$ )。
效率： 采用由粗到精的搜索方式（先以 2° 为增量，再以 0.5° 为增量）完成校正，每个裁剪块的处理时间约为 2.1 毫秒。

D. 多阶段图像增强

在识别之前，裁剪出的车牌图像会经过一个协同的增强流水线，以对抗天气引起的退化：

放大： 2× 双三次插值（Bicubic Interpolation）。
锐化： 非锐化掩模（Unsharp Masking）以增强边缘。
去噪： 双边滤波（Bilateral Filtering）以去除雨/雾噪声，同时保留字符轮廓。
对比度归一化： CLAHE（限制对比度自适应直方图均衡化）以处理光照不均问题。
形态学操作： 开运算（Opening）以去除伪影（如螺丝孔、雨点），闭运算（Closing）以修复断裂的字符笔画。

E. 识别与共识 (ONNX OCR 与多数投票)

OCR： 系统使用基于紧凑卷积 Transformer (CCT) 的 fast-plate-ocr 模型，并将其转换为 ONNX Runtime 以进行 CPU 优化。一套字符纠正规则集用于解决常见的歧义（例如 'O' 与 '0'，'I' 与 '1'），同时保留真实的越南代码（例如 'G'）。
共识： 为了防止重复或错误的记录，系统采用了 时空多数投票（Spatiotemporal Majority Voting） 机制。只有在跟踪窗口（最多 20 帧）内累积了至少三个相同的预测结果后，车辆的车牌才会被最终确定。这种统计方法极大地降低了误报的可能性。

3. 核心贡献

本文强调了五个主要的工程技术贡献：

多天气数据集： 一个精心策划的 12,500 张图像数据集，涵盖了四种光照/天气条件，专门用于提高针对越南车牌的领域鲁棒性。
投影轮廓偏斜校正： 一种新型的快速算法，可在 2.1 毫秒内纠正高达 ±25° 的旋转角度，且不依赖于角点检测；与传统方法相比，该方法在光照良好但倾斜大于 10° 的车牌上，使 OCR 准确率提升了 45.2 个百分点。
多阶段图像增强： 一个结合了非锐化掩模、双边滤波、CLAHE 和形态学技术的流水线，在恶劣天气下使 OCR 准确率提高了 38.2 个百分点。
ONNX 优化的 OCR： 实现了一个基于 CCT 的 OCR 模型，并在 ONNX Runtime 上运行，实现了约 12.5 毫秒/裁剪块的识别速度（大约比 CPU 上的 EasyOCR 快 32 倍）。
稳定的多数投票： 一个与 ByteTrack 链接的时序共识过程，通过过滤单帧错误，确保了 100% 的记录精度。

4. 实验结果

所有实验均在标准的仅 CPU 设置下进行（Intel i5-1035G1, 8 GB RAM, Windows 11），未使用 GPU 加速。

检测准确率： 提出的 YOLOv8n 模型在理想条件下达到了 0.948 mAP@50，在挑战性天气下达到了 0.868 mAP@50，相比仅在干净数据上训练的基准模型提升了 11.8%。
去偏性能： 投影轮廓法在 10° 倾斜时达到 91.8% 的准确率，在 20° 倾斜时达到 83.5%，显著优于四角变换法（后者在 20° 倾斜时准确率降至 21.0%）。
OCR 准确率：
- 理想条件： 93.8% 准确率。
- 恶劣条件： 85.1% 准确率（比未经处理的原始裁剪图像提高了 38.2 个百分点）。
吞吐量： 端到端流水线在标准 CPU 硬件上以 >35 FPS 的速度处理帧。虽然每帧的全流程 OCR 延迟约为 36.1 毫秒，但系统通过每 8 帧执行一次 OCR 来实现实时运行。
对比： 该系统在准确性和速度方面均优于现有的越南 ALPR 解决方案（LPRNet、关键点网络、EasyOCR），特别是在竞争对手往往失效或需要 GPU 支持的恶劣条件下。

5. 重要性与声明

本文声称提出了一种实用的、可部署的解决方案，用于越南的智能交通管理，且无需依赖昂贵的 GPU 基础设施。通过集成轻量化检测、高效跟踪和新型偏斜校正算法，该系统成功弥合了高准确性需求与现实世界中基于 CPU 的边缘计算约束之间的差距。

作者强调，通过多数投票共识机制，其方法实现了 100% 的记录精度，有效地消除了单帧识别系统中常见的误报问题。尽管系统很稳健，但作者也谦虚地指出了局限性：在没有环境光照的极暗环境下，准确率会降至 81.2%，且去偏能力上限为 ±25°。未来的工作建议使用 Zero-DCE 技术来解决低光照场景问题，并将系统部署在基于 ARM 的边缘设备（如 Raspberry Pi 5 和 Jetson Orin Nano）上。