💻 computer science

HAT Super-Resolution and a PARSeq+CLIP4STR Voting Ensemble for Extreme In-the-Wild License Plate Recognition

本文介绍了一种为 ICIP 2026 XLPSR 挑战赛设计的车牌识别系统，该系统结合了 HAT 超分辨率技术与 PARSeq 和 CLIP4STR 投票集成方案，在遵守严格的推理时间限制的同时，实现了 9.73 的 wECR 分数。

原作者： Karthik Sivarama Krishnan, Koushik Sivarama Krishnan

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Karthik Sivarama Krishnan, Koushik Sivarama Krishnan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在暴风雨中读出一个疾驰而过的汽车车牌。那个车牌非常微小——有时只有12个像素宽（这比你屏幕上的一个指甲盖还要小）——而且它模糊不清，还被JPEG压缩挤压变形，甚至可能有一半都被遮挡住了。尝试去读它，就像是试图辨认一个被缩减到尘埃大小的邮票上的字母。

这篇论文描述了一个团队参加的一项高规格竞赛，名为“极端野外环境下车牌超分辨率”（Extreme In-the-Wild License Plate Super-Resolution）挑战赛。他们的目标不仅仅是猜出字母，而是要弄清楚如何让那团模糊的影像变得足够清晰，以便能够正确地猜对，同时避免因猜错而遭受的惩罚。

核心发现：先让像素变大

该团队最大的“顿悟”时刻在于意识到，最强大的工具不是更聪明的头脑，而是更好的眼睛。他们发现，超分辨率技术（将图像放大并使其变清晰）是单项最重要的步骤。

可以这样理解：如果你有一个只有2或3个像素宽的微小、模糊的字母“A”的图形，再怎么苦练也没用，你无法分辨它是“A”还是“H”。信号太弱了。但如果你使用一个魔力放大镜（他们的 HAT 系统）将图像放大4倍，突然间，笔画变得粗壮且清晰了。论文显示，加入这个“放大镜”使他们的得分在评分标准上大幅提升了 +2.00 分。如果没有它，系统基本上就是在黑暗中盲目猜测。

侦探团队

一旦图像被放大，团队并不仅仅使用一个侦探来读取车牌。他们使用了一个由两人组成的团队：

PARSeq-S：一个快速、高效的阅读器，它以一种特定且有组织的方式观察图像。
CLIP4STR-B：一个更沉重、更强大的阅读器，它是在海量的图像-文本对库上训练而成的。

他们将这两个模型视为一个投票委员会。当它们观察同一个字母时，它们并不只是进行简单的多数决。它们会权衡选票：PARSeq 获得 2 票，而 CLIP4STR 获得 1 票。为什么？因为在他们的测试中，这种特定的组合比给予它们同等发言权的效果更好。

“不要猜测”规则

这里是游戏变得棘手的地方。竞赛规则非常严苛：

猜对一个字母：+2 分。
猜错一个字母：-1 分。
不猜（留白）：0 分。

这意味着，如果你对一个字母的把握度低于 33%，那么猜测其实是个坏主意，因为你损失的分数可能会比赢得的分数更多。团队在系统中构建了一个聪明的“安全阀”。如果计算机对某个字母的置信度分数低于 0.33（33%），系统就会直接弃权——它会说“我不知道”，然后留下一个空格，而不是进行猜测。

这一策略将潜在的错误转化为了安全的零分，为他们的最终得分贡献了额外的 +0.11 分。这就像一场考试，你只回答那些你有把握的问题，而不是惊慌失措地随机涂卡。

他们拒绝了什么（“禁区”列表）

该团队非常谨慎，明确了哪些做法是行不通的，并且他们证明了这些想法确实无效：

并非“越多越好”的模型：他们尝试在团队中加入第三个侦探（一个名为 SVTRv2 的模型）。但这并没有帮助，反而让情况变得更糟。论文表明，添加一个思维方式不同（使用不同的“解码器”风格）的模型，只会制造更多的噪声和混乱，而不是提供更多正确的答案。
拒绝僵化的规则：他们尝试强制系统严格遵守法国车牌规则（例如，永远不使用看起来像数字的字母“I”或“O”）。这适得其反，降低了他们的得分。有时候，严格的规则会过滤掉一些虽然看起来很奇怪但实际上是正确的答案。
拒绝作弊：他们没有使用任何秘密数据或人工辅助。他们仅使用了官方训练数据和公开的预训练模型。

最终得分与速度

通过结合“魔力放大镜”（超分辨率）、加权投票团队以及“不要猜测”的安全规则，他们达到了 9.73 的得分（满分为 10 分）。

他们还检查了处理速度。在高性能显卡（RTX 3090）上，整个过程处理每个汽车序列大约耗时 1.7 秒。竞赛允许的时间长达 60 秒，所以他们有大量的余量。

简而言之，这篇论文证明了，对于这些微小且模糊的车牌，让图像变得可读比拥有一个超级复杂的头脑更重要。你无法读出你看不清的东西，而一旦你能看清，一个聪明且谨慎的阅读团队就能完成剩下的工作。

技术摘要：用于极端野外环境下车牌识别的 HAT 超分辨率与 PARSeq+CLIP4STR 投票集成方案

问题陈述
本研究针对 ICIP 2026 大赛中关于极端野外环境下车牌超分辨率（XLPSR）的任务。该任务要求从视频序列中预测法国车牌的文本，其中车牌面临极端的退化问题：宽度仅为 12 像素、运动模糊、JPEG 压缩、恶劣光照以及遮挡。评估指标采用逐字符评分规则（正确 +2，错误 -1，弃权 0）。这种非对称评分产生了一种“负期望值”场景，即在低置信度区域进行猜测时，正确的概率必须超过 1/3 才是获益的。挑战赛提供每序列 10 帧图像，要求系统能够从亚像素级的字符笔画中恢复可读性。

方法论
所提出的流水线将该问题视为一个由图像可读性控制的识别任务，优先考虑恢复笔画信息而非原始吞吐量。该系统分为四个不同阶段运行：

多帧融合：
- 从 10 帧输入图像中，系统通过拉普拉斯方差对裁剪区域进行排序，以确定最清晰的参考帧。
- 其余帧使用增强相关系数（ECC）算法在仿射运动模型下对齐到该参考帧。选择 ECC 是因为它对低对比度条件具有鲁棒性，且不需要地面真值流（ground-truth flow）进行监督。
- 对齐后的帧进行像素级平均，以创建一个融合后的裁剪图像。
- 流水线保留六个视图进行处理：最清晰的参考帧、最多四个按时间顺序排列的对齐裁剪图像，以及融合后的裁剪图像。
超分辨率（SR）：
- 每个视图都使用 HAT（混合注意力 Transformer） 进行 4 倍放大，具体为 Real-HAT-GAN-SRx4 变体。
- 该模型利用六个 RHAG 块，嵌入维度为 180，窗口大小为 16，并使用 PixelShuffle 上采样器。
- 作者使用公开权重且未进行进一步微调，指出 60 秒每序列的预算允许其优先考虑可读性而非轻量化实时变体的速度。
集成识别：
- 超分辨率后的视图和原始分辨率的参考帧被传递给两个不同的场景文本识别器：
  - PARSeq-S v2： 一个拥有 23.8M 参数的 ViT-Small 模型，带有置换自回归解码器，处理 32×128 输入。
  - CLIP4STR-B： 一个拥有 158M 参数的模型，使用 CLIP-ViT-B/16 作为骨干网络，配合跨模态解码器，处理 224×224 输入。
- 这两个模型均在合成的法国车牌数据（通过 OpenCV 和 FE-Schrift 字体生成，并应用 BSRGAN 式的退化）以及 XLPSR 开发集上进行了微调。
- 该集成提供了在骨干架构、输入分辨率和预训练语料库（ImageNet-1K 对比 CLIP 的 4 亿图像-文本对）方面的多样性。
带弃权的置信度加权投票：
- 预测结果经过过滤，以保留众数字符串长度（倾向于 7 个字符的法国 SIV 格式）。
- 对于每个字符位置，跨所有保留的元组聚合 Softmax 置信度。投票方案将 PARSeq 的权重设为 CLIP4STR 的两倍（2:1 比例），该比例是通过消融实验确定的。
- 弃权机制： 如果获胜类别的 Softmax 质量低于阈值 $\tau = 0.33$ ，系统则弃权（输出 _）。该阈值与 +2 / -1 / 0 的非对称评分盈亏平衡点（$P(correct) = 1/3$）相一致。
- 后处理步骤应用 SIV 格式修正（如 I→J, O→D, U→V 的映射），但在投票阶段避免使用硬性的格式约束，因为研究发现硬约束会过滤掉正确的边缘情况预测。

关键结果
该系统在公共验证排行榜上达到了 9.73 wECR。消融研究（表 I）强调了其对性能的贡献：

超分辨率的主导作用： 超分辨率步骤相比无 SR 的基准线贡献了最大的增益（+2.00 wECR）。在极端尺度（12–20 像素车牌宽度）下，字符仅占据 2–3 个像素；HAT 将这些笔画提升到了 OCR 骨干网络通常会失效的亚像素阈值之上。
集成多样性： 将 PARSeq 与 CLIP4STR 结合，比仅使用 PARSeq 提升了 +0.31 wECR。然而，加入第三个具有不同解码器家族的模型（基于 CTC 的 SVTRv2）反而导致性能下降，这表明在没有增加相关正确性的情况下，单纯增加分歧会引入投票噪声。
弃权策略： 使用 $\tau = 0.33$ 阈值的置信度加权投票通过将可能错误的猜测（-1）转化为中性弃权（0），使得分提高了 +0.11 wECR。
效率： 完整流水线在 RTX 3090 上每序列运行约 1.7 秒（p99 延迟为 2.4 秒），远低于 60 秒的限制。

意义与主张
论文声称，对于极端尺度的车牌识别，可读性恢复是核心约束，而非解码器的容量。作者证明，通过精心设计的超分辨率前端，结合适度的集成多样性和针对特定非对称评分规则校准的弃权策略，无需使用专有模型或外部数据即可实现高性能。该工作明确拒绝了“更大的模型或更复杂的解码器家族是解决亚像素识别挑战的主要方案”这一观点，而是强调在识别之前，将图像质量提升至可识别阈值是必不可少的。