HAT Super-Resolution and a PARSeq+CLIP4STR Voting Ensemble for Extreme In-the-Wild License Plate Recognition

Resumen Técnico: Ensamble de Votación HAT Super-Resolución y PARSeq+CLIP4STR para el Reconocimiento de Matrículas en Condiciones Extremas de Entorno Natural

Planteamiento del Problema
Este trabajo aborda el Gran Desafío ICIP 2026 sobre Super-Resolución de Matrículas en Entornos Extremos (XLPSR). La tarea consiste en predecir el texto de matrículas francesas a partir de secuencias de vídeo donde las matrículas sufren una degradación extrema: anchuras tan estrechas como 12 píxeles, desenfoque de movimiento, compresión JPEG, iluminación adversa y oclusión. La métrica de evaluación es una regla de puntuación por carácter (+2 por acierto, −1 por error, 0 por abstención). Esta puntuación asimétrica crea un escenario de "valor esperado negativo" para adivinar en regiones de baja confianza, ya que la probabilidad de un acierto debe superar 1/3 para ser beneficiosa. El desafío proporciona 10 fotogramas por secuencia, lo que requiere un sistema capaz de recuperar la legibilidad a partir de trazos sub-píxel.

Metodología
El pipeline propuesto trata el problema como una tarea de reconocimiento condicionada por la legibilidad de la imagen, priorizando la recuperación de la información de los trazos sobre el rendimiento bruto. El sistema opera en cuatro etapas distintas:

1. Fusión Multi-Fotograma:

   • A partir de los 10 fotogramas de entrada, el sistema clasifica los recortes mediante la varianza de Laplacian para identificar el fotograma de referencia más nítido.
   • Los fotogramas restantes se alinean con este referente utilizando el algoritmo de Coeficiente de Correlación Mejorado (ECC) bajo un modelo de movimiento afín. Se selecciona ECC por su robustez ante condiciones de bajo contraste y la ausencia de necesidad de supervisión de flujo basada en datos reales (ground-truth).
   • Los fotogramas alineados se promedian píxel a píxel para crear un recorte fusionado.
   • El pipeline retiene seis vistas para su procesamiento: el fotograma de referencia más nítido, hasta cuatro recortes alineados adicionales (en orden temporal) y el recorte fusionado.

2. Super-Resolución (SR):

   • Cada una de las seis vistas se escala 4× mediante HAT (Hybrid Attention Transformer), específicamente la variante Real-HAT-GAN-SRx4.
   • El modelo utiliza seis bloques RHAG con una dimensión de incrustación (embedding) de 180, un tamaño de ventana de 16 y un upsampler PixelShuffle.
   • Los autores utilizan pesos públicos sin un ajuste fino (fine-tuning) adicional, señalando que el presupuesto de 60 segundos por secuencia permite priorizar la legibilidad sobre la velocidad de las variantes más ligeras de tiempo real.

3. Reconocimiento de Ensamble:

   • Las vistas con super-resolución y la referencia de resolución original se pasan a través de dos reconocedores de texto en escena distintos:
     • PARSeq-S v2: Un ViT-Small de 23.8M de parámetros con un decodificador autoregresivo permutado, que procesa entradas de 32×128.
     • CLIP4STR-B: Un modelo de 158M de parámetros que utiliza un backbone CLIP-ViT-B/16 con un decodificador cross-modal, que procesa 224×224.
   • Ambos modelos han sido ajustados finamente con datos sintéticos de matrículas francesas (generados mediante OpenCV y fuentes FE-Schrift con degradación tipo BSRGAN) y el conjunto de desarrollo de XLPSR.
   • Este ensamble proporciona diversidad en la arquitectura del backbone, la resolución de entrada y los corpus de pre-entrenamiento (ImageNet-1K frente a los 400 millones de pares imagen-texto de CLIP).

4. Votación Ponderada por Confianza con Abstención:

   • Las predicciones se filtran para retener la longitud de cadena modal (prefiriendo los 7 caracteres del formato SIV francés).
   • Para cada posición de carácter, las confianzas soft-max se agregan a través de todas las tuplas retenidas. El esquema de votación pondera a PARSeq dos veces y a CLIP4STR una vez (relación 2:1), determinado mediante ablación.
   • Mecanismo de Abstención: Si la masa soft-max de la clase ganadora cae por debajo de un umbral de $\tau = 0.33$, el sistema se abstiene (salida _). Este umbral se alinea con el punto de equilibrio de la puntuación +2/−1/0 ($P(acierto) = 1/3$).
   • Un paso de post-procesamiento aplica correcciones del formato SIV (mapeo de I→J, O→D, U→V) pero evita restricciones de formato estrictas durante la fase de votación, ya que se descubrió que filtraban predicciones correctas en casos límite.

Resultados Clave
El sistema alcanzó un 9.73 wECR en la tabla de clasificación pública de validación. Un estudio de ablación (Tabla I) destaca las siguientes contribuciones al rendimiento:

• Dominancia de la Super-Resolución: El paso de SR contribuyó con la mayor ganancia (+2.00 wECR) respecto a un baseline sin SR. En escalas extremas (anchuras de matrícula de 12–20 px), los caracteres ocupan solo 2–3 píxeles; HAT eleva estos trazos por encima del umbral sub-píxel donde los backbones de OCR suelen fallar.
• Diversidad del Ensamble: La combinación de PARSeq y CLIP4STR añadió +0.31 wECR sobre PARSEC solo. Sin embargo, añadir un tercer modelo con una familia de decodificadores diferente (SVTRv2 basado en CTC) degradó el rendimiento, lo que sugiere que aumentar el desacuerdo sin aumentar la corrección correlacionada introduce ruido en la votación.
• Estrategia de Abstención: La votación ponderada por confianza con la abstención de $\tau=0.33$ mejoró la puntuación en +0.11 wECR al convertir conjeturas probablemente incorrectas (−1) en abstenciones neutrales (0).
• Eficiencia: El pipeline completo se ejecuta en aproximadamente 1.7 segundos por secuencia en una RTX 3090 (latencia p99 de 2.4s), muy por debajo del límite de 60 segundos.

Significado y Reivindicaciones
El artículo sostiene que, para el reconocimiento de matrículas a escala extrema, la restricción limitante es la recuperación de la legibilidad, no la capacidad del decodificador. Los autores demuestran que un front-end de super-resolución cuidadosamente diseñado, combinado con una diversidad de ensamble modesta y una estrategia de abstención calibrada al esquema de puntuación asimétrica específico, es suficiente para lograr un alto rendimiento sin necesidad de modelos propietarios o datos externos. El trabajo rechaza explícitamente la noción de que los modelos más grandes o las familias de decodificadores complejos sean la solución principal a los desafíos de reconocimiento sub-píxel, enfatizando en su lugar la necesidad de elevar la calidad de la imagen a un umbral reconocible antes de que ocurra el reconocimiento.