Character Recognition of Nepali Number Plate

Resumen Técnico: Reconocimiento de Caracteres de Matrículas de Nepal

Planteamiento del Problema
Los sistemas de Reconocimiento Automático de Matrículas (ANPR, por sus siglas en inglés) se han vuelto vitales para la vigilancia del tráfico moderno, pero enfrentan desafíos significativos cuando se adaptan a escrituras regionales y formatos de matrícula no estandarizados. En Nepal, las matrículas utilizan la escritura Devanagari y exhiben una alta variabilidad en el diseño (una, dos o tres filas), estilos de fuente, tamaños y alineación. A diferencia de las matrículas estandarizadas de escritura latina, las de Nepal suelen sufrir inconsistencias en el espaciado y en las formas de los caracteres debido a la pintura manual y a la falta de estándares uniformes. Estos factores hacen que los canales de procesamiento ANPR convencionales, que asumen secuencias de longitud fija y espaciado uniforme, resulten ineficaces. Además, los modelos existentes entrenados en conjuntos de datos latinos no logran abordar las complejidades específicas de la escritura y la semántica posicional de los caracteres Devanagari.

Metodología
Los autores proponen un sistema ANPR robusto y basado en procesos diseñado específicamente para las matrículas de Nepal. La arquitectura del sistema integra tres etapas primarias:

1. Detección de la Matrícula: Se emplea un modelo YOLO preentrenado para localizar las matrículas dentro de las imágenes de los vehículos, generando cuadros delimitadores (bounding boxes) para recortar la región de la matrícula para su posterior procesamiento.
2. Segmentación de Caracteres: Se utiliza un modelo YOLOv8 entrenado a medida para detectar y segmentar caracteres individuales dentro de la matrícula recortada. Este paso aborda las variaciones en el espaciado de los caracteres, los estilos de fuente y el ruido de fondo, produciendo cuadros delimitadores para cada carácter.
3. Reconocimiento de Caracteres: Las regiones de caracteres segmentadas se clasifican mediante una Red Neuronal Convolucional (CNN) entrenada con 34 caracteres únicos de Devanagari presentes en las matrículas de Nepal. La arquitectura de la CNN fue optimizada mediante búsqueda de cuadrícula (grid search) para maximizar la precisión de clasificación y las puntuaciones F1.
   • Gestión de Matrículas con Relieve (Embossed): Para abordar la subrepresentación de las matrículas con relieve en los conjuntos de datos disponibles, los autores entrenaron un modelo CNN adicional basado en VGG-16. Este modelo fue suplementado con aproximadamente 500 imágenes de matrículas de la India y los Estados Unidos para mejorar la generalización de las texturas con relieve.

Conjuntos de Datos y Entrenamiento
El sistema fue entrenado y validado utilizando dos conjuntos de datos disponibles públicamente en Kaggle:

• Conjunto de Datos de Matrículas de Vehículos de Nepal: Contiene aproximadamente 2,500 imágenes de vehículos con cuadros delimitadores de matrícula anotados bajo diversas condiciones de iluminación y ambientales.
• Conjunto de Datos de Caracteres de Matrículas de Nepal: Comprende 26,537 imágenes etiquetadas de los 34 caracteres Devanagari.
• Aumento de Datos (Augmentation): Para mejorar la capacidad de generalización y abordar el desequilibrio de clases, los autores aplicaron técnicas de aumento de datos que incluyen rotación, escalado, inyección de ruido, variación de brillo y transformación de perspectiva.

Contribuciones Clave

• Adaptación Específica de la Escritura: El desarrollo de un canal de procesamiento personalizado que aborda específicamente las complejidades estructurales y lingüísticas de las matrículas Devanagari de Nepal, yendo más allá de las limitaciones de los modelos basados en la escritura latina.
• Enfoque de Detección Híbrido: La integración de modelos basados en YOLO tanto para la localización de la matrícula como para la segmentación de caracteres, seguido de un clasificador CNN dedicado, creando un canal de detección modular y escalable.
• Generalización de Conjuntos de Datos Cruzados: La estrategia de utilizar conjuntos de datos extranjeros (India y EE. UU.) para entrenar un modelo VGG-16 para el reconocimiento de matrículas con relieve, mitigando eficazmente la falta de un conjunto de datos dedicado para el relieve en Nepal.
• Validación en el Mundo Real: El despliegue de una interfaz web funcional que demuestra el canal de reconocimiento de extremo a extremo.

Resultos
El sistema propuesto demostró un sólido desempeño bajo condiciones del mundo real:

• Precisión General: El sistema logró una precisión de reconocimiento de hasta el 93% en diversas imágenes de matrículas.
• Reconocimiento de Matrículas con Relieve: El modelo entrenado con datos internacionales suplementarios para matrículas con relieve alcanzó una precisión final de aproximadamente el 93% y una precisión de validación del 88%.
• Métricas de Desempeño: Las métricas de entrenamiento indicaron una convergencia efectiva, con la matriz de confusión y los gráficos de pérdida validando la capacidad del modelo para distinguir entre las 34 clases de caracteres.

Significancia y Reivindicaciones
El artículo afirma que este trabajo proporciona una solución escalable y robusta para la gestión del tráfico en Nepal, abordando una brecha crítica en los sistemas de transporte inteligente. Al lograr una alta precisión a pesar de la falta de formatos de matrícula estandarizados y la limitada disponibilidad de datos locales para matrículas con relieve, el canal propuesto representa un paso significativo hacia la vigilancia automatizada del tráfico en la región. Los autores enfatizan que su enfoque supera con éxito la variabilidad inherente a las matrículas de Nepal, ofreciendo una herramienta práctica para el despliegue en el mundo real.

Alcance Futuro
Los autores identifican varias áreas para mejoras futuras, incluyendo la creación de un conjunto de datos dedicado para las matrículas con relieve de Nepal para reducir la dependencia de muestras extranjeras. También sugieren explorar arquitecturas avanzadas como los Transformadores de Visión (Vision Transformers) y mecanismos de atención, optimizando el sistema para dispositivos de borde (edge devices) mediante la compresión de modelos, y mejorando la robustez contra condiciones adversas como la baja iluminación, el desenfoque por movimiento y las oclusiones.