Character Recognition of Nepali Number Plate

Resumo Técnico: Reconhecimento de Caracteres de Placas de Veículos Nepalesas

Definição do Problema
Sistemas de Reconhecimento Automático de Placas de Veículos (ANPR) tornaram-se vitais para a vigilância de tráfego moderna, mas enfrentam desafios significativos ao serem adaptados a escritas regionais e formatos de placas não padronizados. No Nepal, as placas de licença utilizam o alfabeto Devanagari e exibem alta variabilidade em layout (uma, duas ou três linhas), estilos de fonte, tamanhos e alinhamento. Diferente das placas padronizadas em alfabeto latino, as placas nepalesas frequentemente sofrem com inconsistências no espaçamento e nas formas dos caracteres devido à pintura manual e à falta de padrões uniformes. Esses fatores tornam ineficazes os pipelines de ANPR convencionais, que assumem sequências de comprimento fixo e espaçamento uniforme. Além disso, modelos existentes treinados em conjuntos de dados latinos falham em abordar as complexidades específicas do alfabeto e a semântica posicional do Devanagari.

Metodologia
Os autores propõem um sistema de ANPR robusto e em pipeline, adaptado especificamente para placas de veículos nepalesas. A arquitetura do sistema integra três estágios primários:

1. Detecção de Placa de Licença: Um modelo YOLO pré-treinado é empregado para localizar as placas de licença dentro das imagens dos veículos, gerando caixas delimitadoras (bounding boxes) para recortar a região da placa para processamento subsequente.
2. Segmentação de Caracteres: Um modelo YOLOv8 treinado customizadamente é utilizado para detectar e segmentar caracteres individuais dentro da placa recortada. Esta etapa aborda variações no espaçamento de caracteres, estilos de fonte e ruído de fundo, produzindo caixas delimitadoras para cada caractere.
3. Reconhecimento de Caracteres: As regiões de caracteres segmentadas são classificadas usando uma Rede Neural Convolucional (CNN) treinada em 34 caracteres únicos de Devanagari encontrados em placas nepalesas. A arquitetura da CNN foi otimizada via busca em grade (grid search) para maximizar a acurácia de classificação e os escores F1.
   • Tratamento de Placas com Relevo: Para lidar com a sub-representação de placas com relevo nos conjuntos de dados disponíveis, os autores treinaram um modelo CNN adicional baseado em VGG-16. Este modelo foi suplementado com aproximadamente 500 imagens de placas da Índia e dos Estados Unidos para melhorar a generalização para texturas em relevo.

Conjuntos de Dados e Treinamento
O sistema foi treinado e validado utilizando dois conjuntos de dados públicos do Kaggle:

• Nepali Vehicles Number Plate Dataset: Contém cerca de 2.500 imagens de veículos com caixas delimitadoras de placas anotadas sob diversas condições de iluminação e ambientais.
• Nepali Number Plate Characters Dataset: Compreende 26.537 imagens rotuladas dos 34 caracteres Devanagari.
• Aumento de Dados (Augmentation): Para aumentar a generalização e abordar o desequilíbrio de classes, os autores aplicaram técnicas de aumento de dados, incluindo rotação, escala, injeção de ruído, variação de brilho e transformação de perspectiva.

Principais Contribuições

• Adaptação Específica de Escrita: O desenvolvimento de um pipeline customizado que aborda especificamente as complexidades estruturais e linguísticas das placas de Devanagari nepalesas, indo além das limitações dos modelos baseados em alfabeto latino.
• Abordagem de Detecção Híbrida: A integração de modelos baseados em YOLO para localização de placas e segmentação de caracteres, seguida por um classificador CNN dedicado, criando um pipeline de detecção modular e escalável.
• Generalização entre Conjuntos de Dados: A estratégia de utilizar conjuntos de dados estrangeiros (Índia e EUA) para treinar um modelo VGG-16 para o reconhecimento de placas com relevo, mitigando efetivamente a falta de um conjunto de dados dedicado para placas com relevo no Nepal.
• Validação no Mundo Real: A implementação de uma interface web funcional demonstrando o pipeline de reconhecimento de ponta a ponta.

Resultos
O sistema proposto demonstrou um forte desempenho sob condições reais:

• Acurácia Geral: O sistema alcançou uma acurácia de reconhecimento de até 93% em diversas imagens de placas.
• Reconhecimento de Placas com Relevo: O modelo treinado com dados internacionais suplementares para placas com relevo alcançou uma acurácia final de aproximadamente 93% e uma acurácia de validação de 88%.
• Métricas de Desempenho: As métricas de treinamento indicaram convergência eficaz, com a matriz de confusão e os gráficos de perda validando a capacidade do modelo de distinguir entre as 34 classes de caracteres.

Significância e Alegações
O artigo afirma que este trabalho fornece uma solução escalável e robusta para a gestão de tráfego no Nepal, abordando uma lacuna crítica nos sistemas de transporte inteligente. Ao alcançar alta acurácia apesar da falta de formatos de placa padronizados e dos dados locais limitados para placas com relevo, o pipeline proposto representa um passo significativo para a vigilância de tráfego automatizada na região. Os autores enfatizam que sua abordagem supera com sucesso a variabilidade inerente às placas nepalesas, oferecendo uma ferramenta prática para implantação no mundo real.

Escopo Futuro
Os autores identificam diversas áreas para melhorias futuras, incluindo a criação de um conjunto de dados dedicado para placas com relevo do Nepal para reduzir a dependência de amostras estrangeiras. Eles também sugerem explorar arquiteturas avançadas, como Vision Transformers e mecanismos de atenção, otimizando o sistema para dispositivos de borda (edge devices) via compressão de modelo, e aumentando a robustez contra condições adversas, como baixa luminosidade, desfoque de movimento e oclusões.