BLPR: Robust License Plate Recognition under Viewpoint and Illumination Variations via Confidence-Driven VLM Fallback

Resumo Técnico: BLPR

1. Problema e Contexto

O reconhecimento de placas de veículos (LPDR - License Plate Detection and Recognition) em ambientes não controlados enfrenta desafios significativos, especialmente em regiões com dados limitados e características visuais únicas, como a Bolívia.

• Desafios Principais: A precisão de sistemas existentes degrada-se drasticamente devido a variações de iluminação (sombras, reflexos, baixa luminosidade) e distorções de ponto de vista (ângulos oblíquos, inclinação da placa, captura com lentes grande-angulares).
• Falta de Dados: Não existiam conjuntos de dados públicos ou frameworks específicos para placas bolivianas, dificultando o treinamento de modelos robustos. Além disso, cerca de 20% da frota de veículos na Bolívia são contrabandeados, e o aumento de crimes relacionados a propriedades exige sistemas de identificação mais confiáveis.
• Limitações de Abordagens Atuais: Modelos end-to-end exigem grandes volumes de dados diversificados, enquanto pipelines modulares tradicionais muitas vezes falham em corrigir distorções geométricas complexas ou lidar com condições de iluminação adversas sem perda de desempenho.

2. Metodologia Proposta (BLPR)

O sistema BLPR é um framework de aprendizado profundo baseado em um pipeline modular de duas etapas, projetado especificamente para placas bolivianas. A arquitetura combina detecção clássica, pré-processamento adaptativo e um mecanismo de fallback baseado em Visão-Linguagem (VLM).

A. Pipeline de Processamento:

1. Detecção de Veículos e Placas:

   • Utiliza uma rede YOLOv26n para localizar veículos e placas.
   • Estratégia de Treinamento: O modelo é pré-treinado em dados sintéticos (gerados no Blender com variações extremas de perspectiva e iluminação) e depois ajustado (fine-tuned) em dados reais coletados em La Paz, Bolívia.
   • Inclui validação espacial para garantir que a placa detectada esteja dentro do veículo.

2. Pré-processamento Adaptativo (Correção Geométrica e Fotométrica):

   • Retificação Geométrica: Um módulo "Scout" analisa a região de interesse (ROI). Se a distorção (razão de encurtamento ou ângulo de inclinação) exceder limites pré-definidos, aplica-se uma transformação de homografia para corrigir a perspectiva. Casos com baixa distorção são deixados inalterados para evitar artefatos de interpolação.
   • Correção Fotométrica: Analisa o canal de Valor (HSV) para detectar sombras ou brilho excessivo. Aplica correção de gamma dinâmica apenas quando necessário, preservando a qualidade original da imagem em condições normais.

3. Reconhecimento de Caracteres (OCR) com Fallback VLM:

   • OCR Principal: Utiliza um modelo YOLOv26x treinado para detectar caracteres individuais e a palavra "BOLIVIA" (que é filtrada posteriormente).
   • Mecanismo de Fallback (Confidence-Driven VLM): Se o modelo YOLO detectar menos de 6 caracteres ou se a confiança relativa de um caractere for baixa (abaixo de um limiar de 0.20), o sistema aciona um modelo de Visão-Linguagem leve (Gemma3 4B).
   • O VLM atua como um "módulo de pós-processamento inteligente", lendo a placa inteira e resolvendo ambiguidades baseando-se em restrições sintáticas das placas bolivianas, sem substituir o OCR principal para todos os casos (preservando a eficiência).

3. Contribuições Principais

• Primeiro Conjunto de Dados Público Boliviano (BLPR): Introdução de quatro subconjuntos de dados (BLPR-A a D) contendo cenas reais e renderizações sintéticas, com anotações para detecção, reconhecimento e categorização por condições de ângulo e iluminação.
• Pipeline Modular Robusto: Combinação de detecção YOLO, retificação geométrica condicional e um mecanismo de fallback VLM acionado apenas por confiança, equilibrando precisão e latência.
• Adaptação Sintética para Real: Uso de dados sintéticos gerados no Blender para mitigar a escassez de anotações e cobrir casos raros de perspectiva e iluminação antes do ajuste fino em dados reais.
• Validação Abrangente: Avaliação detalhada sob diferentes condições de distorção e iluminação, demonstrando a eficácia da abordagem híbrida.

4. Resultados Experimentais

Os experimentos foram realizados em um workstation com GPU NVIDIA RTX 4080 SUPER.

• Desempenho Geral: O sistema BLPR alcançou uma precisão de reconhecimento de caracteres de 89,6% (F1-score de 0,9027) em dados do mundo real (conjunto BLPR-D).
• Comparação de OCR: O modelo YOLOv26x superou outros OCRs (EasyOCR, PaddleOCR, TrOCR) em equilíbrio entre precisão e recall.
• Análise de Ablação:
  • O uso exclusivo do VLM (Gemma3) aumentou a precisão em casos difíceis, mas introduziu uma latência impraticável (~1217 ms por placa).
  • O sistema BLPR completo (YOLO + Fallback Condicional) reduziu o tempo de inferência médio para 461 ms, mantendo o F1-score mais alto (0,9027).
  • Em placas com distorção severa ("Steep"), o sistema melhorou o F1-score de 0,54 (apenas YOLO) para 0,8856, graças à correção geométrica e ao acionamento do VLM.
• Eficiência: O mecanismo de fallback foi acionado em apenas 34,9% dos casos, demonstrando que a maioria das placas é resolvida eficientemente pelo modelo YOLO, enquanto o VLM lida com os casos mais complexos.

5. Significado e Impacto

• Solução para Regiões Sub-representadas: O trabalho preenche uma lacuna crítica na literatura de LPDR para a América Latina, oferecendo dados e ferramentas para um contexto onde a infraestrutura de dados é limitada.
• Equilíbrio entre IA Generativa e Eficiência: Demonstra que modelos de Visão-Linguagem (VLMs) não precisam ser usados em tempo real para toda a imagem para serem úteis. O uso estratégico como "fallback" baseado em confiança permite obter a robustez da IA generativa sem sacrificar a velocidade necessária para aplicações em tempo real (como controle de tráfego e pedágio).
• Aplicabilidade Prática: O sistema é projetado para ambientes urbanos desafiadores (La Paz), lidando com variações extremas de luz e ângulo, o que é crucial para combater o contrabando e melhorar a segurança viária na Bolívia.
• Reprodutibilidade: A disponibilidade pública do código e dos conjuntos de dados (GitHub) permite que a comunidade científica desenvolva e teste novos métodos em cenários de baixa disponibilidade de dados.

Em resumo, o BLPR representa um avanço significativo ao integrar técnicas clássicas de processamento de imagem com modelos de linguagem modernos de forma seletiva, criando um sistema robusto, adaptável e eficiente para o reconhecimento de placas em condições adversas.