Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study

Resumo Técnico: Os OCR-VLMs conseguem ler Devanágari?

Problema
Embora os sistemas de OCR modernos, que variam de motores clássicos a modelos especializados de Visão-Linguagem para OCR (OCR-VLMs) e LLMs multimodais de fronteira, demonstrem um forte desempenho em benchmarks de documentos em inglês e chinês, sua eficácia em escritas índicas permanece amplamente não caracterizada. O Devanágari (usado para o hindi e outras línguas) apresenta desafios estruturais únicos, ausentes no texto latino e CJK, incluindo consoantes conjuntadas empilhadas (sam.yuktākṣar), sinais de vogais dependentes (matras) posicionados em múltiplas direções, uma linha de conexão superior (shirorekha), o diacrítico nukta, codificação mista frequente e sistemas numéricos duplos. O artigo aborda a lacuna na avaliação em larga escala de novos OCR-VLMs e LLMs de fronteira no Devanágari, questionando se os ganhos de ponta em benchmarks de inglês/chinês se transferem para escritas índicas.

Metodologia
Os autores construíram um benchmark controlado, multi-fonte, multi-condição e um teste de estresse do mundo real:

• Dados: A avaliação utiliza 100 sentenças em Devanágari do conjunto de teste FLORES (retido do treinamento) renderizadas com cinco fontes diferentes. Adicionalmente, 300 imagens impressas reais em Devanágari (nível de palavra e frase curta) do corpus Sanskrit-OCR-Typed foram utilizadas para medir a lacuna entre dados sintéticos e reais.
• Degradação: As imagens sintéticas foram submetidas a quatro condições: limpa, desfoque Gaussiano, ruído de pixel aditivo e escalonamento de baixa DPI.
• Modelos: Dez sistemas foram avaliados em quatro famílias:
  • Clássicos: EasyOCR.
  • Open VLMs: Qwen2.5-VL-3B, Qwen3-VL-8B e olmOCR-7B.
  • OCR-VLMs Especializados: DeepSeek-OCR e Unlimited-OCR.
  • Frontier Closed (API): Google Gemini 2.5 Flash, Anthropic Claude Opus 4.7, OpenAI GPT-5.5 e Mistral OCR.
• Métricas: A avaliação utiliza Taxa de Erro de Caractere (CER), Taxa de Erro de Palavra (WER) e chrF++ (f-score de n-gramas de caracteres). Os autores observam que o CER baseado em código de ponto pode subestimar erros estruturais devido à complexidade de grafemas do Devanágari. Crucialmente, o estudo reporta a mediana do CER e a taxa catastrófica (fração de amostras com CER > 50%) juntamente com a média para considerar modos de falha raros, mas severos.
• Pós-correção: Um modelo ByT5-small de nível de byte foi ajustado (fine-tuned) em 6.000 pares (saída de OCR ruidosa, texto limpo) para testar se um corretor leve poderia recuperar erros de um motor barato.

Resultos Principais

1. Texto Sintético Mascara Diferenças: Em texto renderizado limpo, todos os dez sistemas se agrupam densamente dentro de um intervalo de chrF++ de 91 a 98. Benchmarks sintéticos falham em distinguir entre motores clássicos, VLMs abertos e OCR-VLMs especializados.
2. Fragilidade de OCR-VLMs Especializados: Sob degradação, modelos especializados exibem instabilidade significativa. O DeepSeek-OCR, apesar de possuir o melhor CER mediano, sofre de falhas de repetição raras, mas catastróficas (saídas até 71× o comprimento de referência), o que infla sua média de erro. O Unlimited-OCR também degrada moderadamente. Em contraste, VLMs genéricos (Qwen) e motores clássicos (EasyOCR) permanecem relativamente estáveis sob degradação sintética.
3. Colapso em Digitalizações Reais: A lacuna de desempenho aumenta dramaticamente em digitalizações impressas reais. Nove dos dez sistemas colapsam, com as pontuações de chrF++ espalhando-se por um intervalo de 76 pontos.
   • Modelos Especializados Falham: DeepSeek-OCR e Unlimited-OCR caem para o final dos rankings (chrF++ 10.4 e 24.7, respectivamente), com altas taxas de alucinação e erros catastróficos.
   • O Desempenho em Inglês Não é Preditivo: O forte desempenho de OCR em inglês não correlaciona com o desempenho índico. O GPT-5.5 cai para chrF++ 58.5 (empatando com o EasyOCR), e o olmOCR-7B cai para 40.5.
   • Principais Desempenhos: Modelos fechados de fronteira (Gemini, Claude) lideram com pontuações de chrF++ de 86.3 e 82.2. Notavelmente, o Qwen3-VL-8B de código aberto (executável em uma única GPU de 24 GB) atinge 75.2, superando o GPT-5.5 e aproximando-se do Mistral.
4. Taxonomia de Erros:
   • Motores Clássicos (EasyOCR): Falham principalmente em elementos de superfície como numerais (transcrevendo dígitos Devanágari como latinos) e normalização de pontuação.
   • VLMs: Falham principalmente em elementos estruturais, incluindo conjuntados, matras e nukta.
   • Confusões de Semelhança Visual: Erros recorrentes (ex: ba↔va, gha↔dha) são consistentes entre os sistemas e impulsionados pela similaridade visual/fonética.
5. Limites da Pós-correção: Um pós-corretor de nível de byte treinado na distribuição de erro do EasyOCR melhora esse motor específico (chrF++ +1.2 a +1.5), mas falha ao ser transferido para outros motores (Qwen, Unlimited, DeepSeek), onde é neutro ou prejudicial.

Significância e Alegações
O artigo argumenta que benchmarks puramente sintéticos são enganosos para OCR de Devanágari, pois escondem diferenças críticas de robustez que apenas a degradação do mundo real revela. Os autores afirmam que:

• OCR-VLMs especializados são atualmente a escolha menos segura para escritas índicas devido a loops de repetição catastróficos e má generalização para digitalizações reais.
• O forte desempenho de OCR em inglês é um preditor ruim da capacidade de OCR em Devanágari; modelos que lideram benchmarks de inglês (GPT-5.5, olmOCR-7B) apresentam desempenho significativamente inferior em Devanágari.
• Modelos abertos podem competir com modelos de fronteira fechados: O Qwen3-VL-8B demonstra que modelos abertos e executáveis localmente podem se aproximar do desempenho de APIs de alto nível em escritas índicas.
• Contribuição Metodológica: O estudo defende o relato da mediana do CER e das taxas catastróficas em vez de apenas a média para resumir fielmente o desempenho de OCR, e fornece uma abordagem de pós-correção com distribuição correspondente que requer treinamento específico do motor.

Os autores concluem que a avaliação real é indispensável para escritas índicas e liberam o benchmark, o código e os modelos para apoiar a futura avaliação de sistemas de OCR em escritas índicas.