Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study

Resumen Técnico: ¿Pueden los OCR-VLM leer devanagari?

Planteamiento del problema
Si bien los sistemas OCR modernos, que van desde motores clásicos hasta modelos de visión-lenguaje especializados en OCR (OCR-VLMs) y modelos de lenguaje multimodales de vanguardia, demuestran un sólido desempeño en benchmarks de documentos en inglés y chino, su eficacia en escrituras índicas permanece en gran medida sin caracterizar. El devanagari (utilizado para el hindi y otros idiomas) presenta desafíos estructurales únicos ausentes en el texto latino y CJK, incluyendo consonantes conjuntadas apiladas (sam.yuktākṣar), signos vocálicos dependientes (matras) posicionados en múltiples direcciones, una línea de conexión superior (shirorekha), el diacrítico nukta, la mezcla frecuente de códigos y sistemas numéricos duales. El artículo aborda la brecha en la evaluación a gran escala de nuevos OCR-VLMs y LLMs de vanguardia en devanagari, cuestionando si las ganancias de vanguardia en los benchmarks de inglés/chino se transfieren a las escrituras índicas.

Metodología
Los autores construyeron un benchmark controlado, multifont y multicondición, así como una prueba de estrés del mundo real:

• Datos: La evaluación utiliza 100 oraciones en devanagari del conjunto de prueba FLORES (excluidas del entrenamiento) renderizadas con cinco fuentes diferentes. Además, se utilizaron 300 imágenes impresas reales de devanagari (a nivel de palabra y frase corta) del corpus Sanskrit-OCR-Typed para medir la brecha entre datos sintéticos y reales.
• Degradación: Las imágenes sintéticas fueron sometidas a cuatro condiciones: limpia, desenfoque gaussiano, ruido de píxeles aditivo y escalado de baja resolución (low-DPI).
• Modelos: Se evaluaron diez sistemas a través de cuatro familias:
  • Clásicos: EasyOCR.
  • Open VLMs: Qwen2.5-VL-3B, Qwen3-VL-8B y olmOCR-7B.
  • OCR-VLMs Especializados: DeepSeek-OCR y Unlimited-OCR.
  • Frontier Closed (API): Google Gemini 2.5 Flash, Anthropic Claude Opus 4.7, OpenAI GPT-5.5 y Mistral OCR.
• Métricas: La evaluación emplea la Tasa de Error de Caracteres (CER), la Tasa de Error de Palabras (WER) y chrF++ (f-score de n-gramas de caracteres). Los autores señalan que el CER basado en puntos de código puede subestimar los errores estructurales debido a la complejidad de los grafemas del devanagari. Crucialmente, el estudio reporta la CER mediana y la tasa catastrófica (fracción de muestras con CER > 50%) junto con la media para dar cuenta de modos de falla raros pero severos.
• Post-corrección: Se ajustó un modelo ByT5-small a nivel de bytes sobre 6,000 pares (salida de OCR ruidosa, texto limpio) para probar si un corrector ligero podría recuperar errores de un motor económico.

Resultos Clave

1. El texto sintético enmascara las diferencias: En texto renderizado limpio, los diez sistemas se agrupan estrechamente dentro de un rango de chrF++ de 91 a 98. Los benchmarks sintéticos fallan al distinguir entre motores clásicos, VLMs abiertos y OCR-VLMs especializados.
2. Fragilidad de los OCR-VLMs especializados: Bajo degradación, los modelos especializados exhiben una inestabilidad significativa. DeepSeek-OCR, a pesar de tener la mejor CER mediana, sufre de fallas de repetición catastróficas y raras (salidas de hasta 71 veces la longitud de referencia), lo que infla su error medio. Unlimited-OCR también se degrada moderadamente. En contraste, los VLMs genéricos (Qwen) y los motores clásicos (EasyOCR) permanecen relativamente estables bajo degradación sintética.
3. Colapso en escaneos reales: La brecha de rendimiento se amplía drásticamente en escaneos impresos reales. Nueve de los diez sistemas colapsan, con puntuaciones de chrF++ dispersas en un rango de 76 puntos.
   • Los modelos especializados fallan: DeepSeek-OCR y Unlimited-OCR caen al fondo de las clasificaciones (chrF++ 10.4 y 24.7, respectivamente), con altas tasas de alucinación y errores catastróficos.
   • El rendimiento en inglés no es predictivo: El fuerte rendimiento en OCR de inglés no se correlaciona con el rendimiento en índico. GPT-5.5 cae a un chrF++ de 58.5 (empatando con EasyOCR), y olmOCR-7B cae a 40.5.
   • Los mejores exponentes: Los modelos cerrados de vanguardia (Gemini, Claude) lideran con puntuaciones de chrF++ de 86.3 y 82.2. Notablemente, el modelo abierto Qwen3-VL-8B (ejecutable en una sola GPU de 24 GB) alcanza 75.2, superando a GPT-5.5 y acercándose a Mistral.
4. Taxonomía de errores:
   • Motores Clásicos (EasyOCR): Fallan principalmente en elementos superficiales como numerales (transcribiendo dígitos devanagari como latinos) y normalización de puntuación.
   • VLMs: Fallan principalmente en elementos estructurales, incluyendo conjuntas, matras y nukta.
   • Confusiones de apariencia similar: Los errores recurrentes (por ejemplo, ba↔va, gha↔dha) son consistentes entre sistemas y están impulsados por la similitud visual/fonética.
5. Límites de la post-corrección: Un post-corrector a nivel de bytes entrenado en la distribución de errores de EasyOCR mejora ese motor específico (chrF++ +1.2 a +1.5) pero falla al transferirse a otros motores (Qwen, Unlimited, DeepSeek), donde es neutro o perjudicial.

Significancia y Reivindicaciones
El artículo argumenta que los benchmarks puramente sintéticos son engañosos para el OCR de devanagari, ya que ocultan diferencias críticas de robustez que solo la degradación del mundo real revela. Los autores afirman que:

• Los OCR-VLMs especializados son actualmente la opción menos segura para las escrituras índicas debido a los bucles de repetición catastróficos y la mala generalización a escaneos reales.
• El fuerte rendimiento de OCR en inglés es un mal predictor de la capacidad de OCR en índico; los modelos que lideran los benchmarks de inglés (GPT-5.5, olmOCR-7B) rinden significativamente menos en devanagari.
• Los modelos abiertos pueden competir con los modelos cerrados de vanguardia: Qwen3-VL-8B demuestra que los modelos abiertos y ejecutables localmente pueden acercarse al rendimiento de las mejores APIs cerradas en escrituras índicas.
• Contribución Metodológica: El estudio aboga por reportar la CER mediana y las tasas catastróficas en lugar de solo la media para resumir fielmente el rendimiento de OCR, y proporciona un enfoque de post-corrección con distribución emparejada que requiere un entrenamiento específico del motor.

Los autores concluyen que la evaluación real es indispensable para las escrituras índicas y lanzan el benchmark, el código y los modelos para apoyar la evaluación futura de sistemas OCR en escrituras índicas.