KazakhOCR: A Synthetic Benchmark for Evaluating Multimodal Models in Low-Resource Kazakh Script OCR

Resumen Técnico: KazakhOCR – Un Benchmark Sintético para la Evaluación de Modelos Multimodales en la Reconocimiento Óptico de Caracteres (OCR) de Scripts de Bajo Recurso en Kazajo

A continuación se presenta un resumen detallado del artículo, estructurado por los componentes clave solicitados:

1. El Problema

El idioma kazajo es una lengua túrquica única en el contexto del Reconocimiento Óptico de Caracteres (OCR) debido a su uso de tres sistemas de escritura distintos: cirílico, latino y árabe, dependiendo del contexto geográfico y político (Asia Central, Occidente/Turquía y China/Afganistán/Pakistán/Irán, respectivamente).

• Escasez de Datos: Existe una investigación muy limitada sobre OCR para los scripts de bajo recurso (árabe y latino) del kazajo. No existen benchmarks públicos ni conjuntos de imágenes reales para estas variantes.
• Limitaciones de los Modelos Actuales: La investigación previa se ha centrado casi exclusivamente en el script cirílico. Los modelos de lenguaje multimodal (MLLM) actuales, entrenados principalmente en idiomas de alto recurso, carecen de capacidad para procesar scripts basados en Abjad (como el árabe) en contextos de bajo recurso, lo que genera brechas significativas en la accesibilidad digital para los hablantes de kazajo en regiones donde se usa el script árabe o latino.

2. Metodología

Los autores desarrollaron un enfoque sistemático para crear un entorno de evaluación robusto y evaluar modelos de vanguardia:

• Construcción del Dataset Sintético (KazakhOCR):

  • Corpus de Texto: Se obtuvieron textos auténticos en script árabe del corpus MC² y en script cirílico de Wikipedia. Para el script latino, se transliteró el texto cirílico utilizando el paquete QazNLTK.
  • Equilibrio de Datos: Debido a la diferencia en la longitud de los caracteres entre scripts, se aplicó un muestreo aleatorio balanceado, resultando en 2,417 textos en árabe, 2,402 en cirílico y 2,400 en latino.
  • Generación de Imágenes: Se utilizaron 7,219 imágenes sintéticas generadas con la librería Pillow. Para imitar tareas de OCR realistas, se aplicaron variaciones en:
    • Fuentes: Selección aleatoria de fuentes compatibles (135 árabes, 431 cirílicas, 1376 latinas) con tamaños variables (24-56 pts).
    • Ruido y Distorsión: Niveles de ruido aleatorios (4-18), desenfoque (0-0.8) y rotación (-3 a 3 grados).
    • Color: Paletas de colores con un contraste mínimo de 4.5 para asegurar legibilidad.
  • Disponibilidad: El benchmark completo se ha liberado públicamente en Hugging Face.

• Evaluación de Modelos:

  • Se evaluaron tres MLLMs de parámetros eficientes: Gemma-3-12B-it, Qwen2.5-VL-7B-Instruct y Llama-3.2-11B-Vision-Instruct.
  • Protocolo: Se utilizó un subconjunto de 200 imágenes por script (600 en total) con temperatura 0.0.
  • Línea Base Clásica: Se comparó el rendimiento con Tesseract, un motor OCR clásico, utilizando sus modelos preentrenados sin ajuste fino (fine-tuning).

3. Contribuciones Clave

1. Primer Benchmark Sintético: Creación de KazakhOCR, el primer conjunto de datos y benchmark público diseñado específicamente para evaluar la OCR y la identificación de idioma en los scripts de bajo recurso del kazajo (árabe y latino), además del cirílico.
2. Evaluación Exhaustiva de MLLMs: Análisis comparativo de modelos multimodales de última generación frente a un baseline clásico en un contexto de bajo recurso.
3. Identificación de Sesgos y Fallos: Documentación detallada de la incapacidad de los MLLMs para reconocer el script árabe kazajo como tal, clasificándolo erróneamente como árabe estándar, farsi o kurdo.

4. Resultados

Los hallazgos revelan disparidades significativas en el rendimiento:

• Rendimiento por Script:
  • Script Cirílico: Fue el mejor desempeño para todos los modelos. Qwen2.5-VL logró una Tasa de Error de Caracteres (CER) del 5.3% y una Tasa de Error de Palabras (WER) del 13.4%.
  • Scripts Latino y Árabe: El rendimiento fue considerablemente peor.
    • Qwen2.5-VL obtuvo un CER del 26.4% (latino) y 35.5% (árabe).
    • Gemma y Llama mostraron errores aún mayores, con CERs en el script árabe que alcanzaron hasta el 72.5%.
• Identificación de Idioma:
  • Todos los modelos fallaron estrepitosamente al identificar el script árabe kazajo como tal (tasa de acierto entre 0.0% y 1.1%), confundiéndolo mayoritariamente con árabe, farsi o kurdo.
  • En el script latino, Qwen tuvo un 99.4% de precisión, mientras que Llama y Gemma fallaron frecuentemente, confundiendo el kazajo con tártaro o kirguís.
• Comparación con Tesseract:
  • El modelo clásico Tesseract superó consistentemente a los MLLMs en todos los scripts, especialmente en árabe (CER de 15.0% frente a 35.5%-72.5% de los MLLMs).
  • Esto demuestra que, para scripts de bajo recurso, los enfoques tradicionales de OCR siguen siendo superiores a los modelos multimodales generales en términos de precisión de transcripción.

5. Significado e Impacto

• Brecha en la IA Inclusiva: El estudio demuestra que los MLLMs actuales no están equipados para manejar scripts de bajo recurso basados en Abjad, dejando a millones de hablantes de kazajo (especialmente en China, Afganistán, Pakistán e Irán) sin soporte tecnológico adecuado.
• Riesgo de Alucinación: Se teoriza que los errores en los MLLMs se deben a alucinaciones donde el modelo intenta "completar" el texto usando caracteres o diacríticos de idiomas de alto recurso relacionados (como el árabe estándar), lo que degrada la precisión.
• Llamado a la Acción: Los autores enfatizan la necesidad urgente de:
  • Desarrollar modelos de entrenamiento inclusivos que abarquen los scripts árabe y latino del kazajo.
  • Utilizar datos auténticos en lugar de sintéticos en el futuro.
  • Crear benchmarks específicos para lenguas y scripts de bajo recurso para evitar la exclusión digital.

En conclusión, KazakhOCR no solo proporciona una herramienta de evaluación crítica, sino que expone una falla sistémica en la inteligencia artificial multimodal actual: la incapacidad de generalizar a scripts minoritarios y culturalmente diversos, subrayando la necesidad de un desarrollo más equitativo en el campo del Procesamiento del Lenguaje Natural (NLP).