Resumen Técnico: Adaptación de TrOCR para el Reconocimiento de Texto Impreso en Tigrinya

1. Problema Identificado

Los modelos de OCR basados en Transformers (como TrOCR) han demostrado un rendimiento excepcional en scripts latinos y CJK, pero su aplicación a sistemas de escritura silábicos africanos, específicamente el script Ge'ez utilizado para el idioma Tigrinya, ha sido limitada o inexistente.

El Tigrinya es un idioma semítico con más de 10 millones de hablantes, pero carece de soporte dedicado en plataformas de OCR comerciales. Los desafíos principales incluyen:

• Complejidad del Script: El alfabeto Ge'ez es un abugida con más de 230 símbolos únicos (combinaciones de consonante-vocal), muchos de los cuales difieren solo por trazos sutiles o diacríticos.
• Fallo de Transferencia Directa: Los modelos preentrenados en inglés (como TrOCR) utilizan tokenizadores BPE (Byte-Pair Encoding) diseñados para el alfabeto latino. Al aplicarlos directamente al Tigrinya, los caracteres se mapean a tokens desconocidos (<unk>) o se fragmentan en secuencias de bytes sin sentido, resultando en un rendimiento nulo (0% de precisión).
• Falta de Investigación: No existían evaluaciones previas basadas en Transformers para el script Ge'ez; los trabajos anteriores se basaban en arquitecturas CNN-RNN.

2. Metodología

Los autores proponen una adaptación completa del modelo TrOCR (Transformers for OCR) para abordar la escasez de datos y las incompatibilidades de tokenización.

A. Arquitectura y Datos

• Modelo Base: Se utilizaron dos variantes de TrOCR preentrenadas: TrOCR-base-handwritten (entrenado en escritura manuscrita) y TrOCR-base-printed (entrenado en texto impreso). Ambos combinan un codificador ViT (BEiT) con un decodificador Transformer (RoBERTa).
• Conjunto de Datos: Se utilizó un subconjunto de 20,000 muestras del dataset GLOCR (generado sintéticamente a partir de periódicos de Haddas Ertra).
  • Entrenamiento: 10,000 muestras.
  • Validación: 5,000 muestras.
  • Prueba: 5,000 muestras.
• Entorno: Entrenamiento realizado en una sola GPU NVIDIA GeForce RTX 5060 (8 GB VRAM) en menos de 3 horas.

B. Extensión del Tokenizador

El vocabulario original de RoBERTa (50,265 tokens) no contenía caracteres Ge'ez.

• Se extrajeron los 230 caracteres únicos del Tigrinya (incluyendo combinaciones base, variantes labializadas, números y puntuación).
• Estos se añadieron al vocabulario, expandiéndolo a 50,495 tokens.
• Las capas de embeddings de entrada y salida se redimensionaron y se inicializaron aleatoriamente.

C. Innovación Clave: Ponderación de Pérdida Consciente de Palabras (Word-Aware Loss Weighting)

Este es el componente crítico del trabajo. Los experimentos iniciales mostraron que, incluso con el vocabulario extendido, el modelo fallaba sistemáticamente al omitir el primer carácter después de un espacio en blanco.

• Causa: El tokenizador BPE de RoBERTa utiliza un marcador de espacio especial para palabras en inglés (ej. _Word). Los nuevos tokens Ge'ez no tienen variantes con prefijo de espacio, y como no se han aprendido reglas de fusión BPE para el nuevo script, el decodificador no puede aprender la transición de "espacio" a "carácter Ge'ez".
• Solución: Se introdujo una función de pérdida ponderada donde los tokens que contienen el delimitador de espacio BPE (los inicios de palabra) reciben un peso de 2.0, mientras que el resto mantiene un peso de 1.0.
  • Fórmula: $L = \sum_{i=1}^{N} w_i \cdot CE(y_i, \hat{y}_i)$, donde $w_i = 2.0$ para tokens de frontera.
  • Esto fuerza al optimizador a aprender la transición espacio-carácter con mayor fiabilidad.

3. Contribuciones Clave

1. Primera Adaptación de TrOCR para Ge'ez: Se demuestra que los modelos Transformer pueden transferirse exitosamente a un sistema de escritura completamente diferente (no latino) mediante la adaptación del tokenizador.
2. Ponderación de Pérdida Consciente de Palabras: Se identifica y resuelve un modo de fallo sistemático en la adaptación de scripts cruzados (cross-script) causado por convenciones de BPE. Esta técnica es aplicable a cualquier adaptación de BPE a nuevos scripts.
3. Benchmark Público de Bajo Costo: Se logra un rendimiento de estado del arte en hardware de consumo (GPU de 8 GB) en menos de 3 horas, liberando todo el código, pesos del modelo y scripts de evaluación.

4. Resultados

Los resultados se evaluaron en un conjunto de prueba de 5,000 imágenes sintéticas:

• Rendimiento Baseline (Zero-shot): Los modelos sin adaptación fallaron completamente (CER > 99%, 0% de coincidencia exacta).
• Rendimiento con Adaptación Completa:
  • TrOCR-Printed (Versión Impresa): Logró un CER (Tasa de Error de Caracteres) de 0.22% y una precisión de coincidencia exacta del 97.20%.
  • TrOCR-Handwritten (Versión Manuscrita): Logró un CER de 0.38% y 96.86% de precisión.
• Comparativa con Baseline CRNN: Un modelo CRNN-CTC entrenado desde cero en los mismos datos obtuvo un CER de 0.12%, lo que sirve como referencia, pero destaca que TrOCR alcanza un rendimiento comparable con una arquitectura mucho más potente y menos datos de entrenamiento específicos.

Estudio de Ablación (Impacto de la Ponderación de Pérdida)

• Solo extensión de vocabulario (sin ponderación): CER de 20.06% (casi 0% de precisión). El modelo omitía sistemáticamente el primer carácter de las palabras.
• Con Ponderación de Pérdida: El CER cayó a 0.38% (una reducción de dos órdenes de magnitud).
• Conclusión: La extensión del vocabulario por sí sola es insuficiente; la corrección de la pérdida en los límites de las palabras es el factor determinante.

5. Significado e Impacto

• Viabilidad del Transfer Learning Cross-Script: El trabajo demuestra que las representaciones visuales y estructurales de los Transformers preentrenados en inglés son transferibles a scripts Ge'ez, siempre que se resuelvan las incompatibilidades de tokenización.
• Solución General: La técnica de "Word-Aware Loss Weighting" ofrece una solución metodológica simple pero potente para adaptar tokenizadores BPE a scripts donde los límites de palabras no se alinean con el esquema original.
• Accesibilidad: Al requerir solo una GPU de consumo y menos de 3 horas de entrenamiento, democratiza el desarrollo de tecnologías de lenguaje para idiomas de bajos recursos como el Tigrinya.
• Reproducibilidad: Todos los recursos (código, modelos en Hugging Face, datos) están públicamente disponibles, estableciendo una base para futuras investigaciones en OCR para scripts africanos.

En resumen, este artículo cierra una brecha tecnológica significativa al proporcionar el primer sistema OCR basado en Transformers de alto rendimiento para el Tigrinya, superando las limitaciones de los enfoques anteriores mediante una ingeniería cuidadosa del tokenizador y la función de pérdida.