Digitizing Nepal's Written Heritage: A Comprehensive HTR Pipeline for Old Nepali Manuscripts

Aquí se presenta un resumen técnico detallado del artículo "Digitalizando el Patrimonio Escrito de Nepal: Una Pipeline HTR Integral para Manuscritos Nepalíes Antiguos".

1. Declaración del Problema

El artículo aborda el desafío crítico del Reconocimiento de Texto Manuscrito (HTR) para el Nepalí Antiguo, un idioma históricamente significativo pero de bajos recursos.

• Contexto: El estudio se centra en manuscritos de los siglos XVIII y XIX (principalmente del Proyecto de Preservación de Manuscritos Nepal-Alemania), escritos en el alfabeto devanagari.
• Desafíos:
  • Escasez de Datos: Solo están disponibles 155 imágenes de manuscritos (aprox. 3.100 líneas de texto) para el entrenamiento, lo que dificulta los enfoques estándar de aprendizaje profundo.
  • Complejidad del Alfabeto: El Nepalí Antiguo presenta caracteres conjuntos intrincados, ortografía inconsistente (los escribas escribían las palabras de forma diferente) y una falta de espaciado estandarizado entre palabras (scriptio continua).
  • Degradación Documental: Los documentos históricos sufren de desvanecimiento de la tinta, daños en el papel y estilos de escritura diversos.
  • Brecha de Dominio: Los modelos OCR existentes (como Tesseract o TrOCR estándar) están entrenados en latín o scripts impresos modernos y fallan en el devanagari manuscrito histórico.

2. Metodología

Los autores proponen una pipeline de entrenamiento de tres etapas combinada con estrategias centradas en los datos para cerrar la brecha entre el preentrenamiento con datos de alto recurso y los datos objetivo de bajos recursos.

A. Pipeline de Entrenamiento de Tres Etapas

Para superar la falta de datos manuscritos etiquetados, el modelo experimenta un proceso de adaptación progresiva:

1. Etapa 1 (Preentrenamiento Sintético): El modelo se entrena con 100.000 imágenes sintéticas generadas a partir de libros de texto nepalíes históricos utilizando diversas fuentes devanagari y efectos de ruido/distorsión. Esto enseña al modelo patrones generales del devanagari.
2. Etapa 2 (Aprendizaje por Transferencia): El modelo se ajusta finamente con 5.139 líneas de texto devanagari impreso de los datos de investigación abierta de Heidelberg (heiDATA). Esto cierra la brecha entre los datos sintéticos y los documentos escaneados del mundo real.
3. Etapa 3 (Ajuste Fino Final): El modelo se ajusta finalmente con las 3.100 líneas de manuscritos manuscritos reales de Nepalí Antiguo.

B. Arquitectura del Modelo

• Codificador: Utiliza principalmente TrOCR (OCR basado en Transformer) con una base ViT (Vision Transformer) (trocr-base-handwritten y trocr-large-handwritten). También se probó un Swin Transformer, pero tuvo un rendimiento inferior debido a las limitaciones de datos.
• Decodificador: Explora modelos de lenguaje estilo BERT y GPT-2. La configuración de mejor rendimiento empareja un decodificador BERT con un tokenizador Byte-Level BPE.
• Tokenización: Compara la tokenización a nivel de carácter frente a la de nivel de byte. Se encontró que la tokenización Byte-Level BPE era óptima para manejar los complejos conjuntos del devanagari.

C. Mejoras Centradas en los Datos

Dado el pequeño conjunto de datos, los autores priorizaron la calidad y la diversidad de los datos sobre la complejidad arquitectónica:

• Normalización de Etiquetas: Unificó representaciones Unicode inconsistentes (por ejemplo, diferentes códigos para el chandrabindu) para reducir el ruido en el entrenamiento.
• Aumento de Datos: Aplicó 20 tipos de aumentos realistas (distorsiones geométricas, desenfoque gaussiano, ruido de sal y pimienta, deformación elástica) para simular artefactos de escaneo y variaciones de escritura. La intensidad de aumento de 8× produjo los mejores resultados.
• Preprocesamiento: Utilizó Kraken para la segmentación a nivel de línea. Cabe destacar que se encontró que la binarización perjudicaba el rendimiento, por lo que se mantuvieron las imágenes en escala de grises.

D. Estrategias de Decodificación

El estudio evaluó sistemáticamente métodos de decodificación deterministas (codicioso, búsqueda por haz, búsqueda contrastiva) y estocásticos (temperatura, top-k, top-p). Los resultados mostraron que las estrategias de decodificación tuvieron un impacto mínimo en la Tasa de Error de Caracteres (CER) final en comparación con la calidad de los datos y la arquitectura del modelo.

3. Contribuciones Clave

1. Primera Pipeline Integral: El primer sistema HTR integral diseñado específicamente para manuscritos de Nepalí Antiguo.
2. Adaptación de Tres Etapas: Un flujo de trabajo novedoso que demuestra cómo los datos sintéticos y el texto impreso pueden preentrenar eficazmente modelos para scripts históricos de bajos recursos.
3. Perspectivas Centradas en los Datos: Demostró que la normalización de etiquetas y el aumento de datos contribuyeron más a las mejoras de rendimiento que los cambios arquitectónicos (por ejemplo, cambiar de decodificadores BERT a GPT-2).
4. Lanzamiento de Código Abierto: Publicó el código de entrenamiento, configuraciones de modelos y scripts de evaluación para fomentar más investigación (alojado en GitHub).
5. Aplicación Web: Desarrolló una herramienta web funcional (nepocr.streamlit.app) que permite a los investigadores cargar y transcribir manuscritos de Nepalí Antiguo.

4. Resultados

• Rendimiento: El mejor modelo logró una Tasa de Error de Caracteres (CER) del 4,9% (CER ponderado del 4,8%).
• Mejora: Esto representa una reducción del 49% en el error en comparación con un modelo TrOCR de ajuste fino de línea base (9,6% CER) y supera significativamente al OCR de Google Cloud Vision, que falló al reconocer conjuntos y diacríticos.
• Estudios de Ablación:
  • Limpieza de Etiquetas: Redujo el CER del 8,9% al 8,4%.
  • Aumento de Datos: Redujo el CER del 8,4% al 5,6% (a intensidad 8×).
  • Tamaño del Modelo: La actualización de trocr-base a trocr-large redujo aún más el CER al 4,9%.
• Análisis de Errores:
  • Los errores son estructurados, no aleatorios (por ejemplo, ya confundido con pa debido a la similitud visual).
  • Degradación de Secuencias Largas: El rendimiento disminuye significativamente para líneas que superan los 120 caracteres debido a la falta de ejemplos de entrenamiento de secuencias largas.
  • Confusión de Tokens: Un pequeño subconjunto de 10 caracteres representa más del 55% de todos los errores.

5. Significado

• Preservación Cultural: Proporciona una solución escalable para digitalizar el vasto patrimonio de manuscritos de Nepal, que actualmente corre el riesgo de degradación e inaccesibilidad.
• Marco HTR de Bajos Recursos: Establece una metodología robusta para otros scripts históricos de bajos recursos, demostrando que la calidad de los datos y las estrategias de aumento suelen ser más críticas que el tamaño del modelo en entornos con escasez de datos.
• Validación del Aprendizaje por Transferencia: Demuestra con éxito que el preentrenamiento en datos sintéticos e impresos puede transferirse eficazmente a scripts históricos manuscritos complejos.
• Direcciones Futuras: El artículo destaca la necesidad de conjuntos de datos ampliados (específicamente secuencias largas) y el potencial de métodos de post-corrección que aprovechen los patrones de error estructurados identificados.

En conclusión, este trabajo establece una nueva línea base de vanguardia para el HTR de Nepalí Antiguo, desplazando el enfoque desde arquitecturas de modelos complejas hacia la preparación rigurosa de datos y estrategias de adaptación de dominio.