TrOCR for Medieval HTR: A Systematic Ablation Study with Cross-Dataset Validation

Resumen Técnico: TrOCR para HTR Medieval

Planteamiento del Problema
El ajuste fino (fine-tuning) de modelos de Reconocimiento de Texto Manuscrito (HTR) basados en transformadores, específicamente TrOCR, para manuscritos medievales presenta desafíos significativos. Estos modelos han sido preentrenados en texto moderno y deben adaptarse a un dominio visual caracterizado por formas de letras cambiantes, abreviaturas omnipresentes, soportes degradados (tinta desvanecida, traspaso de tinta) y disposiciones irregulares. Si bien estudios recientes confirman que los modelos de transformadores pueden adaptarse a documentos históricos, las mejoras de rendimiento reportadas suelen ser difíciles de interpretar porque las estrategias de preprocesamiento, aumento de datos y optimización se ajustan frecuentemente de forma simultánea. Además, no está claro hasta qué punto una configuración de hiperparámetros única se transfiere a través de diferentes escrituras, idiomas y periodos de tiempo, particularmente cuando las colecciones históricas ofrecen una supervisión limitada (típicamente unas pocas miles de líneas etiquetadas).

Metodología
Los autores realizaron un estudio de ablación sistemático para aislar el impacto de tres elecciones de ajuste fino controlables en la precisión del reconocimiento:

1. Preprocesamiento: Específicamente, la aplicación de la Ecualización de Histograma Adaptativa con Límite de Contraste (CLAHE) para la normalización del contraste.
2. Aumento de Datos: Un flujo de trabajo que combina transformaciones geométricas (rotaciones, deformaciones elásticas), ajustes fotométricos (desenfoque, brillo, contraste) y degradación simulada de manuscritos (ruido de moteado, sombras, manchas).
3. Ajuste Fino Eficiente en Parámetros: Estrategias de congelación de capas para el codificador (encoder) y el decodificador (decoder).

Los experimentos utilizaron un manuscrito italiano del siglo XIII (I-CT 91 "Cortonese") que contiene 2,517 líneas de texto anotadas. Para asegurar la robustez y la validación cruzada de conjuntos de datos, el mismo esquema experimental se replicó en el benchmark público READ-16. El estudio empleó una línea base de ajuste fino completo (TrOCR-base) utilizando un optimizador AdamW con un esquema de tasa de aprendizaje de ciclo único (One-Cycle) durante 50 épocas.

El diseño de la ablación consistió en:

• Comparar cuatro variantes bajo ajuste fino completo: (i) CLAHE + aumento (línea base), (ii) sin CLAHE, (iii) sin aumento, y (iv) sin CLAHE + sin aumento.
• Realizar un barrido del número de capas congeladas ($K \in \{0, 3, 6, 9, 12\}$) ya sea en el codificador o en el decodificador, manteniendo el otro módulo completamente entrenable.
• Probar una configuración combinada ($enc\_3\_dec\_6$) para verificar si los umbrales de congelación individualmente no significativos permanecen no significativos cuando se aplican conjuntamente.
• La significancia estadística se evaluó mediante pruebas de rango con signo de Wilcoxon con corrección de Holm sobre la Tasa de Error de Caracteres (CER) a nivel de línea.
• Se utilizó una línea base especializada en el dominio (Kraken-CATMuS) para dar contexto, y la interpretabilidad se analizó mediante Grad-CAM y mapas de atención cruzada del decodificador.

Resultajes Clave

• Preprocesamiento y Aumento: En el conjunto de datos Cortonese, ni CLAHE ni el flujo completo de aumento de datos produjeron una ganancia de precisión estadísticamente fiable en comparación con la línea base. Eliminar CLAHE resultó en un CER de 7.84%, comparable a la línea base especializada de Kraken. Sin embargo, en el conjunto de datos READ-16, el aumento de datos resultó claramente beneficioso, lo que sugiere efectos de regularización dependientes del conjunto de datos.
• Asimetría de Congelación de Capas: Se observó una marcada asimetría entre el codificador y el decodificador.
  • Codificador: Congelar más allá de las primeras capas es consistentmente perjudicial. En Cortonese, congelar 6 o más capas del codificador causó una degradación significativa del rendimiento.
  • Decodificador: El decodificador es más tolerante a la congelación. Congelar hasta 6 capas del decodificador en Cortonese no dañó significativamente la precisión en comparación con el ajuste fino completo.
• Transferencia entre Conjuntos de Datos: Aunque la asimetría codificador-decodificador persistió en READ-16, los umbrales de congelación específicos no fueron universalmente transferibles. La configuración combinada ($enc\_3\_dec\_6$), que no fue significativa en Cortonese, funcionó significativamente peor que el ajuste fino completo en READ-16. Esto indica que las estrategias de congelación combinadas requieren una revalidación específica para cada conjunto de datos.
• Interpretabilidad: Grad-CAM y los mapas de atención cruzada sirvieron como herramientas de diagnóstico. La pérdida de tokens se correlacionó con mapas de atención de alta entropía (difusos), mientras que las predicciones correctas aún podían contener tokens con pérdida elevada. El estudio señaló que Grad-CAM puede colapsar ocasionalmente a mapas de cero (un modo de fallo), en cuyo caso los diagnósticos basados en la atención sirven como un respaldo.

Contribuciones y Significado
El artículo proporciona recomendaciones prácticas basadas en evidencia para profesionales que realizan el ajuste fino de TrOCR en conjuntos de datos históricos de bajos recursos:

1. Preprocesamiento: CLAHE debe tratarse como opcional en lugar de un requisito por defecto, ya que una optimización fuerte puede reducir la dependencia de un preprocesamiento de imagen agresivo.
2. Aumento de Datos: Las estrategias de aumento de datos deben validarse por conjunto de datos en lugar de asumir que proporcionan ganancias universales.
3. Estrategia de Congelación: Debe evitarse la congelación agresiva del codificador. Una congelación moderada del decodificador puede reducir los costes de entrenamiento sin una pérdida medible en corpus específicos, pero las recetas de congelación combinadas deben revalidarse para cada nuevo conjunto de datos.
4. Herramientas de Diagnóstico: Grad-CAM y los mapas de atención cruzada son valiosos para interpretar patrones de error y modos de fallo, particularmente cuando se utilizan en conjunto con señales de pérdida a nivel de token.

Los autores afirman modestamente que este trabajo no pretende superar a todos los sistemas de HTR existentes, sino proporcionar un estudio de ablación controlado y orientación accionable. Los hallazgos sugieren que, si bien las elecciones de optimización pueden compensar parcialmente la falta de preentrenamiento especializado, el preentrenamiento consciente del dominio sigue siendo valioso cuando se dispone de datos. El estudio enfatiza que las conclusiones respecto a los umbrales de congelación y el preprocesamiento son específicas para arquitecturas de tipo codificador-decodificador como TrOCR en imágenes de líneas históricas de bajos recursos y no deben generalizarse sin una validación adicional a través de diferentes escrituras y periodos.