TRIDIS: A Comprehensive Medieval and Early Modern Corpus for Handwritten Text Recognition and Named Entity Recognition

Resumen Técnico: El Corpus TRIDIS y la Estrategia de Evaluación

Planteamiento del Problema
El Reconocimiento de Texto Manuscrito (HTR, por sus siglas en inglés) para manuscritos históricos enfrenta obstáculos significativos relacionados con la consistencia de los datos y el rigor de la evaluación. Los conjuntos de datos existentes suelen sufrir de estándares de anotación inconsistentes (por ejemplo, enfoques variables en la expansión de abreviaturas y puntuación), un alcance limitado (centrado en scripts o regiones únicas) y, lo que es más crítico, la falta de divisiones de prueba desafiantes. Las divisiones aleatorias convencionales frecuentemente resultan en un solapamiento sustancial entre los datos de entrenamiento y de prueba, lo que genera métricas de rendimiento excesivamente optimistas que oscurecen la verdadera capacidad de un modelo para generalizar ante condiciones fuera del dominio (OOD). Esta limitación dificulta la evaluación robusta de los modelos de HTR cuando se aplican a nuevos documentos históricos no vistos previamente.

Metodología
El artículo presenta TRIDIS (Tria Digita Scribent), un corpus unificado que agrega múltiples subcolecciones de licencias abiertas de manuscritos medievales y de la Edad Moderna (siglos XII al XVIII). La metodología abarca tres componentes principales:

1. Construcción y Armonización del Corpus:

   • Agregación de Datos: TRIDIS combina colecciones heredadas (por ejemplo, Alcar-HOME, Himanis, e-NDP, Bullinger, CODEA) que cubren latín, francés antiguo, alto alemán medio y español antiguo.
   • Estándares de Transcripción: El corpus se adhiere a un paradigma de transcripción semi-diplomático. Esto implica la expansión silenciosa de abreviaturas, la normalización de variaciones alográficas (por ejemplo, de la s larga a la s corta), la modernización de la puntuación y la capitalización de entidades con nombre. Si bien esto facilita el uso en procesos de NLP modernos, el artículo reconoce que introduce una capa interpretativa distinta de la realidad paleográfica pura.
   • Modelo de Datos: El recurso está estructurado bajo un esquema estandarizado y se distribuye en formato Apache Parquet. Cada registro incluye la imagen de la línea (RGB), la transcripción en UTF-8, metadatos (ID del manuscrito, idioma, siglo, familia de escritura) y anotaciones de Reconocimiento de Entidades Nombradas (NER) donde estén disponibles.

2. Estrategia de Partición Basada en Valores Atípicos (Outliers):

   • Para abordar el problema del sesgo intra-dominio, los autores proponen un nuevo método de división. En lugar de una partición aleatoria, calculan embeddings visuales-textuales conjuntos para cada línea mediante la concatenación de las salidas de un codificador de visión y un codificador de texto.
   • Se define un centroide del corpus como el elemento de la mediana de todos los embeddings.
   • El conjunto de prueba se construye seleccionando el 5% superior de las líneas con las mayores distancias euclidianas respecto a este centroide. Estos "valores atípicos" se estratifican para asegurar la diversidad en su "atipicidad".
   • Esta estrategia aísla líneas caracterizadas por escrituras inusuales, vocabulario raro, degradación física o diseños de página atípicos, creando un escenario de evaluación más exigente.

3. Experimentos de Referencia (Baseline):

   • Dos modelos fueron ajustados con el 90% de los datos (con un 5% de validación y un 5% de prueba de valores atípicos): TrOCR (Large) y MiniCPM-Llama3-V 2.5.
   • El rendimiento se midió utilizando la Tasa de Error de Caracteres (CER), la Tasa de Error de Palabras (WER) y el BERTScore, tanto bajo condiciones de prueba aleatorias como de valores atípicos.

Contribuciones Clave

• Corpus TRIDIS: Un recurso multilingüe integral que contiene casi 200,000 líneas y aproximadamente 2 millones de tokens, documentando explícitamente la procedencia, la lógica editorial y las reglas de transcripción de sus componentes. Soporta tanto HTR como tareas derivadas como NER.
• Marco de Evaluación: La introducción de una estrategia de partición impulsada por valores atípicos que va más allá de las divisiones aleatorias para simular la imprevisibilidad de los nuevos documentos históricos.
• Taxonomía de Desafíos: Una clasificación detallada de las dificultades específicas encontradas en el conjunto de prueba de valores atípicos, incluyendo:
  • Nombres: Líneas dominadas por nombres propios con una fuerte presencia de abreviaturas.
  • Líneas Largas: Líneas inusualmente largas o con geometría variable.
  • Defectos Físicos: Problemas como tinta desvanecida, manchas o transparencia.
  • Scripts Subrepresentados: Familias de escritura raras (por ejemplo, Praegothica, Humanistica) con ejemplos de entrenamiento limitados.
  • Contextos Complejos: Manos notariales del siglo XVI y notas marginales.

Resultados
Los experimentos de referencia demuestran una brecha de rendimiento significativa entre las evaluaciones intra-dominio (aleatorias) y fuera del dominio (valores atípicos):

• TrOCR: El CER aumentó del 9.1% (aleatorio) al 11.3% (valor atípico); el WER aumentó del 21.3% al 24.9%.
• MiniCPM-Llama3-V 2.5: El CER aumentó del 10.2% al 12.6%; el WER aumentó del 24.2% al 28.0%.
• La similitud semántica (BERTScore) también disminuyó en el entorno de valores atípicos (por ejemplo, TrOCR cayó de 0.94 a 0.91).

Estos resultados confirman que, si bien los modelos de última generación funcionan bien en divisiones estándar, su robustez se degrada notablemente cuando se enfrentan a las características específicas y atípicas de la partición de valores atípicos.

Significación y Reivindicaciones
El artículo posiciona a TRIDIS no meramente como una agregación de datos, sino como una herramienta para una evaluación robusta y justa. Los autores afirman que la estrategia basada en valores atípicos proporciona un referente más realista para el HTR de documentos patrimoniales, revelando los límites de rendimiento que permanecen ocultos bajo las configuraciones de evaluación aleatoria convencional.

La importancia radica en:

1. Benchmarking Realista: Ofrece un marco para que las instituciones patrimoniales evalúen los modelos frente al "desplazamiento de dominio" inherente a los materiales de archivo recién digitalizados.
2. Identificación de Brechas: La caída en el rendimiento resalta áreas específicas que requieren aumentación dirigida, estrategias de normalización o modelado especializado (por ejemplo, para escrituras subrepresentadas o abreviaturas complejas).
3. Preparación para el Futuro: Al codificar explícitamente la heterogeneidad editorial y proporcionar metadatos ricos, el corpus soporta el análisis translingüístico, las investigaciones de cambio de estilo y el desarrollo de representaciones multimodales para una comprensión más profunda de los documentos.

Los autores concluyen que TRIDIS sirve tanto como un recurso fundacional para la transferencia de dominio en el procesamiento de documentos patrimoniales como una invitación a repensar los estándares de evaluación para reflejar mejor los desafíos del reconocimiento de texto histórico.