BullingerDB: A Dataset for Handwritten Text Recognition and Writer Retrieval

Resumen Técnico: BullingerDB

Enunciado del Problema
El campo del análisis de documentos históricos carece de benchmarks a gran escala y desafiantes que aborden simultáneamente el Reconocimiento de Texto Manuscrito (HTR) y la Recuperación de Escritores (WR) con metadatos temporales ricos. Los conjuntos de datos existentes suelen estar limitados en escala (por ejemplo, IAM, CVL), carecen de variación temporal o no proporcionan la verdad de campo necesaria de diseño y transcripción para los modelos modernos de aprendizaje profundo. Específicamente, la correspondencia de Heinrich Bullinger (1504–1575), una figura central de la Reforma, representa un corpus masivo y multilingüe (principalmente latín y alto alemán temprano) con variación estilística significativa a lo largo de seis décadas. Sin embargo, este recurso carecía previamente de transcripciones adecuadas para entrenar y evaluar sistemas modernos de HTR, y su potencial para estudiar la evolución de la caligrafía a largo plazo permaneció subutilizado.

Metodología
Los autores presentan BullingerDB, un pipeline de procesamiento de conjuntos de datos y un marco de evaluación de benchmark:

• Construcción del Conjunto de Datos: El corpus comprende 20.898 páginas y 499.222 líneas de texto de 796 escritores distintos, abarcando el periodo 1523–1575.

  • Preprocesamiento: El pipeline implica un análisis de diseño utilizando Transkribus para segmentar líneas y eliminar artefactos no textuales (marginalia, notas al pie).
  • Refinamiento de Transcripciones: Las transcripciones semidiplomáticas iniciales se refinaron utilizando un método de alineación texto-imagen (Peer et al.) para corregir la hifenación y las inconsistencias a nivel de carácter, logrando una Tasa de Error de Caracteres (CER) del 6,5% frente a anotaciones manuales.
  • Filtrado: Se filtraron las páginas sin escritura a mano o aquellas con contenido de texto insuficiente (por ejemplo, sobres con firmas individuales).
  • Divisiones:
    • HTR: Una división basada en la frecuencia del escritor (frecuente vs. no frecuente) para evaluar el rendimiento en estilos conocidos frente a estilos no vistos.
    • WR: Una división de entrenamiento/prueba disjunta por escritor (20:80) diseñada para minimizar las diferencias en la distribución temporal entre conjuntos, permitiendo una validación de tipo leave-one-out.

• Protocolos de Evaluación:

  • HTR: Se evaluaron cuatro arquitecturas de última generación: HTRFlor (CNN-BiGRU), PyLaia (CNN-BiLSTM), Retsinas et al. (CNN con ramas de acceso directo) y TrOCR (codificador-decodificador Transformer). Las métricas incluyeron CER y Tasa de Error de Palabras (WER).
  • WR: El estudio evaluó la agregación basada en CNN (ResNet56), Vision Transformers (ViT) y modelos auto-supervisados (AttMask). Se extrajeron características de puntos clave SIFT y se agregaron mediante Sum-Pooling, VLAD, mVLAD y NetVLAD.
  • Métricas: Además de la mAP estándar y la precisión Top-n, los autores introdujeron el nDCG temporal (Ganancia Acumulada Descuenta Normalizada). Esta métrica evalúa la calidad de la recuperación basándose en la coherencia cronológica, premiando los resultados donde los documentos recuperados están temporalmente cerca de la consulta.

Contribuciones Clave

1. Conjunto de Datos BullingerDB: El lanzamiento de un conjunto de datos a gran escala y de acceso público (vía Zenodo) que contiene 20.898 páginas, segmentaciones de líneas, transcripciones y metadatos (identidad del escritor, fecha) para 796 escritores. Es significativamente más grande que benchmarks existentes como NorhandV3 e IAM.
2. Métrica Temporal de WR: La introducción de la métrica temporal nDCG para evaluar la conciencia temporal de los sistemas de recuperación de escritores, abordando el desafío único de la evolución estilística a lo largo del tiempo.
3. Resultados de Referencia: Resultados de benchmark exhaustivos para las tareas de HTR y WR, estableciendo líneas base de rendimiento para futuras investigaciones sobre documentos históricos multilingües.

Resultados

• Reconocimiento de Texto Manuscrito:

  • TrOCR logró el mejor rendimiento con una CER del 9,1% y una WER del 30,6% en el conjunto de datos total.
  • El rendimiento se degradó significativamente para escritores no frecuentes (estilos no vistos) y líneas de texto más cortas (por ejemplo, encabezados, direcciones), donde la información contextual es limitada.
  • A pesar de la gran cantidad de parámetros de TrOCR (334M), modelos más pequeños como PyLaia (4,8M) lograron CERs comparables, aunque TrOCR sobresalió en WER.

• Recuperación de Escritores:

  • AttMask (un modelo basado en ViT auto-supervisado) superó a todas las demás arquitecturas, logrando una mAP del 78,3% y un nDCG temporal de 90,3 (utilizando codificación VLAD).
  • El entrenamiento no supervisado (Cl-S) generalmente produjo mejores resultados que el entrenamiento supervisado, probablemente debido al ruido introducido por la variación temporal en las etiquetas.
  • Aunque la precisión Top-1 fue alta (hasta el 95,6%), las puntuaciones mAP fueron más bajas que las reportadas en otros conjuntos de datos (por ejemplo, Historical-WI), lo que indica que la variación estilística a largo plazo impacta negativamente en la calidad general de la clasificación.
  • Las altas puntuaciones de nDCG temporal confirmaron que los métodos actuales pueden lograr una recuperación coherente temporalmente, incluso si la precisión absoluta de la clasificación se ve desafiada por la evolución del estilo.

Significado
El artículo posiciona a BullingerDB como un nuevo benchmark desafiante para la comunidad de análisis de documentos históricos. Su importancia radica en su escala, naturaleza multilingüe y la inclusión de metadatos temporales precisos, lo que permite estudiar la evolución de la caligrafía a lo largo de la vida de un escritor. Los autores señalan que, aunque los modelos actuales pueden manejar el conjunto de datos, la variación estilística a largo plazo sigue siendo un obstáculo significativo para la recuperación robusta de escritores, particularmente para el entrenamiento supervisado. El conjunto de datos tiene como objetivo facilitar futuras investigaciones sobre el entrenamiento de HTR a gran escala desde cero, la adaptación de escritores y la disociación de rasgos específicos del escritor de los cambios temporales en la caligrafía.