BullingerDB: A Dataset for Handwritten Text Recognition and Writer Retrieval

Résumé Technique : BullingerDB

Énoncé du Problème
Le domaine de l'analyse de documents historiques manque de benchmarks à grande échelle et exigeants qui traitent simultanément la Reconnaissance de Texte Manuscrit (HTR) et la Récupération d'Auteur (WR) avec des métadonnées temporelles riches. Les jeux de données existants sont souvent limités en échelle (par exemple, IAM, CVL), manquent de variation temporelle, ou ne fournissent pas les vérités de terrain nécessaires en matière de mise en page et de transcription pour les modèles d'apprentissage profond modernes. Plus précisément, la correspondance de Heinrich Bullinger (1504–1575), figure centrale de la Réforme, représente un corpus massif et multilingue (principalement en latin et en haut-allemand nouveau) avec une variation stylistique significative sur six décennies. Cependant, cette ressource manquait auparavant de transcriptions adaptées à l'entraînement et à l'évaluation des systèmes HTR modernes, et son potentiel pour étudier l'évolution de l'écriture manuscrite à long terme restait sous-exploité.

Méthodologie
Les auteurs présentent BullingerDB, un pipeline de traitement de jeu de données et un cadre d'évaluation de benchmark :

• Construction du Jeu de Données : Le corpus comprend 20 898 pages et 499 222 lignes de texte provenant de 796 auteurs distincts, couvrant la période 1523–1575.

  • Prétraitement : Le pipeline implique une analyse de mise en page utilisant Transkribus pour segmenter les lignes et supprimer les artefacts non textuels (marginalia, notes de bas de page).
  • Raffinement des Transcriptions : Les transcriptions semi-diplomatiques initiales ont été affinées à l'aide d'une méthode d'alignement texte-image (Peer et al.) pour corriger les coupures de mots et les incohérences au niveau des caractères, atteignant un Taux d'Erreur de Caractère (CER) de 6,5 % par rapport aux annotations manuelles.
  • Filtrage : Les pages sans écriture manuscrite ou celles avec un contenu textuel insuffisant (par exemple, des enveloppes avec une seule signature) ont été filtrées.
  • Découpages :
    • HTR : Un découpage basé sur la fréquence des auteurs (fréquents vs non fréquents) pour évaluer les performances sur des styles connus par rapport à des styles inédits.
    • WR : Un découpage train/test disjoint par auteur (20:80) conçu pour minimiser les différences de distribution temporelle entre les ensembles, permettant une validation leave-one-out.

• Protocoles d'Évaluation :

  • HTR : Quatre architectures de l'état de l'art ont été évaluées : HTRFlor (CNN-BiGRU), PyLaia (CNN-BiLSTM), Retsinas et al. (CNN avec branches de raccourci), et TrOCR (encodeur-décodeur Transformer). Les métriques comprenaient le CER et le Taux d'Erreur de Mot (WER).
  • WR : L'étude a évalué l'agrégation basée sur CNN (ResNet56), les Vision Transformers (ViT) et les modèles auto-supervisés (AttMask). Les caractéristiques ont été extraites à partir de points clés SIFT et agrégées via Sum-Pooling, VLAD, mVLAD et NetVLAD.
  • Métriques : En plus du mAP standard et de la précision Top-n, les auteurs ont introduit le nDCG temporel (Normalized Discounted Cumulative Gain). Cette métrique évalue la qualité de la récupération basée sur la cohérence chronologique, récompensant les résultats où les documents récupérés sont temporellement proches de la requête.

Contributions Clés

1. Jeu de Données BullingerDB : La publication d'un jeu de données à grande échelle et accessible publiquement (via Zenodo) contenant 20 898 pages, des segmentations de lignes, des transcriptions et des métadonnées (identité de l'auteur, date) pour 796 auteurs. Il est significativement plus grand que les benchmarks existants tels que NorhandV3 et IAM.
2. Métrique Temporelle de WR : L'introduction de la métrique nDCG temporel pour évaluer la conscience temporelle des systèmes de récupération d'auteur, répondant au défi unique de l'évolution stylistique au fil du temps.
3. Résultats de Référence : Des résultats complets de benchmark pour les tâches HTR et WR, établissant des références de performance pour les recherches futures sur les documents historiques multilingues.

Résultats

• Reconnaissance de Texte Manuscrit :

  • TrOCR a obtenu les meilleures performances avec un CER de 9,1 % et un WER de 30,6 % sur l'ensemble des données.
  • Les performances se sont dégradées de manière significative pour les auteurs non fréquents (styles inédits) et les lignes de texte plus courtes (par exemple, en-têtes, adresses), où l'information contextuelle est limitée.
  • Malgré le grand nombre de paramètres de TrOCR (334M), des modèles plus petits comme PyLaia (4,8M) ont obtenu des CER comparables, bien que TrOCR ait excellé en WER.

• Récupération d'Auteur :

  • AttMask (un modèle basé sur ViT auto-supervisé) a surpassé toutes les autres architectures, obtenant un mAP de 78,3 % et un nDCG temporel de 90,3 (en utilisant l'encodage VLAD).
  • L'entraînement non supervisé (Cl-S) a généralement produit de meilleurs résultats que l'entraînement supervisé, probablement en raison du bruit introduit par la variation temporelle dans les étiquettes.
  • Bien que la précision Top-1 ait été élevée (jusqu'à 95,6 %), les scores mAP étaient inférieurs à ceux rapportés sur d'autres jeux de données (par exemple, Historical-WI), indiquant que la variation stylistique à long terme affecte négativement la qualité globale du classement.
  • Des scores élevés de nDCG temporel ont confirmé que les méthodes actuelles peuvent atteindre une récupération temporellement cohérente, même si la précision absolue du classement est mise à l'épreuve par l'évolution du style.

Signification
L'article positionne BullingerDB comme un nouveau benchmark exigeant pour la communauté de l'analyse de documents historiques. Sa signification réside dans son échelle, son caractère multilingue et l'inclusion de métadonnées temporelles précises, ce qui permet d'étudier l'évolution de l'écriture manuscrite au cours de la vie d'un auteur. Les auteurs notent que si les modèles actuels peuvent gérer le jeu de données, la variation stylistique à long terme reste un obstacle majeur pour une récupération d'auteur robuste, en particulier pour l'entraînement supervisé. Le jeu de données vise à faciliter les recherches futures sur l'entraînement HTR à grande échelle à partir de zéro, l'adaptation des auteurs et la séparation des traits spécifiques à l'auteur des changements temporels dans l'écriture manuscrite.