FP-THD: Full page transcription of historical documents

Imaginez que vous possédez une machine à remonter le temps capable de zoomer sur un livre poussiéreux de 500 ans écrit en latin médiéval. Les pages sont froissées, l'encre est délavée et l'écriture est un mélange sauvage de boucles, de gribouillis et de symboles étranges qui ne ressemblent en rien aux lettres que nous utilisons aujourd'hui. Si vous essayez d'utiliser un ordinateur moderne pour lire cela, c'est comme demander à un robot de comprendre un code secret pour lequel il n'a jamais été formé. Il pourrait transformer un « s » long (qui ressemble à un « f ») en un « f », ou fusionner deux lettres pour créer un « ae » moderne, ruinant complètement la saveur historique.

Entrez en scène FP-THD, un nouveau pipeline numérique conçu par une équipe de chercheurs pour être l'ultime « bibliothécaire voyageur du temps ». Leur objectif n'était pas seulement de lire les mots, mais de préserver l'aspect et le ressenti exact de la page originale, y compris ces abréviations et symboles délicats sur lesquels les historiens comptent.

La danse en deux étapes : trouver les lignes, puis les lire

Les auteurs ont réalisé que tenter de lire une page entière et désordonnée d'un seul coup, c'est comme essayer de manger une pizza entière en une seule bouchée. Au lieu de cela, ils ont construit un pipeline qui fonctionne en deux étapes distinctes, comme une équipe de spécialistes.

Étape 1 : Le détective de la mise en page (ParseNet)
D'abord, le système utilise un outil appelé ParseNet pour agir comme un détective de la mise en page. Il scanne l'image entière de la page et dessine des boîtes invisibles autour de chaque ligne de texte, déterminant où les paragraphes commencent et finissent, même si les lignes sont courbes ou inclinées. C'est comme un robot bibliothécaire qui trace soigneusement le contour de chaque phrase sur une page chaotique et les découpe en bandes nettes et droites. Cette étape produit une carte (dans un format appelé PAGE XML) qui indique à l'ordinateur exactement où regarder.

Étape 2 : Le super-lecteur (Autoencodeur masqué)
Une fois les lignes découpées et redressées, elles sont remises au second spécialiste : un Autoencodeur masqué propulsé par un Transformer de vision. Voyez ce modèle comme un étudiant super intelligent qui a appris à lire en jouant à un jeu de « remplissez les blancs ».

Voici comment le jeu fonctionne : l'ordinateur prend une ligne de texte, en couvre des morceaux aléatoires (comme si l'on posait un post-it sur quelques mots), puis essaie de deviner ce qui se trouve en dessous en se basant sur les indices environnants. En pratiquant ce jeu des millions de fois sur différents types d'écritures, le modèle apprend à reconnaître non seulement les lettres modernes, mais aussi ces symboles médiévaux bizarres, les ligatures (comme « æ ») et les tildes (~) qui indiquent des lettres manquantes.

Le grand test : manuscrit vs imprimé

L'équipe ne s'est pas contentée de construire cela ; elle l'a passé au crible de trois « camps d'entraînement » différents (jeux de données) :

1. Rodrigo (Manuscrit) : Une collection de 853 pages d'écriture manuscrite espagnole de 1545.
2. Bentham (Manuscrit) : Des lettres célèbres du philosophe Jeremy Bentham, connues pour avoir toutes sortes de styles d'écriture désordonnés.
3. Molino (Imprimé) : Un tout nouveau jeu de données que l'équipe a créé elle-même, comprenant 143 pages de textes juridiques imprimés des 1500 et 1600, truffés d'abréviations latines.

Les résultats : Quel est le bilan ?

L'article montre que cette approche est étonnamment efficace, surtout lorsqu'elle est comparée à d'autres outils.

• Pour l'écriture manuscrite de Rodrigo : Le modèle a atteint un taux d'erreur de caractères (CER) de 1,30 % et un taux d'erreur de mots (WER) de 6,97 % lors d'un test avec une taille de lot de 128. Cela signifie qu'il a presque réussi chaque lettre ! C'est mieux que certains autres modèles de haute technologie qui utilisent des étapes supplémentaires et compliquées pour corriger les erreurs.
• Pour l'écriture manuscrite de Bentham : Il a obtenu un CER de 4,46 % et un WER de 7,68 %. Bien que ce soit un peu plus élevé que les résultats de Rodrigo, les auteurs notent qu'il a fait cela sans utiliser de trucs de post-traitement sophistiqués ou de guides linguistiques externes, ce qui est un exploit en termes d'efficacité.
• Pour le texte imprimé de Molino : C'était le véritable moment de gloire. L'équipe a testé leur système sur 10 pages du jeu de données Molino et l'a comparé à deux autres méthodes : un outil open-source populaire appelé Pero-OCR et une transcription de la Biblioteca Virtual del Patrimonio Bibliográfico (BVPB) (qui utilisait des logiciels commerciaux).
  • La transcription de la BVPB avait un CER de 0,3379 et un WER de 0,6835.
  • Pero-OCR avait un CER de 0,0242 et un WER de 0,2106.
  • FP-THD est arrivé avec les erreurs les plus faibles : un CER de 0,0178 et un WER de 0,0450.

En langage clair, le nouveau système a commis moins d'erreurs que le logiciel commercial et l'autre outil open-source, réduisant les erreurs au niveau des mots de près de 80 % par rapport à Pero-OCR et de plus de 90 % par rapport à la transcription de la BVPB. Il a également mieux réussi à préserver ces tildes et abréviations médiévaux critiques.

Ce qu'il ne peut pas faire (encore)

Les auteurs sont honnêtes sur les limites de leur magie. Le système est excellent pour lire le texte principal au milieu de la page, mais il rencontre parfois des difficultés avec :

• Les notes marginales : Ces petits gribouillis dans les marges de la page peuvent être manqués ou transcrits incorrectement.
• Les mots isolés : Si une ligne de texte ne contient qu'un seul mot, le modèle peut parfois être confus car il a été entraîné principalement sur des lignes de texte longues.

Ce qu'il faut retenir

Cet article ne prétend pas avoir résolu le problème de la lecture de l'histoire pour l'éternité. Au contraire, il suggère qu'en combinant un détective de la mise en page avec un lecteur de type « remplissez les blancs », nous pouvons créer un outil hautement précis, gratuit et respectueux du style original des documents historiques. Il prouve que vous n'avez pas besoin de transformer le vieux latin en texte moderne pour le comprendre ; vous pouvez conserver l'ancien style, et l'ordinateur peut quand même le lire.

L'équipe prévoit de continuer à améliorer cela en ajoutant des mots isolés à leurs données d'entraînement et, à terme, en utilisant ce système pour développer automatiquement les abréviations et traduire le latin vers l'espagnol. Mais pour l'instant, ils ont montré qu'avec le bon pipeline, même les pages médiévales les plus désordonnées peuvent être transformées en texte numérique propre sans perdre leur âme.