Pre-Editorial Normalization for Automatically Transcribed Medieval Manuscripts in Old French and Latin
Cet article présente la tâche de normalisation pré-éditoriale (PEN) pour les manuscrits médiévaux en vieux français et en latin, en introduisant un nouveau corpus d'entraînement et un jeu de données d'évaluation qui permettent d'entraîner un modèle de normalisation atteignant un taux d'erreur de caractères de 6,7 %, comblant ainsi le fossé entre les transcriptions paléographiques brutes et les éditions numériques normalisées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective du passé, chargé de déchiffrer des milliers de lettres écrites il y a 800 ans par des moines dans des manuscrits anciens. Ces textes sont en vieux français et en latin, mais ils sont écrits avec une écriture bizarre, pleine de raccourcis, de symboles mystérieux et de fautes de frappe involontaires dues à la machine qui les a scannés.
Voici l'histoire de ce papier de recherche, racontée simplement :
1. Le Problème : La Machine est trop "littérale" ou trop "rêveuse"
Aujourd'hui, des robots intelligents (l'ATR) peuvent lire ces vieux manuscrits. Mais ils ont un gros problème, un peu comme deux types de traducteurs trop extrêmes :
- Le Robot "Photocopieur" (Graphémique) : Il copie tout mot pour mot, y compris les erreurs de l'écriture, les abréviations incompréhensibles et les espaces bizarres. C'est très précis pour les historiens, mais c'est illisible pour un humain moyen. C'est comme recevoir une recette de cuisine écrite en code secret : c'est exact, mais vous ne pouvez pas cuisiner avec.
- Le Robot "Rêveur" (Normalisé) : Il essaie de deviner ce que le texte dit vraiment et de l'écrire en français moderne. Le problème ? Il a tendance à halluciner. Il invente des mots, corrige des choses qui n'avaient pas besoin d'être corrigées, et efface l'histoire pour rendre le texte "propre". C'est comme si un chef cuisinier remplaçait tous les ingrédients rares de votre recette par du sucre, juste pour que ce soit plus facile à manger.
2. La Solution : Le "Pré-Éditeur" (PEN)
Les auteurs proposent une troisième voie, qu'ils appellent la Pré-Édition Normalisée (PEN).
Imaginez que vous avez un manuscrit ancien. Au lieu de le donner directement à un lecteur moderne (qui ne comprend rien) ou de le laisser tel quel (qui est illisible), vous passez par un intermédiaire expert.
Ce robot-intermédiaire fait deux choses :
- Il garde l'âme du texte original (il ne change pas les mots historiques).
- Il fait le "ménage" nécessaire : il décode les abréviations (comme transformer un petit "9" en "com"), il sépare les mots collés, et il corrige les erreurs de lecture de la machine (comme confondre un "rn" avec un "m").
C'est comme si vous aviez un traducteur qui vous dit : "Voici ce que le moine a écrit, mais je vais vous l'écrire de façon à ce que vous puissiez le lire, sans inventer d'histoire."
3. L'Outil : Un Super-Collant Numérique
Pour entraîner ce robot, les chercheurs ont eu besoin de beaucoup d'exemples. Ils ont pris des milliers de pages scannées par la machine (le robot "Photocopieur") et les ont collées aux versions modernes et corrigées de ces mêmes textes (les "Éditions numériques").
Ils ont utilisé un outil appelé passim (qui signifie "partout" en latin) pour trouver les correspondances, un peu comme un chercheur d'or qui utilise un détecteur de métaux pour trouver les pépites de texte qui se ressemblent entre le manuscrit sale et le livre propre.
Ils ont ainsi créé une immense bibliothèque d'exemples (4,6 millions de paires !) pour apprendre au robot comment transformer le "sale" en "propre" sans tricher.
4. Le Résultat : Un Robot qui apprend vite
Ils ont entraîné un modèle d'intelligence artificielle (basé sur une architecture appelée ByT5, qui est très douée pour comprendre les caractères un par un) avec cette bibliothèque.
Les résultats sont impressionnants :
- Le nouveau robot fait beaucoup moins d'erreurs que les anciens modèles.
- Il ne "hallucine" pas (il n'invente pas de mots).
- Il est si bon qu'il aide même d'autres outils à mieux fonctionner. Par exemple, si vous voulez analyser le style d'un auteur (pour savoir qui a écrit quoi), ce robot prépare le texte de manière à ce que l'analyse soit beaucoup plus précise.
En résumé
Ce papier nous dit : "Ne demandez pas à la machine de tout faire d'un coup."
Au lieu de demander à un robot de lire un vieux manuscrit et de le rendre parfait instantanément (ce qui crée des erreurs), faisons-le en deux étapes :
- La machine lit le texte brut (très précis).
- Un deuxième robot, spécialisé, le "nettoie" pour le rendre lisible (très utile).
C'est comme si on ne demandait pas à un architecte de construire une maison et de la décorer en même temps. On sépare les tâches pour avoir un résultat plus solide, plus honnête historiquement, et plus utile pour tout le monde.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.