Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts

La parole écrite est une chose fragile. Le papier jaunit, l'encre s'efface et les pages physiques de l'histoire s'effritent lentement. Pour préserver ces archives, les bibliothèques et les archives ont passé des décennies à numériser des livres et à convertir les images de leurs pages en texte numérique que les ordinateurs peuvent lire et rechercher. Ce processus, connu sous le nom de reconnaissance optique de caractères, fonctionne remarquablement bien pour les livres modernes où les polices sont uniformes et le papier propre. Cependant, la tâche devient beaucoup plus difficile lorsque le matériel source provient d'une époque antérieure à la standardisation, comme les livres japonais publiés entre la fin du XIXe et le début du XXe siècle. Ces textes présentent une variété chaotique de polices de caractères, une impression usée et des caractères qui se ressemblent de manière frappante. Lorsqu'un ordinateur tente de les lire, il confond souvent un caractère avec un autre, créant un texte numérique qui semble correct au premier coup d'œil, mais qui est rempli d'erreurs subtiles et silencieuses qui rendent le contenu inutile pour la recherche sérieuse.

Une équipe de chercheurs issus d'universités de Nara, Kyoto et Shiga a développé une nouvelle façon de corriger ces erreurs spécifiques. Ils ont créé un système qui agit comme un éditeur en deux étapes pour ces textes numériques endommagés. Premièrement, le système scanne le texte pour trouver où les erreurs se cachent. Au lieu de s'appuyer sur une seule méthode pour ce faire, ils ont combiné deux approches différentes : une qui vérifie si un mot existe dans une liste connue, et une autre qui utilise un modèle informatique entraîné à comprendre le flux et le contexte d'une phrase. En faisant travailler ces deux méthodes ensemble, le système peut détecter les erreurs qu'une méthode pourrait manquer tout en ignorant les fausses alertes que l'autre pourrait soulever. Une fois qu'une erreur est trouvée, le système suggère le caractère correct pour la remplacer, en utilisant un puissant modèle de langage pour deviner le mot le plus probable en fonction du texte environnant. Leurs expériences ont montré que cette approche combinée trouve les erreurs plus précisément que les méthodes précédentes et corrige avec succès une partie significative d'entre elles, rendant l'histoire numérisée du Japon de l'ère moderne beaucoup plus fiable pour les chercheurs et le public.

Le défi de la lecture de ces vieux livres ne réside pas seulement dans l'âge du papier, mais dans la nature de l'impression elle-même. Contrairement aux livres d'aujourd'hui, qui utilisent des poltoires cohérentes, les publications de l'ère Meiji au début de l'ère Showa étaient imprimées avec une grande variété de polices de caractères qui changeaient d'éditeur en éditeur et même d'une année sur l'autre. Le processus d'impression de cette époque résultait souvent en des caractères flous ou irréguliers. Lorsque les logiciels de reconnaissance optique de caractères modernes, qui sont entraînés sur du texte propre et standard, tentent de lire ces pages, ils confondent fréquemment des caractères qui se ressemblent. Par exemple, un caractère avec un trait légèrement supplémentaire peut être lu comme un mot complètement différent. Bien que des logiciels spécialisés aient été construits pour gérer ces anciennes polices, ils commettent encore des erreurs sur environ trois pour cent des caractères. Dans une longue phrase, cela signifie que près de la moitié de toutes les phrases contiennent au moins une erreur, ce qui est trop pour qu'un ordinateur puisse effectuer des recherches ou pour qu'un chercheur puisse leur faire confiance sans vérification.

Pour résoudre cela, les chercheurs ont construit un système qui opère en deux étapes distinctes : la détection et la correction. La première étape est la plus critique, car le système doit identifier exactement quels caractères sont erronés sans signaler les caractères corrects comme étant des erreurs. L'équipe a réalisé qu'utiliser un seul outil pour trouver ces erreurs ne suffisait pas. Une simple vérification par dictionnaire, qui cherche à voir si un mot figure dans une liste de mots connus, est très efficace pour repérer l'absurde, mais échoue souvent lorsqu'elle rencontre un mot rare ou inconnu qui est pourtant correct. D'un autre côté, un modèle informatique qui apprend du contexte d'une phrase est très bon pour comprendre comment les mots s'assemblent, mais il peut parfois être confus par des noms rares ou des termes spécifiques qu'il n'a pas souvent rencontrés.

Les chercheurs ont décidé de combiner ces deux forces en une seule méthode d'ensemble. Ils ont pris la sortie d'un vérificateur basé sur un dictionnaire et la sortie d'un modèle informatique sensible au contexte et les ont fait travailler ensemble. Si le dictionnaire indique qu'un mot est manquant, le système vérifie si le modèle de contexte pense également qu'il est incorrect. Si les deux sont d'accord, le système le marque comme une erreur. Si un seul pense qu'il est incorrect, le système suppose qu'il pourrait s'agir d'un mot rare mais correct et ne le touche pas. Cette stratégie a considérablement réduit le nombre de fois où le système accusait faussement un mot correct d'être une erreur. Lors de leurs tests, cette approche combinée a identifié correctement les erreurs environ 75 % du temps, tout en maintenant le nombre de fausses alertes bien plus bas que ce que l'une ou l'autre des méthodes pourrait accomplir seule.

Une fois que le système a localisé les erreurs, il passe à la seconde étape : la correction. Les chercheurs ont remplacé le caractère suspecté d'être faux par un espace vide, ou un « masque », et ont demandé à un modèle de langage sophistiqué de prédire quel aurait dû être le caractère original. Ce modèle, entraîné sur de vastes quantités de textes de la même époque, observe les mots avant et après l'espace vide pour deviner le candidat le plus probable. Pour s'assurer que la supposition était pertinente, le système a également vérifié à quel point le nouveau caractère ressemblait à l'ancien, erroné, puisque les erreurs d'OCR surviennent généralement entre des caractères qui se ressemblent. Le système a ensuite classé ses meilleures suppositions et a sélectionné la meilleure.

Les résultats de cette nouvelle méthode étaient prometteurs. Lorsque les chercheurs ont testé leur système sur des milliers de phrases issues de livres numérisés, ils ont constaté qu'il corrigeait environ 65 % des erreurs qu'il détectait avec succès. C'était une amélioration notable par rapport à l'utilisation du modèle de contexte seul, qui corrigeait environ 58 % des erreurs. Le système était particulièrement efficace lorsqu'il avait trouvé l'emplacement exact de l'erreur sans aucune confusion ; dans ces cas, le taux de réussite de la correction bondissait à plus de 90 %. Cependant, les chercheurs ont également noté un compromis. En étant très prudent pour éviter les fausses alertes, le système manquait parfois certaines erreurs, ce qui signifie qu'il ne détectait pas chaque faute dans le texte. Ils ont constaté que le système éprouvait le plus de difficultés avec les mots très rares ou les noms propres qui n'étaient pas courants dans les données d'entraînement, car ni le dictionnaire ni le modèle de contexte n'avaient assez d'informations pour en être sûrs.

Malgré ces limites, l'étude démontre que la combinaison de différents types de vérifications est un moyen puissant de nettoyer les textes historiques. Les chercheurs ont montré qu'en laissant un dictionnaire et un modèle sensible au contexte se recouper, ils pouvaient créer un outil plus fiable pour les historiens et les bibliothécaires. Ce travail ne prétend pas avoir résolu complètement le problème de la lecture des vieux livres japonais, mais il constitue une étape importante pour rendre les versions numériques de ces textes suffisamment précises pour être utiles. À mesure que les livres sont numérisés, des méthodes comme celle-ci seront essentielles pour garantir que l'archive numérique soit un reflet fidèle de l'original, préservant ainsi la véritable voix du passé pour les générations futures.