TongGuOCR: A Layout-Aware and Token-Augmented OCR Framework for Chinese Historical Documents

Imaginez que vous êtes un détective essayant de lire un journal intime vieux de mille ans, mais les pages sont couvertes de poussière, l'encre est délavée et l'écriture est si étrange que même votre ami le plus intelligent ne parvient pas à déchiffrer les lettres. C'est le combat quotidien des historiens qui tentent de déverrouiller les secrets des documents historiques chinois. Depuis des siècles, ces textes précieux sont piégés dans des images numérisées — des photos de papier que les ordinateurs peuvent voir mais qu'ils ne peuvent pas « lire » comme un humain le ferait. Pour transformer ces images en texte interrogeable, les scientifiques utilisent une technologie appelée Reconnaissance Optique de Caractères (OCR). Considérez l'OCR comme un bibliothécaire robotique super rapide qui regarde l'image d'une page et tape les mots qu'il voit. Cependant, lorsque le robot rencontre des livres anciens avec des mises en page désordonnées, des symboles bizarres et des phrases qui sautent d'un endroit à l'autre de la page selon des motifs déroutants, le robot se perd souvent, saute des lignes ou tape du charabia.

C'est ici qu'une nouvelle équipe de chercheurs intervient avec une solution ingénieuse appelée TongGuOCR. Ils ont réalisé que l'ancienne façon d'apprendre aux robots à lire ces livres revenait à essayer de manger une pizza entière en une seule bouchée ; c'était trop désordonné et le robot ne pouvait pas gérer les détails. Au lieu de cela, ils ont construit un système qui découpe d'abord la pizza en tranches parfaites et gérables (prétraitement sensible à la mise en page) puis enseigne au robot un nouveau langage spécial pour comprendre les ingrédients rares et bizarres sur ces tranches (reconnaissance augmentée par jetons). En combinant ces deux astuces, ils ont créé un robot qui ne se contente pas de deviner les mots, mais qui comprend réellement le flux du texte ancien, même lorsque le texte est écrit en colonnes verticales ou éparpillé sur la page.

Le Problème : Pourquoi les livres anciens font-ils "planter" les robots ?

Les documents historiques chinois sont comme un coffre aux trésors de la culture, mais ils sont difficiles à lire. Ils présentent souvent des mises en page complexes où le texte défile verticalement, des annotations (petites notes) coincées entre les lignes, et l'ordre de lecture n'est pas toujours de gauche à droite ou de haut en bas. De plus, ces livres sont remplis de « caractères rares » — des symboles anciens qui n'existent pas dans les dictionnaires modernes.

Lorsque les modèles d'IA standards tentent de lire ces pages, ils font face à trois gros maux de tête :

1. Le désordre de la mise en page : Si le robot regarde la page entière à la fois, l'image devient floue et il perd le contexte des mots environnants. S'il regarde une ligne à la fois, il perd la vue d'ensemble et se sent confus quant à la direction à prendre.
2. Le problème des caractères rares : L'IA moderne est entraînée sur la langue d'aujourd'hui. Lorsqu'elle voit un caractère ancien et rare, elle le décompose souvent en fragments minuscules et dénués de sens (comme essayer d'épeler un mot en devinant les lettres individuelles plutôt qu'en reconnaissant le mot entier). Cela rend difficile la reconnaissance correcte du caractère.
3. La confusion du « Et après ? » : Après avoir lu une ligne, le robot ne sait souvent pas s'il doit sauter à la ligne suivante, à la ligne d'à côté, ou à une note dans la marge. Sans une carte claire, il saute des lignes ou les lit dans le mauvais ordre.

La Solution : La magie en deux étapes de TongGuOCR

Les chercheurs de l'Université de technologie du Sud de la Chine et de Huawei ont proposé TongGuOCR, un cadre conçu spécifiquement pour résoudre ces énigmes anciennes. Ils n'ont pas seulement injecté plus de puissance de calcul dans le problème ; ils ont changé la manière dont le robot voit et pense le texte.

Étape 1 : Le découpeur intelligent (Prétraitement sensible à la mise en page)

Imaginez que vous essayez de lire un journal très dense et encombré. Si vous essayez de lire toute la page, vos yeux fatiguent. Si vous lisez un mot à la fois, vous perdez le sens. TongGuOCR utilise un « Décupeur Intelligent » pour couper la page en blocs de reconnaissance.

Au lieu de simplement couper des lignes droites, le système examine la page et regroupe les lignes de texte consécutives en blocs cohérents et ordonnés. C'est comme un chef qui découpe soigneusement un gâteau en parts parfaites et digestes, en gardant le glaçage et le gâteau ensemble, plutôt que de trancher au hasard.

• Comment ça marche : Le système prend les lignes de texte et les regroupe en blocs qui font sens visuellement. Il découpe ensuite ces blocs, éliminant toute partie de la page qui ne fait pas partie de ce segment spécifique.
• Le Résultat : Le robot obtient une image propre et focalisée d'une petite section de texte. Cela préserve le contexte local (afin qu'il sache quels mots sont proches les uns des autres) sans le bruit du reste de la page.

Étape 2 : Le traducteur spécial (Reconnaissance augmentée par jetons)

Une fois le texte découpé en blocs parfaits, le robot doit le lire. Ici, TongGuOCR utilise un « Traducteur Spécial » qui parle deux nouveaux langages pour aider le robot à mieux comprendre le texte ancien.

• Langage 1 : Le dictionnaire des caractères rares.
  Les tokeniseurs de l'IA moderne (les outils qui décomposent le texte en morceaux pour que l'ordinateur puisse le lire) découpent souvent les caractères anciens rares en fragments minuscules et confus. TongGuOCR corrige cela en donnant à chaque caractère rare sa propre identité à jeton unique (single-token).

  • L'analogie : Imaginez que vous apprenez une nouvelle langue. Au lieu de devoir épeler un mot difficile lettre par lettre à chaque fois que vous le voyez, vous recevez un autocollant spécial avec le mot entier dessus. Vous n'avez qu'à coller l'autocollant, et c'est fini. Cela permet au robot de reconnaître les caractères rares beaucoup plus rapidement et avec plus de précision.

• Langage 2 : La carte du « Et après ? »
  Pour résoudre la confusion sur l'ordre de lecture, le système insère des jetons de transition entre les lignes. Ce sont comme des petites flèches ou des panneaux indicateurs qui disent exactement au robot où regarder ensuite.

  • L'analogie : Si vous lisez une bande dessinée dont les cases sautent d'un endroit à l'autre, vous avez besoin d'un guide qui dit : « Après cette case, passez à la partie supérieure droite ». TongGu

TongGuOCR ajoute ces panneaux indicateurs numériques (comme <right|down> ou <left|up>) dans le flux de texte. Cela guide l'œil du robot le long du chemin correct, l'empêchant de sauter des lignes ou de lire à l'envers.

Les Résultats : Un nouveau record pour le texte ancien

L'équipe a testé TongGuOCR sur deux références majeures pour les documents historiques chinois : MTHv2 et M5HisDoc. Ces ensembles de données sont comme les « Jeux Olympiques » de la reconnaissance de texte ancien, remplis de mises en page difficiles et de caractères rares.

Les résultats ont été impressionnants. TongGuOCR ne s'est pas contenté de bien s'en sortir ; il a battu les meilleures méthodes existantes, y compris les modèles d'IA généralistes massifs et d'autres outils d'OCR spécialisés.

• Sur l'épreuve exigeante de M5HisDoc, TongGuOCR a atteint un taux de précision (AR) de 93,76 %.
• Il a réduit la distance d'édition normalisée (NED) — une mesure du nombre d'erreurs commises par le robot — passant de 10,43 à 6,15.
• Plus important encore pour le flux de lecture, il a drastiquement réduit la distance d'édition de l'ordre de lecture (RO-ED) de 7,53 à 3,49. Cela signifie que le robot était bien meilleur pour suivre le chemin correct à travers le texte, sautant rarement une ligne ou se perdant.

Dans une comparaison visuelle (montrée dans la Figure 4 de l'article), alors que d'autres modèles manquaient des lignes, lisaient le texte dans le mauvais ordre ou déformaient les caractères rares, TongGuOCR a réussi à récupérer chaque ligne cible et a suivi la séquence de lecture naturelle de la page historique.

Ce que cela signifie

L'article suggère que pour lire efficacement les textes anciens, nous ne pouvons pas simplement compter sur des modèles d'IA plus grands et plus puissants. Nous devons être plus intelligents sur la manière dont nous nourrissons les données au modèle. En décomposant la page en segments logiques (Prétraitement sensible à la mise en page) et en donnant au modèle un meilleur vocabulaire et une carte claire pour l'ordre de lecture (Reconnaissance augmentée par jetons), nous pouvons déverrouiller les secrets de l'histoire qui étaient auparavant verrouillés derrière des images illisibles.

Les chercheurs notent que bien que leur système soit une avancée majeure, il n'est pas encore parfait. Il dépend des caractères présents dans ses données d'entraînement, il peut donc encore éprouver des difficultés face à des symboles totalement inconnus ou non déchiffrés. Cependant, pour la grande majorité des documents historiques chinois, TongGuOCR offre une nouvelle clé puissante vers le passé, transformant des images statiques en un texte vivant et interrogeable que les historiens et les esprits curieux peuvent explorer.