Restoration-Guided Kuzushiji Character Recognition Framework under Seal Interference

Cet article propose un cadre de reconnaissance de caractères Kuzushiji en trois étapes, guidé par la restauration, conçu pour surmonter les interférences des sceaux en améliorant la précision de détection et de classification grâce à un modèle YOLOv12 et à une étape de restauration intermédiaire.

L'essentiel

Imaginez que vous êtes un détective du passé, essayant de lire une lettre d'amour ou un document officiel écrit au Japon il y a 300 ans. Le problème ? L'écriture est une sorte de "calligraphie rapide" (le Kuzushiji) qui ressemble à des gribouillis élégants mais illisibles pour nous, et pire encore, le papier est couvert de tampons rouges (les sceaux) qui cachent les mots, comme si quelqu'un avait posé des timbres postaux directement sur le texte.

C'est le défi que relève cette recherche de l'Université de Kyoto. Voici comment ils ont résolu le problème, expliqué simplement :

1. Le Problème : Des mots cachés sous des tampons rouges

Dans les vieux documents japonais, les gens écrivaient avec une écriture très fluide. Mais ils apposent aussi des tampons rouges (comme des signatures ou des sceaux de famille) partout. Aujourd'hui, les ordinateurs intelligents (l'IA) sont très bons pour lire ces vieux textes... sauf quand un gros tampon rouge recouvre un mot. L'IA panique, elle voit le rouge et ne peut plus distinguer la forme du caractère caché. C'est comme essayer de lire un panneau de signalisation quand quelqu'un a collé un gros autocollant rouge dessus.

2. La Solution : Le "Kit de Restauration" en trois étapes

Les chercheurs ont créé un système en trois actes, un peu comme un atelier de restauration d'art numérique :

Étape 1 : Le Détective aux Yeux d'Aigle (Détection)

Avant même de chercher à lire, il faut savoir où sont les mots.

• L'analogie : Imaginez un chasseur qui repère les oiseaux dans un ciel nuageux. Ici, l'IA (un modèle appelé YOLOv12) scanne le document pour trouver chaque caractère, même s'il est partiellement caché par un tampon. Elle trace un petit cadre vert autour de chaque mot suspect.
• Le résultat : Elle est très précise (98 % de réussite), même si le tampon rouge est là.

Étape 2 : Le Magicien de l'Effacement (Restauration)

C'est le cœur de l'innovation. Une fois qu'on sait où sont les mots, il faut enlever le tampon rouge sans abîmer l'encre noire du texte.

• L'analogie : C'est comme si vous aviez un tableau où quelqu'un a peint un gros rond rouge par-dessus un dessin. Au lieu de gratter (ce qui abîmerait le dessin), vous utilisez une gomme magique qui ne touche que le rouge.
• Comment ça marche ? L'ordinateur regarde les couleurs. Il sait que le tampon est très rouge, tandis que le texte est noir ou gris. Il identifie les zones "trop rouges" et les efface numériquement, en remplissant le vide avec le papier environnant (comme si on réparait un trou dans un tissu avec du fil invisible).
• Le petit plus : Cette étape est gratuite en temps de calcul (pas besoin d'entraîner une IA complexe) et très rapide.

Étape 3 : Le Traducteur (Classification)

Maintenant que le texte est "nettoyé" et que les tampons rouges ont disparu, on peut enfin lire.

• L'analogie : C'est comme donner le texte nettoyé à un expert en vieux japonais (un modèle appelé Metom). Comme le texte n'est plus caché, l'expert peut dire : "Ah, ce gribouillis caché sous le tampon, c'est en fait le caractère pour 'Maison' !"
• Le résultat : L'IA transforme le vieux caractère en un caractère japonais moderne que tout le monde peut comprendre.

3. Le Résultat Final : Une fenêtre ouverte sur l'histoire

À la fin, le système superpose le texte moderne directement sur l'image du vieux document.

• Imaginez : Vous regardez une photo de document ancien, et soudain, des mots modernes apparaissent en surimpression, comme des sous-titres de film, vous permettant de lire instantanément ce qui était autrefois un secret.

Pourquoi c'est génial ?

Avant ce système, si un tampon rouge cachait un mot, l'ordinateur échouait. Maintenant, le système "nettoie" d'abord la tache, puis lit le mot. C'est comme passer d'une lecture difficile et frustrante à une lecture fluide, permettant à n'importe qui de redécouvrir des trésors littéraires et historiques japonais qui étaient jusque-là bloqués par ces petits tampons rouges.

En résumé : Détecter les mots -> Effacer les tampons rouges magiquement -> Lire le texte nettoyé. Une petite révolution pour l'histoire japonaise !

Résumé technique

1. Problématique

Le Kuzushiji est un style d'écriture cursive historique utilisé au Japon avant l'ère Meiji, présent dans de nombreux documents officiels et personnels. Bien que des systèmes de reconnaissance optique de caractères (OCR) basés sur l'apprentissage profond aient récemment atteint de bonnes performances sur des documents propres, ils échouent souvent face à une interférence spécifique et fréquente : les sceaux (tampons).

Dans les documents pré-modernes, les sceaux (souvent en encre rouge) sont fréquemment apposés par les propriétaires ou les collectionneurs, recouvrant parfois les caractères. Cette superposition dégrade considérablement la précision de reconnaissance des systèmes actuels (comme Fuminoha, NDLkotenOCR-Lite ou Metom), car les algorithmes peinent à distinguer les traits du caractère sous-jacent du bruit rouge du sceau.

2. Méthodologie : Le cadre RG-KCR

Les auteurs proposent un cadre de reconnaissance de caractères Kuzushiji guidé par la restauration (RG-KCR), structuré en trois étapes séquentielles :

• Étape 1 : Détection des caractères Kuzushiji

  • L'objectif est d'identifier les zones contenant des caractères individuels.
  • Contrairement aux approches précédentes qui détectent des lignes entières (souvent sujettes à des erreurs de délimitation avec des mises en page complexes), ce cadre utilise une détection au niveau du caractère.
  • Le modèle sélectionné est YOLOv12-medium, entraîné sur un jeu de données spécifique contenant des sceaux synthétiques. Cette étape est effectuée avant la restauration car le détecteur est suffisamment robuste pour localiser les caractères même sous les sceaux.

• Étape 2 : Restauration du document (Suppression des sceaux)

  • Une fois les zones de caractères localisées, une étape de restauration vise à éliminer les artefacts des sceaux rouges pour améliorer la lisibilité avant la classification.
  • Algorithme sans entraînement (Training-free) : La méthode repose sur une analyse chromatique. Puisque les sceaux sont rouges, l'algorithme identifie les pixels où l'intensité du canal Rouge ($R$) domine significativement les canaux Vert ($G$) et Bleu ($B$), selon une règle de seuillage : $(R \ge \tau_r) \land (R \ge \tau_{rg} \cdot G) \land (R \ge \tau_{rb} \cdot B)$.
  • Un masque binaire est généré, affiné par une dilatation morphologique pour compenser la diffusion de l'encre, puis appliqué à une technique d'inpainting (méthode de Telea ou Navier-Stokes via OpenCV) pour reconstruire les régions occluses en utilisant les textures environnantes.

• Étape 3 : Classification des caractères

  • Les images de caractères sont recadrées à partir du document restauré (en utilisant les boîtes englobantes de l'étape 1).
  • Ces patches sont ensuite classifiés par Metom, un classificateur basé sur l'architecture Vision Transformer (ViT), capable de reconnaître plus d'un million de classes de caractères.
  • Les résultats sont mappés vers des caractères japonais modernes (Unicode) et superposés au document original pour une visualisation intuitive.

3. Contributions Clés

1. Cadre RG-KCR : Proposition d'une architecture en trois étapes spécifiquement conçue pour atténuer l'interférence des sceaux dans la reconnaissance du Kuzushiji.
2. Algorithme de restauration efficace : Introduction d'une méthode de suppression de sceaux rouges basée sur la couleur, ne nécessitant pas d'entraînement de modèle (training-free), ce qui la rend computationnellement efficace et adaptable.
3. Création de jeux de données :
   • Un jeu de données pour la détection de caractères (1 000 images) avec des annotations manuelles corrigées et des sceaux synthétiques superposés.
   • Un jeu de données pour la classification (100 images, 17 982 instances de caractères) servant de test rigoureux pour l'évaluation de la performance sous interférence.
4. Étude d'ablation : Démonstration quantitative de l'impact positif de l'étape de restauration sur la précision du classificateur.

4. Résultats Expérimentaux

Les expériences ont été menées sur des documents provenant de 13 livres historiques différents.

• Détection (Étape 1) : Le modèle YOLOv12-medium a atteint une précision de 98,0 % et un rappel de 93,3 % sur le jeu de test, surpassant d'autres modèles récents (YOLOv9, v10, v11, RT-DETR). Il démontre une robustesse exceptionnelle face aux sceaux.
• Restauration (Étape 2) : L'optimisation des hyperparamètres ($\tau_r = 90$, $\tau_{rg} = \tau_{rb} = 1.3$) a permis d'obtenir un PSNR de 34,13 dB et un SSIM de 0,9750 sur le jeu de test, indiquant une reconstruction de haute qualité.
• Classification (Étape 3) : L'étude d'ablation montre que l'ajout de l'étape de restauration améliore la précision Top-1 du classificateur Metom de 93,45 % (sans restauration) à 95,33 % (avec restauration), avec un coût de temps d'exécution négligeable (0,51 s par image).

5. Signification et Perspectives

Ce travail comble une lacune majeure dans le domaine de la numérisation du patrimoine japonais : la gestion des sceaux superposés. En démontrant qu'une restauration simple et efficace basée sur la couleur peut significativement améliorer la précision de l'OCR, l'article offre une solution pratique pour l'accessibilité des documents historiques.

Bien que le système actuel ne génère pas encore de texte continu (la reconstruction de l'ordre de lecture complexe des documents Kuzushiji reste un défi), il permet une interprétation intuitive en superposant les caractères modernes aux documents originaux. Les auteurs prévoient d'intégrer l'analyse de la mise en page et l'ordonnancement des caractères dans leurs travaux futurs pour une reconstruction textuelle complète.