Restoration-Guided Kuzushiji Character Recognition Framework under Seal Interference

Deze paper introduceert het RG-KCR-framework, een drie-staps systeem dat Kuzushiji-tekstherkenning verbetert door zegelinterferentie te verhelpen via een restauratiestap, wat leidt tot een significante stijging in herkenningsnauwkeurigheid.

De kern

Stel je voor dat je een oude, kostbare brief uit het Japan van eeuwen geleden leest. De tekst is geschreven in een prachtige, maar erg krullerige en vloeiende stijl die Kuzushiji heet. Voor moderne Japanners is dit net als het proberen te lezen van een middeleeuws handschrift in het Nederlands: het ziet er mooi uit, maar je kunt de letters nauwelijks ontcijferen.

Om dit probleem op te lossen, hebben computerspecialisten van de Universiteit van Kyoto een slimme nieuwe methode bedacht. Ze noemen het RG-KCR. Laten we dit uitleggen alsof het een drie-traps recept is om een vieze, met stempels bedekte oude brief weer leesbaar te maken.

Het Probleem: De Rode Stempel

In het oude Japan werden documenten vaak gestempeld met rode inkt (zegels) om eigendom of autoriteit aan te tonen. Het probleem is dat deze rode stempels vaak precies over de tekst heen worden gedrukt.

• Vergelijking: Stel je voor dat iemand een rood stempel op een pagina van je favoriete boek plakt, precies over de woorden heen. Als je nu probeert te lezen wat er staat, zie je alleen maar een rode vlek. Bestaande computerprogramma's die oude teksten proberen te lezen, raken hierdoor in de war en maken veel fouten.

De Oplossing: Het Drie-Traps Recept

De onderzoekers hebben een systeem bedacht dat dit probleem in drie stappen oplost:

Stap 1: De Scherpe Oog (Detectie)

Eerst moet de computer weten waar de letters zitten, zelfs als er een stempel overheen zit.

• Hoe het werkt: Ze gebruiken een heel slimme camera-achtige software (genaamd YOLOv12). Dit is als een zeer scherpe detective die door de chaos kijkt.
• De analogie: Stel je voor dat je een zoektocht doet in een rommelige kamer. Zelfs als er een grote rode vlek op de vloer ligt, ziet deze detective precies waar de losse letters op de grond liggen. Ze tekenen een groen randje om elke letter, zodat de computer weet: "Hier zit een letter, ook al is hij deels bedekt."

Stap 2: De Magische Verwijderaar (Restauratie)

Nu de computer weet waar de letters zijn, moet hij de rode stempel wegwerken zonder de tekst te beschadigen.

• Hoe het werkt: In plaats van een zware AI te gebruiken die uren nodig heeft, gebruiken ze een slimme, snelle truc. Omdat de stempels felrood zijn en de tekst zwart of grijs, kan de computer de rode kleur "herkennen" en die als een vlek markeren. Vervolgens vult hij die rode vlekken in met de achtergrondkleur, alsof de stempel er nooit was geweest.
• De analogie: Dit is alsof je een oude foto hebt waarop iemand een rode pen over een gezicht heeft getekend. In plaats van de hele foto te vervangen, gebruikt de computer een "magische gum" die alleen de rode lijnen verwijdert en de huid eronder weer zichtbaar maakt. Het is snel, gratis (geen extra training nodig) en werkt als een charme.

Stap 3: De Vertaler (Herkenning)

Nu de tekst weer schoon en leesbaar is, kan de computer de letters daadwerkelijk lezen en vertalen naar modern Japans.

• Hoe het werkt: De computer neemt de schoongemaakte letters en vergelijkt ze met een enorme database van meer dan een miljoen verschillende lettervormen.
• De analogie: Dit is als het hebben van een supergeleerde vertaler die, zodra de rode vlek weg is, direct zegt: "Ah, dit oude krulletje betekent in modern Japans 'huis'."

Wat is het resultaat?

De onderzoekers hebben getest of dit werkt.

• Zonder deze trucjes (Stap 2) haalde de computer ongeveer 93% van de letters goed.
• Met hun "magische gum" (Stap 2) steeg dit naar 95%.

Dat lijkt misschien niet heel veel, maar in de wereld van oude teksten is dat een enorme sprong. Het betekent dat veel meer mensen in de toekomst deze historische documenten zelf kunnen lezen zonder een specialist nodig te hebben.

Conclusie

Kortom: De onderzoekers hebben een slimme manier bedacht om oude, met rode stempels bedekte Japanse brieven te "wassen" en te "lezen". Ze gebruiken een scherpe detective om de letters te vinden, een snelle magische gum om de stempels te verwijderen, en een vertaler om de tekst te ontcijferen. Hierdoor kunnen we de verhalen uit het verleden eindelijk weer helder zien, zonder dat de rode stempels ons in de weg zitten.

Technische samenvatting

Probleemstelling

Kuzushiji is een traditionele, cursieve schrijfstijl die veelvuldig werd gebruikt in pre-modern Japanse documenten (voor de Meiji-restauratie). Hoewel moderne AI-systemen (zoals Fuminoha, NDLkotenOCR en Metom) redelijk goed presteren op schone documenten, kampen ze met aanzienlijke moeilijkheden wanneer ze worden geconfronteerd met zegelinterferentie.

In historische Japanse documenten worden rode inktzegels vaak gebruikt om eigendom of authenticiteit aan te duiden. Deze zegels overlappen vaak met de tekens zelf. Bestaande methoden hebben moeite om de tekens correct te herkennen wanneer deze door rode zegels worden bedekt of verstoord, wat leidt tot een sterke daling in herkenningsnauwkeurigheid. Er is een gebrek aan systemen die specifiek ontworpen zijn om deze interferentie te mitigeren zonder de leesbaarheid van de onderliggende tekst te verliezen.

Methodologie: Het RG-KCR Framework

De auteurs stellen een driedelige, restauratie-gestuurde Kuzushiji-herkenningsframework voor (RG-KCR) dat is ontworpen om zegelinterferentie te verminderen. Het proces verloopt in drie fasen:

1. Fase 1: Kuzushiji-karakterdetectie

   • In plaats van regels te detecteren, kiest het framework voor karakter-niveau detectie.
   • Er wordt gebruikgemaakt van de YOLOv12-medium detector.
   • De auteurs besluiten geen restauratie toe te passen vóór deze detectie, omdat de detector al zeer robuust is (98% precisie) zelfs onder zegelinterferentie.
   • Het doel is het genereren van nauwkeurige bounding boxes voor elk individueel karakter.

2. Fase 2: Documentrestauratie (Zegelverwijdering)

   • Dit is de kerninnovatie: een trainingsvrije, op kleur gebaseerde zegelverwijderingsalgoritme.
   • Principe: Omdat zegels typisch in rode inkt zijn, hebben ze een hogere intensiteit in het rode kanaal (R) dan in het groene (G) en blauwe (B) kanaal.
   • Selectie: Een pixel wordt gemarkeerd als een zegelkandidaat als hij voldoet aan de voorwaarde: $(R \geq \tau_r) \land (R \geq \tau_{rg} \cdot G) \land (R \geq \tau_{rb} \cdot B)$.
   • Verfijning: De gegenereerde binaire mask wordt lichtjes uitgebreid via morfologische dilatie om kleurspoeling (bleeding) van de inkt te compenseren.
   • Inpainting: De geselecteerde zegelgebieden worden gereconstrueerd met behulp van image inpainting (Telea's fast marching methode of Navier-Stokes benadering) om de onderliggende tekststructuur te herstellen.
   • Dit stadium wordt uitgevoerd voordat de classificatie plaatsvindt.

3. Fase 3: Kuzushiji-karakterclassificatie

   • De gereconstrueerde karakterpatches (uit Fase 2) worden ingevoerd in Metom, een Vision Transformer (ViT)-gebaseerde classifier die is getraind op meer dan één miljoen karaktersoorten.
   • De output is een Unicode-codepunt dat wordt gemapt naar een modern Japans karakter.
   • De herkende moderne karakters worden vervolgens visueel over de herstelde documentafbeelding gelegd voor intuïtieve interpretatie.

Dataset en Experimenten

• Datasetconstructie: De auteurs hebben een nieuw dataset gecreëerd bestaande uit 1.000 paginabeelden afkomstig van 13 verschillende Kuzushiji-boeken (bron: CODH).
• Synthetische Zegels: Omdat de originele data weinig zegels bevatte, werden er synthetische zegels toegevoegd door echte zegelafbeeldingen willekeurig over de documenten te leggen (10 zegels per afbeelding, waarbij maximaal twee zegels elkaar mogen overlappen).
• Validatie: Voor de classificatie-taak werd een testset samengesteld met 17.982 gekoppelde karakterinstanties (na filtering op een betrouwbaarheidsscore van >0.5 en een IoU-threshold van 0.5).

Belangrijkste Resultaten

1. Detectie (Fase 1):

   • De YOLOv12-medium presteerde het beste onder de geteste modellen (YOLOv9, v10, v11, v12 en RT-DETR).
   • Resultaten: 98,0% precisie, 93,3% recall, 97,0% AP50 en 82,3% AP50:95. Dit toont aan dat de detector robuust is tegen zegeloverlappingen.

2. Restauratie (Fase 2):

   • De beste hyperparameters bleken $\tau_r = 90$ en $(\tau_{rg}, \tau_{rb}) = (1.3, 1.3)$ te zijn.
   • Kwaliteit: Dit resulteerde in een PSNR van 34,13 dB en een SSIM van 0,9750 op de testset, wat aangeeft dat de restauratie van hoge kwaliteit is en de tekststructuur goed behoudt.

3. Classificatie (Fase 3) en Ablatiestudie:

   • Een ablatiestudie toonde het directe effect van de restauratiefase op de classificatie.
   • Zonder restauratie (Baseline): De Top-1 nauwkeurigheid van Metom was 93,45%.
   • Met restauratie: De Top-1 nauwkeurigheid steeg naar 95,33%.
   • De Top-5 nauwkeurigheid steeg van 97,46% naar 98,62%.
   • De extra verwerkingstijd bedroeg gemiddeld slechts 0,51 seconden per afbeelding, wat acceptabel is gezien de winst in nauwkeurigheid.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

• Nieuw Framework: Het introduceren van RG-KCR, het eerste systeem dat expliciet een restauratiestadium integreert om zegelinterferentie in Kuzushiji-documenten aan te pakken.
• Efficiënte Restauratie: Een trainingsvrije, computerefficiënte methode voor het verwijderen van rode zegels, wat ideaal is voor implementatie in omgevingen met beperkte resources (zoals mobiele apps of webplatforms).
• Dataset: De creatie van een robuuste testset met synthetisch overlappende zegels, wat een standaard biedt voor het evalueren van toekomstige systemen onder realistische, vervuilde omstandigheden.
• Prestatiewinst: Het aantonen dat voorafgaande restauratie de nauwkeurigheid van state-of-the-art classifiers aanzienlijk verbetert zonder de inferentiële kosten onredelijk te verhogen.

Conclusie:
Dit paper biedt een praktische oplossing voor een langdurig probleem in de digitale humaniora: het lezen van historische Japanse documenten die zijn beschadigd of verstoord door zegels. Door een combinatie van geavanceerde objectdetectie, kleurgebaseerde restauratie en transformer-gebaseerde classificatie, maakt het framework historische teksten toegankelijker voor moderne lezers, hoewel de auteurs nog werken aan het oplossen van de complexiteit van leesvolgorde en tekstregels reconstructie.