Restoration-Guided Kuzushiji Character Recognition Framework under Seal Interference

Die vorgestellte Arbeit stellt ein dreistufiges, restaurationsgestütztes Framework (RG-KCR) vor, das die Genauigkeit der Kuzushiji-Zeichenerkennung unter dem Einfluss von Siegelüberlagerungen durch eine Kombination aus Detektion, Bildrestaurierung und Klassifizierung signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie halten einen alten, gelblichen Brief aus dem Japan des 17. Jahrhunderts in den Händen. Die Schrift darin ist wunderschön, aber für jeden modernen Japaner unlesbar: Es ist Kuzushiji, eine alte, stark verschlungene Kursive, die vor der Einführung moderner Druckereien verwendet wurde.

Das Problem ist jedoch nicht nur die schwierige Schrift. Oft sind diese alten Dokumente mit roten Stempeln (Siegel) überdeckt, die wie rote Tintenflecken über die Buchstaben geklatscht wurden. Diese Stempel gehören den früheren Besitzern und dienen als Unterschrift oder Siegel. Für einen Computer ist das eine Katastrophe: Der rote Stempel verdeckt die schwarze Tinte, und die KI stolpert über diese „Flecken", genau wie ein Mensch, der versucht, durch einen dichten Nebel zu lesen.

Die Autoren dieses Papiers haben eine Lösung entwickelt, die sie RG-KCR nennen. Man kann sich diesen Prozess wie eine drei-Phasen-Rettungsaktion für alte Dokumente vorstellen:

Phase 1: Der präzise Suchscheinwerfer (Die Detektion)

Stellen Sie sich vor, Sie müssen in einem chaotischen Raum mit vielen verstreuten Gegenständen genau die Buchstaben finden. Frühere Systeme haben oft ganze Zeilen auf einmal versucht zu lesen, was bei unregelmäßigen Stempeln zu Verwirrung führte.

• Die Lösung: Das Team nutzt ein hochmodernes KI-System (YOLOv12), das wie ein super-scharfer Suchscheinwerfer funktioniert. Es scannt das Dokument und setzt einen grünen Rahmen um jeden einzelnen Buchstaben, egal ob er von einem roten Stempel bedeckt ist oder nicht. Es ignoriert den roten Stempel und sagt einfach: „Hier ist ein Buchstabe, auch wenn er teilweise verdeckt ist."

Phase 2: Der magische Radiergummi (Die Restaurierung)

Jetzt haben wir die Buchstaben gefunden, aber sie sind immer noch von roten Stempeln verdeckt. Ein Computer kann sie nicht lesen, solange die rote Farbe da ist.

• Die Lösung: Hier kommt der kreativste Teil ins Spiel. Die Autoren nutzen keinen komplexen, langsamen KI-Trainingsprozess, sondern einen cleveren Farb-Filter.
  • Die Analogie: Stellen Sie sich vor, Sie haben ein Foto, auf dem rote Tinte auf schwarzer Tinte liegt. Da rote Stempel viel mehr Rot enthalten als Schwarz oder Weiß, kann der Computer die roten Pixel einfach „herausfiltern".
  • Es ist wie ein digitaler Radiergummi, der nur die rote Farbe entfernt. Aber er ist nicht dumm: Sobald er die rote Farbe weggewischt hat, nutzt er die umgebenden Buchstaben und die Papierstruktur, um die fehlenden Teile des Buchstabens „nachzuzeichnen" (ein Prozess namens Inpainting). Es ist, als würde ein Künstler die Lücken in einem beschädigten Gemälde basierend auf dem Rest des Bildes intelligent ausfüllen.

Phase 3: Der Übersetzer (Die Klassifizierung)

Jetzt haben wir saubere, restaurierte Buchstaben, die nicht mehr von roten Stempeln gestört werden.

• Die Lösung: Diese sauberen Buchstaben werden an eine mächtige KI (Metom) weitergeleitet, die wie ein Experte für alte Schrift funktioniert. Sie kennt über eine Million verschiedene Zeichenformen. Da die Buchstaben jetzt „gereinigt" sind, erkennt die KI sie mit fast 100-prozentiger Sicherheit und wandelt sie in moderne, lesbare japanische Zeichen um.

Das Endergebnis

Am Ende legt das System die modernen, lesbaren Buchstaben direkt über das alte Dokument.

• Der Effekt: Ein Leser sieht das alte, gelbe Papier mit den roten Stempeln, aber direkt darüber schweben in grünen Rahmen die modernen Buchstaben. Es ist, als würde man eine Augen-Brille mit Übersetzungsfunktion tragen: Man sieht die Geschichte in ihrer ursprünglichen Form, kann sie aber gleichzeitig sofort verstehen.

Warum ist das wichtig?
Ohne diese Methode würden Computer bei Dokumenten mit Stempeln oft völlig falsche Buchstaben erraten oder gar nichts erkennen. Durch diese „Reinigungs- und Übersetzungs-Pipeline" können wir nun endlich auch die verschmutztesten und stempelbedecktesten Schätze der japanischen Geschichte digital lesen und bewahren.

Kurz gesagt: Sie haben einen Weg gefunden, rote Stempel aus alten Briefen zu löschen, ohne die Buchstaben darunter zu zerstören, und haben damit die Tür für alle geöffnet, die diese alte Sprache nicht mehr sprechen.

Technische Zusammenfassung

1. Problemstellung

Kuzushiji ist eine traditionelle, stark kursiv geschriebene japanische Schriftart, die vor der Meiji-Restauration weit verbreitet war. Moderne Leser können diese Schrift oft nicht mehr entziffern, weshalb automatisierte Erkennungssysteme (OCR) entwickelt wurden.
Das Hauptproblem, das in diesem Paper adressiert wird, ist die Interferenz durch Siegel (Stempel). In historischen japanischen Dokumenten wurden Siegel (oft in roter Tinte) häufig von Besitzern oder Sammlern auf die Seiten gestempelt. Diese Siegel überlagern oft die Zeichen (Kuzushiji-Charaktere) und verschlechtern die Erkennungsgenauigkeit bestehender State-of-the-Art-Systeme (wie Fuminoha, NDLkotenOCR-Lite oder Metom) drastisch. Bestehende Methoden scheitern häufig, wenn Siegel die Zeichen verdecken, da sie keine speziellen Mechanismen zur Entfernung dieser Störquellen besitzen.

2. Methodik: Der RG-KCR-Framework

Die Autoren schlagen einen dreistufigen, restaurationsgesteuerten Ansatz vor, den sie RG-KCR (Restoration-Guided Kuzushiji Character Recognition) nennen. Der Workflow ist wie folgt aufgebaut:

• Stufe 1: Kuzushiji-Zeichendetektion (Object Detection)

  • Ziel: Lokalisierung einzelner Zeichen auf dem Dokument.
  • Ansatz: Es wird ein YOLOv12-medium-Modell verwendet.
  • Begründung: Da Detektionsmodelle relativ robust gegenüber Siegelüberlagerungen sind (hohe Präzision auch bei Siegel), wird die Restaurierung vor der Detektion nicht durchgeführt. Dies spart Rechenzeit. Das Modell erzeugt Bounding-Boxen für jedes einzelne Zeichen.

• Stufe 2: Dokumentenrestaurierung (Document Restoration)

  • Ziel: Entfernung der roten Siegel, um die darunterliegenden Zeichen für die Klassifizierung freizulegen.
  • Ansatz: Ein trainingsfreier, farbbasierter Algorithmus.
  • Funktionsweise: Da Siegel typischerweise rot sind, werden Pixel identifiziert, bei denen der Rot-Kanal (R) deutlich intensiver ist als die Kanäle Grün (G) und Blau (B).
    • Kriterium: $R \ge \tau_r \land R \ge \tau_{rg} \cdot G \land R \ge \tau_{rb} \cdot B$.
    • Die resultierende binäre Maske wird morphologisch erweitert, um Farbschmieren zu kompensieren.
    • Die Siegelbereiche werden mittels Image Inpainting (Telea's Fast Marching oder Navier-Stokes-Ansatz) rekonstruiert, wobei die umgebenden Texturen und Strukturen in die maskierten Bereiche propagiert werden.
  • Vorteil: Der Prozess ist rechen effizient und benötigt kein Training.

• Stufe 3: Kuzushiji-Zeichenklassifizierung (Character Classification)

  • Ziel: Erkennung des einzelnen Zeichens.
  • Ansatz: Die rekonstruierten Bildausschnitte (Crops) der einzelnen Zeichen werden an einen Vision Transformer (ViT)-Basierten Klassifikator namens Metom übergeben.
  • Ausgabe: Das Modell liefert einen Unicode-Code-Point, der dem modernen japanischen Zeichen entspricht. Diese werden dann als Overlay auf das restaurierte Dokument gelegt.

3. Wichtige Beiträge

1. Neues Framework (RG-KCR): Ein dreistufiger Ansatz, der speziell entwickelt wurde, um Siegelinterferenzen durch eine vorgeschaltete Restaurierung zu mildern.
2. Effiziente Restaurierung: Einführung eines trainingsfreien Algorithmus zur Entfernung roter Siegel, der kostengünstig und schnell ist.
3. Ablationsstudie: Ein Nachweis, dass die Restaurierungsstufe (Stufe 2) die Genauigkeit des Klassifikators signifikant steigert.
4. Neue Datensätze:
   • Ein Detektions-Datensatz mit 1.000 Dokumentenbildern, auf denen synthetisch echte Siegel überlagert wurden. Die Annotationen wurden manuell überprüft und korrigiert.
   • Ein Klassifizierungs-Testset mit 100 Dokumenten und 17.982 Zeicheninstanzen, um die Erkennungsleistung unter Siegelinterferenz zu bewerten.

4. Ergebnisse

Die Experimente wurden auf einem Testset durchgeführt, das realistische Siegelüberlagerungen simuliert.

• Detektion (Stufe 1):

  • Das YOLOv12-medium-Modell erreichte eine Präzision von 98,0 % und einen Recall von 93,3 % (bzw. 93,9 % laut Tabelle 3, je nach genauer Metrik-Angabe im Text).
  • Es übertraf andere YOLO-Varianten (v9, v10, v11) und RT-DETR in den meisten Metriken (AP50, AP50:95).

• Restaurierung (Stufe 2):

  • Die Parameter-Sensitivitätsanalyse zeigte, dass $\tau_r = 90$ und $(\tau_{rg}, \tau_{rb}) = (1.3, 1.3)$ die besten Ergebnisse lieferten.
  • Die Bildqualität wurde mit PSNR (Peak Signal-to-Noise Ratio) und SSIM (Structural Similarity Index) bewertet. Bei optimalen Parametern wurden Werte von ca. 34,13 dB (PSNR) und 0,9750 (SSIM) erreicht.

• Klassifizierung (Stufe 3) & Ablationsstudie:

  • Der Klassifikator Metom wurde mit und ohne Restaurierung verglichen.
  • Ohne Restaurierung: Top-1 Genauigkeit von 93,45 %.
  • Mit Restaurierung (RG-KCR): Top-1 Genauigkeit stieg auf 95,33 %.
  • Die Top-5 Genauigkeit verbesserte sich von 97,46 % auf 98,62 %.
  • Der zusätzliche Rechenaufwand für die Restaurierung beträgt durchschnittlich nur 0,51 Sekunden pro Dokument, was als akzeptabel eingestuft wird.

5. Bedeutung und Ausblick

Dieses Paper adressiert eine kritische Lücke in der digitalen Geisteswissenschaft (Digital Humanities): Die Fähigkeit, historische Dokumente auch dann korrekt zu transkribieren, wenn sie durch Siegel beschädigt oder überlagert sind.

• Praktische Relevanz: Das System ermöglicht Historikern und Lesern einen intuitiveren Zugang zu Originaldokumenten, indem es die erkannten modernen Zeichen direkt über die restaurierten Originalbilder legt.
• Limitationen: Das aktuelle System liefert noch keine kontinuierlichen Textzeilen, da die Reihenfolge der Zeichen (Lesereihenfolge) in Kuzushiji-Dokumenten aufgrund komplexer Layouts schwer automatisch zu rekonstruieren ist.
• Zukunft: Die Autoren planen, Layout-Analyse und Zeichenreihenfolge zu integrieren, um eine vollständige End-to-End-Textwiedergabe zu ermöglichen.

Zusammenfassend stellt RG-KCR einen bedeutenden Fortschritt dar, der durch die Kombination von moderner Objekterkennung, effizienter Bildrestaurierung und Transformer-basierter Klassifizierung die Zuverlässigkeit der Kuzushiji-Erkennung unter schwierigen Bedingungen erheblich verbessert.