AMR-CCR: Anchored Modular Retrieval for Continual Chinese Character Recognition

Die Arbeit stellt AMR-CCR vor, ein verankerndes modulares Abrufsystem für die kontinuierliche Erkennung chinesischer Schriftzeichen, das durch einen skriptbedingten Injektionsmechanismus und einen multi-prototypischen Wörterbuchansatz das Problem des wachsenden Klassenraums und der stilistischen Vielfalt bei der Digitalisierung des kulturellen Erbes löst und durch den neuen EvoCON-Benchmark evaluiert wird.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Archivar in einer riesigen, alten Bibliothek, die ständig wächst. Jeden Tag kommen neue Schätze herein: alte Knochen mit Schriftzeichen, Bronzegefäße mit Gravuren, Siegelsteine und mehr. Das Problem? Die Schriftzeichen sehen auf diesen verschiedenen Materialien oft völlig unterschiedlich aus, und es tauchen immer wieder neue Varianten auf, die man noch nie gesehen hat.

Die herkömmliche Methode, diese Zeichen zu erkennen, wäre wie ein Schüler, der für eine Prüfung lernt. Er lernt eine feste Liste von Wörtern auswendig. Wenn morgen ein ganz neues Wort in die Bibliothek kommt, muss der Schüler die ganze Liste neu lernen oder riskiert, die alten Wörter zu vergessen. Das ist langsam, teuer und ineffizient.

Die Forscher von der Fudan-Universität haben eine viel schlauere Lösung entwickelt, die sie AMR-CCR nennen. Hier ist die Erklärung, wie das funktioniert, ohne komplizierte Fachbegriffe:

1. Das Problem: Ein sich ständig veränderndes Puzzle

Stellen Sie sich vor, Sie sammeln Briefmarken.

• Das Problem: Neue Briefmarken (neue Schriftarten) kommen jeden Tag dazu.
• Die Schwierigkeit: Ein und dasselbe Zeichen (z. B. das Wort "Baum") kann auf einem Knochen wie ein wilder Strich aussehen, auf Bronze wie ein geschwungener Drache und auf Stein wie ein geometrisches Muster.
• Die Falle: Wenn man einen Computer trainiert, nur auf die "Form" zu schauen, verwechselt er leicht die verschiedenen Stile desselben Zeichens oder vergisst alte Zeichen, wenn er neue lernt.

2. Die Lösung: Ein lebendiges Wörterbuch statt einer starren Liste

Statt den Computer zu zwingen, eine feste Liste von Klassen auswendig zu lernen, bauen die Forscher ein intelligentes, suchbares Wörterbuch.

• Das Wörterbuch (Der "Anker"):
  Stellen Sie sich ein riesiges Regal vor, in dem jede Karteikarte ein Zeichen ist. Aber diese Karten sind nicht nur Bilder. Sie sind mit Beschreibungen versehen: Wie sieht es aus? Was bedeutet es?
  Wenn ein neues Zeichen entdeckt wird, muss man den Computer nicht neu programmieren. Man legt einfach eine neue Karteikarte in das Regal. Das System sucht dann nach der Karte, die dem neuen Bild am ähnlichsten ist.

• Der "Dolmetscher" (SIA & SAR):
  Da die Zeichen je nach Material (Knochen vs. Bronze) so unterschiedlich aussehen, braucht das System einen Dolmetscher.

  • SAR (Der Wegweiser): Wenn ein Bild hereinkommt, fragt der Wegweiser: "Ah, das sieht aus wie eine Bronzeschrift! Ich schalte den Dolmetscher für Bronze ein."
  • SIA (Der Dolmetscher): Dieser Dolmetscher passt das Bild kurz an, damit es im gemeinsamen Wörterbuch besser verstanden wird, ohne das ganze Regal zu verwirren. So bleibt das System stabil, auch wenn neue Schriftarten hinzukommen.

• Die "Vielfalt-Strategie" (Multi-Prototype):
  Ein Zeichen kann auf einem Stein auf 10 verschiedene Arten geschrieben sein. Ein einfaches System würde versuchen, einen "Durchschnitt" zu bilden, was oft zu einem ungenauen Bild führt.
  AMR-CCR macht es anders: Es legt mehrere Referenzkarten für ein einziges Zeichen in das Wörterbuch. Eine für den wilden Stil, eine für den eleganten Stil, eine für den rauen Stil. So findet das System immer die passende Karte, egal wie das neue Bild aussieht.

3. Der neue Test: EvoCON

Um zu beweisen, dass ihre Methode funktioniert, haben die Forscher einen neuen Test namens EvoCON entwickelt.
Stellen Sie sich vor, Sie spielen ein Videospiel, bei dem Sie Level für Level neue Schriftarten freischalten.

• Level 1: Sie lernen nur Knochen-Schrift.
• Level 2: Jetzt kommt Bronze dazu. Sie müssen die Knochen-Schrift behalten UND die Bronze lernen.
• Level 6: Am Ende müssen Sie alles beherrschen, ohne die alten Dinge zu vergessen.
  Zusätzlich gibt es eine "Zauber-Modus"-Runde (Zero-Shot): Hier bekommen Sie ein Zeichen, das Sie noch nie gesehen haben, aber Sie dürfen sich auf die Bedeutungsbeschreibung verlassen, um es zu erraten.

Warum ist das wichtig?

Diese Methode ist wie ein unendliches, sich selbst organisierendes Gedächtnis.

• Kein Vergessen: Wenn neue Schätze gefunden werden, werden sie hinzugefügt, ohne alte zu löschen.
• Flexibilität: Es versteht, dass ein "Baum" auf Bronze anders aussieht als auf Papier, und sucht trotzdem das richtige Wort.
• Zukunftssicher: Es hilft uns, die vergessene Geschichte Chinas Schritt für Schritt zu entschlüsseln, ohne dass wir jedes Mal das ganze System neu bauen müssen.

Kurz gesagt: Anstatt einen Roboter zu bauen, der eine Liste auswendig lernt, haben sie einen intelligenten Bibliothekar gebaut, der ständig dazulernt, verschiedene Sprachen versteht und sofort weiß, wo er die richtige Information findet.

Technische Zusammenfassung

1. Problemstellung: Kontinuierliches Erkennen alter chinesischer Schriftzeichen (Continual CCR)

Das Paper adressiert eine zentrale Herausforderung bei der Digitalisierung des kulturellen Erbes: die Erkennung alter chinesischer Schriftzeichen (Ancient Chinese Character Recognition, CCR) in realen Arbeitsabläufen.

• Herausforderung: Im Gegensatz zu statischen, geschlossenen Datensätzen (Closed-Set) sind reale Digitalisierungsprozesse nicht-stationär. Neue archäologische Funde werden kontinuierlich hinzugefügt, was zu einer ständigen Erweiterung des Klassenraums führt.
• Spezifische Schwierigkeiten:
  1. Klassenwachstum: Neue Schriftarten (Scripts) und Zeichenklassen kommen schrittweise hinzu (Class-Incremental Learning).
  2. Subtile Unterschiede: Die Unterschiede zwischen verschiedenen Klassen (Inter-Class) können extrem gering sein, während die Daten für neue Klassen oft knapp sind.
  3. Hohe Intra-Klassen-Variabilität: Ein und dasselbe Zeichen kann je nach Schreiber, Trägermaterial (z. B. Knochen, Bronze) und Ära stark variieren (verschiedene Stile).
• Limitierung bestehender Ansätze: Herkömmliche Klassifikatoren, die auf festen Entscheidungsgrenzen basieren, leiden unter „Catastrophic Forgetting" (Vergessen alter Klassen) und sind unflexibel, da sie bei jeder neuen Klasse neu trainiert oder erweitert werden müssen. Zudem erzwingen sie oft eine zu starke Kompaktheit pro Klasse, was der stilistischen Vielfalt nicht gerecht wird.

2. Methodik: AMR-CCR Framework

Die Autoren schlagen AMR-CCR (Anchored Modular Retrieval for Continual CCR) vor, ein Framework, das von einer geschlossenen Klassifikation zu einem embedding-basierten Wörterbuch-Retrieval übergeht.

Kernkonzepte:

• Geteilter multimodaler Embedding-Raum: Das System nutzt einen gemeinsamen Raum für visuelle (Bild) und textuelle (Bedeutung/Form-Beschreibung) Merkmale. Die Erkennung erfolgt durch Ähnlichkeitsabgleich (Cosine Similarity) statt durch Klassifikations-Heads.
• Anker-Modularität: Ein starker, vortrainierter Vision-Language-Backbone (Qwen3-VL-Embedding) bleibt eingefroren („Stability Anchor"), um die globale Geometrie des Embedding-Raums über alle Stadien hinweg stabil zu halten.

Schlüsselkomponenten:

1. Script-Conditioned Injection (SIA + SAR):
   • SIA (Script-Interface Adapter): Ein leichter, script-spezifischer Adapter (basierend auf Low-Rank Projections und SwiGLU-Gating), der für jede neu hinzukommende Schriftart trainiert wird. Er kalibriert die Embeddings für den spezifischen Stil, ohne den gemeinsamen Raum zu verzerren.
   • SAR (Script-Aware Routing): Ein Router, der zur Inferenzzeit (wenn die Schriftart unbekannt ist) basierend auf dem Eingabebild den passenden SIA auswählt. Dies ermöglicht eine nahtlose Handhabung gemischter Schriftarten ohne manuelle Zuweisung.
2. Image-Derived Multi-Prototype Dictionary:
   • Um die hohe stilistische Vielfalt innerhalb einer Klasse abzudecken, wird nicht ein einzelner Mittelwert-Prototyp verwendet. Stattdessen werden die Embeddings pro Klasse mittels Spherical K-Means in mehrere Prototypen gruppiert. Dies erfasst verschiedene Schreibstile und reduziert Verwechslungen bei ähnlichen Zeichen.
3. Zwei-Phasen-Training:
   • Phase I (Neue Schrift-Anpassung): Training des neuen SIA nur mit den aktuellen Daten, um script-spezifische Verzerrungen zu lernen.
   • Phase II (Puffer-Replay): Training auf einem gemischten Puffer alter Daten, um das Vergessen zu minimieren und die SAR-Routing-Funktion zu trainieren.

3. Benchmark: EvoCON

Um das Feld systematisch zu evaluieren, stellen die Autoren EvoCON vor, einen neuen Benchmark mit folgenden Eigenschaften:

• Sechs-Stufen-Protokoll: Daten werden in sechs Stufen nach Schriftart eingeführt (Clerical Script → Warring States → Spring-and-Autumn → Seal Script → Bronze Inscriptions → Oracle Bone Script).
• Multimodale Daten: Jeder Datensatz enthält Bilder, Schriftarten-Labels sowie maschinell generierte und manuell verifizierte Beschreibungen für Bedeutung (Meaning) und Form/Struktur (Shape).
• Zero-Shot-Aufgabe: Ein separater Testsplit für Zeichen, die im Training keine Bildbeispiele hatten. Die Erkennung muss hier ausschließlich über die textuellen Beschreibungen (Meaning/Shape) erfolgen.

4. Ergebnisse

Die Experimente wurden auf EvoCON durchgeführt und verglichen AMR-CCR mit herkömmlichen Klassifikatoren (ResNet-50, Qwen3-VL) und State-of-the-Art Continual-Learning-Methoden (ER, LwF, EWC, iCaRL, DER++).

• Überlegenheit im Recall und Genauigkeit: AMR-CCR (mit dem 8B-Modell) erreicht eine durchschnittliche Genauigkeit (AA6) von 58,59 % (Top-1) und 83,09 % (Top-10). Dies ist ein deutlicher Sprung gegenüber dem besten Baseline-Modell (DER++: 45,85 % / 68,01 %).
• Geringes Vergessen: Das Forget-Maß (FGT) liegt bei nur 1,85 % (Top-1), was signifikant niedriger ist als bei sequenziellen Fine-Tuning-Ansätzen (ca. 9,5 %).
• Zero-Shot-Fähigkeit: Das Modell zeigt starke Fähigkeiten im Zero-Shot-Scenare (ZS@1: 15,2 %, ZS@20: 46,8 %), indem es visuelle Merkmale mit den textuellen Bedeutungsbeschreibungen verknüpft.
• Ablationsstudien:
  • Das Entfernen von SIA/SAR führt zu einem drastischen Leistungsabfall, was die Notwendigkeit der script-spezifischen Kalibrierung unterstreicht.
  • Die Verwendung von Multi-Prototypen (anstatt eines einzigen Mittelwerts) ist entscheidend für die Bewältigung der stilistischen Vielfalt.
  • Textuelle Supervision (Bedeutung/Form) ist essenziell für das Zero-Shot-Verständnis.

5. Bedeutung und Fazit

Das Paper leistet einen wesentlichen Beitrag zur Digitalisierung des kulturellen Erbes, indem es:

1. Ein neues Paradigma etabliert: Der Wechsel von geschlossener Klassifikation zu einem skalierbaren, retrieval-basierten Ansatz mit dynamischem Wörterbuch löst das Problem des Klassenwachstums elegant.
2. Skalierbarkeit demonstriert: Neue Zeichenklassen können einfach durch Hinzufügen von Einträgen zum Wörterbuch integriert werden, ohne das gesamte Modell neu zu trainieren.
3. Robustheit gegen Stilvariationen: Durch die Multi-Prototypen-Strategie und die Script-Conditioning wird die hohe Variabilität alter Schriftzeichen effektiv modelliert.
4. Ressourcen bereitstellt: Der EvoCON-Benchmark mit seinen multimodalen Annotationen und Zero-Shot-Splits bietet eine solide Basis für zukünftige Forschung im Bereich des kontinuierlichen Lernens für historische Schriftsysteme.

Zusammenfassend zeigt AMR-CCR, dass die Kombination aus multimodalen Embeddings, modularen Anpassungen und retrieval-basierten Mechanismen der Schlüssel zur Bewältigung der komplexen, sich ständig wandelnden Natur alter chinesischer Schriftzeichen ist.