AMR-CCR: Anchored Modular Retrieval for Continual Chinese Character Recognition

Dit paper introduceert AMR-CCR, een verankerd modulair ophaalframework dat continu Chinees schriftherkenning mogelijk maakt door nieuwe klassen dynamisch toe te voegen via een gedeelde multimodale ruimte, en presenteert EvoCON als een nieuw benchmark voor deze taak.

De kern

Stel je voor dat je een enorme, oude bibliotheek beheert waar duizenden jaren aan Chinese teksten in staan. Maar er is een groot probleem: elke week duiken er nieuwe, net opgegraven documenten op. Deze nieuwe documenten bevatten niet alleen nieuwe karakters, maar ze zijn ook geschreven in heel verschillende stijlen en lettertypes (zoals oude beenderen, bronzen inscripties, of latere kalligrafie).

Deze paper, getiteld AMR-CCR, is een slimme oplossing voor het probleem: Hoe leer je een computer om deze oude teksten te lezen, terwijl er continu nieuwe soorten teksten bij komen, zonder dat hij alles wat hij al wist, vergeet?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Vergeetachtige" Leraar

Normaal gesproken trainen we AI-modellen alsof ze een examen doen voor een vaste lijst met woorden. Maar in de echte wereld (bijvoorbeeld bij archeologen) komt het werk niet in één keer binnen. Het is een stroom van nieuwe informatie.

• Het dilemma: Als je een AI traint op een nieuwe stijl van schrift, gaat hij vaak vergeten hoe de oude stijl eruitzag. Dit noemen ze "catastrophic forgetting" (catastrofaal vergeten).
• De extra moeilijkheid: Soms lijkt een karakter in de ene stijl heel erg op een ander karakter in een andere stijl (verwarrend), en soms ziet één karakter er heel anders uit afhankelijk van wie het heeft geschreven (diversiteit).

Het is alsof je een tolk hebt die perfect Chinees spreekt, maar zodra je hem een nieuwe dialect laat leren, hij plotseling de oude dialecten niet meer begrijpt.

2. De Oplossing: AMR-CCR (De Slimme Bibliotheek)

In plaats van de AI te dwingen om een vaste lijst met antwoorden uit het hoofd te leren (wat kwetsbaar is), bouwen de auteurs een dynamische, zoekbare bibliotheek.

Stel je voor dat de AI geen examen doet, maar een detective is die een woordenboek raadpleegt.

• Het Woordenboek (Dictionary Retrieval):
  In plaats van te zeggen "Ik denk dat dit karakter X is", zoekt de AI in een woordenboek naar het karakter dat het meest lijkt op de foto. Als er een nieuw karakter wordt gevonden, hoef je de hele AI niet opnieuw te trainen. Je plakt gewoon een nieuwe pagina in het woordenboek. De AI blijft werken, maar het woordenboek groeit.

• De "Anker" (Stability Anchor):
  De auteurs gebruiken een heel krachtig, al getraind brein (een groot taalmodel) als anker. Dit anker verandert nooit. Het zorgt ervoor dat de basisregels van "hoe ziet een karakter eruit" stabiel blijven, ongeacht welke nieuwe stijl erbij komt.

3. De Slimme Trucs: De "Kleurstoffen" en de "Regisseur"

Om de nieuwe stijlen toch goed te kunnen lezen zonder het anker te verstoren, gebruiken ze twee slimme hulpmiddelen:

• SIA (De Kleurstof):
  Elke schriftstijl (bijv. oude beenderen vs. latere inkt) heeft een eigen "kleur". De AI heeft een klein, lichtgewicht filter (een adapter) voor elke stijl.

  • Analogie: Stel je voor dat je een witte T-shirt (het anker) hebt. Voor de oude beenderen-taal doe je een blauwe bril op, voor de bronzen inscripties een rode hoed. De T-shirt blijft hetzelfde, maar de bril/het accessoire past de kijk op de wereld aan voor die specifieke stijl.

• SAR (De Regisseur):
  Omdat de AI soms niet weet welke "stijl" hij bekijkt (is dit nu oude beenderen of een latere stijl?), heeft hij een regisseur nodig.

  • Analogie: De regisseur kijkt naar de foto en zegt: "Ah, dit is een oude beenderen-stijl! Pak de blauwe bril!" Zonder deze regisseur zou de AI de verkeerde bril opzetten en de tekst verkeerd lezen.

4. De "Meerdere Gezichten" (Multi-Prototype)

Soms ziet één en hetzelfde karakter er heel verschillend uit (bijvoorbeeld geschreven door een ruwe soldaat vs. een elegante dichter). Een gewoon woordenboek zou één "gemiddeld" plaatje maken, wat vaak niet goed genoeg is.

• De Oplossing: Het systeem maakt meerdere voorbeelden (prototypes) voor één karakter.
  • Analogie: In plaats van één foto van "Hond" in het woordenboek, heb je een foto van een Chihuahua, een Duitse Herder en een Golden Retriever. Als de AI een foto ziet, zoekt hij niet naar "de gemiddelde hond", maar naar de hond die het meest lijkt op de foto. Dit helpt bij het onderscheiden van verwarrende karakters.

5. De Nieuwe Test: EvoCON

Om te bewijzen dat dit werkt, hebben ze een nieuwe testomgeving gemaakt genaamd EvoCON.

• Het is een simulatie van 6 verschillende tijdsperiodes van Chinese geschiedenis.
• De AI moet stap voor stap leren: eerst de ene periode, dan de volgende, enzovoort.
• Ze testen ook of de AI karakters kan raden die hij nooit eerder heeft gezien, alleen op basis van een beschrijving (bijv. "dit karakter betekent 'water' en heeft drie strepen"). Dit is als een detective die een dader moet vinden op basis van een beschrijving in een dossier, zonder een foto te hebben.

Conclusie

Deze paper zegt eigenlijk: "Stop met proberen alles uit het hoofd te leren. Bouw in plaats daarvan een slimme, uitbreidbare bibliotheek met een onwrikbaar anker en speciale brillen voor elke stijl."

Dit maakt het mogelijk om de digitale geschiedenis van China (en andere culturen) continu bij te werken naarmate er nieuwe vondsten worden gedaan, zonder dat de computer zijn geheugen verliest. Het is een stap naar een AI die echt meegroeit met de mensheid, in plaats van statisch blijft staan.

Technische samenvatting

Probleemstelling: Continu Chinees Karakterherkenning (Continual CCR)

Het herkennen van oude Chinese karakters is essentieel voor de digitalisering van cultureel erfgoed. Echter, bestaande methoden gebruiken vaak een "closed-set" classificatie, waarbij het model wordt getraind op een vast aantal klassen. In de praktijk is de workflow niet-stationair: er worden continu nieuwe archeologische materialen ontsloten, wat leidt tot nieuwe scripts (schrijfstijlen) en nieuwe karakters binnen bestaande scripts.

Dit paper formaliseert dit als Continual Chinese Character Recognition (Continual CCR). De uitdagingen in deze setting zijn:

1. Schalbaarheid en Subtiliteit: Het aantal klassen groeit voortdurend, waarbij verschillen tussen klassen (inter-class) extreem subtiel kunnen zijn, terwijl de beschikbare data voor nieuwe klassen vaak schaars is.
2. Intra-class Diversiteit: Een enkel karakter kan zeer diverse schrijfstijlen vertonen afhankelijk van de schrijver en de draagdrager (bijv. steen vs. brons), wat leidt tot een complexe intra-class verdeling.
3. Vergeten (Forgetting): Traditionele classificatiemodellen moeten bij elke nieuwe fase opnieuw worden getraind of aangepast, wat vaak leidt tot het vergeten van oude klassen of het vervormen van beslissingsgrenzen.

Methodologie: AMR-CCR

Om deze problemen op te lossen, stellen de auteurs AMR-CCR (Anchored Modular Retrieval for Continual CCR) voor. In plaats van een classifier te gebruiken, wordt herkenning uitgevoerd via embedding-gebaseerde dictionary matching in een gedeelde multimodale ruimte (beeld en tekst).

De kerncomponenten zijn:

1. Gedeelde Multimodale Embedding Ruimte:

   • Het model gebruikt een gefrozen Qwen3-VL-Embedding backbone als "Stability Anchor". Dit zorgt voor een stabiele basisruimte waarin visuele en tekstuele kenmerken (betekenis en vorm) worden uitgelijnd.
   • Herkenning gebeurt door het zoeken van de grootste gelijkenis (cosine similarity) tussen een query en een woordenboek (dictionary) van prototypes. Nieuwe klassen worden eenvoudig toegevoegd door het woordenboek uit te breiden, zonder het hele model opnieuw te hoeven trainen.

2. Script-Conditioned Injection Module (SIA + SAR):

   • SIA (Script-Interface Adapter): Om de drift in embeddings te compenseren wanneer nieuwe scripts worden toegevoegd, wordt een lichtgewicht adapter gebruikt. Deze past de embedding specifiek aan voor het betreffende script, terwijl de gedeelde ruimte globaal consistent blijft.
   • SAR (Script-Aware Routing): Omdat de script-identiteit tijdens inferentie vaak onbekend is, fungeert SAR als een router die automatisch de juiste SIA-selecteert op basis van de visuele embedding. Dit voorkomt dat meerdere adapters worden gemengd (wat feature-dilutie zou veroorzaken) en houdt de inferentiekosten constant.

3. Multi-Prototype Dictionary:

   • Om de grote variatie in schrijfstijlen binnen één klasse te dekken, wordt niet één gemiddeld prototype gebruikt. In plaats daarvan worden embeddings binnen een klasse geclusterd (via Spherical K-Means) om meerdere prototypes te genereren. Dit "Multi-Prototype" woordenboek dekt verschillende stijlen en media beter af.

4. Trainingsstrategie:

   • Het model wordt fase voor fase getraind.
   • Fase I (Nieuw Script Adaptatie): Trainen van de nieuwe SIA voor het huidige script met behoud van de gefrozen backbone.
   • Fase II (Buffered Replay): Gebruik van een geheugenbuffer (10.000 afbeeldingen) van eerdere scripts om "vergeten" te voorkomen en de SAR-router te trainen.

Benchmarks en Dataset: EvoCON

Om dit probleem systematisch te evalueren, introduceert het team EvoCON, een benchmark bestaande uit zes stadia die verschillende historische Chinese scripts omvatten:

• Scripts: Oracle Bone (OBC), Bronze Inscriptions (BI), Seal Script (SS), Spring-and-Autumn (SAC), Warring States (WSC), en Clerical Script (CS).
• Multimodale Data: Elke steekproef wordt verrijkt met menselijke beschrijvingen van de betekenis en de vorm (stroke configuratie, componenten).
• Zero-Shot Taak: Een specifieke evaluatie waarbij het model karakters moet herkennen waarvoor geen beeldvoorbeelden beschikbaar zijn, uitsluitend gebaseerd op tekstuele beschrijvingen.

Resultaten

De experimenten tonen aan dat AMR-CCR aanzienlijk beter presteert dan traditionele methoden (zoals sequentiële fine-tuning, EWC, iCaRL, DER++):

• Accuracy vs. Vergeten: AMR-CCR (8B model) bereikt een gemiddelde nauwkeurigheid (AA6) van 58,59% (Top-1) en 83,09% (Top-10), met een zeer lage vergeten-maatstaf (FGT) van 1,85%. Dit is een verbetering van +12,74% ten opzichte van de beste concurrent (DER++).
• Oorzaken van Succes: De prestaties worden voornamelijk gedreven door de SIA+SAR-module (die cross-stage compatibiliteit behoudt) en het Multi-Prototype woordenboek (dat verwarring tussen bijna-identieke klassen reduceert).
• Zero-Shot: Het model is ook effectief in zero-shot scenario's, waarbij het gebruik maakt van tekstuele beschrijvingen om onbekende karakters te identificeren.
• Ablatie Studies: Het verwijderen van de script-conditioned modules leidt tot een drastische daling in prestaties en een toename in vergeten, wat aantoont dat deze componenten cruciaal zijn voor de stabiliteit.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Probleemformulering: Het definiëren van "Continual CCR" als een realistisch, script-gestapeld, class-incremental probleem dat de dynamiek van cultureel erfgoed digitalisering weerspiegelt.
2. Framework: De introductie van AMR-CCR, een modulaire, retrieval-gebaseerde architectuur die schaalbaarheid biedt door het toevoegen van nieuwe klassen zonder volledige hertraining, en die robuust is tegen stijlvariaties.
3. Benchmark: De creatie van EvoCON, een uitgebreid dataset en evaluatieprotocol dat zowel continu leren als zero-shot deciphering mogelijk maakt.

Significantie:
Dit paper verschuift de focus van statische classificatie naar een dynamisch, retrieval-gebaseerd paradigma. Dit is cruciaal voor de digitalisering van cultureel erfgoed, waar de verzameling van teksten continu groeit en de variatie in schrijfstijlen extreem groot is. De methode biedt een schaalbare oplossing die niet alleen beter presteert in nauwkeurigheid, maar ook de lange-termijn consistentie van de modelrepresentaties waarborgt, wat essentieel is voor historische analyse en deciphering.