AMR-CCR: Anchored Modular Retrieval for Continual Chinese Character Recognition

Il paper presenta AMR-CCR, un framework di recupero modulare ancorato progettato per il riconoscimento continuo dei caratteri cinesi antichi, che affronta le sfide dell'incremento delle classi e della diversità stilistica attraverso un'architettura di corrispondenza a dizionario e un nuovo benchmark chiamato EvoCON.

L'essenziale

Immagina di essere un archivista in un enorme museo di storia cinese. Il tuo compito è riconoscere migliaia di caratteri antichi scritti su ossa, bronzi, pietre e carta. Il problema? La storia non si ferma mai. Ogni anno vengono scoperte nuove tombe, nuovi manoscritti e nuovi stili di scrittura.

Invece di avere un libro di testo fisso con tutte le risposte, devi imparare continuamente, aggiungendo nuovi capitoli al tuo libro mentre continui a ricordare quelli vecchi. È qui che entra in gioco questo paper, che presenta una soluzione intelligente chiamata AMR-CCR.

Ecco come funziona, spiegato con parole semplici e qualche analogia divertente:

1. Il Problema: Il "Muro" che si allarga

Fino a poco tempo fa, gli scienziati usavano un approccio "statico": insegnavano a un computer a riconoscere 1000 caratteri, lo testavano e basta. Ma nel mondo reale, la situazione è diversa:

• Nuovi caratteri: Arrivano continuamente nuovi stili (come l'antico "Ossa di Oracolo" o la "Scrittura Clericale").
• Confusione: Due caratteri possono sembrare identici ma avere significati diversi, oppure lo stesso carattere può essere scritto in 10 modi diversi da 10 calligrafi diversi.
• Dimenticanza: Se insegni al computer una nuova scrittura, tende a "dimenticare" come riconosceva quelle vecchie (come quando impari una nuova lingua e inizi a mescolare le parole della lingua precedente).

2. La Soluzione: Non un "Esame", ma una "Biblioteca Vivente"

I metodi tradizionali sono come un professore che ti fa un esame a risposta multipla. Se il professore cambia le domande, tu vai nel panico.
Gli autori propongono invece un approccio basato sulla ricerca in una biblioteca (chiamato retrieval).

Immagina che il computer non stia "imparando a memoria" le risposte, ma stia costruendo una biblioteca digitale infinita:

• Ogni carattere è un libro in questa biblioteca.
• Quando vedi un'immagine di un carattere antico, il computer non indovina: cerca il libro più simile nella biblioteca.
• Se arriva un nuovo carattere, non devi riaddestrare tutto il sistema. Basta aggiungere un nuovo libro (o una nuova scheda) alla biblioteca. È come espandere un archivio senza dover rifare tutto il lavoro da capo.

3. I Due Segreti della Magia

Per far funzionare questa biblioteca in modo perfetto, anche quando arrivano stili di scrittura molto diversi, gli autori hanno inventato due trucchi geniali:

A. Il "Trucco del Traduttore" (SIA + SAR)

Ogni script antico (come le incisioni su bronzo o le ossa di oracolo) ha un "dialetto" visivo unico. Se usi lo stesso occhio per guardare tutto, rischi di confonderti.

• L'idea: Immagina di avere un traduttore istantaneo che si adatta al dialetto specifico.
• Come funziona: Quando il computer vede un'immagine, un piccolo "interruttore intelligente" (chiamato SAR) capisce: "Ah, questa è la scrittura su bronzo!". Poi attiva un "filtro" specifico (chiamato SIA) che calibra l'immagine per quel particolare stile, senza rovinare la memoria degli altri stili.
• Risultato: Il computer mantiene un "linguaggio comune" per tutti, ma sa come parlare con ogni singolo script antico.

B. La "Fotocopia Multipla" (Dizionario Multi-Prototipo)

Immagina di dover riconoscere la tua amica Maria. Se hai una sola foto di lei (magari con gli occhiali), quando la vedi senza occhiali potresti non riconoscerla.

• Il problema: I caratteri antichi hanno molti stili (come Maria con occhiali, senza, con i capelli sciolti, ecc.). Un solo "esempio medio" non basta.
• La soluzione: Invece di salvare una sola foto per ogni carattere, il sistema ne salva molte (un "prototipo multiplo").
• L'analogia: È come avere un album fotografico completo di una persona invece di una sola tessera. Se il carattere antico è scritto in modo strano, il sistema trova la foto nell'album che assomiglia di più a quella stramberia, invece di scartarla perché non corrisponde alla foto "standard".

4. Il Nuovo "Campo di Addestramento" (EvoCON)

Per testare questa idea, gli autori hanno creato un nuovo banco di prova chiamato EvoCON.
È come un videogioco a livelli:

1. Inizi con uno script semplice.
2. Passi al livello successivo con uno script più difficile.
3. Alla fine, devi riconoscere caratteri che non hai mai visto prima (Zero-Shot), basandoti solo su una descrizione scritta (es. "questo carattere significa 'sole' e ha una forma rotonda").

In Sintesi

Questo paper ci dice che per digitalizzare la storia cinese non dobbiamo costringere i computer a fare "memorizzazione a lungo termine" (che li fa dimenticare le cose vecchie). Invece, dobbiamo insegnar loro a consultare una biblioteca dinamica.

Grazie a questo sistema:

• Si possono aggiungere nuovi caratteri senza cancellare i vecchi.
• Si gestisce la confusione tra stili diversi creando più "esempi" per ogni carattere.
• Si può anche indovinare il significato di caratteri mai visti, usando le descrizioni testuali come indizi.

È come passare da un archivio polveroso e statico a una biblioteca magica che si espande da sola, adattandosi a ogni nuova scoperta archeologica senza perdere mai il filo della storia.

Sommario tecnico

1. Il Problema: Riconoscimento Continuo di Caratteri Cinesi Antichi

Il paper affronta la sfida del riconoscimento continuo dei caratteri cinesi antichi (Continual CCR), un compito fondamentale per la digitalizzazione del patrimonio culturale. A differenza degli approcci tradizionali che utilizzano un set di classi chiuso e statico, i flussi di lavoro reali sono non stazionari: nuovi materiali scavati vengono costantemente integrati, introducendo nuovi script (stili di scrittura) e nuove classi di caratteri nel tempo.

Questo scenario presenta due sfide principali:

1. Crescita continua delle classi con differenze sottili: Il numero di classi aumenta costantemente, ma le differenze inter-classe possono essere minime (caratteri quasi duplicati), spesso con dati incrementali scarsi.
2. Elevata diversità intra-classe: Uno stesso carattere può presentare stili di scrittura molto diversi a seconda dell'autore o delle condizioni del supporto (es. ossa oracolari, bronzi, stele), creando una distribuzione intra-classe complessa.

Gli approcci di classificazione convenzionali falliscono in questo contesto perché l'espansione continua dello spazio delle classi richiede un ricalibrazione costosa dei confini decisionali, portando a un rapido dimenticamento (catastrophic forgetting) e a una fragilità nei margini decisionali.

2. Metodologia: AMR-CCR

Per superare i limiti della classificazione chiusa, gli autori propongono AMR-CCR (Anchored Modular Retrieval for Continual CCR), un framework di recupero basato su dizionario in uno spazio di embedding multimodale condiviso.

Architettura e Componenti Chiave

• Paradigma di Recupero: Invece di un classificatore, il sistema esegue un matching basato sulla similarità tra l'immagine di query e un dizionario di embedding. Le nuove classi vengono aggiunte semplicemente estendendo il dizionario, evitando il ri-addestramento completo.
• Backbone Multimodale: Utilizza Qwen3-VL-Embedding come backbone congelato (Stability Anchor) per garantire uno spazio di embedding coerente tra immagini e testo (descrizioni di significato e forma).
• Moduli di Iniezione Condizionata allo Script (SIA + SAR):
  • SIA (Script-Interface Adapter): Moduli leggeri (basati su proiezioni a basso rango e gate SwiGLU) che vengono aggiunti al backbone congelato. Ogni script ha il proprio SIA per calibrare le rappresentazioni specifiche senza alterare lo spazio condiviso globale.
  • SAR (Script-Aware Routing): Un router leggero che, durante l'inferenza (quando lo script è sconosciuto), seleziona dinamicamente il SIA più appropriato da applicare all'embedding visivo. Questo evita la diluizione delle caratteristiche e mantiene i costi di inferenza costanti.
• Dizionario Multi-Prototipo Derivato dalle Immagini: Per gestire la diversità intra-classe (stili diversi), invece di un singolo prototipo medio per classe, il sistema costruisce un dizionario con multi-prototipi. Utilizza il clustering (Spherical K-Means) sugli embedding delle immagini di training per catturare i diversi modi stilistici all'interno della stessa classe.
• Addestramento in Due Fasi:
  1. Adattamento al nuovo script: Addestramento del nuovo SIA solo sui dati dello script corrente.
  2. Replay Buffer: Utilizzo di un buffer di memoria (10.000 immagini) da script precedenti per allineare i SIA, ridurre il dimenticamento e addestrare il router SAR.

3. Contributi Principali

1. Formulazione del Problema: Definizione formale del Continual CCR come un problema incrementale di classi a stadi di script, evidenziando le sfide di crescita delle classi e diversità stilistica.
2. Framework AMR-CCR: Un approccio innovativo che combina recupero basato su dizionario, adattamento modulare condizionato allo script e dizionari multi-prototipo per garantire scalabilità e robustezza.
3. Benchmark EvoCON: Creazione di un nuovo dataset e protocollo di valutazione a sei stadi (basato su EVOBC) che copre sei script storici (OBC, BI, SS, SAC, WSC, CS). EvoCON include:
   • Descrizioni testuali di significato e forma per ogni campione.
   • Una divisione esplicita per compiti Zero-Shot, dove il modello deve riconoscere caratteri mai visti in training (senza esempi di immagini) basandosi sulle descrizioni testuali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su EvoCON confrontando AMR-CCR con metodi di continual learning classici (Seq FT, ER, LwF, EWC, iCaRL, DER++) e modelli frozen.

• Prestazioni nel Continual Onboarding:
  • AMR-CCR (con backbone 8B) ha raggiunto un'accuratezza media finale (AA6) di 58.59% (Top-1) e 83.09% (Top-10), superando il miglior baseline (DER++) di oltre 12 punti percentuali.
  • Il Forgetting (FGT) è stato mantenuto estremamente basso (1.85%), dimostrando che il framework preserva efficacemente le strutture di similarità degli script precedenti.
  • I metodi di fine-tuning sequenziale hanno mostrato un alto dimenticamento (fino al 9.52%) e prestazioni inferiori.
• Task Zero-Shot:
  • Il modello ha dimostrato capacità di decifrare caratteri mai visti utilizzando solo le descrizioni testuali di significato, ottenendo risultati significativi (ZS@1 e ZS@20), grazie all'allineamento visione-linguaggio.
• Ablation Study:
  • La rimozione dei moduli SIA/SAR ha causato un crollo delle prestazioni, confermando la necessità di un adattamento specifico per script.
  • L'uso di un dizionario a singolo prototipo ha degradato le prestazioni, validando l'importanza dei multi-prototipi per gestire la variabilità stilistica.
  • L'aumento della dimensione del modello (da 2B a 8B) ha migliorato significativamente la discriminazione fine tra classi simili.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella digitalizzazione del patrimonio culturale cinese:

• Scalabilità: Offre una soluzione praticabile per l'integrazione continua di nuovi materiali archeologici senza dover ri-addestrare modelli costosi o perdere conoscenze precedenti.
• Robustezza Stilistica: Risolve il problema della variabilità interna delle classi, spesso ignorata nei modelli di classificazione standard.
• Versatilità: La capacità di gestire compiti Zero-Shot tramite descrizioni testuali apre nuove possibilità per la decifrazione di caratteri sconosciuti o scarsamente documentati.
• Standardizzazione: Il benchmark EvoCON fornisce una base solida e riproducibile per la ricerca futura sul continual learning applicato alla paleografia e alla digital humanities.

In sintesi, AMR-CCR sposta il paradigma dal riconoscimento come "classificazione chiusa" al riconoscimento come "recupero di conoscenza espandibile", rendendo i sistemi di riconoscimento dei caratteri antichi più adattabili, scalabili e fedeli alla realtà storica della scrittura cinese.