Zero-Shot Chinese Character Recognition via Global-Local Dual-Branch Alignment and Hierarchical Inference

Riepilogo Tecnico: Riconoscimento Zero-Shot di Caratteri Cinesi tramite Allineamento a Doppio Ramo Globale-Locale e Inferenza Gerarchica

Enunciato del Problema
Il riconoscimento zero-shot di caratteri cinesi (ZS-CCR) affronta la sfida di identificare caratteri non presenti durante l'addestramento, un evento frequente in scenari open-world come la digitalizzazione di documenti antichi e la normalizzazione di varianti caratteriali. Sebbene i caratteri cinesi siano costruiti a partire da un insieme limitato di radicali e regole di composizione spaziale, i metodi esistenti basati sul recupero spesso faticano con caratteri non visti. Gli approcci attuali, ispirati a framework di tipo CLIP, codificano tipicamente le immagini dei caratteri e le loro Sequenze di Descrizione Ideografica (IDS) in singoli vettori globali per un matching olistico. Questo paradigma sottorappresenta spesso le differenze dei componenti locali e le variazioni composizionali fini, portando a una discriminazione instabile in casi che coinvolgono sostituzioni locali o componenti visivamente simili. Inoltre, l'applicazione diretta di interazioni fini a livello di patch-token su tutto lo spazio dei candidati introduce due problemi critici: (1) gli operatori strutturali nelle IDS (che descrivono relazioni spaziali) mancano di entità visive concrete, introducendo rumore durante l'allineamento locale; (2) il costo computazionale del recupero fine su tutti i candidati è proibitivamente alto per applicazioni su larga scala.

Metodologia: Rete di Percezione Gerarchica Globale-Locale (GL-HPN)
Per affrontare queste limitazioni, gli autori propongono GL-HPN, un framework unificato di allineamento cross-modale che apprende congiuntamente rappresentazioni globali e locali attraverso un'architettura a doppio ramo.

1. Rappresentazione a Doppio Ramo:

   • Ramo Globale: Codifica le immagini dei caratteri e le sequenze IDS in vettori olistici. Per le immagini, viene applicato un pooling medio globale sulla mappa delle caratteristiche; per le IDS, le caratteristiche dei token vengono mediate. Questo ramo cattura informazioni strutturali stabili a livello di sequenza per supportare un recupero efficiente dei candidati.
   • Ramo Locale: Modella la corrispondenza fine tra patch di immagine e token IDS. Le caratteristiche dell'immagine sono proiettate in una sequenza di patch, mentre i token IDS sono proiettati individualmente. Questo ramo apprende esplicitamente l'allineamento tra regioni visive specifiche e token radicali.

2. Maschera di Filtraggio Strutturale (SFM):
   Riconoscendo che le IDS contengono sia token radicali (componenti visivi concreti) sia operatori strutturali (relazioni spaziali astratte), gli autori introducono una Maschera di Filtraggio Strutturale. Questa maschera sopprime esplicitamente gli operatori strutturali durante l'aggregazione della similarità locale. Escludendo i token non-entità dall'interazione patch-token, il modello previene che risposte sparse e non informative interferiscano con il contributo discriminativo dei token radicali.

3. Obiettivo di Addestramento:
   Il modello è addestrato utilizzando un obiettivo multi-perdita che combina una Perdita Globale e una Perdita Locale.

   • La Perdita Globale utilizza un obiettivo contrastivo standard di tipo CLIP per allineare le rappresentazioni olistiche di immagine e testo.
   • La Perdita Locale adotta un'aggregazione di risposta massima di tipo FILIP, calcolando la similarità tra patch di immagine e token validi (radicali) solamente, guidata dalla SFM.
   • Viene impiegato un piano di pesatura di tipo curriculum durante l'addestramento: il modello inizialmente enfatizza l'allineamento globale stabile (alto peso sulla Perdita Globale) e rafforza progressivamente la discriminazione fine locale (peso crescente sulla Perdita Locale) man mano che avanzano gli epoch di addestramento.

4. Inferenza Gerarchica da Grezzo a Fine:
   Per bilanciare accuratezza ed efficienza, il processo di inferenza segue una strategia in due fasi:

   • Recupero Grezzo: Vengono calcolati i punteggi di similarità globale tra l'immagine di input e le rappresentazioni globali dell'intero set di candidati. Vengono selezionati i Top-K candidati.
   • Riprioritizzazione Fine: L'interazione fine locale viene eseguita solo sui Top-K candidati per calcolare i punteggi di riprioritizzazione.
   • Fusione: I punteggi posteriori globali e locali vengono normalizzati e fusi tramite un'operazione moltiplicativa senza parametri per produrre la decisione finale.

Contributi Chiave

• Framework a Doppio Ramo Globale-Locale: Il paper propone un'architettura innovativa che bilancia la modellazione strutturale olistica con la discriminazione a livello di componente locale, evitando le debolezze degli approcci puramente globali o puramente locali.
• Maschera di Filtraggio Strutturale (SFM): Un meccanismo per sopprimere esplicitamente il rumore causato dagli operatori strutturali delle IDS nel matching fine locale, stabilizzando così l'allineamento locale.
• Inferenza Gerarchica da Grezzo a Fine: Una strategia che limita le interazioni locali computazionalmente costose a un piccolo insieme di candidati ad alta confidenza, ottenendo un compromesso favorevole tra accuratezza del riconoscimento ed efficienza di inferenza.

Risultati Sperimentali
Il metodo è stato valutato su dataset di caratteri cinesi scritti a mano (CASIA-HWDB1.0-1.1 e ICDAR2013) in varie divisioni zero-shot (che vanno da 500 a 2755 classi viste).

• Prestazioni: GL-HPN ha raggiunto un'accuratezza Top-1 competitiva su tutte le divisioni. In particolare, ha dimostrato prestazioni superiori in contesti a risorse limitate (ad esempio, un'accuratezza del 36,19% con sole 500 classi viste), superando margini significativi baselines robuste come FT-CLIP, CCR-CLIP e GRSTR (ad esempio, +10,02% su FT-CLIP nel setting a 500 classi).
• Studi di Ablazione: Gli esperimenti hanno confermato che il design a doppio ramo da solo è insufficiente senza la SFM (le prestazioni sono diminuite senza la maschera). La SFM si è rivelata critica per stabilizzare l'allineamento locale e migliorare l'accuratezza.
• Efficienza: La strategia di inferenza gerarchica ha permesso al modello di raggiungere un'accuratezza stabile con un piccolo set di candidati (K=30 o K=50), riducendo significativamente la latenza di inferenza rispetto all'interazione locale su tutti i candidati, mantenendo al contempo alti tassi di recupero.

Significato
Il paper afferma che GL-HPN affronta efficacemente le sfide specifiche del riconoscimento zero-shot di caratteri cinesi, in particolare il rumore introdotto dagli operatori strutturali astratti nelle IDS e l'alto costo del recupero fine su larga scala. Disaccoppiando la modellazione globale e locale e adottando una strategia di inferenza gerarchica, il metodo ottiene una generalizzazione robusta ai caratteri non visti, specialmente in scenari con dati di addestramento limitati, riducendo sostanzialmente il sovraccarico computazionale associato al recupero di candidati su larga scala.