Adapting TrOCR for Printed Tigrinya Text Recognition: Word-Aware Loss Weighting for Cross-Script Transfer Learning

Titolo: Adattamento di TrOCR per il Riconoscimento di Testo Stampato in Tigrino: Ponderazione della Perdita Consapevole delle Parole per il Transfer Learning Cross-Script

1. Il Problema

I modelli OCR basati su Transformer hanno dimostrato prestazioni eccellenti per gli script latino e CJK, ma la loro applicazione agli scritti sillabici africani, in particolare al Tigrino (scritto con lo script Ge'ez), rimane estremamente limitata.

• Complessità dello Script: Il Tigrino è un abugida con oltre 230 simboli unici (combinazioni consonante-vocali), molti dei quali differiscono solo per tratti sottili o diacritici.
• Mancanza di Supporto: Le piattaforme OCR commerciali non offrono supporto dedicato e le soluzioni esistenti si basano su architetture CNN-RNN (es. CRNN) addestrate su grandi quantità di dati sintetici, senza sfruttare i recenti avanzamenti dei Transformer.
• Fallimento del Transfer Learning Diretto: L'applicazione diretta di modelli TrOCR pre-addestrati (su inglese) fallisce completamente sul Tigrino. Il tokenizzatore BPE (Byte-Pair Encoding) standard, basato su convenzioni inglesi (es. l'uso di uno spazio come prefisso per le parole), non riesce a gestire i nuovi token Ge'ez, causando un fallimento sistematico nel riconoscere il primo carattere dopo uno spazio.

2. Metodologia

Gli autori hanno adattato il modello TrOCR (Transformer-based OCR) partendo da una versione pre-addestrata (Microsoft/TrOCR-base), modificando tre componenti chiave:

• Estensione del Tokenizzatore:

  • La vocabolario originale di RoBERTa (50.265 token) è stato esteso aggiungendo i 230 caratteri unici Ge'ez estratti dalle trascrizioni di addestramento.
  • I nuovi token sono stati inizializzati casualmente e le layer di embedding sono state ridimensionate per accoglierli, trattando ogni fidel (unità consonante-vocalica) come un token atomico.

• Ponderazione della Perdita Consapevole delle Parole (Word-Aware Loss Weighting):

  • Identificazione del problema: È stato scoperto che, nonostante l'estensione del vocabolario, il modello falliva sistematicamente nel riconoscere il primo carattere di una parola dopo uno spazio a causa di un disallineamento tra le convenzioni BPE pre-addestrate e i nuovi token.
  • Soluzione: È stata introdotta una tecnica di pesatura dinamica della funzione di perdita (Cross-Entropy). Durante l'addestramento, i token che contengono il delimitatore di spazio BPE (i token all'inizio delle parole) ricevono un peso di 2.0, mentre gli altri mantengono un peso di 1.0.
  • Questo forza l'ottimizzatore a prestare maggiore attenzione alla transizione "spazio-carattere", risolvendo il collo di bottiglia allineando la logica del decoder con la struttura dello script.

• Configurazione di Addestramento:

  • Utilizzo del dataset GLOCR (subset di 20.000 immagini sintetiche tratte da giornali).
  • Addestramento su una singola GPU consumer (NVIDIA RTX 5060 Laptop, 8 GB VRAM) in meno di 3 ore.
  • Confronto tra due varianti: TrOCR-Handwritten (pre-addestrato su scrittura manuale) e TrOCR-Printed (pre-addestrato su testo stampato).

3. Contributi Chiave

1. Prima Adattamento di TrOCR per lo Script Ge'ez: Dimostrazione che i Transformer possono essere trasferiti con successo su un sistema di scrittura completamente diverso (non latino) partendo da zero.
2. Word-Aware Loss Weighting: Introduzione di una tecnica innovativa per risolvere i fallimenti sistematici ai confini delle parole quando si adattano tokenizzatori BPE a nuovi script. Questo metodo riduce l'errore di due ordini di grandezza rispetto alla sola estensione del vocabolario.
3. Benchmark Pubblico ed Efficiente: Rilascio di tutti i codici, pesi del modello e script di valutazione. L'intero processo di addestramento è fattibile su hardware consumer in poche ore, rendendo la ricerca accessibile a gruppi piccoli.

4. Risultati

Sul set di test tenuto da parte (5.000 immagini sintetiche):

• Prestazioni del Modello:
  • TrOCR-Printed (adattato): Raggiunge un CER (Character Error Rate) dello 0,22% e un'accuratezza di corrispondenza esatta del 97,20%.
  • TrOCR-Handwritten (adattato): CER dello 0,38% e accuratezza del 96,86%.
  • Baseline Zero-Shot: Senza adattamento, il modello fallisce completamente (CER > 99%, accuratezza 0%).
• Impatto della Ponderazione della Perdita:
  • Senza la Word-Aware Loss Weighting, l'estensione del vocabolario da sola porta a un CER del 20,06% (fallimento sistematico ai confini delle parole).
  • Con la ponderazione, il CER scende allo 0,38% (una riduzione di due ordini di grandezza), confermando che il disallineamento del tokenizzatore era il collo di bottiglia critico.
• Confronto con Baseline: Un modello CRNN-CTC addestrato da zero sullo stesso dato ottiene un CER dello 0,12%, dimostrando che i Transformer possono competere con architetture specializzate anche in scenari a risorse limitate.

5. Significato e Implicazioni

• Validazione del Transfer Learning Cross-Script: Il lavoro dimostra che le rappresentazioni visive e strutturali apprese dai Transformer su script latini sono trasferibili a script africani complessi, purché l'interfaccia del tokenizzatore e la funzione di perdita siano corrette.
• Soluzione Generale: La tecnica di Word-Aware Loss Weighting non è specifica per il Tigrino, ma è applicabile a qualsiasi scenario di adattamento BPE cross-script dove le convenzioni di spaziatura del linguaggio sorgente non coincidono con quelle del linguaggio target.
• Accessibilità: Dimostra che l'addestramento di modelli OCR avanzati per lingue a risorse limitate non richiede infrastrutture massive, ma può essere realizzato con hardware consumer in tempi brevi.
• Futuro: Questo studio apre la strada all'applicazione di architetture Transformer all'intera famiglia di script Ge'ez (incluso l'amarico) e ad altre lingue non latine, superando i limiti delle architetture CNN-RNN tradizionali.

In sintesi, il paper risolve un problema fondamentale di adattamento linguistico (il disallineamento dei token) attraverso una modifica semplice ma efficace della funzione di perdita, permettendo a un modello Transformer generico di diventare uno strumento OCR altamente preciso per il Tigrino.