TrOCR for Medieval HTR: A Systematic Ablation Study with Cross-Dataset Validation

Sintesi Tecnica: TrOCR per l'HTR Medievale

Definizione del Problema
Il fine-tuning di modelli di riconoscimento del testo scritto a mano (HTR) basati su transformer, specificamente TrOCR, per i manoscritti medievali presenta sfide significative. Questi modelli sono pre-addestrati su testi moderni e devono adattarsi a un dominio visivo caratterizzato da forme delle lettere variabili, abbreviazioni pervasive, e supporti degradati (inchiostro sbiadito, trasparenza o bleed-through) e layout irregolari. Sebbene studi recenti confermino che i modelli transformer possano essere adattati ai documenti storici, i guadagni di prestazioni riportati sono spesso difficili da interpretare perché la pre-elaborazione, l'augmentation dei dati e le strategie di ottimizzazione vengono frequentemente regolate simultaneamente. Inoltre, rimane poco chiaro quanto una singola configurazione di iperparametri possa trasferirsi tra diversi script, lingue e periodi, specialmente quando le collezioni storiche offrono solo una supervisione limitata (tipicamente poche migliaia di righe etichettate).

Metodologia
Gli autori hanno condotto uno studio di ablazione sistematico per isolare l'impatto di tre scelte di fine-tuning controllabili sull'accuratezza del riconoscimento:

1. Pre-elaborazione: Nello specifico, l'applicazione della Contrast Limited Adaptive Histogram Equalization (CLAHE) per la normalizzazione del contrasto.
2. Augmentation dei dati: Una pipeline che combina trasformazioni geometriche (rotazioni, deformazioni elastiche), aggiustamenti fotometrici (sfocatura, luminosità, contrasto) e degradazione simulata del manoscritto (rumore speckle, ombre, macchie).
3. Fine-tuning efficiente nei parametri (Parameter-Efficient Fine-Tuning): Strategie di congelamento dei livelli (layer freezing) per l'encoder e il decoder.

Gli esperimenti hanno utilizzato un manoscritto italiano del XIII secolo (I-CT 91 "Cortonese") contenente 2.517 righe di testo annotate. Per garantire robustezza e validazione cross-dataset, la stessa griglia sperimentale è stata replicata sul benchmark pubblico READ-16. Lo studio ha impiegato una baseline a fine-tuning completo (TrOCR-base) utilizzando un ottimizzatore AdamW con uno schema di apprendimento One-Cycle per 50 epoche.

Il design dell'ablazione prevedeva:

• Il confronto di quattro varianti sotto full fine-tuning: (i) CLAHE + augmentation (baseline), (ii) senza CLAHE, (iii) senza augmentation, e (iv) senza CLAHE + senza augmentation.
• La scansione del numero di livelli congelati ($K \in \{0, 3, 6, 9, 12\}$) nell'encoder o nel decoder, mantenendo l'altro modulo completamente addestrabile.
• Il test di una configurazione combinata ($enc\_3\_dec\_6$) per verificare se soglie di congelamento individualmente non significative rimangano tali se applicate congiuntamente.
• La significatività statistica è stata valutata tramite test Wilcoxon signed-rank con correzione di Holm sul Character Error Rate (CER) a livello di riga.
• Una baseline specializzata nel dominio (Kraken-CATMuS) è stata utilizzata per contesto, e l'interpretabilità è stata analizzata tramite Grad-CAM e mappe di cross-attention del decoder.

Risultati Chiave

• Pre-elaborazione e Augmentation: Sul dataset Cortonese, né CLAHE né la pipeline completa di augmentation hanno prodotto un guadagno di accuratezza statisticamente affidabile rispetto alla baseline. Rimuovere CLAHE ha prodotto un CER del 7,84%, comparabile alla baseline specializzata di Kraken. Tuttavia, sul dataset READ-16, l'augmentation è diventata chiaramente vantaggiosa, suggerendo effetti di regolarizzazione dipendenti dal dataset.
• Asimmetria del Congelamento dei Livelli: È stata osservata una marcata asimmetria tra l'encoder e il decoder.
  • Encoder: Il congelamento oltre i primi livelli è costantemente deleterio. Su Cortonese, congelare 6 o più livelli dell'encoder ha causato un significativo degrado delle prestazioni.
  • Decoder: Il decoder è più tollerante al congelamento. Congelare fino a 6 livelli del decoder su Cortonese non ha danneggiato significativamente l'accuratezza rispetto al full fine-tuning.
• Trasferimento Cross-Dataset: Sebbene l'asimmetria encoder-decoder sia persistita su READ-16, le specifiche soglie di congelamento non sono universalmente trasferibili. La configurazione combinata ($enc\_3\_dec\_6$), che era non significativa su Cortonese, è risultata significativamente peggiore rispetto al full fine-tuning su READ-16. Ciò indica che le strategie di congelamento combinate richiedono una ri-validazione specifica per ogni dataset.
• Interpretabilità: Grad-CAM e le mappe di cross-attention sono servite come strumenti diagnostici. L'alta perdita del token (token loss) è correlata ad mappe di attenzione ad alta entropia (diffuse), mentre le predizioni corrette possono comunque contenere token con perdita elevata. Lo studio ha notato che Grad-CAM può occasionalmente collassare in mappe nulle (un caso di fallimento), nel qual caso le diagnosi basate sull'attenzione fungono da sistema di riserva (fallback).

Contributi e Significatività
Il documento fornisce raccomandazioni pratiche ed evidence-based per i professionisti che effettuano il fine-tuning di TrOCR su dataset storici a basse risorse:

1. Pre-elaborazione: CLAHE dovrebbe essere trattata come opzionale piuttosto che come un requisito predefinito, poiché un'ottimizzazione forte può ridurre la dipendenza da una pre-elaborazione aggressiva delle immagini.
2. Augmentation: Le strategie di augmentation dovrebbero essere validate per ogni dataset anziché presumere guadagni universali.
3. Strategia di Congelamento: Il congelamento aggressivo dell'encoder dovrebbe essere evitato. Un congelamento moderato del decoder può ridurre i costi di addestramento senza perdite misurabili su specifici corpora, ma le ricette di congelamento combinate devono essere ri-validate per ogni nuovo dataset.
4. Strumenti Diagnostici: Grad-CAM e le mappe di cross-attention sono preziosi per interpretare i pattern di errore e i casi di fallimento, particolarmente quando utilizzati in congiunzione con segnali di perdita a livello di token.

Gli autori affermano con modestia che questo lavoro non mira a superare tutti i sistemi HTR esistenti, ma piuttosto a fornire uno studio di ablazione controllato e una guida azionabile. I risultati suggeriscono che, sebbene le scelte di ottimizzazione possano parzialmente compensare la mancanza di pre-addestramento specializzato, il pre-addestramento consapevole del dominio rimane prezioso quando i dati sono disponibili. Lo studio sottolinea che le conclusioni riguardanti le soglie di congelamento e la pre-elaborazione sono specifiche per le architetture di tipo encoder-decoder come TrOCR su immagini di righe storiche a basse risorse e non devono essere generalizzate senza ulteriore validazione attraverso diversi script e periodi.