TrOCR for Medieval HTR: A Systematic Ablation Study with Cross-Dataset Validation

Problematica
L'affinamento (fine-tuning) di modelli basati su Transformer per il riconoscimento di testi manoscritti (HTR), specificamente TrOCR, presenta sfide significative quando applicato a manoscritti medievali. Questi modelli sono pre-addestrati su testi moderni e devono adattarsi a un dominio visivo caratterizzato da mutamenti nelle forme delle lettere, abbreviazioni pervasive, supporti degradati (inchiostro sbiadito, effetto bleed-through) e layout irregolari. Sebbene studi recenti confermino che i modelli Transformer possano essere adattati ai documenti storici, i guadagni riportati sono spesso difficili da interpretare poiché la pre-elaborazione, l'aumento dei dati (data augmentation) e l'ottimizzazione vengono frequentemente regolati simultaneamente. Inoltre, rimane poco chiaro quanto una singola configurazione di iperparametri possa trasferirsi tra diversi script, lingue e periodi temporali. Anche l'interpretabilità in questo dominio è poco esplorata; sebbene esistano visualizzazioni dell'attenzione, l'uso di attribuzioni basate sul gradiente come Grad-CAM come diagnostica quantitativa per i modi di errore dell'HTR è raro.

Metodologia
Gli autori hanno condotto uno studio di ablazione sistematico per isolare l'impatto di tre scelte di fine-tuning controllabili sull'accuratezza del riconoscimento:

1. Pre-elaborazione: Nello specifico, l'uso di CLAHE (Contrast Limited Adaptive Histogram Equalization) per la normalizzazione del contrasto.
2. Aumento dei dati (Data Augmentation): Una pipeline che combina trasformazioni geometriche (rotazioni, deformazioni elastiche), aggiustamenti fotometrici (sfocatura, luminosità, contrasto) e degradazione simulata del manoscritto (rumore speckle, ombre, macchie).
3. Fine-tuning efficiente nei parametri (Parameter-Efficient Fine-Tuning): Strategie di congelamento dei livelli (layer freezing) per l'encoder e il decoder.

Gli esperimenti sono stati eseguiti su due dataset:

• I-CT 91 "Cortonese": Un manoscritto italiano del XIII secolo contenente 2.517 righe di testo annotate, che funge da caso di test primario a basse risorse.
• READ-16: Un benchmark pubblico utilizzato per la validazione cross-dataset al fine di valutare la robustezza e la trasferibilità.

Lo studio ha utilizzato un'inizializzazione fissa di TrOCR-base e un protocollo di addestramento coerente (AdamW, One-Cycle schedule, 50 epoche) attraverso 13 configurazioni. Queste configurazioni variavano la presenza di CLAHE e dell'augmentation, e hanno testato il numero di livelli congelati ($K \in \{0, 3, 6, 9, 12\}$) nell'encoder e/o nel decoder. Un baseline di dominio specializzato (Kraken con il modello CATMuS Medieval) è stato inoltre fine-tunato per il confronto.

Per diagnosticare i pattern di errore, gli autori hanno impiegato le attribuzioni di gradiente Grad-CAM e le mappe di cross-attenzione del decoder, analizzando l'entropia normalizzata e i coefficienti di Gini per comprendere la confidenza del modello e il focus spaziale durante la predizione dei token.

Risultati Chiave

• Pre-elaborazione e Augmentation: Sul dataset Cortonese, né CLAHE né la pipeline completa di augmentation hanno prodotto un guadagno statisticamente affidabile nel Character Error Rate (CER) rispetto al baseline. Rimuovendo CLAHE si è ottenuta una CER del 7,84%, comparabile al baseline specializzato Kraken-CATMuS (7,9%). Tuttavia, sul dataset READ-16, l'augmentation si è rivelata chiaramente benefica, suggerendo effetti di regolarizzazione dipendenti dal dataset.
• Asimmetria del Congelamento dei Livelli (Layer Freezing): Esiste una marcata asimmetria tra il congelamento dell'encoder e del decoder.
  • Encoder: Il congelamento oltre i primi livelli è costantemente deleterio. Congelare 6 o più livelli dell'encoder ha aumentato significativamente la CER su entrambi i dataset.
  • Decoder: Il decoder è più tollerante; il congelamento fino a 6 livelli (50%) non ha danneggiato significativamente l'accuratezza su Cortonese.
  • Strategie Combinate: La configurazione che congela 3 livelli dell'encoder e 6 del decoder ($enc\_3\_dec\_6$) non era significativa rispetto al full fine-tuning su Cortonese, ma ha portato a prestazioni significativamente peggiori su READ-16.
• Validazione Cross-Dataset: Le conclusioni riguardanti le soglie di congelamento dell'encoder e le strategie di congelamento combinate non si sono trasferite universalmente. Mentre le soglie di congelamento del decoder hanno mostrato una certa robustezza, le strategie combinate richiedono una rivalidazione specifica per ogni dataset.
• Analisi Diagnostica: Grad-CAM e le mappe di attenzione hanno rivelato comportamenti distinti. I token con errore elevato spesso correlavano con mappe di attenzione ad alta entropia (diffuse). Al contrario, le predizioni corrette potevano comunque contenere token con perdita (loss) elevata, dove Grad-CAM rimaneva localizzato mentre l'attenzione era diffusa. Lo studio ha inoltre identificato un modo di fallimento in cui le mappe Grad-CAM collassavano a zero (a causa di ReLU o gradienti evanescenti), rendendo necessario un approccio diagnostico ibrido che ricorre a misure basate sull'attenzione in tali casi.

Significato e Rivendicazioni
Il paper non pretende di superare tutti i sistemi HTR esistenti. La sua importanza risiede invece nel fornire ablazioni controllate e linee guida pratiche per il fine-tuning per i professionisti che lavorano con piccoli dataset di HTR medievali. Gli autori offrono quattro raccomandazioni pratiche:

1. Trattare CLAHE come opzionale piuttosto che come requisito predefinito sotto moderni schemi di ottimizzazione.
2. Validare le strategie di data augmentation per ogni dataset piuttosto che presumere guadagni universali.
3. Evitare un congelamento aggressivo dell'encoder, poiché lo stack visivo richiede l'adattamento a caratteristiche specifiche del manoscritto.
4. Preferire il full fine-tuning a meno che i vincoli computazionali non giustifichino un moderato congelamento del decoder, notando che le ricette di congelamento combinate non sono universalmente trasferibili.

Lo studio sottolinea che, sebbene le scelte di ottimizzazione possano parzialmente compensare la mancanza di un pre-addestramento specializzato, il pre-addestramento consapevole del dominio rimane prezioso. Il lavoro funge da riferimento metodologico per aiutare i futuri ricercatori a evitare ridondanti lavori di ablazione nell'adattare TrOCR a contesti simili di basse risorse, mettendo al contempo in guardia contro la generalizzazione eccessiva dei risultati tra diversi script e condizioni materiali.