TrOCR for Medieval HTR: A Systematic Ablation Study with Cross-Dataset Validation

Technische Samenvatting: TrOCR voor Middeleeuwse HTR

Probleemstelling
Het finetunen van transformer-gebaseerde modellen voor Handwritten Text Recognition (HTR), specifiek TrOCR, voor middeleeuwse manuscripten brengt aanzienlijke uitdagingen met zich mee. Deze modellen zijn voorgetraind op moderne tekst en moeten zich aanpassen aan een visueel domein dat wordt gekenmerkt door verschuivende lettervormen, alomtegenwoordige afkortingen, en gedegradeerde dragers (vervaagde inkt, doorslag). Bovendien zijn de gerapporteerde prestatiewinsten vaak moeilijk te interpreteren omdat preprocessing, data-augmentatie en optimalisatiestrategieën vaak gelijktijdig worden aangepast. Verder blijft het onduidelijk hoe ver een enkele hyperparameterconfiguratie kan overdragen naar verschillende schriften, talen en perioden, vooral wanneer historische collecties slechts beperkte supervisie bieden (doorgaans enkele duizenden gelabelde regels).

Methodologie
De auteurs voerden een systematische ablatie-studie uit om de impact van drie controleerbare fine-tuning keuzes op de herkenningsnauwkeurigheid te isoleren:

1. Preprocessing: Specifiek de toepassing van Contrast Limited Adaptive Histogram Equalization (CLAHE) voor contrastnormalisatie.
2. Data-augmentatie: Een pipeline die geometrische transformaties (rotaties, elastische deformaties), fotometrische aanpassingen (onscherpte, helderheid, contrast) en gesimuleerde manuscript-degradatie (spikkelruis, schaduwen, vlekken) combineert.
3. Parameter-efficiënte Fine-tuning: Layer freezing-strategieën voor de encoder en decoder.

De experimenten maakten gebruik van een 13e-eeuws Italiaans manuscript (I-CT 91 "Cortonese") met 2.517 geannoteerde tekstregels. Om robuustheid en cross-dataset validatie te waarborgen, werd hetzelfde experimentele grid gerepliceerd op de publieke READ-16 benchmark. De studie maakte gebruik van een vaste full fine-tuning baseline (TrOCR-base) met een AdamW-optimizer en een One-Cycle learning rate schema voor 50 epochs.

Het ablatie-ontwerp omvatte:

• Het vergelijken van vier varianten onder full fine-tuning: (i) CLAHE + augmentatie (baseline), (ii) geen CLAHE, (iii) geen augmentatie, en (iv) geen CLAHE + geen augmentatie.
• Het variëren van het aantal bevroren lagen ($K \in \{0, 3, 6, 9, 12\}$) in ofwel de encoder of de decoder, terwijl de andere module volledig trainbaar bleef.
• Het testen van een gecombineerde configuratie ($enc\_3\_dec\_6$) om te verifiëren of individueel niet-significante freezing-drempels ook gezamenlijk niet-significant blijven wanneer ze samen worden toegepast.
• Statistische significantie werd beoordeeld met Wilcoxon signed-rank tests met Holm-correctie op line-level Character Error Rate (CER).
• Een domeinspecifieke baseline (Kraken-CATMuS) werd gebruikt voor context, en interpreteerbaarheid werd geanalyseerd met behulp van Grad-CAM en decoder cross-attention kaarten.

Belangrijkste Resultaten

• Preprocessing en Augmentatie: Op de Cortonese dataset produceerden noch CLAHE, noch de volledige augmentatie-pipeline een statistisch betrouwbare winst in nauwkeurigheid vergeleken met de baseline. Het verwijderen van CLAHE leverde een CER op van 7,84%, wat vergelijkbaar is met de domeinspecifieke Kraken-baseline. Echter, op de READ-16 dataset werd augmentatie duidelijk voordelig, wat wijst op dataset-afhankelijke regularisatie-effecten.
• Asymmetrie in Layer Freezing: Er werd een duidelijke asymmetrie waargenomen tussen de encoder en de decoder.
  • Encoder: Het bevriezen voorbij de eerste paar lagen is consistent nadelig. Op de Cortonese dataset veroorzaakte het bevriezen van 6 of meer encoder-lagen significante prestatieverslechtering.
  • Decoder: De decoder is toleranter voor freezing. Het bevriezen van tot 6 decoder-lagen op de Cortonese dataset schaadde de nauwkeurigheid niet significant vergeleken met full fine-tuning.
• Cross-Dataset Transfer: Hoewel de encoder-decoder asymmetrie standhield op READ-16, waren de specifieke freezing-drempels niet universeel overdraagbaar. De gecombineerde configuratie ($enc\_3\_dec\_6$), die niet-significant was op de Cortonese dataset, presteerde significant slechter dan full fine-tuning op READ-16. Dit geeft aan dat gecombineerde freezing-strategieën een dataset-specifieke her-validatie vereisen.
• Interpreteerbaarheid: Grad-CAM en cross-attention kaarten dienden als diagnostische instrumenten. Hoge token loss correleerde met hoge entropie (diffuse) attention kaarten, terwijl correcte voorspellingen nog steeds tokens met een verhoogde loss konden bevatten. De studie merkte op dat Grad-CAM incidenteel kan instorten naar nul-kaarten (een faalmodus), waarbij attention-gebaseerde diagnostiek als fallback dient.

Bijdragen en Betekenis
Het artikel biedt praktische, op bewijs gebaseerde aanbevelingen voor beoefenaars die TrOCR finetunen op low-resource historische datasets:

1. Preprocessing: CLAHE moet worden behandeld als optioneel in plaats van een standaardvereiste, aangezien sterke optimalisatie de afhankelijkheid van agressieve beeld-preprocessing kan verminderen.
2. Augmentatie: Augmentatie-strategieën moeten per dataset worden gevalideerd in plaats van ervan uit te gaan dat ze universele winst bieden.
3. Freezing-strategie: Agressieve encoder freezing moet worden vermeden. Matige decoder freezing kan de trainingskosten verminderen zonder meetbaar verlies op specifieke corpora, maar gecombineerde freezing-recepten moeten voor elk nieuw dataset worden her-gevalideerd.
4. Diagnostische Instrumenten: Grad-CAM en cross-attention kaarten zijn waardevol voor het interpreteren van foutpatronen en faalmodi, vooral wanneer ze in samenhang met token-level loss signalen worden gebruikt.

De auteurs beweren bescheiden dat dit werk niet probeert alle bestaande HTR-systemen te overtreffen, maar eerder een gecontroleerde ablatie-studie en bruikbare richtlijnen wil bieden. De bevindingen suggereren dat hoewel optimalisatiekeuzes het gebrek aan gespecialiseerde pre-training gedeeltelijk kunnen compenseren, domein-bewuste pre-training waardevol blijft wanneer er data beschikbaar is. De studie benadrukt dat conclusies over freezing-drempels en preprocessing specifiek zijn voor TrOCR-achtige encoder-decoder architecturen op low-resource historische regel-afbeeldingen en niet zonder verdere validatie over verschillende schriften en perioden gegeneraliseerd mogen worden.