💻 computer science

TrOCR for Medieval HTR: A Systematic Ablation Study with Cross-Dataset Validation

Dit artikel presenteert een systematische ablatie-studie die aantoont hoe specifieke fine-tuning-strategieën, inclusief het bevriezen van lagen en contrastnormalisatie, de prestaties van TrOCR op middeleeuwse manuscripten beïnvloeden, waarbij wordt onthuld dat het bevriezen van specifieke decoderlagen en het weglaten van voorverwerking competitieve nauwkeurigheid kan bereiken terwijl het cross-dataset validatie en foutanalyse mogelijk maakt.

Oorspronkelijke auteurs: Sachin Sharma, Michele Flammini, Federico Simonetta

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sachin Sharma, Michele Flammini, Federico Simonetta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot hebt die heeft geleerd om modern handschrift te lezen van een enorme bibliotheek met hedendaagse aantekeningen, brieven en formulieren. Nu wil je deze robot leren om een 700 jaar oud Italiaans manuscript te lezen, geschreven op oud, bevlekt perkament met vervagende inkt en vreemde, krullerige letters. Dit is de uitdaging waar dit artikel over gaat.

De onderzoekers vragen zich af: Hoe passen we de hersenen van deze robot aan zodat hij deze oude teksten kan lezen zonder dat hij vanaf nul opnieuw getraind hoeft te worden?

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. De robot en het oude boek

De robot die ze gebruikten heet TrOCR. Het is als een briljante student die een examen voor modern handschrift met vlag en wimpel heeft gehaald. Maar middeleeuwse manuscripten zijn een totaal andere wereld. De inkt is vervaagd, het papier is bevlekt en de letters lijken totaal niet op wat de robot op school heeft geleerd.

De onderzoekers probeerden drie hoofdwegen om de robot te helpen aanpassen:

Het beeld schoonmaken (Preprocessing): Zoals een fotobewerker gebruiken om een donkere, wazige foto op te helderen.
Schade simuleren (Data Augmentation): Zoals de robot trainen door hem afbeeldingen te laten zien die opzettelijk vegen, gedraaid of vervaagd zijn, zodat hij leert om te gaan met echte, rommelige situaties.
Delen van de hersenen bevriezen (Layer Freezing): Stel je voor dat de robot twee hoofdbreinen heeft: één die vormen ziet (de Encoder) en één die woorden begrijpt (de Decoder). "Bevriezen" betekent dat bepaalde delen van de hersenen worden vergrendeld zodat ze niet kunnen veranderen, waardoor de robot gedwongen wordt alleen van de nieuwe delen te leren.

2. Het "Schoonmaak"-experiment: Moeten we de glazen poetsen?

De Vraag: Moet de afbeelding perfect opgehelderd en gecontrastierd worden (met een hulpmiddel genaamd CLAHE) voordat de robot begint met lezen?
De Bevinding: Nee, eigenlijk niet.
De Analogie: Het is alsoal je een bord probeert te lezen in de mist. Je zou kunnen denken dat je eerst een krachtige zaklamp nodig hebt om de mist te verdrijven. Maar de onderzoekers ontdekten dat als de robot slim genoeg is, hij de letters kan herkennen, zelfs als het beeld wat dof of rommelig is. Sterker nog, het aanzetten van de "ophelderaar" hielp de robot in hun tests niet eens beter lezen. De robot leerde de ruis zelf al te negeren.

3. Het "Hersenen Bevriezen"-experiment: Wat kunnen we vergrendelen?

Dit was het belangrijkste deel van de studie. Ze probeerden verschillende delen van de hersenen van de robot te vergrendelen om rekenkracht en tijd te besparen.

De "Ogen" (Encoder): Dit deel leert hoe de letters eruitzien.
- Resultaat: Je kunt de "ogen" niet veel bevriezen. Als je te veel lagen van het visuele brein bevriest, vergeet de robot hoe hij de vreemde, oude vormen moet herkennen. Het is alsoals een student een blinddoek omdoen die een nieuw alfabet probeert te leren; ze kunnen zich simpelweg niet aanpassen.
Het "Taalcentrum" (Decoder): Dit deel leert hoe je de letters tot woorden samenvoegt.
- Resultaat: Je kunt een flink deel van dit deel vergrendelen. Het taalcentrum van de robot is flexibel genoeg dat zelfs als je de helft ervan bevriest, hij nog steeds een geweldig werk levert. Het is alsof je tegen een student zegt: "Je hoeft niet opnieuw te leren hoe je moet spellen; focus je alleen op het herkennen van deze nieuwe letters."

De Gouden Regel: Ze vonden een ideaal punt waarbij ze de eerste paar lagen van de "ogen" konden bevriezen en de eerste helft van de "taallagen". Dit bespaarde veel rekenkracht zonder de leesnauwkeurigheid van de robot te schaden.

4. De "Stress Test": Werkt het op andere boeken?

Om er zeker van te zijn dat hun regels niet alleen een toevalstreffer waren voor dit specifieke boek, testten ze dezelfde regels op een andere dataset (READ-16), wat lijkt op het geven van een ander boek met andere handschriften aan de robot.

De Verrassing: Wat werkte voor het eerste boek, werkte niet altijd perfect voor het tweede boek.
De Les: Je kunt je instellingen van het ene oude boek niet zomaar kopiëren en plakken naar een ander. De "bevriezingsstrategie" moet voor elke nieuwe collectie worden getest. Echter, de algemene regel bleef overeind: Bevries de ogen niet te veel; je kunt het taalcentrum meer bevriezen.

5. De "Röntgenvisie" (Fouten diagnosticeren)

Ten slotte gebruikten de onderzoekers speciale tools (Grad-CAM en Attention Maps) om in de hersenen van de robot te kijken terwijl hij las. Ze wilden zien waar de robot keek wanneer hij een fout maakte.

De Bevinding: Wanneer de robot een woord fout had, was zijn "blik" vaak verspreid en verward, zoals een student die wild gokt. Wanneer hij het goed had, was zijn blik scherp en gefocust.
De Kanttekening: Soms werd de "blik"-tool blank (zoals een kapotte zaklamp), zelfs wanneer de robot in de war was. Daarom leerden de onderzoekers om twee verschillende tools samen te gebruiken om een compleet beeld te krijgen van waarom de robot faalde.

Samenvatting voor de gemiddelde lezer

Als je een moderne AI wilt leren om oud, rommelig handschrift te lezen:

Maak je niet te druk om het eerst schoonmaken van de afbeeldingen. De AI is slim genoeg om met de rommel om te gaan als hij correct is getraind.
Wees voorzichtig met het "Visuele" deel van de AI. Laat het de nieuwe vormen vrij leren; houd het niet vast.
Je kunt het "Taal" deel vergrendelen. Dit bespaart tijd en geld zonder de prestaties te schaden.
Test je instellingen bij elk nieuw boek. Wat werkt voor het ene manuscript, werkt misschien niet voor een ander.

Het artikel bewijst dat met de juiste aanpassingen, een moderne AI een zeer effectieve vertaler voor de geschiedenis kan worden, zelfs zonder een gespecialiseerde "middeleeuwse" opleiding vanaf het begin.

Probleemstelling
Het fijn afstemmen van op transformatoren gebaseerde Handwritten Text Recognition (HTR) modellen, specifiek TrOCR, voor middeleeuwse manuscripten brengt aanzienlijke uitdagingen met zich mee. Deze modellen zijn voorgetraind op moderne tekst en moeten zich aanpassen aan een visueel domein dat wordt gekenmerkt door verschuivende lettervormen, alomtegenwoordige afkortingen, gedegradeerde dragers (vervaging van inkt, doorslag) en onregelmatige lay-outs. Hoewel recente studies bevestigen dat transformermodellen kunnen worden aangepast aan historische documenten, zijn de gerapporteerde winsten vaak moeilijk te interpreteren omdat preprocessing, data-augmentatie en optimalisatie vaak gelijktijdig worden aangepast. Bovendien blijft het onduidelijk hoe ver een enkele hyperparameterconfiguratie kan overdragen naar verschillende schriften, talen en tijdperken. Daarnaast is interpreteerbaarheid in dit domein onderbelicht; hoewel aandachtsvisualisaties bestaan, worden gradiëntgebaseerde attributies zoals Grad-CAM zelden gebruikt als kwantitatieve diagnostiek voor HTR-foutmodi.

Methodologie
De auteurs voerden een systematische ablatie-studie uit om de impact van drie controleerbare fijnstemkeuzes op de herkenningsnauwkeurigheid te isoleren:

Preprocessing: Specifiek het gebruik van Contrast Limited Adaptive Histogram Equalization (CLAHE) voor contrastnormalisatie.
Data-augmentatie: Een pipeline die geometrische transformaties (rotaties, elastische deformaties), fotometrische aanpassingen (onscherpte, helderheid, contrast) en gesimuleerde manuscriptdegradatie (spikkelruis, schaduwen, vlekken) combineert.
Parameter-efficiënte fijnstemming: Layer freezing-strategieën voor de encoder en decoder.

De experimenten werden uitgevoerd op twee datasets:

I-CT 91 "Cortonese": Een 13e-eeuws Italiaans manuscript met 2.517 geannoteerde tekstregels, dienend als de primaire testcase voor beperkte middelen (low-resource).
READ-16: Een publieke benchmark die werd gebruikt voor cross-dataset validatie om robuustheid en overdraagbaarheid te beoordelen.

De studie maakte gebruik van een vaste TrOCR-base initialisatie en een consistente trainingsprotocol (AdamW, One-Cycle schedule, 50 epochs) over 13 configuraties. Deze configuraties varieerden de aanwezigheid van CLAHE en augmentatie, en doorliepen het aantal bevroren lagen ( $K \in \{0, 3, 6, 9, 12\}$ ) in de encoder en/of decoder. Een domeinspecifieke baseline (Kraken met het CATMuS Medieval model) werd eveneens fijn afgestemd voor vergelijking.

Om foutpatronen te diagnosticeren, gebruikten de auteurs Grad-CAM gradiënt-attributies en decoder cross-attention kaarten, waarbij ze genormaliseerde entropie en Gini-coëfficiënten analyseerden om de modelvertrouwen en ruimtelijke focus tijdens tokenvoorspelling te begrijpen.

Belangrijkste Resultaten

Preprocessing en Augmentatie: Op de Cortonese-dataset produceerden noch CLAHE, noch de volledige augmentatie-pipeline een statistisch betrouwbare winst in Character Error Rate (CER) vergeleken met de baseline. Het verwijderen van CLAHE leverde een CER op van 7,84%, vergelijkbaar met de gespecialiseerde Kraken-CATMuS baseline (7,9%). Echter, op de READ-16-dataset bleek augmentatie duidelijk voordelig, wat wijst op dataset-afhankelijke regularisatie-effecten.
Asymmetrie in Layer Freezing: Er bestaat een duidelijke asymmetrie tussen de bevriezing van de encoder en de decoder.
- Encoder: Bevriezen voorbij de eerste paar lagen is consequent nadelig. Het bevriezen van 6 of meer encoder-lagen verhoogde de CER aanzienlijk op beide datasets.
- Decoder: De decoder is toleranter; het bevriezen van tot 6 lagen (50%) schaadde de nauwkeurigheid op Cortonese niet significant.
- Gecombineerde Strategieën: De configuratie die 3 encoder-lagen en 6 decoder-lagen bevriest ( $enc\_3\_dec\_6$ ) was niet-significant vergeleken met volledige fijnstemming op Cortonese, maar resulteerde in aanzienlijk slechtere prestaties op READ-16.
Cross-Dataset Validatie: Bevindingen met betrekking tot de drempelwaarden voor encoder-bevriezing en gecombineerde bevriezingsstrategieën vertoonden geen universele overdraagbaarheid. Hoewel de drempelwaarden voor decoder-bevriezing enige robuustheid vertoonden, vereisen gecombineerde strategieën dataset-specifieke her-validatie.
Diagnostische Analyse: Grad-CAM en aandachtskaarten onthulden onderscheidende gedragingen. Tokens met hoge fouten correleerden vaak met aandachtskaarten met een hoge entropie (diffuus). Omgekeerd konden correcte voorspellingen nog steeds tokens bevatten met een hoge loss, waarbij Grad-CAM gelokaliseerd bleef terwijl de aandacht diffuus was. De studie identificeerde ook een foutmodus waarbij Grad-CAM kaarten inklapten naar nul (door ReLU of verdwijnende gradiënten), wat een hybride diagnostische aanpak noodzakelijk maakte die terugvalt op aandacht-gebaseerde maten in dergelijke gevallen.

Significantie en Claims
Het artikel beweert niet alle bestaande HTR-systemen te overtreffen. De significantie ligt in plaats daarvan in het bieden van gecontroleerde ablaties en bruikbare fijnstem-richtlijnen voor beoefenaars die werken met kleine middeleeuwse HTR-datasets. De auteurs bieden vier praktische aanbevelingen:

Behandel CLAHE als optioneel in plaats van een standaardvereiste onder moderne optimalisatieschema's.
Valideer data-augmentatiestrategieën per dataset in plaats van universele winst te veronderstellen.
Vermijd agressieve encoder-bevriezing, aangezien de visuele stack aanpassing vereist aan manuscript-specifieke kenmerken.
Geef de voorkeur aan volledige fijnstemming, tenzij rekenkracht-beperkingen een matige decoder-bevriezing rechtvaardigen, waarbij wordt opgemerkt dat gecombineerde bevriezingsrecepten niet universeel overdraagbaar zijn.

De studie benadrukt dat hoewel optimalisatiekeuzes het gebrek aan gespecialiseerde pre-training gedeeltelijk kunnen compenseren, domeinkennis-gebaseerde pre-training waardevol blijft. Het werk dient als een methodologische referentie om toekomstige onderzoekers te helpen redundante ablatie-arbeid te vermijden bij het aanpassen van TrOCR aan vergelijkbare low-resource historische settings, terwijl het waarschuwt tegen het te veel generaliseren van bevindingen over verschillende schriften en materiële condities.