Pre-Editorial Normalization for Automatically Transcribed Medieval Manuscripts in Old French and Latin

Probleemstelling

De automatische tekstherkenning (ATR) van historische manuscripten heeft aanzienlijke vooruitgang geboekt, maar er bestaat een methodologische kloof tussen twee uitersten:

1. Graphetische transcriptie: Een grafische weergave die elke karaktervariant, afkorting en originele leestekens behoudt. Hoewel dit nauwkeurig is voor paleografische doeleinden, is het slecht bruikbaar voor moderne NLP-tools (zoals lemmatisatie of naam-entiteitherkenning) en voor hedendaagse lezers.
2. Genormaliseerde transcriptie: Een versie waarin afkortingen zijn opgelost, woorden zijn gescheiden en leestekens zijn gestandaardiseerd. Modellen die direct voor deze output zijn getraind, hebben echter de neiging om te "hallucineren" (inhoud verzinnen), afkortingen verkeerd op te lossen en historische variatie te verliezen.

Het huidige probleem is dat er geen tussenstap bestaat die de nauwkeurigheid van de grafische transcriptie behoudt, maar deze wel omzet in een leesbare, genormaliseerde vorm die compatibel is met computergestuurde analyse, zonder de risico's van directe normalisatie tijdens het herkenningsproces.

Methodologie

De auteurs introduceren de taak Pre-Editorial Normalization (PEN). Dit is een proces waarbij ruwe, graphemische ATR-outputs worden omgezet naar genormaliseerde teksten volgens redactionele conventies, terwijl de oorspronkelijke grafische trouw behouden blijft als tussenlaag.

1. Definities en Doelstellingen van PEN:

• Normalisatie van lettervarianten (bijv. onderscheid maken tussen u/v en i/j op basis van klinker- of medeklinkerfunctie).
• Contextgevoelige oplossing van afkortingen (expansie moet semantisch en morfologisch correct zijn).
• Correctie van herkenningfouten (bijv. verwarring tussen rn en m).
• Normalisatie van hoofdletters rond leestekens en eigennamen.
• Behoud van originele leestekens en historische spellingvarianten (geen volledige standaardisering naar klassiek Latijn).

2. Dataset Constructie:

• Bronnen: De auteurs hebben een groot dataset gecreëerd door de CoMMA-corpus (33.000 manuscripten met graphemische ATR-outputs) te aligneren met gedigitaliseerde, genormaliseerde edities van Oud-Frans en Latijnse teksten.
• Alignement: Ze gebruikten passim 2.0, een tool die gebruikmaakt van character-level Hidden Markov Models (HMM) en n-gram vingerafdrukken om tekstfragmenten te matchen, zelfs als de volgorde van pagina's in de ATR-outputs verschilt van de editie.
• Data: Het resultaat is een "zilveren" trainingscorpus van 4,66 miljoen paren.
• Gold Standard: Een handmatig gecorrigeerde evaluatieset van 1.800 samples (588 unieke voorbeelden) is samengesteld door filologen om de prestaties te valideren. Deze omvat zowel administratieve teksten (kaarten) als literaire werken.

3. Model Architectuur:

• De auteurs trainden een ByT5-model (een sequence-to-sequence transformer die op byte-niveau werkt).
• ByT5 werd gekozen vanwege zijn robuustheid tegen Unicode-variatie en zijn vermogen om om te gaan met niet-standaard spellingen en tekenfouten.
• Het model is getraind op een tweetalige dataset (Latijn en Oud-Frans), waarbij de Oud-Franse data is opgeschaald om het onbalans in de dataset te compenseren.

Belangrijkste Bijdragen

1. Formele Definitie van PEN: Een duidelijk afgebakende taak die de kloof overbrugt tussen ruwe ATR en volledig bewerkte edities.
2. Grootschalige Dataset: Een zilveren trainingscorpus van 4,66 miljoen voorbeelden en een gouden evaluatieset, specifiek voor middeleeuwse Latijnse en Oud-Franse teksten.
3. State-of-the-Art Model: Een ByT5-gebaseerd normalisatiemodel dat aanzienlijk beter presteert dan bestaande baselines.
4. Validatie van Downstream Tasks: Bewijs dat PEN een effectieve voorverwerkingsstap is voor taalkundige analyse (zoals lemmatisatie en POS-tagging).

Resultaten

• Prestaties: Het voorgestelde ByT5-model bereikte een Character Error Rate (CER) van 6,7% op de gouden testset. Dit is een aanzienlijke verbetering ten opzichte van:
  • Zero-shot prompting met Llama 3 8B (CER > 79%).
  • Een bestaand model getraind op een kleiner, domein-specifiek corpus (Schonhardt, 2025) (CER ~33-65%).
• Kwalitatieve Analyse:
  • Het model loste afkortingen effectief op en corrigeerde ATR-fouten.
  • Er werd echter een neiging waargenomen tot "over-normalisatie": het model neigde ertoe om naar klassieke spellingen te gaan (bijv. ph in plaats van f in Latijn) en lokale scriptoria-varianten in Oud-Frans te vervangen door dominante varianten.
• Impact op Downstream Tasks: Bij de toepassing op een stylometrische analyse van de Vie de Saint Lambert leverde de PEN-pipeline betere precisie en F1-scores op voor lemmatisatie en POS-tagging dan de bestaande "Lambert"-pipeline, hoewel de recall iets lager was. Dit suggereert dat PEN minder "ruis" introduceert in de data.

Significantie

Dit artikel is van groot belang voor de digitale geesteswetenschappen omdat het:

• Een praktische oplossing biedt voor het "bruikbaarheidsprobleem" van ruwe ATR-outputs zonder de historische integriteit volledig te verliezen.
• Het risico van hallucinaties en over-normalisatie verkleint door normalisatie te scheiden van de herkenningstap.
• Een herbruikbare infrastructuur biedt (dataset en model) die transparante en reproduceerbare onderzoeksmethoden voor middeleeuwse teksten mogelijk maakt.
• Aantoont dat het behandelen van normalisatie als een aparte, bewuste stap in de pipeline superieur is aan "all-in-one" benaderingen, vooral voor taak-specifieke analyses zoals lemmatisatie en auteursschapsanalyse.

De auteurs concluderen dat PEN een essentiële tussenlaag is die de brug slaat tussen paleografische nauwkeurigheid en computationele bruikbaarheid, hoewel toekomstig werk nodig is om onzekerheid in normalisatie te modelleren en bredere contextvensters te gebruiken.