💬 NLP

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

Dit artikel introduceert de Interpres-Parallel-Corpus dataset en demonstreert dat voor het vertalen van middeleeuwse Latijnse manuscripten een eenvoudige pijplijn die gespecialiseerde OCR combineert met een Vision Language Model beter presteert dan complexere multi-component benaderingen door foutpropagatie en promptverzadiging te vermijden.

Oorspronkelijke auteurs: Nguyen Kim Hai Bui, Md. Easin Arafat, Tamás Gábor Orosz, Mufti Mahmud

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nguyen Kim Hai Bui, Md. Easin Arafat, Tamás Gábor Orosz, Mufti Mahmud

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een doos hebt met oude, stoffige brieven geschreven in een vergeten taal op brokkelig perkament. Je doel is om deze afbeeldingen van oud papier te veranderen in een helder, modern Engels verhaal. Dit papier is als een detectiveverslag over de beste manier om die puzzel op te lossen.

De onderzoekers ontdekten dat wanneer men te maken heeft met deze lastige oude documenten, de regel "groter is beter" niet werkt, en dat het toevoegen van meer gereedschap aan je gereedschapskist het werk vaak moeilijker maakt, in plaats van makkelijker.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Specialist versus de Reus" (De Specialisatiekloof)

Normaal gesproken denken we in de wereld van AI dat de grootste, krachtigste robot (een massief model met miljarden hersencellen) elke uitdaging zal winnen. De onderzoekers testten dit door enorme, algemene AI-robots te vragen om middeleeuws Latijn handschrift te lezen.

Het resultaat: De reuzen faalden. Ze raakten in de war door de vreemde krabbels, afkortingen en inktvlekken op het papier.
De verrassing: Een veel kleinere, gespecialiseerde robot (getraind alleen op middeleeuws handschrift) deed het werk perfect.
De analogie: Stel je voor dat je probeert een 19e-eeuws zakhorloge te repareren. Je zou een briljante, beroemde ingenieur kunnen inhuren die alles weet van moderne auto's, vliegtuigen en smartphones (de Reus). Of je kunt een stille, lokale horlogemaker inhuren die al 50 jaar alleen maar zakhorloges repareert (de Specialist). Het papier laat zien dat voor deze specifieke taak de lokale horlogemaker 4,3 keer beter is, ook al is de beroemde ingenieur "groter".

2. Het "Te Veel Koks" Probleem (De Complexiteitsparadox)

De onderzoekers probeerden een "super-pipeline" te bouwen om deze documenten te vertalen. Ze dachten: Als lezen moeilijk is, laten we dan een spellingcontrole toevoegen. Als spellingcontrole niet genoeg is, laten we dan een woordenboekopzoeking toevoegen. Als dat niet werkt, laten we dan een geschiedenisexpert toevoegen.

Ze bouwden vier verschillende versies van dit team:

De Solo-Artiest: Alleen de Specialist-Robot die de afbeelding leest.
De Editor: De Robot + een Spellingcontrole.
De Bibliothecaris: De Robot + een Woordenboekopzoeking.
Het Super-Team: De Robot + Spellingcontrole + Woordenboekopzoeking.

Het resultaat: De Solo-Artiest produceerde feitelijk de beste vertalingen.
De analogie: Stel je voor dat je probeert een geheime code te vertalen.
- De Solo-Artiest leest de code gewoon en vertaalt deze.
- Het Super-Team geeft de code door aan een spellingcontrole, die per ongeluk een woord verandert. Daarna geven ze het door aan een woordenboek, dat in de war raakt door het veranderde woord en een verkeerde definitie suggereert. Ten slotte krijgt de vertaler een onleesbare bende en probeert die bende te vertalen.
- Het papier vond dat het toevoegen van de spellingcontrole en het woordenboek zorgde voor "Prompt Verzadiging" (de vertaler raakte zo overweldigd door de extra informatie dat hij gewoon het woordenboek begon te kopiëren in plaats van te vertalen) en "Brosheidspropagatie" (kleine fouten gemaakt door de spellingcontrole werden versterkt en verpest het uiteindelijke verhaal).

3. De Nieuwe Kaart (De IPC Dataset)

Om dit te bewijzen, konden de onderzoekers niet gewoon gokken; ze hadden een kaart nodig. Ze creëerden de Interpres Parallel Corpus (IPC).

Wat het is: Een collectie van 1.383 specifieke regels uit oude manuscripten. Voor elke regel hebben ze:
1. De afbeelding van het oude papier.
2. De exacte Latijnse tekst die erop geschreven staat.
3. Een perfecte Engelse vertaling gemaakt door menselijke experts.
Waarom het belangrijk is: Voorheen hadden onderzoekers afbeeldingen, of ze hadden vertalingen, maar ze hadden zelden alle drie aan elkaar gekoppeld. Dit is als het hebben van een "Gouden Standaard" test om elk AI-systeem eerlijk te beoordelen.

4. De Twee Belangrijkste Fouten

Het papier legt uit waarom de complexe teams faalden met behulp van twee specifieke termen:

Prompt Verzadiging: Stel je voor dat je een chauffeur de weg probeert te wijzen terwijl je tegelijkertijd 50 verschillende straatnamen schreeuwt. De chauffeur raakt in de war en herhaalt gewoon de laatste naam die hij hoorde. De AI deed dit: ze kreeg zoveel extra informatie van het woordenboek dat ze stopte met vertalen en gewoon het woordenboek terug echode.
Brosheidspropagatie: Stel je voor dat je een spelletje "Telefoontje" speelt. Als de eerste persoon een woord net iets verkeerd fluistert, hoort de volgende persoon het verkeerd, en tegen de tijd dat de boodschap bij de laatste persoon is, is de boodschap onzin geworden. De "Spellingcontrole" in de complexe pipeline maakte kleine fouten, die de "Vertaler" vervolgens probeerde te corrigeren, wat het eindresultaat slechter maakte dan wanneer de spellingcontrole er nooit was geweest.

De Kernboodschap

Als je oude, rommelige manuscripten wilt vertalen:

Gebruik niet de grootste, duurste AI. Gebruik een kleinere, gespecialiseerde AI die specifiek is getraind op oud handschrift.
Houd het simpel. Voeg geen extra stappen toe zoals spellingcontrole of woordenboekopzoekingen. Laat de gespecialiseerde robot de afbeelding lezen en deze direct vertalen. Het toevoegen van meer stappen introduceert alleen maar meer kansen dat het systeem in de war raakt en fouten maakt.

Het papier concludeert dat voor deze specifieke, moeilijke taak, simpel echt beter is.

Technische Samenvatting: Evaluatie van Vertaalpijplijnen voor Middeleeuwse Latijnse Manuscripten

Probleemstelling

Middeleeuwse Latijnse manuscripten dienen als fundamentele primaire bronnen voor de Europese geschiedenis, filosofie en recht, maar het overgrote deel blijft ongetranscribeerd en onvertaald vanwege een "paleografische barrière". Dit domein vormt een unieke stresstest voor Natural Language Processing (NLP) en Vision Language Models (VLMs) omdat het een combinatie is van laag-resource transliteratie, archaïsche vocabulaire, scribale afkortingen, niet-gestandaardiseerde ligaturen en ruisgevoelige inputsignalen door degradatie van perkament.

Huidige benaderingen vertrouwen doorgaans op een meerfasige pijplijn: Optical Character Recognition (OCR), post-OCR correctie en semantische vertaling. Er ontbreekt echter een systematische evaluatie met betrekking tot de vraag hoe deze componenten geïntegreerd moeten worden in een end-to-end (E2E) pijplijn. Cruciale vragen blijven onopgelost:

Presteert modelspecialisatie beter dan enorme parameterschaal in historische paleografie?
Presteren complexe, multi-component pijlijnen (bijv. die gebruikmaken van Retrieval-Augmented Generation of post-OCR correctie) consistent beter dan simpelere baselines op ruisige historische data?

Bestaande benchmarks falen vaak in het vatten van de volledige complexiteit van de taak. Sommige vertrouwen op schone, vooraf getranscribeerde tekst (waarbij de OCR-uitdaging wordt omzeild), terwijl andere het gebrek hebben aan uitgelijnde beeld-naar-vertaling triplets die noodzakelijk zijn voor een granulair foutenonderzoek.

Methodologie

Dataconstructie: De Interpres-Parallel-Corpus (IPC)

Om het gebrek aan uitgelijnde data aan te pakken, hebben de auteurs de Interpres-Parallel-Corpus (IPC) geïntroduceerd, de eerste tripartite dataset voor middeleeuws Latijn bestaande uit 1.383 uitgelijnde regelafbeeldingen, karakternauwkeurige transcripties en deskundige Engelse vertalingen.

Bronnen: De manuscriptregelafbeeldingen werden afkomstig van het HTRomance-project, met een focus op vier literaire werken: Ovidius' Metamorphoses, Catullus' Poems, Cicero's Tusculan Disputations en Quintilianus' Institutio Oratoria.
Uitlijning: Deze werden uitgelijnd met grondwaarheid-transcripties en gezaghebbende vertalingen uit de Perseus Digital Library en Project Gutenberg met behulp van Gemini 3 Pro voor semantische matching, beperkt door sliding windows om cross-chapter drift te voorkomen.
Fair Arena Protocol: Om de statistische integriteit over commerciële VLMs te waarborgen (die mogelijk weigeren ruisige tekst te verwerken vanwege veiligheidscontroles), beperkten de auteurs de geaggregeerde metrieken tot een "Fair Arena" subset van 1.003 samples die succesvol door alle pijplijnconfiguraties zijn verwerkt. Deze subset werd geverifieerd om een representief moeilijkheidsniveau te behouden met betrekking tot character error rates (CER) en linguïstische complexiteit.

Experimenteel Framework

De studie evalueerde vijf pijplijntopologieën, waarbij de input progressief werd uitgebreid naar een GPT-4o vertaal-backend:

P0 (Baseline): Alleen de manuscriptafbeelding.
P1 (OCR): Afbeelding + ruwe OCR-tekst.
P2 (+Correctie): Afbeelding + ruwe OCR-tekst + door ByT5 gecorrigeerde tekst.
P3 (+RAG): Afbeelding + ruwe OCR-tekst + via reranking geordende retrieval-context uit historische woordenboeken en parallelle teksten.
P4 (Volledig): Afbeelding + ruwe OCR-tekst + correctie + RAG.

De evaluatie vergeleek diverse OCR-engines, waaronder traditionele modellen (Tesseract, PaddleOCR), massieve algemene purpose-modellen (DeepSeek-OCR, Mistral-OCR-3) en domeinspecifieke modellen (TrOCR-Medieval-Base, TRIDIS).

Belangrijkste Bijdragen

De Interpres-Parallel-Corpus (IPC): Een nieuwe benchmark van 1.383 uitgelijnde beeld-transcriptie-vertaling triplets, wat de eerste systematische evaluatie mogelijk maakt van de volledige beeld-naar-vertaling pijplijn voor middeleeuws Latijn.
Mechanistische Verklaring van de Specialisatiekloof: Het artikel toont aan dat domeinspecifieke OCR-modellen aanzienlijk beter presteren dan massieve algemene VLMs, ondanks het hebben van orders van grootte minder parameters. Deze voorsprong wordt toegeschreven aan "geleerde paleografische priors" verworven door training op gespecialiseerde corpora (bijv. CATMuS Medieval, TRIDIS) in plaats van loutere schaal.
Identificatie van de Complexiteitsparadox: De studie onthult dat het toevoegen van complexiteit (correctiemodules of RAG) de vertaalkwaliteit niet betrouwbaar verbetert. Sterker nog, de eenvoudigste pijplijn (Gespecialiseerde OCR $\to$ VLM) presteert beter dan alle multi-component varianten.
Formele Foutentaxonomie: De auteurs bieden de eerste formele taxonomie voor fouten in historische vertaalpijlijnen, waarbij twee verschillende mechanismen worden gekarakteriseerd:
- Prompt Saturation (Prompt Verzadiging): Een hoge dichtheid aan retrieval-context leidt de generator af, wat resulteert in "copy-back" gedrag waarbij het model bron-tokens herhaalt in plaats van te vertalen.
- Brittleness Propagation (Brosheid-propagatie): Karakter-niveau repetitielussen geïntroduceerd door correctielagen interfereren met downstream semantische redenering, wat de vertaalkwaliteit verslechtert.

Resultaten

De Specialisatiekloof

Benchmarks op de CATMuS Latijnse dataset toonden aan dat gespecialiseerde modellen een Character Error Rate (CER) bereiken die tot 4,3× lager is dan die van de grootste dedicated OCR-gerichte VLMs (bijv. DeepSeek-OCR).

TrOCR-Medieval-Base behaalde een CER van 14,6%, waarmee het modellen met meer dan 3 miljard parameters significant verslaat.
Massieve algemene purpose-modellen faalden vaak in het interpreteren van scribale afkortingen en ligaturen, wat bevestigt dat voor hoog-ruisige historische domeinen gespecialiseerde blootstelling waardevoller is dan model schaal.

De Complexiteitsparadox

In de E2E pijplijn evaluatie (Fair Arena subset, N=1.003):

P1 (Alleen OCR) behaalde de hoogste gemiddelde ChrF score van 26,00.
Het toevoegen van correctie (P2: 25,83), RAG (P3: 25,38), of beide (P4: 25,58) leverde geen statistisch betrouwbare winst op ten opzichte van de eenvoudige baseline.
Hoewel P4 competitief bleef op semantische metrieken, woog de geaggregeerde complexiteitsoverhead niet op tegen de voordelen.
Ruisgevoeligheid: Alle pijplijntopologieën vertoonden vrijwel identieke degradatiehellingen tegenover OCR-ruis (ongeveer -5 ChrF per CER punt), wat aangeeft dat de diepte van de pijplijn de impact van upstream ruis niet mitigeert.

Foutanalyse

RAG (P3): Veroorzaakte vaak "echo-fouten" waarbij het model de semantische vertaling oversloeg om direct de opgehaalde woordenboekdefinities of brontekst te outputten, vooral wanneer de retrieval-dichtheid hoog was.
Correctie (P2/P4): De ByT5-correctielaag introduceerde repetitie-artefacten in 0,60% van de samples, wat een gemiddelde straf van 7,15 ChrF punten veroorzaakte. Deze artefacten propageerden naar de VLM en corrumpeerden de uiteindelijke vertaling.

Betekenis en Claims

Het artikel claimt dat voor de vertaling van middeleeuwse manuscripten modelspecialisatie en pijlijnsimpliciteit doorslaggevend zijn.

Specialisatie boven Schaal: Huidige generieke VLMs zijn nog niet in staat om gespecialiseerde historische OCR-systemen te vervangen. De "specialisatiekloof" wordt gedreven door geleerde priors van paleografische corpora, die algemene modellen niet louter door schaling kunnen verwerven.
Simpliciteit boven Complexiteit: Complexe multi-component pijlijnen kunnen lijden onder foutpropagatie en prompt verzadiging die de geaggregeerde vertaalkwaliteit verslechteren. De auteurs stellen dat het OCR-integratieprobleem een probleem is van pijlinarchitectuur in plaats van componentvervanging.
Praktische Richtlijnen: De bevindingen bieden praktische richtlijnen voor het inzetten van vertaalingssystemen in laag-resource historische settings, waarbij wordt gesuggereerd dat een gespecialiseerd OCR-model dat direct een VLM voedt de meest robuuste configuratie is.

De auteurs concluderen dat toekomstige vooruitgang in historische vertaling fundamenteel verbonden is met verbeteringen in vision-modellen (OCR) in plaats van de toevoeging van downstream correctie- of retrieval-lagen. Zij verbinden zich aan het open-sourcen van de IPC om transparante en reproduceerbare benchmarking in dit domein te bevorderen.