Error Patterns in Historical OCR: A Comparative Analysis of TrOCR and a Vision-Language Model
Deze studie vergelijkt TrOCR en Qwen voor het OCR-herkennen van achttiende-eeuwse teksten en concludeert dat hoewel Qwen een lagere foutenratio heeft, TrOCR de historische orthografische nauwkeurigheid beter behoudt, wat aantoont dat modelarchitectuur de aard van fouten en de risico's voor wetenschappelijk gebruik fundamenteel beïnvloedt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een oude, vergeelde brief uit de 18e eeuw probeert te lezen. De inkt is vervaagd, de letters zijn soms raar (zoals een lange 's' die op een 'f' lijkt) en de spelling is heel anders dan vandaag de dag.
Om dit voor ons leesbaar te maken, gebruiken wetenschappers computers die tekst kunnen "zien" en herschrijven. Dit heet OCR (Optical Character Recognition). Maar hoe goed zijn die computers eigenlijk?
In dit onderzoek kijken twee onderzoekers naar twee verschillende soorten "computerlezers" en kijken ze niet alleen naar hoeveel fouten ze maken, maar vooral naar wat voor soort fouten het zijn.
Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:
De Twee Kampioenen: De "Foto-Vertaler" vs. De "Slimme Verteller"
De onderzoekers vergelijken twee modellen:
TrOCR (De Foto-Vertaler):
- Hoe het werkt: Dit model is als een zeer nauwkeurige fotograaf die alleen kijkt naar wat er op het papier staat. Het probeert elke letter exact na te tekenen, zoals hij die ziet.
- Zijn kracht: Hij is trouw aan de originele tekst. Als er een rare oude letter staat, schrijft hij die ook zo op.
- Zijn zwakte: Als de foto een beetje wazig is, raakt hij in paniek. Hij maakt dan een foutje, en dat foutje zorgt ervoor dat hij de rest van de zin ook verkeerd begrijpt. Het is alsof je een rijtje dominostenen duwt: één foutje en alles valt om.
Qwen (De Slimme Verteller):
- Hoe het werkt: Dit is een heel groot, slim model dat niet alleen naar de letters kijkt, maar ook "weet" hoe taal werkt. Het is alsof je een slimme vertaler hebt die de context begrijpt. Als hij een vage letter ziet, denkt hij: "Ah, dit moet 'futurity' zijn, want dat past bij de zin."
- Zijn kracht: Hij maakt veel minder fouten in totaal. Hij is heel goed in het oplossen van wazige plaatjes.
- Zijn zwakte: Soms is hij te slim. Hij denkt dat hij de tekst moet verbeteren. Als er in de oude tekst "Antient" staat (een oude spelling voor "Ancient"), schrijft hij automatisch "Ancient". Hij "verbetert" de geschiedenis zonder dat je het merkt.
Het Grote Geheim: Het gaat niet om het aantal fouten
Vaak kijken mensen alleen naar het cijfer: "Welk model maakt de minste fouten?"
In dit onderzoek bleek dat Qwen inderdaad minder fouten maakt dan TrOCR. Maar dat is niet het hele verhaal!
- TrOCR's fouten zijn als zichtbare krassen op een schilderij. Je ziet ze meteen en je kunt ze makkelijk repareren. Maar als hij een lange zin moet lezen, kan hij in een reeks fouten belanden.
- Qwen's fouten zijn als verf die iemand heeft overgeschilderd. De tekst ziet er netjes uit en leest makkelijk, maar de oorspronkelijke kleur (de historische waarheid) is verdwenen. Je merkt het niet dat het fout is, omdat het woord er nog steeds "goed" uitziet.
Waarom is dit belangrijk voor historici?
Stel je voor dat je een oude wet onderzoekt.
- Als TrOCR een fout maakt, schrijft hij misschien "koning" als "koningin" omdat de 'g' en 'n' op elkaar lijken. Dat is een duidelijke fout die je kunt oplossen.
- Als Qwen een fout maakt, schrijft hij misschien "koning" als "vorst". Dat klinkt ook goed, maar het verandert de betekenis van de wet. Omdat het woord "vorst" een echt bestaand woord is, denkt niemand dat er een fout is. De geschiedenis wordt onbewust aangepast.
De Conclusie: Kies je gereedschap met je ogen open
De onderzoekers zeggen: "Er is geen perfecte machine."
- Wil je de tekst exact zoals hij eruit zag, met alle rare oude spellingen en krassen? Kies dan voor de Foto-Vertaler (TrOCR), maar wees bereid om veel handmatig te corrigeren.
- Wil je een snel en leesbaar resultaat en vind je het niet erg als de computer soms een beetje "moderniseert"? Kies dan voor de Slimme Verteller (Qwen).
De belangrijkste les:
Je kunt niet alleen kijken naar het cijfer (hoeveel fouten). Je moet weten hoe de computer denkt. Als je niet weet dat een computer de geschiedenis "verbetert", kun je per ongeluk een vals verhaal over de geschiedenis creëren.
Het is net als het kiezen van een vertaler: soms wil je iemand die letterlijk vertaalt (en rare zinnen maakt), en soms wil je iemand die de geest van de tekst overbrengt (maar soms details weglaat). Voor historische documenten moet je weten welke kant je op wilt, zodat je niet per ongeluk de waarheid uit de tekst haalt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.