A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents

Deze studie toont aan dat de evaluatiemethoden voor OCR-systemen, die zich voornamelijk richten op moderne westerse documenten, historische Black newspapers structureel onzichtbaar maken en representatieschade veroorzaken door het negeren van specifieke uitdagingen zoals kolapsende kolommen en typografische fouten.

De kern

Samenvatting: Waarom de "digitale bril" van computers historische kranten niet goed kan lezen

Stel je voor dat je een heleboel oude, vergeelde kranten uit de 19e eeuw hebt. Deze kranten zijn geschreven door en voor de Afro-Amerikaanse gemeenschap, zoals The North Star of Freedom's Journal. Ze zijn belangrijk, maar ze zijn ook beschadigd door de tijd: de inkt is vervaagd, de pagina's zijn scheef gescand en ze staan vol met complexe opmaak, zoals veel kolommen naast elkaar en oude lettertypes.

Nu willen we computers (OCR-systemen) leren om deze kranten te lezen en te digitaliseren. Maar volgens dit onderzoek is er een groot probleem: de computers zijn getraind om moderne, nette documenten te lezen, en ze falen volledig bij deze historische schatten.

Hier is de uitleg, vertaald naar alledaags taalgebruik:

1. De "Rijbewijstest" is verkeerd

Stel je voor dat je een auto wilt leren rijden. Je geeft de student een rijbewijstest, maar de test bestaat alleen uit het rijden op een lege, moderne snelweg met perfecte wegwijzers.

• Het probleem: De studenten (de AI-computers) halen die test met vlag en wimpel. Ze zeggen: "Ik kan perfect rijden!"
• De realiteit: Als je diezelfde student nu op een oud, kasseienweggetje in een historische stad zet, met smalle steegjes en onduidelijke borden, valt de auto uit elkaar.
• In de paper: De "tests" (benchmarks) die AI-systemen gebruiken, bestaan uit moderne zakelijke documenten en wetenschappelijke artikelen. Ze meten alleen of de letters correct zijn overgeschreven (zoals het tellen van fouten in een zin). Ze kijken niet of de computer begrijpt hoe de tekst is opgebouwd.

2. Het "Kolom-chaos"

Historische kranten, vooral die van de Black Press, hadden vaak 5 of 6 kolommen naast elkaar. De tekst sprong van de ene kolom naar de andere op een manier die logisch was voor de lezer van toen, maar raar voor een computer.

• De analogie: Het is alsof je een boek leest waarbij je niet van links naar rechts hoeft te gaan, maar eerst de bovenste regel van kolom 1, dan de bovenste regel van kolom 2, enzovoort.
• Wat de computer doet: De computer denkt: "Oh, ik lees gewoon van links naar rechts, van boven naar beneden." Hierdoor leest hij de tekst door elkaar. Hij leest een gedicht dat in kolom 1 staat, en plakt daar direct de nieuwsbericht uit kolom 2 aan vast.
• Het gevolg: De computer zegt: "Ik heb 95% van de letters correct overgeschreven!" Maar de betekenis is volledig verloren gegaan. Het is alsof je een recept voor een taart hebt, maar de instructies staan door elkaar met een recept voor soep. De letters zijn er, maar het gerecht is on eetbaar.

3. De "Geest van de machine" (Hallucinaties)

Soms zijn de oude kranten zo beschadigd dat de letters moeilijk te lezen zijn. Moderne AI-systemen zijn zo slim dat ze proberen de gaten in te vullen met wat ze denken dat er moet staan.

• De analogie: Stel je voor dat je een oud, onleesbaar briefje probeert te ontcijferen. Je ziet een vlek die lijkt op de letter 'A', maar je weet het niet zeker. Een slimme, maar arrogant persoon zou zeggen: "Dat is zeker een 'A', want in deze context hoort een A te staan."
• Het gevaar: De computer "hallucineert" woorden die er nooit hebben gestaan. Hij maakt een verhaal dat logisch klinkt, maar historisch onwaar is. Dit is gevaarlijk voor de geschiedenis, omdat we straks denken dat de computer de waarheid heeft gevonden, terwijl hij eigenlijk een verhaal heeft verzonnen.

4. Waarom gebeurt dit? (De "Onzichtbaarheid")

De schrijvers van dit onderzoek zeggen dat dit niet per se een technisch probleem is, maar een sociaal en organisatorisch probleem.

• De oorzaak: De mensen die de datasets (de "leermateriaal") voor de computers verzamelen, kiezen vaak voor wat makkelijk en groot is (zoals miljoenen moderne PDF's). Ze vergeten de kleine, historische kranten van minderheidsgroepen.
• Het resultaat: Omdat deze kranten niet in de "leermateriaal" zitten, en omdat de "tests" niet vragen of de computer deze kranten kan lezen, worden ze genegeerd. Het is alsof je een school bouwt waar alleen kinderen met bruine ogen leren lezen, en je vergeten bent dat er ook kinderen met blauwe ogen zijn. De school werkt perfect voor de bruine ogen, maar faalt voor de rest.

De conclusie in één zin

We bouwen steeds slimmere computers die tekst kunnen lezen, maar we testen ze alleen op de "standaard" wereld. Hierdoor worden de verhalen van historische gemeenschappen (zoals de Afro-Amerikaanse pers) onzichtbaar gemaakt of vervormd, omdat de computers niet zijn getraind om de unieke, complexe en beschadigde vorm van die verhalen te begrijpen.

Wat moet er gebeuren?
We moeten de "rijbewijstest" voor computers veranderen. We moeten ze laten testen op die oude, beschadigde kranten. Als ze die niet kunnen lezen, moeten we zeggen: "Je bent nog niet klaar," in plaats van: "Je bent een genie." Alleen dan kunnen we de echte geschiedenis bewaren, in plaats van een computer-versie die er mooi uitziet, maar de ziel mist.

Technische samenvatting

Probleemstelling

Het artikel identificeert een fundamenteel tekortkoming in de evaluatie van Optical Character Recognition (OCR) en documentbegripssystemen. Hoewel deze systemen steeds meer vertrouwen op grote visuele en visueel-taalmodellen (VLMs), blijven evaluatiemethoden en benchmarks sterk gefocust op moderne, westerse en institutionele documenten (zoals zakelijke formulieren en wetenschappelijke papers).

Dit leidt tot de volgende problemen:

• Onzichtbaarheid van historische documenten: Systemen falen vaak bij het interpreteren van historische en gemarginaliseerde archieven, zoals die van de Black Press (zwarte kranten).
• Beperkte evaluatiemetrics: De dominante metrics, zoals Character Error Rate (CER) en Word Error Rate (WER), meten alleen de string-edit-afstand. Ze straffen geen structurele fouten af, zoals het verlies van kolombreedte, het door elkaar halen van leesvolgorde in meerkolomsopstellingen, of het hallucineren van tekst. Een model kan een perfecte CER-score behalen terwijl het de semantische structuur van een krant volledig vernietigt.
• Representatieve schade: Door het ontbreken van specifieke evaluatie voor historische typografie (bijv. Victoriaanse en Gotische lettertypes) en fysieke degradatie (microfilm-schade, vlekken), worden deze documenten voor AI-systemen "onleesbaar" of worden ze met fouten getranscribeerd die de historische context en politieke betekenis verstoren.

Methodologie

De auteurs voerden een systematisch literatuuronderzoek uit volgens de PRISMA 2020-richtlijnen, gericht op papers en benchmarks gepubliceerd tussen 2006 en 2025.

1. Zoekstrategie: Er werden 80 papers geselecteerd uit zes databases (ACM, IEEE, arXiv, etc.) met zoekopdrachten gericht op OCR-evaluatie, historische documenten en bias.
2. Selectiecriteria: Papers moesten kwantitatieve metrics presenteren, benchmarks analyseren of een overzicht geven van OCR-evaluatieprocessen.
3. Data-extractie: Er werd gekeken naar modelarchitectuur, trainingsdata-bronnen, transparantie van data, taaldekking en dekking van historische documenten.
4. Case Study: Om de theoretische bevindingen te verifiëren, werd een kwalitatieve analyse uitgevoerd op een pagina uit The Weekly Advocate (1837), een van de eerste Afro-Amerikaanse kranten. Drie verschillende systemen werden getest:
   • Tesseract v5: Traditionele hybride pijplijn.
   • Surya: Moderne, layout-gecentreerde systeem.
   • olmOCR 2: State-of-the-art Vision-Language Model (VLM).

Belangrijkste Bijdragen

Het artikel levert drie hoofdcontributies:

1. Systematische Analyse: Een grondig overzicht van hoe OCR-systemen worden getraind en geëvalueerd, met een nadruk op de disconnectie tussen trainingsdata (vaak synthetisch of modern zakelijk) en de realiteit van historische archieven.
2. Argumentatie voor Structurele Fouten: Het bewijs dat huidige evaluatiesystemen structurele en layout-fouten (zoals kolaps van kolommen en typografische fouten) niet detecteren, ondanks hoge scores op karakterniveau.
3. Case Study van de Black Press: Een concreet voorbeeld dat laat zien hoe evaluatieblinde vlekken leiden tot significante, ongerapporteerde fouten die de integriteit van historische archieven schaden.

Resultaten

De analyse van 13 grote OCR-systemen en 7 benchmarks (zoals OCRBench, DocVQA, OmniDocBench) leverde de volgende bevindingen op:

• Trainingsdata Bias: De meeste modellen (zoals LayoutLMv3, DocFormer) zijn getraind op datasets zoals IIT-CDIP (voornamelijk Amerikaanse zakelijke documenten uit de 20e eeuw) of synthetische data. Historische Black newspapers, gemeenschapspublicaties en niet-westerse lay-outs ontbreken bijna volledig.
• Evaluatiekloof: Slechts drie systemen rapporteren kwantitatieve resultaten voor historische scans. Modellen die goed presteren op moderne PDF's, zakken vaak in op historische scans (bijv. olmOCR 2 daalt van 82,3% op wiskundescans naar 47,7% op algemene historische scans).
• Foutpatronen in de Case Study:
  • Tesseract v5: Interpreteerde verticale kolomlijnen als tekst en volgde een verkeerde leesvolgorde (Z-patroon), waardoor redactionele content en nieuwsberichten door elkaar werden gehaald.
  • Surya: Triggerde door hoge contrasten in 19e-eeuwse lettertypes tot "token collapse" en generatie van "garbage tokens".
  • olmOCR 2 (VLM): Toonde "correctieve hallucinaties", waarbij het model visuele bewijzen overschreef met hoog-waarschijnlijke tokens uit zijn training, waardoor entiteiten werden vervangen door verzonnen tekst.
• Ontbrekende Metrics: Er is een gebrek aan "metric pluralism". Er zijn geen standaarden om layout-integriteit, leesvolgorde of het behoud van redactionele logica te meten.

Betekenis en Conclusie

Het artikel concludeert dat het probleem niet puur technisch is, maar een kwestie van waardes, resource-allocation en dataset-diversiteit.

• Epistemologisch Impact: De huidige evaluatiepraktijken maken historische Black Press-documenten structureel onzichtbaar. Dit is niet alleen een technische fout, maar een epistemologisch probleem dat de geschiedenis van gemarginaliseerde groepen vervormt.
• Aanbevelingen:
  • Evaluatiebenchmarks moeten historische en gemeenschapsarchieven expliciet opnemen.
  • Er moeten nieuwe metrics worden ontwikkeld die layout-gevoeligheid en fideliteit meten, niet alleen karakternauwkeurigheid.
  • Trainingsdata moet diverser worden gemaakt om inclusief historische typografie en fysieke degradatie te zijn.
• Toekomstvisie: Door Black digitale archieven niet als "edge cases" te behandelen, maar als kernonderdeel van evaluatie, kunnen we OCR-systemen ontwikkelen die cultureel verantwoord zijn en de historische integriteit van deze documenten bewaren.

Kortom, de auteurs pleiten voor een herziening van de iteratieve evaluatiestap in OCR-ontwikkeling om ervoor te zorgen dat systemen niet alleen "lezen", maar ook de culturele en historische context van wat ze lezen respecteren.