💬 NLP

Reading or Guessing? Visual Grounding Failures of Vision-Language Models for OCR in Ancient Greek Editions

Dit artikel toont aan dat Vision-Language Modellen (VLM's) die OCR uitvoeren op Oudgriekse teksten vaak steunen op taalkundige priors om vloeiende maar visueel ongegronde fouten te genereren, een faalmodus die zelfs bij interventies tijdens het decoderen blijft bestaan en sterk verschilt van de ruispatronen van traditionele OCR-systemen.

Oorspronkelijke auteurs: Antonia Karamolegkou, Nicolas Angleraud, Benoît Sagot, Thibault Clérice

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Antonia Karamolegkou, Nicolas Angleraud, Benoît Sagot, Thibault Clérice

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer oude, handgeschreven brief te lezen die in het Oudgrieks is geschreven. De inkt is vervaagd, de letters zijn vreemd en de pagina is bedekt met rommelige notities in de marges. Je hebt twee helpers om het voor je te lezen:

De "Oude-chool Scanner" (Traditionele OCR): Dit is als een strenge, letterlijke robot. Hij kijkt naar de inkt op de pagina en zegt: "Ik zie een kladje dat eruitziet als een 'A', dus ik zal een 'A' schrijven." Als de inkt te wazig is, kan hij een willekeurig symbool of een typefout schrijven. Hij raadt niet; hij rapporteert gewoon wat hij ziet, zelfs als het resultaat er rommelig uitziet.
De "Slimme AI-assistent" (Visueel-taalmodel): Dit is als een briljante student die het Oudgrieks perfect kent, maar een beetje lui is om goed naar het papier te kijken. Wanneer hij een wazige plek ziet, denkt hij: "Hmm, gebaseerd op de zin tot nu toe, zou het volgende woord moeten zijn 'koning'." Dus schrijft hij "koning", zelfs als de inkt op de pagina er eigenlijk meer uitzag als "hond".

Dit artikel, getiteld "Lezen of raden? Visuele grondslagen-fouten van visueel-taalmodellen voor OCR in Oudgriekse edities," onderzoekt wat er gebeurt wanneer deze twee helpers proberen moeilijke, low-resource Oudgriekse teksten te lezen.

Hier is wat de onderzoekers vonden, met eenvoudige analogieën:

1. De "Vloeiende Leugen" versus de "Rommelige Waarheid"

Wanneer de Oude-chool Scanner een fout maakt, lijkt het meestal op een typefout of een warboel van letters (bijvoorbeeld "kng"). Het is duidelijk dat er iets mis is gegaan.

Wanneer de Slimme AI-assistent echter een fout maakt, schrijft hij vaak een perfect echt, vloeiend Oudgrieks woord dat gewoon niet is wat er op de pagina stond.

De Analogie: Stel je voor dat de AI een recept leest. Als de ingrediëntenlijst vervaagd is en "meel" zegt, maar de AI weet dat dit recept meestal "suiker" vereist, kan hij zelfverzekerd "suiker" schrijven. Voor een snelle blik ziet de zin er perfect uit. Maar het is eigenlijk een leugen. De AI vertrouwt op zijn geheugen van hoe recepten meestal gaan (zijn "taal-prior") in plaats van naar het specifieke papier voor hem te kijken.

2. De "Magische Inkt"-test

Om dit te bewijzen, speelden de onderzoekers een trucje. Ze namen de tekst, schudden de letters binnen de woorden door elkaar (zodat echte woorden in onzin-gibberik veranderden), en toonden deze onzin vervolgens aan de helpers.

De Oude-chool Scanner: Hij keek naar de onzin en schreef de onzin op. Hij bleef trouw aan het visuele bewijs, zelfs al was het resultaat afval.
De Slimme AI-assistent: Hij keek naar de onzin, raakte in de war en "repareerde" het vervolgens. Hij herschreef de gibberik terug naar echte, vloeiende Griekse woorden. Hij negeerde het visuele bewijs (de door elkaar geschudde letters) en vertrouwde volledig op zijn interne kennis van de taal.

3. Niet alle "Slimme" AI's zijn hetzelfde

De onderzoekers vonden een verrassende draai. Niet alle AI-assistenten gedragen zich op dezelfde manier.

De Generalist AI: Dit zijn de grote, beroemde modellen die voor veel taken worden gebruikt. Zelfs wanneer ze het mis hadden, keken ze nog steeds naar de afbeelding. Ze probeerden de inkt te lezen, maar hun brein was gewoon te enthousiast om het juiste woord te raden.
De Specialist AI: Er was één model dat specifiek was gebouwd voor het lezen van documenten (OlmoOCR). Dit was de ergste overtreders. Wanneer hij een fout maakte, was het alsof hij helemaal niet naar de afbeelding keek. Hij raakte puur op basis van wat hij dacht dat de tekst moest zeggen. Het was als een student die zijn ogen sluit en het schoolboek uit zijn hoofd opzegt, terwijl hij het daadwerkelijke examenpapier negeert.

4. Kunnen we de AI repareren?

De onderzoekers probeerden verschillende "patches" om de AI te dwingen naar de afbeelding te kijken in plaats van te raden:

Het "Woordenschat-omheining": Ze probeerden de AI te vertellen: "Je mag alleen Griekse letters schrijven." Resultaat: Dit maakte de dingen veel erger. De AI raakte in de war en begon onzin te schrijven omdat hij zijn gebruikelijke trucs niet kon gebruiken.
De "Contrast-test": Ze probeerden de AI tegelijkertijd de afbeelding en een wazige versie van de afbeelding te tonen om hem te dwingen zich te concentreren op de details. Resultaat: Dit hielp een beetje voor sommige modellen, maar niet voor de specialist.
De "Naspel-bewerking": Ze lieten de AI eerst zijn antwoord schrijven en lieten vervolgens een tweede AI (een tekst-only editor) de fouten herstellen. Resultaat: Dit werkte goed om de tekst op te schonen, maar het loste het fundamentele probleem niet op. De eerste AI negeerde de afbeelding nog steeds; de tweede AI repareerde de leugen pas nadat deze was verteld.

De Grote Les

De belangrijkste les is dat het feit dat het antwoord van een AI perfect en vloeiend klinkt, niet betekent dat hij het document daadwerkelijk heeft gelezen.

In de wereld van oude geschiedenis en zeldzame documenten is dit gevaarlijk. Als een digitale bibliotheek deze AI-modellen gebruikt om oude Griekse boeken te scannen, kan de AI stilletjes een zeldzaam, obscuur woord vervangen door een gemeenschappelijk, "plausibel" woord. Een historicus die de digitale versie leest, zou nooit weten dat de verandering heeft plaatsgevonden, omdat de zin er nog steeds grammaticaal perfect uitziet.

Het artikel concludeert dat we nieuwe manieren nodig hebben om AI te testen, niet alleen door te controleren of de eindscore hoog is, maar door te controleren of de AI daadwerkelijk "gegrond" is in het visuele bewijs, of dat hij gewoon raadt op basis van wat hij denkt dat er moet staan.

Technische Samenvatting: Lezen of Raden? Visuele Grounding-Fouten van Vision-Language Modellen voor OCR in Kritische Edities van Oudgrieks

Probleemstelling

Recente Vision-Language Modellen (VLM's) hebben bijna menselijke prestaties bereikt in Optische Karakterherkenning (OCR) op standaard benchmarks. Echter, opkomend bewijs suggereert dat deze modellen zwaar vertrouwen op taalkundige priors in plaats van visueel bewijs, waardoor ze semantisch plausibele maar visueel niet-ondersteunde tekst genereren wanneer de linguïstische context wordt verstoord. Hoewel dit fenomeen is onderzocht in settings met veel beschikbare data, blijft het gedrag in historische documenten met weinig beschikbare data onderbelicht.

Dit artikel onderzoekt deze kwestie aan de hand van kritische edities van Oudgrieks, een uitdagend domein gekenmerkt door:

Priors met weinig beschikbare data: Beperkte ondersteuning voor de lexica en opmaakpatronen die tijdens de algemene vooropleiding zijn geleerd.
Complexe lay-outs: Dichte tekst, polytonische scripts (accenten en spiritussen), marginale annotaties en alfabetische cijfers.
Hoge risico's: Fouten bij het digitaliseren van wetenschappelijke edities kunnen downstream-onderzoek stilzwijgend corrumperen.

De kernonderzoeksvragen zijn:

Falen VLM's en traditionele OCR-systemen op verschillende manieren?
In welke mate vertrouwen VLM's op taalkundige priors versus visueel bewijs?
Kunnen interventies op het moment van inferentie visuele grounding herstellen?

Methodologie

De auteurs evalueerden vijf open-weight VLM's (waaronder OCR-specialisten zoals OlmOCR-2-7B en DeepSeek-OCR, en algemene modellen zoals Qwen3-VL-2B/8B) tegen twee traditionele OCR-baselines (Tesseract-grc en Kraken-CLLG) op een dataset van 90 gescande pagina's uit kritische edities van Oudgrieks.

De studie hanteert een veelzijdig analytisch raamwerk:

1. Analyse van Foutverdeling

De auteurs stelden een taxonomie voor fouten op woordniveau vast (acht wederzijds uitsluitende categorieën), waaronder accent/diacritische fouten, karakterverwarring, substitutie tussen scripts, woordsubstitutie, overgeneratie en weglating. Ze analyseerden de Character Error Rate (CER) en Word Error Rate (WER) om onderscheid te maken tussen "ruisachtige" herkenningsfouten en "vloeiende" hallucinaties.

2. Experimenten met Contravante Verstoringen

Om afhankelijkheid van taalkundige priors te isoleren, genereerden de auteurs synthetische stimuli waarbij de tekst op de pagina voor het renderen werd corrumpeerd. De ground truth was de verstoorde string.

Logica: Een visueel geground systeem zou de verstoorde glyphen moeten transcriberen, zelfs als ze nonsens vormen. Een systeem dat vertrouwt op priors zou de tekst moeten "repareren" naar plausibel Grieks, waardoor de foutenrate ten opzichte van de verstoorde ground truth toeneemt.
Verstoringen: Omvatten herschikking op woordniveau (syntactisch) en verwarren op karakterniveau (lexicaal/orthografisch).

3. Token-niveau Analyse van Image Gain

Om grounding mechanistisch te meten, berekenden de auteurs image gain voor elk token:
$\text{gain}(t) = \log p(t \mid \text{image}, \text{prompt}) - \log p(t \mid \text{prompt})$
Deze metric kwantificeert hoeveel het beeld de waarschijnlijkheid van een token verhoogt ten opzichte van een tekst-only baseline. Ze vergeleken dit tussen tokenklassen: correcte tokens, perceptuele fouten (glyph-verwarring), fouten tussen scripts en lexicaal fouten (vloeiende woordsubstituties).

4. Interventies op het Moment van Inferentie

De studie testte drie families van interventies om grounding te herstellen:

Output-beperkingen: Scriptmaskering (beperken van output tot Griekse karakters) en lengte-onthouding (onderdrukken van outputs met onjuiste lengtes).
Contrastieve Decoding: Visuele Contrastieve Decoding (VCD) en Image-free Contrastive Decoding (M3ID) om tokens te bestraffen die waarschijnlijk blijven zonder visuele input.
Post-OCR Correctie: Het gebruik van een tekst-only taalmodel om herkende tekst na generatie te herschrijven.

Belangrijkste Resultaten

1. Divergente Falingsmodi

Traditionele OCR: Fouten zijn voornamelijk lokale herkenningsruis (bijv. leestekens, paginabeslag, karakterverwarring) en blijven nauw verbonden met zichtbare glyphen.
VLM's: Fouten worden gedomineerd door perceptuele oppervlakte-orthografische fouten (accenten/diacritica) en vloeiende lexicaal substituties. VLM's vervangen incorrecte woorden vaak door geldige, in-vocabulaire Oudgriekse woorden, wat leidt tot een aanzienlijk hogere WER/CER-ratio dan traditionele systemen.

2. Bewijs van Priors-afhankelijkheid

Reactie op Verstoring: Bij verstoringen op karakterniveau steeg de foutenrate van VLM's scherp (afwijkend van de verstoorde ground truth), terwijl traditionele OCR relatief trouw bleef.
Model-specifieke Grounding: Token-niveau analyse onthulde dat prior-afhankelijkheid niet universeel is:
- OlmOCR (OCR-specialist): Vertoonde een "low-image-gain" signatuur voor vloeiende lexicaal fouten (mediaan gain 0,17), wat aangeeft dat deze fouten met weinig reliance op het beeld werden geproduceerd (prior override).
- Qwen3-VL (Algemeen doel): Bleef beeld-engaged zelfs wanneer het fout zat. Hun lexicaal fouten hadden een hoge image gain (bijv. 1,97 voor Qwen3-VL-8B), wat suggereert dat ze waren geconditioneerd op de visuele input maar deze verkeerd interpreteerden, in plaats van het beeld te negeren om te raden.
- Fouten tussen scripts: In alle modellen toonden script-mixing fouten (Grieks $\to$ Latijn) de hoogste image gain, wat bevestigt dat ze visueel werden getriggerd.

3. Doeltreffendheid van Interventies

Output-beperkingen: Scriptmaskering veroorzaakte catastrofale prestatiedegradatie (CER steeg 7–10x), en lengte-onthouding bood geen winst terwijl het de dekking verminderde.
Contrastieve Decoding: VCD had geen significant effect. M3ID verbeterde algemene VLM's (Qwen) maar faalde om de OCR-specialist (OlmOCR) te helpen, wat aangeeft dat er geen model-agnostische oplossing bestaat.
Post-OCR Correctie: Dit bood de breedste winst, waarbij fouten voor vijf van de zeven systemen aanzienlijk werden verminderd. Deze verbetering vond echter na generatie plaats, waarbij tekst werd gerepareerd in plaats van het verlies van visuele grounding tijdens decoding te voorkomen.

Betekenis en Beweringen

Het artikel beweert dat vloeiende OCR-outputs geen visuele grounding garanderen. Het vermogen van VLM's om grammaticaal en lexicaal correct Oudgrieks te produceren, kan een fundamentele disconnectie van het visuele bewijs maskeren, vooral in settings met weinig beschikbare data en complexe historische contexten.

Belangrijke bijdragen zijn:

Uitbreiding van eerdere werk: Aantonen dat afhankelijkheid van taalkundige priors zich uitstrekt buiten settings met veel beschikbare data naar historische documenten met weinig beschikbare data en een bredere set modellen.
Gedifferentieerde Grounding-analyse: Aantonen dat "prior override" model-specifiek is. Het is een distinct falingsmodus in OCR-specialist modellen (het negeren van het beeld om te raden) maar niet noodzakelijk in algemene VLM's (die mogelijk nog steeds naar het beeld kijken maar het niet correct interpreteren).
Beperkingen van huidige oplossingen: Vaststellen dat eenvoudige decoding-beperkingen en contrastieve methoden onvoldoende zijn om grounding te herstellen, wat wijst op een diepere mismatch tussen visueel bewijs en generatieve decoding in deze architecturen.

De auteurs concluderen dat evaluatie van multimodale modellen in historische domeinen voorbij moet gaan aan geaggregeerde nauwkeurigheidsmetrics (CER/WER) naar interpretatie-gedreven evaluaties die testen of model-outputs werkelijk zijn geground in het relevante inputbewijs. Ze waarschuwen voor het inzetten van VLM's op onderbelaste cultureel erfgoedmateriaal zonder menselijke verificatie, aangezien vloeiende maar ongegrond fouten gedigitaliseerde corpora stilzwijgend kunnen corrumperen.