Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs

Dit onderzoek analyseert de prestatieverschillen tussen tekst en afbeeldingen in multimodale taalmodellen, identificeert de oorzaken van deze 'modale kloof' en stelt een zelfdistillatiemethode voor die de nauwkeurigheid bij het lezen van tekst in afbeeldingen aanzienlijk verbetert zonder kennisverlies.

De kern

Lezen, niet denken: Waarom multimodale AI soms "blind" wordt voor tekst

Stel je voor dat je een boek leest. Voor een mens maakt het niet uit of je de tekst ziet op een papieren pagina, op een computer scherm, of als een foto van een krant. Je hersenen herkennen de woorden direct en begrijpen de betekenis.

Maar voor moderne kunstmatige intelligentie (AI), specifiek de grote meervoudige modellen (MLLMs), is dit een heel ander verhaal. Deze AI's zijn getraind om tekst te "lezen" als een reeks van codes (tekens) en afbeeldingen te "lezen" als een rooster van pixels.

De onderzoekers van dit paper hebben ontdekt dat deze AI's vaak veel slechter presteren wanneer ze tekst zien als een foto (pixels) dan wanneer ze dezelfde tekst krijgen als een gewoon bestand (codes). Ze noemen dit het "modale kloof" (modality gap).

Hier is wat ze hebben ontdekt, vertaald naar simpele taal met wat creatieve vergelijkingen:

1. Het probleem: De "Schilderij"-valstrik

Stel je voor dat je een wiskundig probleem oplost.

• Situatie A: Je krijgt het probleem als tekst op je scherm. De AI "leest" het direct en rekent het uit.
• Situatie B: Je maakt een foto van datzelfde probleem en geeft die aan de AI.

Het verrassende resultaat? De AI faalt vaak dramatisch in Situatie B. Op sommige wiskundetoetsen daalt hun score met wel 60 punten! Het is alsof een briljante student die een examen in het Nederlands kan maken, ineens verlamd raakt zodra hij de vragen op een foto ziet staan.

2. De oorzaak: Het is niet het "denken", maar het "lezen"

De onderzoekers hebben duizenden fouten geanalyseerd om te begrijpen waarom dit gebeurt. Ze ontdekten twee belangrijke dingen:

• Het is een leesprobleem, geen denkprobleem:
  Stel je voor dat de AI een tolk is die een gesprek vertaalt. Als de tekst als foto wordt gegeven, is de tolk verward door de vorm van de woorden (de lettertypes, de scherpte van de foto), niet door de inhoud.

  • De AI vergeet vaak cijfers of tekens (zoals een min-teken) omdat ze op de foto net iets anders lijken.
  • De AI maakt fouten in de opmaak (waar moet het antwoord staan?).
  • Maar: Als de AI de tekst wel goed heeft gelezen, is haar redenering net zo slim als bij tekst. Ze vergeten geen feiten en hun logica is intact. Het probleem is puur dat ze moeite hebben om de "pixel-woorden" om te zetten in "begrijpelijke woorden".

• De "Denk-kramp" (Chain-of-Thought Collapse):
  Bij tekst geven AI's vaak een stap-voor-stap uitleg: "Eerst doe ik dit, dan dat..." (zoals een mens die hardop nadenkt).
  Bij foto's springen ze echter vaak direct naar het antwoord, zonder na te denken. Het is alsof de AI, zodra ze een foto ziet, haar "denkspier" uitschakelt en hoopt dat ze het antwoord raadt. Dit leidt tot veel rekenfouten.

3. De schuldigen: Lettertypes en Resolutie

De onderzoekers ontdekten dat de manier waarop de tekst op de foto staat, enorm belangrijk is.

• Lettertypes: Als je tekst in een standaard lettertype zet, gaat het redelijk. Zet je het in een "handgeschreven" lettertype (dat de AI zelden heeft gezien tijdens haar training), dan zakt de prestatie drastisch. Het is alsof je iemand vraagt een brief te lezen die in een vreemd handschrift is geschreven; ze raken in paniek.
• Foto's van echte documenten vs. Kunstmatige foto's: Interessant genoeg werken de AI's juist goed op foto's van echte PDF's of Wikipedia-pagina's. Waarom? Omdat ze tijdens hun training al duizenden van die echte documenten hebben gezien. De "kloof" ontstaat vooral bij kunstmatig gegenereerde foto's die er te strak of te anders uitzien dan wat de AI gewend is.

4. De oplossing: Zelf-oefening (Self-Distillation)

Hoe los je dit op zonder de hele AI opnieuw te bouwen? De onderzoekers bedachten een slimme truc: Zelf-oefening.

Stel je voor dat je een student hebt die goed kan rekenen als hij de som op papier ziet, maar faalt als hij een foto van de som ziet.

1. Je laat de AI eerst de som oplossen als tekst (waar ze goed in is) en schrijft haar gedachtegang op.
2. Vervolgens geef je haar dezelfde som, maar nu als foto.
3. Je zegt tegen de AI: "Kijk naar deze foto, maar gebruik je eigen gedachtegang van de tekstversie om het antwoord te vinden."

Door de AI te trainen om haar eigen goede redeneringen over te brengen van de tekst-versie naar de foto-versie, leren ze hoe ze de "pixel-woorden" moeten vertalen naar hun denkproces.

Het resultaat?
De prestaties op de wiskundetoets (GSM8K) gingen van een rampzalige 30% naar een fantastische 92%. De AI kon ineens net zo goed "lezen" op foto's als op tekst, zonder dat ze haar andere vaardigheden verloor.

Conclusie

Deze studie leert ons dat AI's niet "dommer" worden als ze naar foto's kijken; ze worden gewoon "blind" voor de details van de tekst op de foto. Het is een probleem van waarnemen, niet van intelligentie.

Met de juiste training (zoals het oefenen met hun eigen gedachten) kunnen we deze kloof dichten. De boodschap is optimistisch: als we de AI leren om tekst op foto's net zo goed te "lezen" als wij, kunnen we ze veel betrouwbaarder maken voor taken zoals het begrijpen van screenshots, documenten en foto's van borden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs", vertaald en samengevat in het Nederlands.

1. Het Probleem: De Modality Gap

Multimodale Large Language Models (MLLMs) zijn ontworpen om zowel tekst als afbeeldingen te verwerken. Een opvallend fenomeen is echter dat deze modellen aanzienlijk slechter presteren wanneer tekst als een afbeelding (pixels) wordt aangeboden, vergeleken met wanneer dezelfde tekst als token-sequenties wordt ingevoerd. Dit fenomeen staat bekend als de "modality gap".

Hoewel eerdere studies deze kloof hebben gedocumenteerd, ontbreekt er een systematisch begrip van:

• Waarom deze kloof ontstaat.
• Of deze kloof universeel is of afhankelijk van de taak en het data-type.
• Hoe de kloof kan worden overbrugd zonder de modelarchitectuur volledig te herontwerpen.

Een kritisch punt in de bestaande literatuur is dat evaluaties vaak vertrouwen op synthetisch gegenereerde tekstafbeeldingen, wat kan leiden tot vertekende resultaten door rendering-artefacten in plaats van echte perceptuele tekortkomingen.

2. Methodologie

De auteurs voeren een uitgebreide diagnose uit door zeven MLLMs (waaronder Qwen2.5-VL, InternVL3, Pixtral en GPT-5.2) te evalueren op zeven benchmarks. Ze gebruiken vijf verschillende invoermodi om de oorzaken van de prestatiedaling te isoleren:

1. Pure Text: De oorspronkelijke tekst als tokens.
2. Pure Image: De tekst gerenderd als een afbeelding (synthetisch).
3. Instr.+Image: Instructies als tekst, inhoud als afbeelding.
4. OCR-1P (One Pass): Het model moet in één keer tekst extraheren en de taak oplossen.
5. OCR-2P (Two Pass): Een twee-staps proces: eerst tekst extraheren (OCR), daarna de taak oplossen met de geëxtraheerde tekst.

Daarnaast analyseren ze de invloed van rendering-keuzes (lettertype, resolutie, kleurenschema) en voeren ze een gegronde-theorie foutenanalyse uit op meer dan 4.000 fouten om de aard van de mislukkingen te categoriseren.

3. Belangrijkste Bevindingen en Resultaten

A. De kloof is taak- en data-afhankelijk

• Synthetische afbeeldingen: Op synthetische benchmarks (zoals GSM8K voor wiskunde) is de prestatiedaling enorm, soms meer dan 60 punten.
• Natuurlijke documenten: Op realistische documenten (PDF's van arXiv, Wikipedia-schermopnames) presteren de modellen vaak even goed of zelfs beter dan in tekstmodus. Dit suggereert dat de kloof deels het gevolg is van een distributieverschil tussen de synthetische evaluatie-data en de data waarop de modellen zijn getraind.
• Rendering als confounder: De keuze van lettertype en resolutie heeft een enorme impact. Bijvoorbeeld, het gebruik van een handgeschreven lettertype kan de nauwkeurigheid met wel 47 procentpunten verlagen, terwijl standaard lettertypes minder invloed hebben.

B. Foutenanalyse: "Lezen, niet Denken"

De analyse van de 4.000+ fouten onthult een cruciaal onderscheid:

• Perceptuele fouten nemen toe: Fouten in het lezen van de tekst (rekenfouten, formatfouten, het verkeerd interpreteren van cijfers) nemen toe in beeldmodus (met een factor 1,5).
• Kennis en redenering blijven intact: Fouten die te maken hebben met feitelijke kennis of logisch redeneren blijven grotendeels onveranderd.
• Chain-of-Thought (CoT) ineenstorting: Een belangrijke bevinding is dat modellen in beeldmodus veel kortere antwoorden produceren en hun neiging tot stap-voor-stap redeneren (Chain-of-Thought) verliezen. Ze springen direct naar een antwoord zonder de tussenstappen, wat leidt tot meer rekenfouten.

C. OCR is niet de enige boosdoener

De OCR-2P setting (waarbij de tekst eerst wordt geëxtraheerd en dan als tekst wordt verwerkt) herstelt een deel van de prestaties, maar niet volledig. Dit betekent dat de kloof niet alleen wordt veroorzaakt door slechte tekstherkenning (OCR), maar ook door het verminderde vermogen van het model om te redeneren over de visuele input.

4. Oplossing: Zelf-distillatie (Self-Distillation)

Gedreven door de bevinding dat het probleem ligt bij het "lezen" en het "onderdrukken van redenering", stellen de auteurs een zelf-distillatie methode voor:

• Concept: Het model wordt getraind op zijn eigen redeneersporen (Chain-of-Thought) die zijn gegenereerd in tekstmodus, maar gekoppeld aan de beeldinvoer.
• Doel: Het model leert om dezelfde stap-voor-stap redenering toe te passen wanneer het tekst als afbeelding ziet.
• Resultaat:
  • Op de GSM8K-benchmark (wiskunde) steeg de nauwkeurigheid in beeldmodus van 30,71% naar 92,72%, wat bijna gelijkstaat aan de tekstmodus (93,56%).
  • Het aanpassen van alleen de Language Model (LM) component bleek het meest effectief, hoewel aanpassing van de visuele encoder (ViT) ook bijdroeg.
  • Er was geen catastrofale vergetelheid: het model behield zijn prestaties op andere benchmarks (zoals ARC en MMLU) en verbeterde deze zelfs.

5. Significantie en Conclusie

Deze studie biedt een paradigmaverschuiving in het begrijpen van multimodale modellen:

1. Diagnose: De "modality gap" is geen fundamenteel onvermogen van MLLMs om visuele tekst te begrijpen, maar een combinatie van rendering-artefacten (synthetische data die niet overeenkomt met trainingsdata) en een onderdrukking van redeneerprocessen (CoT-collapse).
2. Praktische Implicatie: Het is niet noodzakelijk om de modelarchitectuur volledig te herontwerpen. Door slimme trainingstechnieken (zelf-distillatie) en zorgvuldige evaluatie (gebruik van realistische afbeeldingen in plaats van synthetische) kan de kloof aanzienlijk worden overbrugd.
3. Aanbeveling: Evaluatiebenchmarks moeten de specificaties van rendering (lettertype, resolutie) rapporteren, aangezien deze factoren de resultaten drastisch beïnvloeden.

Kortom, het artikel concludeert dat MLLMs in staat zijn om visuele tekst te "lezen" en te "denken", mits ze worden getraind om de visuele input te koppelen aan hun bestaande redeneerfähigheden, en dat de waargenomen kloof grotendeels een artefact is van evaluatiemethoden en training-distributies.