💬 NLP

Encoded but Not Routed: Explaining the Table-Chart Gap in Scientific Claim Verification

Dit artikel onderzoekt het prestatieverschil in de verificatie van wetenschappelijke beweringen tussen tabel- en grafiekevidentie, waarbij wordt onthuld dat multimodale LLM's grafiekinformatie succesvol coderen in intermediaire lagen maar er niet in slagen deze naar de voorspellingspositie te routeren, wat wijst op een tekortkoming in de routering in plaats van in de codering.

Oorspronkelijke auteurs: Sunisth Kumar, Xanh Ho, Tim Schopf, Andre Greiner-Petter, Florian Boudin, Akiko Aizawa

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sunisth Kumar, Xanh Ho, Tim Schopf, Andre Greiner-Petter, Florian Boudin, Akiko Aizawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechter bent die moet beslissen of de bewering van een wetenschapper waar is. Je hebt twee stukken bewijs: een spreadsheet (een tabel) en een grafiek (een diagram) die exact dezelfde getallen laten zien.

Je zou verwachten dat een slim computerprogramma (een Multimodale AI) dezelfde beslissing neemt, ongeacht of het naar de spreadsheet of de grafiek kijkt. Maar hier is het probleem: de AI is erg goed in het lezen van de spreadsheet, maar raakt vaak in de war door de grafiek, ook al is de data identiek.

Dit artikel vraagt zich af: Waarom gebeurt dit?

Is de AI "blind" voor de grafiek (kan hij de data niet zien)? Of is de AI "afgeleid" (ziet hij de data wel, maar vergeet hij deze te gebruiken bij het nemen van de uiteindelijke beslissing)?

Het Onderzoek: In de Black Box Kijken

De onderzoekers behandelden de AI als een mysterieus object. In plaats van de AI alleen om een antwoord te vragen, keken ze laag voor laag in zijn "brein" om te zien hoe informatie reist. Ze gebruikten twee belangrijke hulpmiddelen:

De "Lineaire Probe" (De zaklamp van een detective):
Stel je voor dat het brein van de AI een lange gang is met veel kamers (lagen). De onderzoekers plaatsten een kleine detective (een probe) in elke kamer om te vragen: "Weet je het antwoord al?"
- De bevinding: Wanneer de AI naar een diagram keek, vond de detective het antwoord verborgen in de middelste kamers. De informatie was er zeker! Echter, tegen de tijd dat de informatie de allerlaatste kamer bereikte (waar het uiteindelijke antwoord wordt opgeschreven), was het verdwenen.
- De analogie: Het is als een chefkok die de groenten perfect snijdt (de data codeert), maar dan vergeet de groenten in de soep te doen voordat hij het serveert. De ingrediënten waren er wel, maar ze hebben het uiteindelijke gerecht niet gehaald.
De "Attention Map" (Het volgen van de blik):
De onderzoekers volgden ook waar de AI naar "keek" toen hij een beslissing nam.
- De bevinding: Ze ontdekten twee verschillende soorten "vergeten", afhankelijk van welke AI-familie ze testten:
  - De "Afgewende Blik" (Qwen-modellen): Deze modellen keken nauwelijks naar het diagram. Ze wierpen een blik op de grafiek en richtten hun aandacht onmiddellijk op de tekst, waarbij ze het visuele bewijs volledig negeerden. Het is als een student die een toets maakt die even naar de diagram kijkt, maar alleen de vraag leest en de cruciale afbeelding mist.
  - De "Afgeleide Blik" (InternVL-model): Dit model keek wel naar het diagram. Het staarde recht naar de data. Maar zelfs hoewel het de cijfers zag, kon het de link niet leggen met het uiteindelijke antwoord. Het is als een student die de diagram intensief bestudeert, maar vervolgens in de war raakt bij het schrijven van de essay, waardoor hij de aantekeningen die hij net maakte, niet kan gebruiken.

De Grote Conclusie

Het artikel concludeert dat de AI niet "blind" is voor diagrammen. De informatie wordt succesvol vastgelegd en opgeslagen in het midden van het brein van de AI. Het probleem is de routing (de route).

Denk aan het brein van de AI als een druk kantoor:

Tabellen zijn als een memo die wordt gestempeld, gearchiveerd en direct naar het bureau van de baas wordt bezorgd.
Grafieken zijn als een memo die wordt gestempeld en gearchiveerd, maar vervolgens verloren gaat in de postkamer. De baas ziet het nooit, ook al is de postkamer het wel in bezit.

De onderzoekers ontdekten dat voor grafieken de informatie wordt gecodeerd, maar faalt in het bereiken van de "voorspellingspositie" waar de uiteindelijke beslissing wordt genomen. Het is een falen van hoe de informatie wordt geleverd, en niet een falen van hoe de informatie wordt gezien.

Samenvatting in één zin

De AI kan het diagram "zien" en de data opslaan, maar hij slaagt er niet in die informatie over te dragen aan het deel van zijn brein dat de uiteindelijke beslissing neemt, waardoor hij slechter presteert op grafieken dan op tabellen.

Technische Samenvatting: Gecodeerd maar niet Gerouteerd

Probleemstelling

Multimodale Large Language Models (VLMs) worden steeds vaker ingezet voor wetenschappelijke bewijsverificatie, een taak die vereist om te bepalen of een bewering wordt ondersteund of weerlegd door bewijs in wetenschappelijke artikelen. Voorgaand onderzoek heeft een aanzienlijk prestatieverschil vastgesteld: modellen presteren substantieel beter wanneer bewijs wordt gepresenteerd als een tabel vergeleken met wanneer het wordt gepresenteerd als een grafiek, zelfs wanneer de onderliggende gegevens identiek zijn.

De centrale vraag die dit artikel behandelt, is of dit "tabel-grafiek gat" voortkomt uit een perceptiefalendheid (het model slaagt er niet in om visuele informatie uit grafieken te extraheren of te coderen) of een utilisatiefalen (het model codeert de informatie, maar slaagt er niet in deze effectief te routeren naar de voorspellingsfase). Het onderscheid tussen deze twee is cruciaal, omdat ze fundamenteel verschillende interventies vereisen (bijv. betere visuele encoders versus architecturale wijzigingen aan de informatie-routering).

Methodologie

De auteurs hanteren een diagnostische aanpak met behulp van laag-specifieke lineaire probing en attentie-analyse op drie open-source VLMs (Qwen2.5-VL-7B, Qwen2.5-VL-32B en InternVL3-8B) uit twee verschillende modelfamilies.

Dataset: De studie maakt gebruik van SciTabAlign+, een inhoudelijk gecontroleerde benchmark die 162 unieke wetenschappelijke claims koppelt aan semantisch equivalent bewijs in twee formaten: gestructureerde JSON-tabellen en vier varianten van grafieken (basis staafdiagram, symbool staafdiagram, lijngrafiek en verwisselde grafieken).
Lineaire Probing:
- Doel: Om te bepalen of relevante taken-signalen (Ondersteund/Weerlegd) decodeerbaar zijn uit de tussenliggende verborgen toestanden (hidden states).
- Instellingen: Probes worden getraind bij elke laag $l$ $l$ met twee aggregatiestrategieën:
  - Last-token: Gebruikmakend van de verborgen toestand van de laatste input-token (de voorspellingspositie).
  - Mean-pool: Het middelen van verborgen toestanden over alle input-tokens om gedistribueerde informatie te vangen.
- Controle: Probes worden ook getraind op enkel de tekst van de claim om lekkage van tekstuele informatie uit te sluiten.
- Metriek: Richting-gecorrigeerde Area Under the Receiver Operating Characteristic Curve (AUROC).
Attentie-analyse:
- De auteurs berekenen het deel van de aandacht dat de laatste token richt op beeld-tokens, genormaliseerd door de proportionele baseline (de ratio van beeld-tokens ten opzichte van het totaal aantal tokens).
- Dit meet of het model aandacht besteedt aan grafiekbewijs in verhouding tot de aanwezigheid ervan in de input.
Chain-of-Thought (CoT) Ablatie:
- Modellen worden geprompt om de grafiek verbaal te beschrijven voordat ze een voorspelling doen, om te testen of expliciete verbalisering de kloof kan overbruggen.

Belangrijkste Resultaten

1. Grafiekinformatie is gecodeerd maar niet gerouteerd

De primaire bevinding is dat grafiek-relevante signalen herstelbaar zijn uit intermediaire representaties, maar falen om de voorspellingspositie te bereiken.

Mean-pool vs. Last-token: Mean-pooled probes bereiken een hoge AUROC (84–89%) op grafiekvarianten over alle modellen heen, wat aanzienlijk beter is dan de last-token probes (64–73%). In tegen testelling hiermee vertonen tabellen het tegenovergestelde patroon, waarbij last-token probes beter presteren.
Dissociatie: Een lineaire classifier getraind op mean-pooled representaties presteert vaak beter dan de eigen inferentie-accuratesse van het model op grafiekvarianten (bijv. InternVL3-8B: 79,0% probe-accuratesse versus 56,2% model-accuratesse). Dit bevestigt dat de informatie aanwezig is in de interne toestanden van het model, maar niet effectief wordt benut voor de uiteindelijke beslissing.

2. Distinctieve faalmodi per modelfamilie

De attentie-analyse laat zien dat de "routeringsfout" zich verschillend manifesteert afhankelijk van de modelarchitectuur:

Qwen Familie (Routeringsfout): Deze modellen vertonen een ernstig attentie-routeringsfalen. In de laatste laag besteden ze slechts 4–11% van de proportionele baseline aan aandacht voor beeld-tokens. Het grafiekbewijs wordt grotendeels gepasseerd bij het vormen van de voorspelling.
InternVL3-8B (Integratiefalen): Dit model behoudt een bijna proportionele aandacht voor beeld-tokens (93% van de baseline) gedurende de meeste lagen. Desondanks presteert het nog steeds niet beter dan zijn mean-pool probe. Dit suggereert een post-attentie integratiefalen: het model besteedt aandacht aan de grafiek, maar faalt in het integreren van die geattendeerde informatie in de uiteindelijke voorspellingslogica.

3. Impact van Chain-of-Thought

De CoT-ablatie onderscheidt de faalmodi verder:

Qwen Modellen: CoT-prompting verslechtert de prestaties (macro-F1 daalt met 3,3–13,5%). Omdat deze modellen niet naar de grafiek kijken (attenderen), leidt het dwingen tot verbalisatie van de inhoud tot hallucinaties en onbetrouwbare beschrijvingen.
InternVL3-8B: CoT-prompting verbetert de prestaties (macro-F1 stijgt met 4,6). Dit geeft aan dat het model de grafiekinhoud kan toegankelijk maken en beschrijven, maar deze niet spontaan gebruikt voor de voorspelling zonder expliciete instructie.

Betekenis en Bijdragen

Het artikel herformuleert het tabel-grafiek gat niet als een falen van codering (perceptie), maar als een falen van routering (utilisatie).

Diagnostisch Inzicht: De studie toont aan dat evaluatie van de output alleen onvoldoende is om de gevoeligheid voor formaten te diagnosticeren. Interne analyse (probing en attentie) is vereist om onderscheid te maken tussen modellen die de grafiek "niet zien" en modellen die de grafiek "zien maar negeren".
Architecturale Specificiteit: De bevindingen benadrukken dat verschillende modelfamilies lijden aan specifieke interne mechanismen van falen. Een enkele interventie (bijv. betere visuele encoders) zal het probleem waarschijnlijk niet voor alle modellen oplossen; in plaats daarvan moeten oplossingen zich richten op specifieke routerings- of integratie-bottlenecks.
Implicaties voor Verificatie: Voor wetenschappelijke workflows met een hoog risico is de aanwezigheid van gecodeerde informatie geen garantie voor het gebruik ervan in de uiteindelijke beslissing. Onderzoekers moeten voorzichtig zijn bij het inzetten van VLMs voor grafiekgebaseerde verificatie, aangezien de modellen de benodigde informatie intern kunnen bezitten zonder dit in hun output te reflecteren.

De auteurs concluderen dat de kloof een "falen is van hoe gecodeerde visuele informatie wordt gerouteerd op het moment van voorspelling", een bevinding die onderzoek naar interne berekeningen noodzakelijk maakt in plaats van enkel te vertrouwen op taakprestatie-metrieken.