💬 NLP

Chartographer: Counterfactual Chart Generation for Evaluating Vision-Language Models

Dit artikel introduceert Chartographer, een raamwerk dat contrafactuele diagrammen genereert door ze terug te ontleden naar uitvoerbare code om de visuele redeneervermogens van visueel-taalmodellen strikt te evalueren, en onthult dat veel modellen niet generaliseren wanneer de onderliggende diagramdata wordt gewijzigd, ondanks dat ze de oorspronkelijke vragen correct beantwoorden.

Oorspronkelijke auteurs: Yifan Jiang, Dae Yon Hwang, Jesse C. Cresswell, Freda Shi

Gepubliceerd 2026-05-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yifan Jiang, Dae Yon Hwang, Jesse C. Cresswell, Freda Shi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een toets maakt om te zien of je een kaart werkelijk begrijpt, of dat je het antwoord toevallig herinnert van een vorige keer dat je precies dezelfde kaart zag.

Dit artikel, getiteld "CHARTOGRAPHER", introduceert een nieuwe manier om AI-modellen (specifiek Vision-Language Models) te testen om te zien of ze daadwerkelijk "nadenken" over diagrammen of ze alleen maar "onthouden".

Hier is de uiteenzetting van hun idee, met behulp van eenvoudige analogieën:

Het probleem: De valstrik van "mechanisch memoriseren"

Momenteel, wanneer we AI testen op diagrammen, tonen we een afbeelding van een grafiek en stellen we een vraag (bijvoorbeeld: "Welke dag had de hoogste verkoop?"). De AI geeft een antwoord. Als het goed is, gaan we ervan uit dat het de grafiek heeft begrepen.

Maar de auteurs betogen dat dit vergelijkbaar is met een student die het antwoordensleutel voor een specifiek wiskundeprobleem heeft uit het hoofd geleerd. Als de leraar de cijfers in het probleem verandert maar de vraag hetzelfde laat, zal een student die alleen het antwoord heeft gememoriseerd het fout hebben. Een student die daadwerkelijk begrijpt hoe je wiskunde doet, zal zijn berekening aanpassen en het nieuwe juiste antwoord krijgen.

Het artikel stelt dat veel huidige AI-modellen zich gedragen als de memoriserende student. Ze "spelen misschien vals" door gebruik te maken van shortcuts of door de grafiek te herinneren uit hun trainingsdata, in plaats van daadwerkelijk de visuele bewijzen te lezen.

De oplossing: De "Diagram Remixer" (CHARTOGRAPHER)

Om dit op te lossen, hebben de onderzoekers een tool gebouwd genaamd CHARTOGRAPHER. Denk aan deze tool als een "Diagram Remixer" of een "Magische Kopieermachine".

Hier is hoe het proces stap voor stap werkt:

Reverse Engineering (Het blauwdruk):
De tool neemt een echte grafiekafbeelding en probeert de "code" of het "blauwdruk" te achterhalen die het heeft gemaakt. Het is alsof je naar een afgewerkt gebak kijkt en probeert het exacte recept en de oventemperaturen op te schrijven die zijn gebruikt om het te bakken.
Het "Wat als"-scenario (Contrfactuelen):
Zodra de tool het recept heeft, bakt het niet gewoon hetzelfde gebak opnieuw. Het verandert de ingrediënten lichtjes. Misschien vervangt het de vanille door chocolade, of verandert het de baktijd.
- In de termen van het artikel: Het verandert de onderliggende data in de grafiek (bijvoorbeeld, door de verkoop op vrijdag hoger te maken dan op dinsdag) terwijl de stijl van de grafiek en de vraag hetzelfde blijven.
Het nieuwe antwoord:
Omdat de data is veranderd, moet het juiste antwoord veranderen. Als de grafiek nu vrijdag als beste dag toont, moet het antwoord "Vrijdag" zijn, niet "Dinsdag".
De test:
De AI krijgt de originele grafiek te zien en krijgt het antwoord goed. Vervolgens krijgt het de nieuwe, aangepaste grafiek (het contrafactueel) te zien en wordt dezelfde vraag gesteld.
- Het doel: Past de AI zijn antwoord aan om overeen te komen met het nieuwe visuele bewijs?
- Het falen: Als de AI blijft hangen in het oude antwoord (omdat het de eerste grafiek heeft gememoriseerd) of een willekeurig nieuw fout antwoord geeft, heeft het de test niet gehaald.

Wat ze ontdekten

De onderzoekers testten dit op veel verschillende AI-modellen (zowel dure "proprietary" als gratis "open-source" modellen) met drie verschillende sets grafiekdata.

De "ouderwetse" voorspelling: Veel modellen kregen de originele grafiek goed, maar toen de data veranderde, gaven ze koppig het oude antwoord. Het is alsof een GPS je blijft vertellen linksaf te slaan, zelfs nadat de weg is afgesloten en omgeleid.
De "ruisende" update: Sommige modellen veranderden hun antwoord, maar het was een raden dat nog steeds fout was. Ze wisten dat het antwoord moest veranderen, maar ze konden niet uitrekenen hoe ze het nieuwe moesten berekenen.
Het echte redeneren: Slechts een paar modellen keken succesvol naar de nieuwe data, berekenden het opnieuw en gaven het correcte nieuwe antwoord.

De grote conclusie

Het artikel concludeert dat hoge scores op standaard grafiektoetsen misleidend kunnen zijn. Het feit dat een AI een vraag één keer goed beantwoordt, betekent niet dat het begrijpt hoe je een grafiek leest.

Door hun "Diagram Remixer" te gebruiken om deze "Wat als"-scenario's te creëren, ontdekten ze dat veel modellen niet generaliseren. Ze vertrouwen op gememoriseerde feiten of shortcuts in plaats van daadwerkelijk te redeneren door het visuele bewijs.

Kortom: CHARTOGRAPHER is een tool die de cijfers in een grafiek verandert om te zien of de AI daadwerkelijk de wiskunde doet, of dat het gewoon een script opzegt dat het uit het hoofd heeft geleerd. De resultaten tonen aan dat veel AI's nog steeds gewoon scripts opzeggen.

Technische Samenvatting: CHARTOGRAPHER

Probleemstelling

Huidige benchmarks voor het beantwoorden van vragen over diagrammen (Chart Question-Answering, QA) evalueren Vision-Language Models (VLM's) voornamelijk aan de hand van vaste triples van diagram-vraag-antwoord. Hoewel deze benchmarks bedoeld zijn om visueel redeneren te meten, slagen ze er vaak niet in om onderscheid te maken tussen echt redeneren en "shortcut"-gedrag. Modellen kunnen tot correcte antwoorden komen door gebruik te maken van regelmatigheden in de vraagstelling, te vertrouwen op parametrische kennis die tijdens de vooropleiding is opgedaan, of bekende diagramtemplates te herkennen, in plaats van de noodzakelijke visuele logica uit te voeren. Bijgevolg blijft het onduidelijk of het succes van een VLM op een specifiek diagram generaliseert wanneer de onderliggende visuele bewijslast (data) verandert. Bestaande benchmarks testen onvoldoende of een model zijn redenering kan herverankeren op gewijzigde data terwijl dezelfde taakstructuur behouden blijft.

Methodologie: Het CHARTOGRAPHER-kader

Om dit aan te pakken, introduceren de auteurs CHARTOGRAPHER, een kader dat is ontworpen om counterfactuele diagram-vraag-families te genereren. Het hoofddoel is het visuele redeneervermogen te ontkoppelen van afhankelijkheid van shortcuts door de onderliggende data te variëren terwijl de diagram-vraag-taak constant blijft. De pijplijn bestaat uit vier hoofdfasen:

Reconstructie van Diagram naar Code:
- Het systeem reverse-engineert een bron-diagramafbeelding naar uitvoerbare plotcode (bijvoorbeeld Python/Matplotlib) en semantische data (JSON).
- Er wordt een zelfverbeteringslus toegepast waarbij een VLM iteratief discrepanties diagnoseert tussen het originele diagram en de opnieuw gerenderde versie, de code en data bijwerkt totdat de reconstructie wordt geaccepteerd.
- Validatie met menselijke tussenkomst wordt toegepast op ambigu gevallen (bijvoorbeeld onleesbare waarden of complexe coderingen) om ervoor te zorgen dat de gereconstrueerde diagrammen de visuele bewijslast die relevant is voor de taak behoudt.
Generatie van Counterfactuele Data:
- Zodra een reconstructie is geaccepteerd, genereert een door zaadjes gecontroleerde datagenerator tien counterfactuele varianten.
- Deze varianten behouden het diagramschema, de renderingsbeperkingen en domeinveronderstellingen, maar veranderen de onderliggende datawaarden, rangschikkingen of trajecten op zinvolle manieren.
Regeneratie van QA:
- Om ervoor te zorgen dat labels accuraat zijn voor de nieuwe data, genereert het kader uitvoerbare QA-logica.
- De oorspronkelijke vraag wordt behouden indien geldig; anders wordt deze minimaal herschreven om coherentie te behouden.
- Antwoorden worden programmatisch berekend vanuit het onderliggende dataobject in plaats van handmatig geannoteerd, zodat de grondwaarheid direct wordt afgeleid uit het visuele bewijs.
Evaluatiemetrics:
Het kader evalueert modellen op vier dimensies:
- Originele Nauwkeurigheid (OA): Prestaties op de initiële benchmarkverdeling.
- Reconstructienauwkeurigheid (RA): Prestaties op de basisreconstructie (onveranderde data) om taaktrouw te verifiëren.
- Variantnauwkeurigheid (VA): Gemiddelde prestaties op counterfactuele varianten met gewijzigde data.
- Relatieve Variantverandering (RVC): Meet de gevoeligheid voor datawijzigingen ( $100 \cdot (VA - OA) / OA$ ).
- Conditionele Variantnauwkeurigheid (CVA): Meet generaliseerbaarheid specifiek op families waar het model het originele diagram correct beantwoordde. Dit isoleert of succes op het origineel vertaalt naar succes op de variant.
- Update-uitkomsten: Voor modellen die slagen op het origineel, worden fouten op varianten gecategoriseerd als Correcte Updates (CU), Verouderde Voorspellingen (SP) (het herhalen van het oorspronkelijke verkeerde antwoord), of Ruizige Updates (NU) (het antwoord veranderen maar verkeerd blijven).

Belangrijkste Bijdragen

Een Diagram-naar-Code-pijplijn: Een methode om individuele diagram-QA-voorbeelden om te zetten in counterfactuele families via iteratieve reconstructie, menselijke validatie en regeneratie van uitvoerbare QA.
Een Kader voor Counterfactuele Evaluatie: Een nieuw evaluatieparadigma dat verder gaat dan prestaties op een enkel diagram om reconstructietrouw, variantgevoeligheid en counterfactuele generaliseerbaarheid te meten.
Empirisch Bewijs van Generalisatiekloven: De toepassing van dit kader op bestaande datasets (ChartQA, CharXiv, ChartMuseum) onthult dat hoge prestaties op originele diagrammen vaak niet generaliseren wanneer visuele bewijslast wordt gewijzigd.

Resultaten

De auteurs evalueerden propriëtaire (bijvoorbeeld Claude, Gemini, GPT-4/5-serie) en open-source (bijvoorbeeld Gemma, InternVL, LLaVA, Qwen) VLM's over drie datasets.

Reconstructietrouw: Basisreconstructies behielden over het algemeen of verbeterden de prestaties licht (RA $\ge$ OA), wat suggereert dat hoogresolutie, door code gegenereerde diagrammen de taak goed behouden en mogelijk zelfs ruis in gescrapte bronafbeeldingen verminderen.
Gevoeligheid voor Datawijzigingen:
- ChartQA: Toonde hoge generaliseerbaarheid met een kleine negatieve RVC, wat suggereert dat veel conventionele diagramfamilies goed overdragen.
- CharXiv: Toonde gemengde resultaten; terwijl de gemiddelde RVC dicht bij nul lag, was CVA significant lager dan 1,0, wat aangeeft dat modellen die het origineel oplossen vaak faalden wanneer de data veranderde.
- ChartMuseum: Vertoonde de meest significante falen, met statistisch significante dalingen in VA (negatieve RVC) en lage CVA.
Foutpatronen:
- Verouderde Voorspellingen (SP): Modellen herhaalden vaak hun oorspronkelijke correcte antwoord zelfs wanneer de data veranderde, wat suggereert dat ze vertrouwen op memorisatie of parametrische kennis in plaats van visuele herverankering.
- Ruizige Updates (NU): Modellen veranderden vaak hun antwoord als reactie op het nieuwe diagram, maar slaagden er niet in om de correcte nieuwe waarde te berekenen, wat wijst op een gebrek aan verankerd redeneren.
- Afhankelijkheid van Redenertype: Generaliseerbaarheid was het zwakst voor vragen die puur Visueel redeneren vereisen of Synthese (combineren van visueel en tekst). De prestaties waren hoger voor vragen die via Tekst alleen of Visueel/Tekst-combinaties oplosbaar waren, wat suggereert dat modellen tekstuele aanwijzingen als krukken gebruiken.
Modelvergelijking: Propriëtaire modellen vertoonden over het algemeen een hogere CVA en lagere rates van verouderde/ruizige updates in vergelijking met open-source modellen, hoewel beide groepen significante generalisatiefalen vertoonden op moeilijkere datasets.

Betekenis en Claims

Het artikel beweert dat CHARTOGRAPHER een kritiek faalpatroon in huidige VLM's onthult: het onvermogen om visueel redeneren te generaliseren wanneer onderliggende data verandert, zelfs na het succesvol oplossen van de oorspronkelijke taak.

Ontkoppelen van Redeneren en Memoriseren: Het kader demonstreert dat hoge benchmarkscores op standaarddatasets (zoals CharXiv en ChartMuseum) echt visueel redeneren kunnen vermengen met het memoriseren van specifieke diagram-QA-paren of het vertrouwen op parametrische kennis.
Diagnostisch Hulpmiddel: Door fouten te categoriseren in verouderde voorspellingen en ruizige updates, biedt het kader een gedetailleerde diagnose voor hoe modellen falen, met nadruk op knelpunten zoals trajectvolging, ruimtelijke vergelijkingen en waarde-drempelwaarden.
Beperkingen: De auteurs merken op dat de benchmark beperkt is tot diagrammen waarbij data en coderingen betrouwbaar kunnen worden hersteld voor codegeneratie. Bijgevolg isoleert het de gevoeligheid voor gewijzigde visuele bewijslast, maar test het niet de robuustheid tegen verschuivingen in diagramtype, vraagstijl of visueel ontwerp.

Kortom, CHARTOGRAPHER betoogt dat echt visueel redeneren vereist dat modellen verankerd blijven in visuele bewijslast ongeacht datavariaties, een vermogen dat huidige state-of-the-art VLM's vaak missen.