💬 NLP

DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams

Het artikel introduceert DRAGON, een benchmarkdataset en evaluatiekader dat is ontworpen om het vermogen van visueel-taalmodellen te beoordelen om hun antwoorden te verankeren in specifiek visueel bewijsmateriaal binnen diagrammen, waarmee de beperking van hoge nauwkeurigheid zonder betrouwbare redeneringsrechtvaardiging wordt aangepakt.

Oorspronkelijke auteurs: Anirudh Iyengar Kaniyar Narayana Iyengar, Tampu Ravi Kumar, Gaurav Najpande, Manan Suri, Dinesh Manocha, Puneet Mathur, Vivek Gupta

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anirudh Iyengar Kaniyar Narayana Iyengar, Tampu Ravi Kumar, Gaurav Najpande, Manan Suri, Dinesh Manocha, Puneet Mathur, Vivek Gupta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een toets maakt waarbij je naar een complex diagram moet kijken—zoals een kaart, een printplaat of een staafdiagram—en een vraag daarover moet beantwoorden.

In het verleden, als een computerprogramma (een AI) het juiste antwoord gaf, gingen we ervan uit dat het de afbeelding "begreep". Maar dit nieuwe paper, DRAGON, stelt dat het juiste antwoord geven niet genoeg is. De AI zou kunnen valsspelen. Het zou het antwoord kunnen raden op basis van de woorden in de vraag of patronen in de data, zonder daadwerkelijk naar de specifieke delen van de afbeelding te kijken die bewijzen dat het antwoord waar is.

Denk eraan als een student die een wiskundetoets maakt.

De Oude Manier: Als de student "42" als antwoord schrijft, geeft de leraar een vinkje. We weten niet of ze de som hebben uitgerekend of gewoon geraden hebben.
De DRAGON Manier: De leraar eist het werk van de student te zien. De student moet de specifieke getallen die ze hebben gebruikt omcirkelen, pijlen trekken naar de formules, en het deel van de grafiek dat leidde tot "42" markeren. Als ze niet kunnen wijzen naar het bewijs, hebben ze het probleem niet echt opgelost, zelfs niet als het eindgetal correct was.

Wat is DRAGON?

DRAGON is een nieuwe "toets" (benchmark) ontworpen om AI-modellen die gissen op te sporen. Het stelt een simpele maar moeilijke vraag: "Laat me precies zien waar in de afbeelding je het antwoord hebt gevonden."

Om deze toets te halen, moet de AI een kader trekken rond de specifieke visuele aanwijzingen die het heeft gebruikt. Deze aanwijzingen kunnen zijn:

Een specifieke staaf in een diagram.
Een label op een kaart.
Een draad op een schakelschema.
Een legenda of een titel.

Hoe Ze De Toets Bouwden

De onderzoekers vroegen de AI niet zomaar te raden; ze bouwden een enorme bibliotheek van meer dan 11.000 vragen uit zes verschillende soorten diagrammen (grafieken, kaarten, schakelingen, enz.).

Voor elke enkele vraag fungeerden mensen als de "waarheidsgetuigen". Ze keken naar het diagram en het juiste antwoord, en trokken vervolgens de exacte kaders rond het visuele bewijs dat nodig was om dat antwoord te bewijzen.

Vergelijking: Stel je een detective voor die een misdaad oplost. De menselijke annotatoren zijn degenen die zeggen: "Het bewijs is niet gewoon de hele kamer; het bewijs is dit specifieke modderige voetafdruk op de vloer." De AI moet dan datzelfde voetafdruk vinden.

De Drie Manieren waarop Ze de AI Vroegen

De onderzoekers probeerden drie verschillende "prompts" (manieren om de AI de taak te laten uitvoeren) om te zien of het kon leren om zijn werk te tonen:

EDGE (De Directe Aanpak): "Hier is de afbeelding en het antwoord. Teken gewoon de kaders rond het bewijs." (Zoals een student vragen om gewoon het antwoord te schrijven).
SAGE (De Stap-voor-Stap Aanpak): "Vertel me eerst wat dingen je moet bekijken (bijvoorbeeld 'de rode staaf' en 'het jaar 2020'). Teken daarna de kaders eromheen." (Zoals een student vragen om hun stappen op te sommen voordat ze oplossen).
VERGE (De Zelfcorrectie Aanpak): "Teken je kaders. Kijk nu nog eens naar je tekening. Heb je iets gemist? Is je kader te groot? Maak het goed." (Zoals een student vragen om hun werk te dubbelchecken).

Wat Ze Vonden (De Resultaten)

De resultaten waren een beetje een wakkerbel voor de AI-gemeenschap:

AI is goed in raden, slecht in bewijzen: Veel AI-modellen kregen het juiste antwoord, maar toen ze werden gevraagd de kaders te tekenen, faalden ze jammerlijk. Ze wezen vaak naar het verkeerde deel van de afbeelding of misten cruciale details.
Het "Black Box" Probleem: Zelfs de slimste AI-modellen (zoals Claude Opus of Gemini) hadden moeite om hun werk te tonen. Ze konden zeggen "Het antwoord is 50", maar ze konden niet betrouwbaar wijzen naar de "50" op het diagram.
Sommige modellen zijn beter dan anderen: De "closed-source" modellen (de grote, dure modellen van bedrijven zoals Anthropic en Google) waren beter in het vinden van het bewijs dan de open-source modellen, maar geen enkele van hen was perfect.
Vriendelijk vragen helpt een beetje: Het gebruik van de stap-voor-stap (SAGE) of zelfcorrectie (VERGE) methoden hielp de AI iets vaker de juiste plekken te vinden, maar het loste het fundamentele probleem niet op. De AI miste nog steeds vaak delen van het bewijs.

Waarom Dit Belangrijk Is

Het paper concludeert dat we AI niet kunnen vertrouwen om redeneringen over diagrammen te maken, alleen omdat het het juiste antwoord geeft. Als een AI wordt gebruikt om medische charts, financiële grafieken of veiligheidsdiagrammen te analyseren, moeten we weten waarom het een beslissing heeft genomen.

DRAGON is een hulpmiddel om AI te dwingen te stoppen met raden en te beginnen met "het tonen van zijn werk". Het is een nieuwe standaard om ervoor te zorgen dat wanneer een AI zegt dat het een afbeelding begrijpt, het daadwerkelijk naar het bewijs kan wijzen.

De Beperkingen

De auteurs erkennen dat hun toets niet perfect is. Ze gebruiken eenvoudige rechthoekige kaders om bewijs te markeren. Dit werkt voor grote balken of blokken, maar het is moeilijk om een kader te gebruiken om een dunne, kronkelende draad in een schakelschema of een gebogen pijl op een kaart te markeren. Ook kunnen verschillende mensen soms het oneens zijn over welk deel van de afbeelding precies de "belangrijkste" aanwijzing is, wat een beetje subjectiviteit aan de toets toevoegt.

Kortom: DRAGON is een nieuw reglement dat zegt: "Geef me niet alleen het antwoord; laat me het bewijs in de afbeelding zien." En op dit moment slagen de meeste AI-studenten die toets niet.

1. Probleemstelling

Diagram Question Answering (DQA) vereist dat modellen gestructureerde visuele representaties interpreteren (bijv. grafieken, kaarten, circuitschema's, infographics). Hoewel recente Vision-Language Models (VLM's) hoge nauwkeurigheid bereiken op standaard DQA-benchmarks, bestaat er een kritieke beperking: juiste antwoorden garanderen geen trouwe redenering.

Huidige modellen vertrouwen vaak op:

Tekstuele correlaties: Antwoorden raden op basis van taalpatronen in de vraag of dataset-bias.
Dataset-artefacten: Het leren van schijnbare correlaties in plaats van het interpreteren van visueel bewijs.
Gebrek aan grounding: Het niet identificeren van de specifieke visuele gebieden (labels, assen, connectoren, datapunten) die nodig zijn om het antwoord te verifiëren.

Dit "black box"-gedrag verhindert een betrouwbare evaluatie van of een model de structuur van het diagram werkelijk begrijpt of slechts plausibele antwoorden hallucineert. Er is een gebrek aan gestandaardiseerde benchmarks die evidence-grounded reasoning evalueren—het vermogen om expliciet het visuele bewijs te lokaliseren dat een voorspelling ondersteunt.

2. Methodologie

A. De DRAGON Benchmark

De auteurs introduceren DRAGON, een multi-domein benchmark ontworpen om evidence-grounded reasoning te evalueren.

Data Samenstelling: De dataset bundelt 11.664 geannoteerde vraaginstanties uit zes gevestigde DQA-datasets:
- AI2D (Wetenschappelijke diagrammen)
- ChartQA (Grafieken/Graphs)
- Circuit-VQA (Circuitschema's)
- InfographicsVQA (Infographics)
- MapIQ & MapWise (Geografische kaarten)
Annotatietaken: In tegenstelling tot standaard QA is de taak van het model niet alleen om een antwoord te geven, maar om bounding boxes te voorspellen die overeenkomen met de visuele elementen die nodig zijn om het antwoord te rechtvaardigen.
Bewijstypes: Ground truth-annotaties omvatten antwoorddragende gebieden, tekstuele labels, legenda's, assen, connectoren, pijlen en ruimtelijk gerelateerde structuren.
Bouwpiplijn:
1. Region Initialisatie: Gebruik van bestaande annotaties of Template-Based Region Transfer (met homografie-schatting en proportionele schaling) om kandidaat-gebieden te genereren voor diagrammen zonder vooraf bestaande bounding boxes.
2. Menselijke Verificatie: Annotators gebruiken de DIAGRAMS-tool om gebieden te verifiëren, te verfijnen of toe te voegen om ervoor te zorgen dat de "Gold Evidence Set" ( $B^*$ ) het minimale visuele bewijs vertegenwoordigt dat nodig is voor het antwoord.
3. Kwaliteitscontrole: Inter-annotator overeenstemming wordt gemeten met Complete Visual Reasoning (CVR) (volledige keten-dekking) en Core Evidence Alignment (CEA) (grounding van primaire elementen).

B. Evaluatiekader

De auteurs evalueren VLM's met drie verschillende prompting-strategieën om te testen hoe de redeneerstructuur de grounding beïnvloedt:

EDGE (Evidence Detection via Grounding): Een directe, single-step prompting-aanpak waarbij het model direct na ontvangst van de afbeelding, vraag en antwoord bounding boxes voorspelt.
SAGE (Select and Ground Evidence): Een twee-staps aanpak.
- Stap 1: Het model lijst relevante visuele elementen tekstueel op (bijv. "Staaf voor 2019", "Y-as label").
- Stap 2: Het model voorspelt bounding boxes voor de opgesomde elementen.
VERGE (Verify and Refine Grounded Evidence): Een zelfcorrectie-aanpak. Het model genereert een initiële voorspelling (zoals EDGE), examineert vervolgens de afbeelding en zijn eigen voorspelling opnieuw om coördinaten te corrigeren, ontbrekend bewijs toe te voegen of de strakheid van de box te verfijnen.

C. Metrieken

Prestaties worden gemeten met:

Max Pairwise IoU (MPIoU): De beste overlap tussen een voorspelde box en een ground-truth box (meet het vermogen om een relevant gebied te vinden).
Grounding IoU (GIoU): De IoU tussen de unie van alle voorspelde boxes en de unie van alle ground-truth boxes (meet de dekking van de hele redeneerketen).
F1 Score: Precisie en recall op box-niveau.

3. Belangrijkste Bijdragen

Nieuwe Evaluatietaken: Introductie van evidence-grounded reasoning, waarbij de focus verschuift van antwoordnauwkeurigheid naar de lokalisatie van visuele rechtvaardiging.
DRAGON Dataset: Een door mensen geverifieerde, multi-domein testset van 2.445 instanties met fijnmazige bounding box-annotaties voor redeneerbewijs.
Systematische Analyse: Ontwerp van een kader (EDGE, SAGE, VERGE) om te ontleden hoe prompting-strategieën het vermogen van een model beïnvloeden om visueel bewijs te grounden.
Empirische Bevindingen: Aangetoond dat hoge antwoordnauwkeurigheid niet correleert met sterke evidence grounding, wat een fundamentele kloof in de huidige VLM-capaciteiten blootlegt.

4. Experimentele Resultaten

De studie evalueerde 8 state-of-the-art VLM's (waaronder Claude Opus 4.6, Kimi K2.5, Gemini 3 Pro, en open-weight modellen zoals InternVL3.5 en Qwen3.5).

Zwakke Grounding Prestaties: Zelfs de best presterende modellen worstelen met evidence grounding.
- Beste F1-scores waren laag: 9,5 op ChartQA, 5,7 op Circuit-VQA, en 4,0 op InfographicsVQA.
- Alleen MapIQ en AI2D toonden matig succes (bijv. bereikte Claude Opus 4.6 ~21,8 F1 op MapIQ).
Lokalisatie vs. Dekking Kloof: Modellen zijn beter in het vinden van een relevant gebied dan in het vastleggen van de volledige redeneerketen.
- MPIoU (grove lokalisatie) is consequent veel hoger dan GIoU en F1 (volledig bewijs).
- Voorbeeld: Claude Opus 4.6 behaalde 53,7 MPIoU maar slechts 21,8 F1 op MapIQ, wat aangeeft dat het relevante gebieden vond maar kritiek ondersteunend bewijs miste.
Prompting Sensitiviteit:
- Prompting-strategieën (EDGE, SAGE, VERGE) hebben een aanzienlijke impact op de prestaties, maar geen enkele strategie domineert alle domeinen.
- VERGE verbeterde vaak de lokalisatie (MPIoU), maar verbeterde zelden de dekking van volledig bewijs (F1) significant.
- Prompting helpt modellen gebieden te vinden, maar lost het probleem van ontbrekend bewijs niet op.
Model Dispariteit:
- Closed-source modellen (bijv. Claude Opus 4.6) presteren significant beter dan open-weight modellen in alle domeinen.
- Voorbeeld: Op MapIQ presteerde Claude Opus 4.6 (F1: 21,8) veruit beter dan InternVL3.5-38B (F1: 2,0).
Domein Moeilijkheid:
- Circuit-VQA en InfographicsVQA zijn de moeilijkste domeinen vanwege dichte structuren, relationele afhankelijkheden en visuele rommel.
- MapIQ en AI2D zijn relatief makkelijker, waarschijnlijk vanwege duidelijkere ruimtelijke lay-outs en expliciete labels.

5. Betekenis en Conclusie

DRAGON adresseert een kritiek blinde vlek in de evaluatie van multimodale AI. Door aan te tonen dat modellen correct kunnen antwoorden zonder hun redenering te grounden in visueel bewijs, benadrukt het paper het risico van "shortcut learning", waarbij modellen tekstuele priors exploiteren in plaats van visueel begrip.

Belangrijke Implicaties:

Trouw boven Nauwkeurigheid: Toekomstig DQA-onderzoek moet redeneertrouw (grounding) prioriteren naast antwoordnauwkeurigheid.
Benchmark Standaard: DRAGON biedt een gestandaardiseerde testomgeving om te evalueren of modellen voorspellingen expliciet kunnen koppelen aan visueel bewijs, verder dan eenvoudig antwoordmatching.
Toekomstige Richtingen: De auteurs suggereren dat trainingsmethoden (bijv. Reinforcement Learning) modellen expliciet moeten belonen voor het produceren van evidence-grounded reasoning die is afgestemd op door mensen geverifieerde gebieden.

Kortom, DRAGON onthult dat hoewel huidige VLM's bekwaam zijn in het beantwoorden van diagramvragen, ze grotendeels falen in het demonstreren van de visuele redeneercapaciteiten die nodig zijn om die antwoorden te rechtvaardigen, wat een verschuiving vereist in hoe deze modellen worden geëvalueerd en getraind.