💻 computer science

Multimodal QUD: Inquisitive Questions from Scientific Figures

Dit artikel introduceert MQUD, een nieuw dataset en raamwerk dat de taalkundige theorie van Vragen onder Discussie (QUD) uitbreidt naar het multimodale domein door onderzoeksvragen die contextbewust zijn en uit wetenschappelijke figuren en hun begeleidende tekst worden gegenereerd, waardoor Vision-Language Modellen in staat worden gesteld om hoogwaardig redeneren uit te voeren die verder gaat dan eenvoudige visuele extractie.

Oorspronkelijke auteurs: Yating Wu, William Rudman, Venkata S Govindarajan, Alexandros G. Dimakis, Junyi Jessy Li

Gepubliceerd 2026-04-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yating Wu, William Rudman, Venkata S Govindarajan, Alexandros G. Dimakis, Junyi Jessy Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Lezen met een Detectivemindset

Stel je voor dat je een misdaadroman leest. Een goede lezer leest niet alleen de woorden; ze stellen vragen. Als ze een personage zien die een brief verbergt, denken ze: "Waarom verbergen ze dat?" Als ze een kaart zien met een rode X, vragen ze zich af: "Wat zit op die plek?"

Dit artikel stelt dat wetenschappers precies hetzelfde doen wanneer ze onderzoeksartikelen lezen. Ze kijken naar de tekst en de figuren (grafieken, diagrammen) en stellen diepe, nieuwsgierige vragen om het verhaal te begrijpen.

Echter, huidige AI-modellen zijn als slechte detectives. Ze kunnen de tekst lezen en naar de afbeelding kijken, maar ze stellen alleen oppervlakkige vragen zoals: "Welke kleur heeft deze lijn?" of "Hoeveel balkjes zijn er?" Ze missen het grote plaatje.

Dit artikel introduceert een nieuwe manier om AI te leren een betere detective te zijn. Ze noemen dit Multimodal QUD (Questions Under Discussion).

Het Probleem: Het "Wat" versus het "Waarom"

Stel je een wetenschappelijk artikel voor als een rechtszaak.

De Tekst is de toespraak van de advocaat.
De Figuur is het bewijs (een foto, een grafiek, een vingerafdruk).

Huidige AI-benchmarks zijn als een quiz die alleen vraagt: "Hoeveel vingers zitten er in de foto?" of "Hoe laat staat er op de klok?" Dit zijn gemakkelijke, oppervlakkige vragen.

Maar echte wetenschappelijke nieuwsgierigheid is anders. Het vraagt: "Waarom verschenen de vingerafdrukken van de verdachte op de klok?" of "Hoe bewijst deze foto de theorie van de advocaat?"

De auteurs ontdekten dat bestaande AI-modellen moeite hebben met het stellen van deze diepe vragen, omdat ze niet begrijpen hoe de tekst en de afbeelding samenwerken om een verhaal te vertellen.

De Oplossing: Een Nieuwe Dataset (MQUD)

Om dit op te lossen, bouwden de onderzoekers een nieuwe trainingsdataset genaamd MQUD.

Wie heeft het gemaakt? Ze gebruikten niet zomaar computers om te raden. Ze gingen naar de bron: de oorspronkelijke auteurs van de wetenschappelijke artikelen.
Hoe deden ze dat? Ze vroegen deze wetenschappers: "Toen jullie dit artikel schreven en deze grafiek tekenden, welke vragen probeerden jullie te beantwoorden? Waar waren jullie nieuwsgierig naar?"
Het Resultaat: Ze verzamelden 1.250 hoogwaardige vragen. Dit zijn niet zomaar "Wat is het getal?"-vragen. Het zijn "Waarom gebeurt dit patroon?" of "Hoe verandert dit resultaat ons begrip?"-vragen.

Ze categoriseerden deze vragen ook in twee soorten:

De "Alleen-Afbeelding"-Vragen: Soms beantwoordt de grafiek de vraag helemaal alleen (bijvoorbeeld: "Welke balk is het hoogst?").
De "Teamwerk"-Vragen: Dit is de goudmijn. De grafiek toont een vreemd patroon, maar je hebt de tekst nodig om uit te leggen waarom het gebeurt. De AI moet de visuele aanwijzing combineren met het geschreven verhaal om de mysterie op te lossen.

De Training: De AI Leren "Kijken"

De onderzoekers namen een standaard AI-model (een Vision-Language Model) en gaven het een speciale training met hun nieuwe dataset.

Stel je voor dat je een student leert een kaart te lezen.

Vóór de training: Als je de student een kaart en een verhaal liet zien, zouden ze misschien alleen zeggen: "Ik zie een berg."
Na de training: Ze leerden om te zeggen: "Het verhaal zegt dat de rivier hier overstromt, en de kaart toont het stijgende waterpeil, dus de berg is eigenlijk een overstromingsgebied."

Ze testten de AI met twee slimme trucs om te zien of het echt leerde:

De "Ontbrekende Kaart"-Test: Ze vroegen de AI om een vraag te genereren zonder de afbeelding te tonen. De AI werd veel slechter in zijn werk. Dit bewees dat de AI daadwerkelijk de afbeelding gebruikte en niet alleen maar gokte op basis van de tekst.
De "Verkeerde Kaart"-Test: Dit is de belangrijkste. Ze verwisselden de juiste afbeelding met een andere afbeelding uit hetzelfde artikel.
- Vóór de training: De AI gaf niets om. Het zou zelfs met de verkeerde afbeelding een vraag genereren, omdat het gewoon op zoek was naar elk visueel signaal.
- Na de training: De AI besefte: "Wacht, deze vraag heeft geen zin met deze afbeelding!" Het werd gevoelig voor de specifieke details van de afbeelding. Het leerde om naar de inhoud te kijken, niet alleen naar de aanwezigheid van een afbeelding.

De Resultaten: Een Slimmere Detective

Het artikel toont aan dat na deze training:

De AI stopte met het stellen van oppervlakkige vragen zoals "Wat is de waarde van de rode balk?"
Het begon diepe, "teamwerk"-vragen te stellen zoals "Waarom gedraagt het model zich anders in dit specifieke scenario dat in de grafiek wordt getoond?"
Het werd veel beter in het verbinden van de punten tussen de visuele data en de schriftelijke uitleg.

Samenvatting

Kortom, dit artikel leert AI om niet alleen naar afbeeldingen te "kijken", maar om erover te "nadenken" in de context van een verhaal. Door te trainen op vragen die door echte wetenschappers zijn gegenereerd, leerde de AI het soort nieuwsgierige, inzichtelijke vragen te stellen die mensen stellen wanneer ze echt betrokken zijn bij wetenschappelijke ontdekkingen. Het ging over van een passieve waarnemer die balken op een grafiek telt, naar een actieve deelnemer die het verhaal begrijpt dat de grafiek vertelt.

1. Probleemstelling

Huidige Vision-Language Models (VLM's) en wetenschappelijke benchmarks (bijv. ChartQA, FigureQA) evalueren voornamelijk perceptief redeneren—het vermogen om expliciete waarden uit een figuur te halen of elementen te tellen. Deze benchmarks slagen er niet in om wetenschappelijke nieuwsgierigheid en redenering op discoursniveau vast te leggen, waarbij figuren in onderzoeksartikelen vaak impliciete vragen activeren die vereisen dat visuele patronen met tekstuele context worden geïntegreerd om opgelost te worden.

Bestaande datasets maken geen onderscheid tussen vragen die alleen met een figuur beantwoord kunnen worden en vragen die cross-modale redenering vereisen (tekst + figuur). Bijgevolg genereren modellen vaak generieke, laag-niveau vragen of slagen ze er niet in om hun redenering te "verankeren" in de specifieke inhoud van een figuur, en vertrouwen ze in plaats daarvan op visuele priors of generieke tekstpatronen.

2. Methodologie

A. Theoretisch Kader: Multimodaal QUD

De auteurs breiden de linguïstische theorie van Questions Under Discussion (QUD) uit naar het multimodale domein. In de standaard QUD-theorie wordt discours georganiseerd rondom impliciete vragen die door uitspraken worden opgeworpen en opgelost.

Uitbreiding: In dit kader fungeren figuren als discoursdeelnemers die impliciete vragen ( $Q_F$ ) opwerpen die door de omringende tekst ( $C_F$ ) helpen worden opgelost.
Taxonomie: De auteurs definiëren zes vraagtypes die zijn aangepast voor multimodaal discours:
1. Oorzaak: Waarom treedt een patroon op?
2. Vergelijking: Hoe verschillen elementen?
3. Uitgestrektheid: In welke mate treedt een fenomeen op?
4. Gevolg: Wat zijn de implicaties?
5. Procedureel: Hoe wordt een methode bereikt?
6. Concept: Wat betekent een visuele representatie?
Onderscheid: Ze categoriseren vragen in Figuur-gedreven (beantwoordbaar door de figuur alleen, bijv. Vergelijking, Uitgestrektheid) en Integratie (vereist tekst + figuur, bijv. Oorzaak, Gevolg).

B. Het MQUD Dataset

De auteurs hebben MQUD samengesteld, een dataset van 1.250 gevalideerde multimodale QUD's afgeleid van 56 wetenschappelijke papers binnen NLP, Machine Learning en Astronomie.

Generatie: Kandidaat-vragen werden gegenereerd met GPT-4o, geconditioneerd op de figuur, bijschrift, abstract en relevante tekstparagrafen.
Annotatie: 17 oorspronkelijke paper-auteurs (domeinexperts) hebben de data geannoteerd over zeven dimensies:
- Salientie: Is de vraag relevant voor het kernargument van het paper?
- Nuttigheid van de figuur: Is de figuur noodzakelijk om de vraag op te lossen?
- Bron van het antwoord: Kan de figuur alleen het antwoord geven, of is tekst vereist?
- Correctheid & Kwaliteit: Feitelijke juistheid en linguïstische kwaliteit.
Schaal: 703 vragen werden door mensen geannoteerd; de overige 547 werden geannoteerd door een gevalideerde LLM-rechter (GPT-5-mini) met hoge overeenstemming (88% precisie op correctheid).

C. Diagnostiek voor Verankering

Om te meten of modellen de figuurinhoud werkelijk begrijpen, introduceerden de auteurs twee herbruikbare diagnostische methoden:

Relative Information Gain (rIG): Meet hoe veel moeilijker het is om een vraag te voorspellen wanneer de figuur wordt verwijderd ( $L_{text-only} - L_{multimodal}$ ). Een hoge rIG geeft aan dat het model op de figuur vertrouwt.
Figuur Swap-diagnostiek: Test inhoudsspecifieke verankering. Het model krijgt de juiste tekst maar een verkeerde figuur uit hetzelfde paper.
- Hypothese: Als een model echte verankering heeft, zou een verkeerde figuur de prestaties meer moeten schaden dan het ontbreken van een figuur (omdat het model specifieke visuele aanwijzingen verwacht). Als het vertrouwt op generieke visuele priors, zou een verkeerde figuur misschien nog steeds helpen.

D. Modeltraining

De auteurs hebben Qwen3.5-9B met LoRA fijn afgestemd op het MQUD-dataset. De trainingsdoelstelling was het genereren van de impliciete vraag ( $Q_F$ ) gegeven de triggercontext (Titel, Abstract, Figuur, Bijschrift).

3. Belangrijkste Bijdragen

MQUD Dataset: De eerste dataset die expliciet gericht is op inquisitieve vragen die voortvloeien uit figuur-tekstinteracties in wetenschappelijke papers, geannoteerd door oorspronkelijke auteurs voor wetenschappelijke bruikbaarheid.
Multimodaal QUD-kader: Een formele uitbreiding van QUD-theorie naar multimodaal discours, met onderscheid tussen figuur-gedreven en integratie-type vragen.
Nieuwe Diagnostiek: Introductie van rIG en Figuur Swap-metrieken om rigoureus te testen of VLM's inhoudsspecifieke verankering bezitten in plaats van slechts visuele gevoeligheid.
Empirisch Bewijs: Aantonen dat fijnafstemming op MQUD het gedrag van modellen verschuift van generieke visuele queries naar diepe, contextbewuste wetenschappelijke inquiry.

4. Resultaten

Prestaties op Diagnostiek

Inhoudsspecifieke Verankering (Swap-test):
- Baseline (Zero-shot GPT-4o/Qwen): Toonde een "generieke bias". Bij het krijgen van een verkeerde figuur was het verlies lager dan bij het ontbreken van een figuur ( $\Delta < 0$ ), wat betekent dat ze vertrouwden op generieke visuele aanwijzingen in plaats van specifieke inhoud. Slechts 18% van de gevallen toonde inhoudsspecifieke verankering (verkeerde figuur schaadde meer dan geen figuur).
- SFT-model: Na fijnafstemming toonde 76% van de gevallen inhoudsspecifieke verankering ( $\Delta > 0$ ). Het model werd gestraft voor niet-overeenkomende figuren, wat bewijst dat het leerde vertrouwen op specifieke visuele details.
Visuele Informatiewinst (rIG):
- De rIG-score steeg van 0,60 (Base) naar 0,97 (SFT), wat aangeeft dat het model aanzienlijk afhankelijker werd van de figuur voor vraaggeneratie.
- Ablatie: Een tekst-only SFT-model behaalde hoge swap-rates (76%) maar lage rIG (0,27), wat bewijst dat hoge swap-rates alleen geen visuele verankering garanderen; het model moet de visuele informatie daadwerkelijk gebruiken.

Vraagkwaliteit

Diepgang: SFT-genereren vragen werden door menselijke experts in 75% van de gevallen verkozen boven baselines voor "diepgang" en 78% voor "diversiteit".
Stijl: Het basismodel produceerde vaak uitgebreide meta-commentaar voordat het een vraag stelde. Het SFT-model genereerde beknopte, figuur-verankerde vragen (bijv. vragen waarom een patroon bestaat in plaats van wat het patroon is).
Vergelijking met GPT-4o: Hoewel GPT-4o gevoelig is voor figuren (rIG = 0,72), mist het inhoudsspecifieke verankering (18% swap-positiviteit). Fijnafstemming dichte dit gat, waardoor zowel hoge gevoeligheid als specificiteit werd bereikt.

5. Betekenis

Voortgang in Wetenschappelijke AI: Dit werk gaat verder dan eenvoudige "visuele QA" (een grafiek lezen) naar "wetenschappelijke ideatie" (vragen waarom een grafiek belangrijk is). Dit is cruciaal voor het ontwikkelen van AI-agenten die werkelijk kunnen assisteren bij wetenschappelijke ontdekking.
Auditing van VLM's: De voorgestelde diagnostiek (rIG en Swap) biedt een robuuste methode om te auditeren of VLM's hallucineren of hun redenering werkelijk verankeren in visuele data, een kritieke stap voor betrouwbare wetenschappelijke toepassingen.
Discours-theorie: Het koppelt succesvol linguïstische discours-theorie (QUD) aan computer vision, en biedt een nieuw paradigma voor het begrijpen van hoe mensen en machines multimodale wetenschappelijke literatuur verwerken.
Toekomstige Toepassingen: Het kader en de dataset dienen als fundament voor het bouwen van geavanceerde wetenschappelijke leesassistenten, strengere QA-benchmarks en tools om de redeneercapaciteiten van grote multimodale modellen te auditeren.