Using Vision + Language Models to Predict Item Difficulty

Dit onderzoek toont aan dat een multimodale aanpak met GPT-4.1-nano, die zowel tekst als visuele elementen van datavisualisaties combineert, de moeilijkheidsgraad van testvragen voor data-literacy nauwkeuriger voorspelt dan enkel tekst- of visuele modellen.

De kern

Stel je voor dat je een nieuwe bordspellen-uitdaging aan het ontwerpen bent. Je hebt een kaart met een ingewikkelde grafiek en een vraag erbij. De grote vraag is: Is dit spelletje te makkelijk voor een kind, of te moeilijk voor een volwassene?

Normaal gesproken moet je dit spelletje duizenden keren spelen met echte mensen om te zien hoe moeilijk het is. Dat kost tijd, geld en geduld.

In dit onderzoek doet Samin Khan iets slims: hij vraagt een super-slimme computer (een "AI" genaamd GPT-4) om te voorspellen hoe moeilijk zo'n vraag is, voordat hij het aan één enkel mens laat zien.

Hier is hoe het werkt, vertaald in alledaags taal:

1. De Drie Detectives

De onderzoeker stuurde drie verschillende "detectives" (AI-modellen) naar de vragen om hun moeilijkheidsgraad te raden.

• Detective Tekst: Deze kijkt alleen naar de woorden. Hij leest de vraag en de antwoordkeuzes. Hij denkt: "Hmm, deze zin is heel lang en vol moeilijke woorden, dus dit is vast lastig."
• Detective Beeld: Deze kijkt alleen naar de plaatjes (de grafieken). Hij denkt: "Oei, deze grafiek is erg rommelig en de letters zijn klein, dus dit is vast lastig."
• Detective Alles-in-Één (De Multimodale): Deze is de superheld. Hij kijkt tegelijkertijd naar het plaatje én de tekst. Hij ziet hoe ze samenwerken. Hij denkt: "Het plaatje is duidelijk, maar de vraag is zo raar gesteld dat het toch lastig wordt," of "De grafiek is ingewikkeld, maar de vraag helpt je er precies bij."

2. Het Experiment: Een Proefkeuken

De AI's kregen een proefkeuken (een dataset) met 154 vragen. Hun taak was om te raden welk percentage mensen het goed zou hebben.

• De uitkomst: De "Alles-in-Één" detective won het met kop en schouders. Hij maakte de minste fouten.
• De les: Je kunt de moeilijkheid van een vraag niet goed inschatten door alleen naar de tekst of alleen naar het plaatje te kijken. Het geheim zit in de combinatie. Het is alsof je een gerecht proeft: je moet weten hoe de smaak (tekst) en de presentatie (plaatje) samenwerken om te weten of het lekker (makkelijk) of te zout (moeilijk) is.

3. De Echte Proef: De "Blindtest"

Om te bewijzen dat de "Alles-in-Één" detective niet alleen in de proefkeuken goed was, stuurde hij naar een echte, onbekende test (een "held-out" set) met 46 nieuwe vragen.

• Het resultaat was indrukwekkend. De AI voorspelde de moeilijkheid bijna perfect.
• Een klein struikelblok: 6 vragen hadden plaatjes in een specifiek formaat (.svg) dat de AI niet kon "lezen" (net als een mens die geen Chinees kan lezen). Voor deze 6 vragen gaf de AI een gokje (50/50). Als deze niet hadden meegedaan, was het resultaat waarschijnlijk nog beter geweest.

Waarom is dit belangrijk?

Stel je voor dat je een schoolboek schrijft. Vroeger moest je wachten tot het boek in de klas lag en honderden leerlingen het hadden gemaakt om te zien welke vragen te moeilijk waren.
Met deze AI-techniek kun je direct zien: "Oeps, deze vraag over deze grafiek is waarschijnlijk te lastig, laten we de tekst iets duidelijker maken."

Kortom:
Deze studie toont aan dat we AI kunnen gebruiken als een slimme "proeflezer" voor toetsvragen. Door te kijken naar zowel de tekst als de plaatjes, kunnen we veel sneller en beter toetsen maken die precies op het juiste niveau zitten voor leerlingen. Het is alsof we een magische bril hebben gekregen die ons laat zien hoe moeilijk een vraag is, nog voordat iemand hem heeft beantwoord.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Using Vision + Language Models to Predict Item Difficulty" in het Nederlands.

Probleemstelling

In een informatierijke samenleving is gegevensvisualisatiegeletterdheid (Data Visualization Literacy - DVL) een cruciale vaardigheid. Het ontwikkelen van gestandaardiseerde, betrouwbare en goed gekalibreerde toetsvragen om DVL te meten, is echter complex. Een essentieel aspect van psychometrische evaluatie is het voorspellen van de moeilijkheidsgraad van een vraagitem (gedefinieerd als het percentage deelnemers dat het item correct beantwoordt).

Traditioneel vereist het kalibreren van itemmoeilijkheid het verzamelen van grote hoeveelheden responsdata van deelnemers, wat tijdrovend en kostbaar is. Dit project onderzoekt of het mogelijk is om de moeilijkheidsgraad van DVL-items te voorspellen op basis van de kenmerken van de items zelf (de visualisatie, de vraagtekst en de antwoordopties), zonder eerst uitgebreide responsdata te hoeven verzamelen. De centrale onderzoeksvragen zijn:

1. Welke features voorspellen DVL-itemmoeilijkheid het beste: visuele kenmerken (afbeelding) of tekstuele kenmerken (vraag en antwoorden)?
2. Wat is de voorspellende kracht van een combinatie van beide (multimodaal)?

Methodologie

Data:
De auteurs gebruikten een dataset verzameld door Verma en Fan (2025), die responsen bevat van Amerikaanse volwassenen en studenten op items uit vijf verschillende DVL-toetsen (WAN, GGR, BRBF, VLAT, CALVI).

• Doelvariabele: De moeilijkheidsgraad werd berekend als het gemiddelde percentage incorrecte antwoorden per item (waarbij 1 = iedereen fout, 0 = iedereen goed). Dit werd omgezet naar een "gemakkelijkheidsgraad" (easiness) = 1 - moeilijkheid.
• Datasetverdeling: De data werd gesplitst in een validatieset (80%) en een vastgehouden testset (20%). Voor de modellering werd een subset van 154 items (uit de validatieset) geselecteerd die PNG-afbeeldingen bevatten, om verwerking door de AI te vergemakkelijken.

Modelbenadering:
Er werd gebruikgemaakt van het GPT-4.1-nano model (via de OpenAI API) met multimodale capaciteiten. Drie verschillende benaderingen werden getest:

1. Alleen-tekst model (Text-only): Input bestond uit de vraagtekst en mogelijke antwoorden. Het model werd gevraagd om tekstuele factoren te analyseren (zoals cognitieve taaktype, vraaghelderheid, aantal opties, plausibiliteit van distractors) om een voorspelling te doen.
2. Alleen-vision model (Vision-only): Input bestond uitsluitend uit de URL van de visualisatieafbeelding. Het model analyseerde visuele factoren (charttype, as-helderheid, data-encoding, leesbaarheid, rommeligheid).
3. Multimodaal model (Vision + Text): Input bestond uit zowel de afbeelding als de volledige tekst (vraag + opties). Het model voerde een uitgebreide analyse uit van de interactie tussen visuele elementen en tekstuele eisen.

Evaluatiemeting:
De prestaties werden gemeten aan de hand van de Mean Absolute Error (MAE) tussen de voorspelde en de werkelijke gemakkelijkheidsgraad op de validatieset. Voor de testset werd de Mean Squared Error (MSE) gebruikt.

Belangrijkste Resultaten

De resultaten tonen aan dat de multimodale aanpak superieur is aan de unimodale benaderingen:

• MAE op de validatieset (N=154):

  • Multimodaal model: 0,2239 (Beste prestatie)
  • Vision-only model: 0,2819
  • Text-only model: 0,3382 (Slechtste prestatie)

• Verdeling van voorspellingen:

  • Het vision-only model neigde naar het voorspellen van hogere gemakkelijkheidsgraden (piek rond 0,85-0,9), wat suggereert dat het de complexiteit van de vraagtekst onderschat.
  • Het text-only model had een bredere spreiding met een cluster rond 0,25.
  • Het multimodale model toonde een meer gebalanceerde verdeling, wat wijst op een beter begrip van de wisselwerking tussen een duidelijke grafiek en een complexe vraag (en vice versa).

• Externe Validatie (Held-out Test Set):

  • Het multimodale model werd toegepast op een testset van 46 items.
  • Voor 6 items met SVG-formaat (niet ondersteund door de API) werd een standaardwaarde van 0,5 toegekend.
  • Voor de overige 40 PNG-items bereikte het model een MSE van 0,10805. Dit bevestigt de generalisatiekracht van het model op onbekende data.

Bijdragen en Significatie

Technische Bijdragen:

• Multimodale Psychometrie: Het paper demonstreert dat Large Language Models (LLMs), specifiek multimodale varianten, effectief kunnen worden ingezet voor psychometrische taken zoals het voorspellen van itemmoeilijkheid.
• Validatie van Feature-Combinatie: Het bewijst empirisch dat de combinatie van visuele en tekstuele context essentieel is voor het begrijpen van de cognitieve vraag van een data-visualisatie-item. Geen van de unimodale modellen was voldoende.

Praktische Implicaties:

• Automatisering van Toetsontwikkeling: De resultaten suggereren dat multimodale LLMs kunnen worden gebruikt om de toetsontwikkeling te versnellen door items te "pre-kalibreren". Dit kan helpen bij het selecteren van items met de juiste moeilijkheidsgraad voordat ze worden uitgetest bij een grote groep.
• Inzicht in Ontwerp: De analyse door het LLM kan inzicht geven in welke combinaties van visuele en tekstuele elementen leiden tot verwarring of hoge moeilijkheidsgraden, wat nuttig is voor het ontwerpen van betere educatieve materialen en visualisatierichtlijnen.

Beperkingen en Toekomst:

• Een beperking was de onmogelijkheid om SVG-bestanden direct te verwerken, wat leidde tot een fallback-strategie die de testresultaten mogelijk negatief beïnvloedde.
• De afhankelijkheid van één specifiek, proprietair model (GPT-4.1-nano) betekent dat resultaten kunnen variëren bij andere modellen.
• Toekomstig werk zou zich moeten richten op het verbeteren van de verwerking van diverse bestandsformaten, het vergelijken met traditionele psychometrische modellen en het toevoegen van onzekerheidsmetingen aan de voorspellingen.

Conclusie:
Dit onderzoek toont aan dat multimodale LLMs een krachtig hulpmiddel zijn voor de analyse van data-visualisatiegeletterdheid. Door zowel de afbeelding als de tekst te integreren, kunnen deze modellen de moeilijkheidsgraad van toetsvragen nauwkeuriger voorspellen dan wanneer ze zich op slechts één modale focuseren, wat een nieuwe weg opent voor geautomatiseerde psychometrische analyse.