💬 NLP

How effective are VLMs in assisting humans in inferring the quality of mental models from Multimodal short answers?

De studie introduceert MMGrader, een aanpak die multimodale antwoorden van studenten analyseert om hun mentale STEM-modellen te beoordelen, maar concludeert dat de huidige visuele taalmodellen met een nauwkeurigheid van ongeveer 40% nog niet op menselijk niveau presteren, hoewel verbeterde systemen leraren kunnen helpen bij het efficiënt opsporen van conceptuele tekortkomingen in de klas.

Oorspronkelijke auteurs: Pritam Sil, Durgaprasad Karnam, Vinay Reddy Venumuddala, Pushpak Bhattacharyya

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pritam Sil, Durgaprasad Karnam, Vinay Reddy Venumuddala, Pushpak Bhattacharyya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een leraar een klas heeft vol met leerlingen die net hebben geleerd over vectoren (zoals krachten die in een bepaalde richting trekken). De leerlingen schrijven hun antwoorden op: soms met woorden, soms met tekeningen, en vaak een mix van beide.

Normaal gesproken kijkt de leraar naar het antwoord en zegt: "Goed gedaan" of "Niet helemaal juist". Maar dit onderzoek vraagt zich af: Kunnen we niet gewoon kijken hoe een leerling denkt?

In de wereld van onderwijs noemen we dit een mentaal model. Het is als een onzichtbare bouwtekening in het hoofd van de leerling. Als die tekening klopt, begrijpt de leerling het onderwerp echt. Als de tekening scheef staat, heeft de leerling misschien woorden geleerd, maar niet begrepen hoe het werkt.

Het probleem? Het is heel moeilijk om die onzichtbare tekening te zien, vooral als het antwoord vol staat met handgeschreven krabbels en formules. Mensen kunnen dit wel, maar het kost veel tijd.

De Oplossing: MMGrader (De "Mental Model Detectie")

De onderzoekers hebben een nieuwe manier bedacht, genaamd MMGrader. Denk hierbij aan een soort detective-tool die werkt met een "concept-kaart".

De Concept-kaart: Stel je voor dat het onderwerp (bijvoorbeeld vectoren) een grote stad is. De hoofdwegen zijn de grote ideeën, en de steegjes zijn de kleine details. De onderzoekers hebben een kaart gemaakt van deze stad.
De Analyse: Wanneer een leerling een antwoord geeft, probeert MMGrader te kijken: "Welke straten heeft deze leerling bezocht? Heeft hij de hoofdwegen begrepen of is hij vastgelopen in een steegje?"
De Score: In plaats van een cijfer te geven, krijgt de leerling een "sterkte-score" voor elk stukje van zijn mentale bouwtekening.

De Hulp van AI (De "Super-Detectives")

Omdat mensen dit niet voor elke leerling in de hele wereld kunnen doen, vroegen de onderzoekers: Kunnen computers (specifiek Vision-Language Models of VLMs) dit ook?

Ze hebben 9 verschillende AI-modellen getest. Het zijn slimme systemen die zowel tekst als plaatjes kunnen lezen. Ze kregen de taak om te kijken naar de handgeschreven antwoorden van leerlingen en te zeggen: "Hoe goed is het begrip van deze leerling?"

Wat bleek er? (De Resultaten)

Hier komt het interessante deel, vertaald naar een analogie:

Stel je voor dat je een groep van 9 detectives (de AI-modellen) vraagt om een moordzaak op te lossen, terwijl een ervaren rechercheur (de menselijke leraar) het al heeft opgelost.

De beste detective (Molmo): Deze AI deed het het beste. Hij had ongeveer 40% van de antwoorden precies goed. Dat klinkt misschien niet als 100%, maar in de wereld van complexe, handgeschreven wiskunde is dat al een enorme prestatie! Hij maakte gemiddeld een fout van ongeveer 1 punt op een schaal van 1 tot 5.
De andere detectives: Sommige AI's waren wat slordig. Ze gaven soms een 1 of een 5, zonder echt na te denken (alsof ze gissen). Andere AI's dachten te veel na en raakten in de war over hun eigen redenering ("Misschien is dit een vector... nee wacht, misschien is het een component...").
De kleine detectives: De kleinere modellen (zoals Granite) waren vaak te simpel. Ze konden de handgeschreven krabbels niet eens goed lezen en gaven willekeurige antwoorden.

Waarom is dit belangrijk?

Op dit moment zijn deze AI's nog niet perfect genoeg om de leraar volledig te vervangen. Ze zijn nog niet zo slim als een ervaren mens.

Maar, als we ze nog wat verder trainen, worden ze superkrachtige assistenten.

Stel je voor dat een leraar in 5 minuten de antwoorden van een heel schooljaar kan laten analyseren. De AI zegt dan: "Kijk, 80% van de klas begrijpt niet hoe je krachten moet optellen, maar ze snappen wel wat een vector is."

Dan kan de leraar zijn lesplan aanpassen: "Oké, morgen geen nieuwe theorie, maar een speciale oefensessie over krachten optellen." Dit heet gepersonaliseerd onderwijs.

Conclusie

Deze paper zegt eigenlijk: "We hebben een nieuwe manier bedacht om te kijken hoe leerlingen denken, niet alleen wat ze weten. Computers kunnen hier nu al een beetje bij helpen, maar ze moeten nog wat meer oefenen om net zo goed te worden als mensen. Als ze dat eenmaal zijn, kunnen ze leraren helpen om elke leerling beter te begrijpen en te helpen."

Het is alsof we een bril hebben gevonden die ons laat zien wat er in het hoofd van een leerling gebeurt, en AI is de eerste die probeert door die bril te kijken. Het is nog een beetje wazig, maar het belooft veel goeds voor de toekomst van onderwijs.

Probleemstelling

Het paper adresseert de uitdaging om de kwaliteit van STEM-mentale modellen (conceptuele begrippen van studenten) te beoordelen op basis van hun antwoorden. Traditionele beoordelingsmethoden (zoals rubrieken) zijn arbeidsintensief, schalen slecht en focussen vaak alleen op oppervlakkige scores in plaats van diepgaand begrip.
De kernuitdaging ligt in het interpreteren van multimodale antwoorden (handgeschreven tekst gecombineerd met diagrammen), wat diep redenerend vermogen vereist. Bestaande NLP-methoden zijn beperkt tot tekst en kunnen geen symbolen of notaties in natuurkunde of wiskunde verwerken. Er is een behoefte aan systemen die niet alleen een cijfer geven, maar het onderliggende mentale model van de student kunnen afleiden om gerichte pedagogische interventies mogelijk te maken.

Methodologie: MMGrader

De auteurs stellen MMGrader voor, een nieuwe aanpak die mentale modellen infereert uit multimodale responsen met behulp van conceptgrafieken als analytisch raamwerk.

Conceptuele Hiërarchie en Grafieken:
- Onderwerpen worden opgesplitst in een hiërarchie: Brede Conceptgebieden (BCA) -> Subconceptgebieden (SCA) -> Key Concept Links (KCL).
- Een conceptgrafiek $G(V, E)$ wordt gebruikt waarbij knopen conceptuele eenheden zijn en randen relaties (links) tussen deze concepten.
- De sterkte van een mentale model wordt gemeten door de "sterkte" van deze concept-links te evalueren.
Het MMGrader-proces:
- Input: Handgeschreven studentenantwoorden (tekst + diagrammen), een conceptgrafiek voor het onderwerp, en een mapping tussen vragen en relevante concept-links.
- Stap 1 (Evaluatie): Een Vision-Language Model (VLM) wordt gevraagd om voor elke concept-link een "sterkte-score" (1 tot 5) te genereren op basis van de vraag, het antwoord en de richtlijnen. Dit vereist zowel OCR (voor handgeschreven tekst) als diagrambegrip.
- Stap 2 (Generatie): De gegenereerde scores worden geaggregeerd (gemiddeld per concept-link over meerdere vragen) om een volledige conceptgrafiek te bouwen die het mentale model van de student representeert.
Dataset en Evaluatie:
- Er is een dataset verzameld met 10 vragen over vectoren (11e klas), beantwoord door 6 studenten.
- De dataset bevat 895 datapunten (vraag-concept-link-antwoord tripletten) met grond-waarheid scores bepaald door 6 menselijke annotatoren (via consensus).
- Handgeschreven tekst en diagrammen werden verwerkt met Google's Gemini voor OCR.
Experimentele Opstelling:
- Er werden 9 openbare VLMs getest (o.a. Molmo, Pixtral, Qwen, LLaVa, Gemini, Granite).
- Drie scenario's werden onderzocht:
  - Basis: Geen richtlijnen voor scores.
  - Generiek: Algemene richtlijnen voor scores 1-5.
  - Gedetailleerd: Specifieke rubrieken per concept-link (gelijk aan wat mensen kregen).
  - Chain-of-Thought (CoT): Model wordt gevraagd eerst te redeneren voordat het scoort.

Belangrijkste Resultaten

De resultaten tonen aan dat huidige VLMs nog niet menselijk niveau bereiken, maar wel veelbelovend zijn:

Beste Prestatie: Molmo (een 7B model) presteerde het beste met een nauwkeurigheid van ~40% en een RMSE (Root Mean Squared Error) van 1.1. Dit betekent dat de voorspellingen gemiddeld binnen 1 punt van de menselijke score lagen.
Verdeling: De scores van de modellen (vooral Pixtral en Molmo) vertoonden een verdeling die redelijk overeenkwam met die van mensen (lage EMD-waarden), hoewel de individuele voorspellingen vaak afweken.
Invloed van Prompting:
- Qwen verbeterde aanzienlijk bij het gebruik van gedetailleerde prompts, wat aangeeft dat het model goed kan leren van contextuele instructies.
- CoT (Chain-of-Thought) leverde over het algemeen geen significante verbetering op voor de meeste modellen, maar bevestigde wel de trend.
Slechtste Prestaties: Kleinere modellen zoals Granite (2B) en LLaVa presteerden slecht. Granite kon handgeschreven diagrammen niet interpreteren en gaf willekeurige scores. LLaVa bleef hangen in de outputformaten (alleen 1 of 5).
Foutanalyse: Modellen zoals InternLM en Qwen vertoonden soms "overthinking" (zelf-tegenstrijdigheden) of faalden in het integreren van visuele hints uit diagrammen in hun redenering.

Bijdragen

MMGrader Framework: Een nieuwe methode om mentale modellen te infereerren via conceptgrafieken in plaats van alleen tekstuele scores.
Multimodale Dataset: Een dataset met handgeschreven, multimodale STEM-antwoorden met grond-waarheid labels voor concept-links.
Evaluatie van VLMs: Een uitgebreide vergelijking van 9 openbare VLMs op de taak van het redeneren over complexe, multimodale educatieve antwoorden.
Inzicht in Beperkingen: Kwalitatieve analyse toont aan dat huidige modellen worstelen met diagraminterpretatie en consistentie in redenering, ondanks hun potentieel.

Betekenis en Toekomstperspectief

Hoewel de huidige modellen (met ~40% nauwkeurigheid) nog niet volledig autonoom kunnen werken, tonen ze aan dat VLMs potentie hebben als assistenten voor docenten.

Schaalbaarheid: Met verbeterde nauwkeurigheid kunnen deze systemen helpen bij het snel analyseren van mentale modellen van hele klassen.
Pedagogische Impact: Docenten kunnen hierdoor gerichte hulpsessies en lessen ontwerpen die specifiek ingaan op de gebieden waar studenten collectief tekortschieten.
Richting: Het paper opent de weg voor gepersonaliseerd onderwijs en intelligente leerassistenten, mits de modellen verder worden getraind op real-world datasets met handgeschreven data en diagrammen.

Kortom, het paper concludeert dat we een belangrijke stap hebben gezet in het automatiseren van diepgaand educatief assessment, maar dat er nog significante vooruitgang nodig is in het redenerend vermogen van AI over multimodale data om menselijke expertise volledig te vervangen of te ondersteunen.