💬 NLP

Can Vision Language Models Be Adaptive in Mathematics Education? A Learner Model-based Rubric Study

Dit artikel stelt een op leerdersmodellen gebaseerde rubric voor om de adaptiviteit van Vision Language Models in wiskundeonderwijs systematisch te evalueren, waarbij wordt aangetoond dat hoewel meetbare verschillen tussen de modellen bestaan, huidige VLM's moeite hebben om consistent gepersonaliseerde instructieve reacties te genereren, met name wanneer beperkte informatie over de leerder wordt verstrekt.

Oorspronkelijke auteurs: Jie Gao, Yongan Yu, Junzhu Su, Yiran Lin, Adam K. Dube, Jackie Chi Kit Cheung

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jie Gao, Yongan Yu, Junzhu Su, Yiran Lin, Adam K. Dube, Jackie Chi Kit Cheung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme, alwetende robotleraar voor die afbeeldingen kan zien en wiskundeproblemen kan lezen. Je zou kunnen denken: "Geweldig! Het kan mijn kind perfect onderwijzen." Maar dit artikel stelt een cruciale vraag: weet deze robot eigenlijk hoe hij verschillende kinderen moet onderwijzen, of geeft hij gewoon dezelfde lezing aan iedereen, ongeacht wie ze zijn?

De onderzoekers behandelden deze AI-modellen als studenten die een toets maken, maar in plaats van hun wiskundekennis te beoordelen, beoordeelden ze hun onderwijscapaciteiten.

Hier is de uiteenzetting van hun studie met behulp van eenvoudige analogieën:

1. Het Probleem: De "Eén-op-Maat" Robot

Stel je een leraar voor die een klaslokaal binnenkomt met 30 leerlingen. Sommigen zijn verveelde genieën, sommigen zijn doodsbang voor wiskunde en sommigen zijn gewoon gemiddeld. Als die leraar vooraan staat en precies dezelfde toespraak houdt voor iedereen, is hij niet "adaptief". Hij is gewoon een luidspreker.

Het artikel vond dat huidige Vision Language Models (VLM's) – de AI die beelden kan zien en wiskundeproblemen kan oplossen – grotendeels als die luidspreker zijn. Ze zijn uitstekend in het oplossen van het wiskundeprobleem zelf (het juiste antwoord krijgen), maar ze worstelen om hun onderwijstijl aan te passen aan de persoonlijkheid of het vaardigheidsniveau van de leerling.

2. Het Hulpmiddel: Het "Rapport van de Leraar"

Om dit te testen, bedachten de onderzoekers een speciale Rubriek (een beoordelingslijst). Denk hierbij aan een rapport specifiek voor hoe een leraar met een leerling omgaat, niet alleen of de wiskunde klopt.

Ze splitsten de "onderwijsscore" op in drie hoofdcategorieën:

Cognitief (Het Brein): Weet de leraar wat de leerling al weet? Als een leerling een beginner is, vermijdt de leraar dan geavanceerde jargon?
Motivationeel (Het Hart): Merkt de leraar op of de leerling bang is of wiskunde haat? Als een leerling zegt: "Ik ben niet zelfverzekerd", biedt de leraar dan bemoediging, of negeert hij het gewoon?
Complexiteit (De Ladder): Bouwt de leraar een ladder voor de leerling? Breken ze het probleem op in kleine stappen, geven ze voorbeelden, of bieden ze extra oefeningen?

Ze controleerden ook twee andere dingen:

Juistheid: Is het wiskundige antwoord eigenlijk wel correct?
Kwaliteit: Is de uitleg duidelijk, of zit hij vol onzin (hallucinaties)?

3. Het Experiment: De "Rollenspel"-Klaslokaal

De onderzoekers gebruikten geen echte kinderen (om de dingen gecontroleerd te houden). In plaats daarvan creëerden ze zes verschillende "leerlingpersona's" met behulp van echte data uit internationale wiskundetoetsen.

De Hoogprester: Houdt van wiskunde, zelfverzekerd, weet alles.
De Laagprester: Haat wiskunde, mist zelfvertrouwen, weet zeer weinig.
De Intermediaire: Ergens in het midden.

Vervolgens vroegen ze vijf verschillende AI-modellen (zoals GPT-5, Gemini en anderen) om een wiskundeprobleem aan deze persona's te onderwijzen. Ze gaven de AI verschillende hoeveelheden informatie:

Groep 1: Alleen het wiskundeprobleem.
Groep 2: Het probleem + "Ik ben een vierdeklasser die wiskunde haat."
Groep 4: Het probleem + "Ik ben een vierdeklasser die wiskunde haat, ik scoorde 390 op een toets, en ik ken alleen maar getallen en data."

4. De Resultaten: De "Generiek Script"-Valstrik

De bevindingen waren een beetje teleurstellend voor de toekomst van AI-tutors:

De "Eén-op-Maat" Gewoonte: Zelfs wanneer de AI wist dat de leerling bang was voor wiskunde of er slecht in was, gaf hij vaak precies hetzelfde antwoord als aan een wiskundegenie. Hij "hoorde" de gevoelens van de leerling niet echt.
Het "Zelfvertrouwen" Blinde Vlekje: De AI was verrassend slecht in het boosten van het zelfvertrouwen van een leerling. Als een leerling zei: "Ik ben hier niet goed in", negeerde de AI dat gevoel vaak gewoon en bleef het probleem oplossen, in plaats van te zeggen: "Maak je geen zorgen, jij kunt dit."
Meer Informatie = Iets Beter: Toen de onderzoekers de AI meer details over de leerling gaven (zoals hun specifieke toetsscore), werd de AI iets beter in het aanpassen van zijn onderwijzen. Maar zelfs toen waren de veranderingen vaak klein.
De "Visuele" Glitch: Omdat dit Visuele modellen zijn, moeten ze naar afbeeldingen kijken (zoals diagrammen van schalen of vormen). De studie vond dat wanneer de wiskunde afbeeldingen betrof, de AI vaak in de war raakte, de getallen in de afbeelding verkeerd las, of het verkeerde antwoord gaf, zelfs als de tekstuele uitleg er goed uitzag.

5. De Conclusie

Het artikel concludeert dat hoewel deze AI-modellen briljante rekenmachines zijn, ze momenteel onhandige leraren zijn.

Ze kunnen de vergelijking oplossen, maar ze hebben nog niet geleerd hoe ze naar een leerling moeten kijken, zijn angst of verwarring moeten zien, en hun aanpak moeten veranderen om die specifieke persoon te helpen. Ze zitten momenteel vast in een "generieke modus" en behandelen elke leerling alsof ze allemaal hetzelfde zijn.

Kortom: Als je deze AI's vraagt een wiskundeprobleem op te lossen, zijn ze geweldig. Als je ze vraagt een specifiek kind dat worstelt te onderwijzen, leren ze nog hoe ze mensachtige tutors moeten zijn. Ze moeten leren luisteren naar het hart van de leerling, niet alleen naar hun wiskundehuiswerk.

Technische Samenvatting: Kunnen Vision Language Modellen Adaptief Zijn in Wiskundeonderwijs? Een Studie over een Rubric Gebaseerd op Leerdersmodellen

1. Probleemstelling

Hoewel Vision Language Modellen (VLM's) steeds vaker worden ingezet als gepersonaliseerde tutoragenten in het wiskundeonderwijs, ontbreekt het aan een systematische evaluatie van hun vermogen om zich aan te passen aan diverse profielen van leerlingen. Huidige VLM's functioneren voornamelijk als 'oplossers' die prioriteit geven aan de juistheid van het antwoord, en niet als 'educatieve agenten' die pedagogisch transparante begeleiding bieden die aansluit bij de Zone van Naaste Ontwikkeling van de leerling.

Bestaande evaluatieparadigma's lijken grotendeels op tekst-only omgevingen, met een focus op de nauwkeurigheid van het beantwoorden van visuele vragen, terwijl ze kwaliteit van instructief redeneren en het vermogen om begeleiding aan te passen aan de context van de leerling (bijvoorbeeld voorkennis, leerhouding, zelfeffectiviteit) verwaarlozen. Bovendien blijft het onduidelijk of VLM's leerdersprofielen kunnen afleiden of werkelijk passende, gedifferentieerde instructieve antwoorden kunnen genereren wanneer leerlingen geen gedetailleerde prestatiegegevens expliciet delen. Dit artikel adresseert de lacune in de evaluatie van de vraag of VLM's adaptieve instructieve capaciteiten kunnen demonstreren in visueel verankerde wiskundetutoringtaken.

2. Methodologie

2.1 Rubric Gebaseerd op Leerdersmodellen

De auteurs stellen een nieuwe rubric voor die is geworteld in het adaptieve leerframework (Shute en Towle, 2018) en leerlingkenmerken zoals geïdentificeerd door Bernacki et al. (2021). De rubric formaliseert de beoordeling van adaptiviteit in drie hoofddimensies:

Adaptiviteit: De kern van de evaluatie, onderverdeeld in:
- Cognitieve Aspecten: Huidige kennis, inhoudelijke reikwijdte (in lijn met de Common Core State Standards) en moeilijkheidsgraad.
- Motivationele Aspecten: Leerhouding en zelfeffectiviteit.
- Complexiteit: Uitleg van de betekenis van de vraag, verstrekking van voorbeelden, extra oefening en stap-voor-stap hints.
Juistheid: Beoordeelt de wiskundige validiteit van het uiteindelijke antwoord en het redeneren van de oplossing (V10–V12).
Kwaliteit: Beoordeelt de kwaliteit van de generatie, inclusief hallucinaties, logische coherentie, trouw aan instructies en opmaak (V13–V19).

2.2 Experimenteel Ontwerp

Dataset: Een gestratificeerde dataset van 10 representatieve wiskundevragen (5 uit het 4e leerjaar, 5 uit het 8e leerjaar), ontleend aan de Trends in International Mathematics and Science Study (TIMSS) 2019 en 2023. 90% van de items is visueel verankerd (vereist interpretatie van diagrammen).
Leerdersprofielen: Zes synthetische profielen opgebouwd uit TIMSS-statistieken, variërend per leerjaar (4/8), prestatieniveau (Hoog, Gemiddeld, Laag), leerhouding en zelfgerapporteerde zelfverzekerdheid.
Contextcondities: Vier testgroepen ( $C_1$ $C_{1}$ tot $C_4$ $C_{4}$ ) met monotoon toenemende leerling-specifieke informatie:
- $C_1$ : Alleen de wiskundevraag.
- $C_2$ : Vraag + Gebruikersprompt (houding/zelfverzekerdheid).
- $C_3$ : Vraag + Systeemprompt (doelen per leerjaar) + Gebruikersprompt.
- $C_4$ : Vraag + Systeemprompt + Gebruikersprompt + Volledig leerdersprofiel (inclusief TIMSS-scores).
Geëvalueerde Modellen: Vijf state-of-the-art VLM's (GPT-5, GPT-o1, Gemini-2.5-Flash, Llama3.2-11B-VL, Qwen3-30B-VL).
Annotatie: Vier domeinexperts hebben 600 modelantwoorden geannoteerd met behulp van de rubric. De onderlinge overeenstemming was sterk ( $\kappa = 0,87$ ).

3. Belangrijkste Resultaten

3.1 Prestaties op het Gebied van Adaptiviteit

Modelvariatie: Er zijn significante verschillen in adaptiviteit tussen de modellen ( $F(4, 705) = 41,81, p < .001$ ). Gemini-2.5-Flash en Qwen3-30B-VL behaalden significant hogere adaptiviteitsscores dan GPT-5, GPT-o1 en Llama3.2-11B-VL.
Ongevoeligheid voor Leerdersprofielen: Adaptiviteitsscores toonden geen significante associatie met prestatieniveaus van leerlingen ( $p = .18$ ). Modellen neigden naar een 'one-size-fits-all' pedagogische stijl, waarbij ze faalden in het differentiëren van instructiestrategieën op basis van specifieke leerlingbehoeften (bijvoorbeeld hoogpresterende versus laagpresterende leerlingen).
Contextgevoeligheid: Adaptiviteit verbeterde significant met de beschikbaarheid van meer contextuele informatie ( $F(3, 708) = 92,73, p < .001$ ). Groep 1 (alleen vraag) scoorde significant lager dan Groepen 2–4. Echter, zelfs met volledige context worstelden modellen om consequent antwoorden gebaseerd op leerdersmodellen te produceren.

3.2 Juistheid en Kwaliteit

Juistheid: Voornamelijk gedreven door modelverschillen ( $p < .001$ ). Gemini-2.5-Flash en op GPT gebaseerde modellen presteerden beter dan Llama3.2-11B-VL. Juistheid was robuust over leerdersprofielen heen, wat suggereert dat modellen ofwel een prestatiedekplaat bereikten met basisprompts, dan wel aanvullende systeemprompts negeerden.
Kwaliteit: Er bestond significante variatie tussen de modellen ( $p < .001$ ). Llama3.2-11B-VL produceerde significant meer fouten. Qwen3-30B-VL behaalde de hoogste gemiddelde adaptiviteit, maar leed aan juistheid en kwaliteit door te lange generaties die vaak werden afgekapt of onvolledig waren.

3.3 Specifieke Observaties

Verwaarlozing van Motivatie: Modellen toonden minimale aanpassing aan leerhoudingen en zelfeffectiviteit. Bijvoorbeeld, GPT-o1 adresseerde zelfeffectiviteitszorgen slechts in 8% van de toepasselijke gevallen.
Misalignering van Kennis: Het verstrekken van achtergrondinformatie over de leerling garandeerde geen passende feedback. In sommige gevallen gaven modellen gedetailleerdere uitleg aan hoogpresterende leerlingen dan aan gemiddeld presterende leerlingen die meer scaffolding nodig hadden.
Multimodale Falen: Meetkundige items vormden aanzienlijke uitdagingen. Modellen verwarden vaak optielabels met numerieke waarden (bijvoorbeeld antwoorden "6kg" in plaats van "D") of hallucineerden informatie uit diagrammen, wat leidde tot lage juistheidsscores ondanks plausibel redeneren.

4. Belangrijkste Bijdragen

Rubric Gebaseerd op Leerdersmodellen: De voorstelling van een systematisch evaluatiekader dat pedagogische intentie (adaptiviteit) ontkoppelt van technische nauwkeurigheid (juistheid/kwaliteit), geworteld in cognitieve, motivationele en complexiteitsdimensies.
Synthetische Evaluatiedataset: Constructie van een door mensen geannoteerde dataset gebaseerd op TIMSS-items, met diverse leerdersprofielen en gecontroleerde contextcondities om realistische tutoringscenario's te simuleren.
Empirische Analyse: Eerste-hand analyse van vijf SOTA VLM's, die aantoont dat hoewel modellen enige gevoeligheid tonen voor context, hun adaptieve gedrag beperkt en inconsistent blijft, met name wat betreft motivationele factoren en gedifferentieerde scaffolding.

5. Betekenis en Claims

Het artikel stelt dat VLM's, hoewel veelbelovend als educatieve hulpmiddelen, momenteel de nuance in scaffolding missen die nodig is voor echt adaptief leren. De studie benadrukt een kloof tussen generieke tutoringantwoorden en echt adaptieve instructie die aansluit bij de specifieke academische achtergrond en psychologische toestand van de leerling.

De auteurs positioneren dit werk als een basale evaluatie. Zij stellen expliciet dat een antwoord dat in deze studie als "adaptief" wordt geclassificeerd, niet noodzakelijkerwijs een hoogwaardig, hoogkwalitatief adaptief antwoord vertegenwoordigt. De betekenis ligt in het bieden van een principieel instrument om adaptieve capaciteiten systematisch te vergelijken en in het identificeren dat huidige modellen vaak terugvallen op generieke scripts wanneer kritieke context wordt toegevoegd of verwijderd. Het werk onderstreept de noodzaak van evaluatiemethodologieën die pedagogische uitlijning met leerlingen prioriteren om de ontwikkeling van meer educatief onderbouwde multimodale modellen te sturen.

6. Beperkingen

De auteurs erkennen verschillende beperkingen:

De rubricvragen voor adaptiviteit zijn niet exhaustief (bijvoorbeeld ontbrekende affectieve en socio-culturele variabelen).
Het beperkte aantal wiskundige items kan leiden tot onvoldoende dekking van pedagogische adaptiviteit.
De studie gebruikte gesimuleerde leerdersprofielen in plaats van echte leerlingen, waardoor mogelijk complexe leergedragingen die inherent zijn aan mens-AI-interactie worden gemist.
De rubric dient als basislijn; deze evalueert niet de diepgang of sofisticatie van adaptieve strategieën buiten de gedefinieerde criteria.