Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach

Stel je voor dat je een docent bent die een nieuwe wiskundetoets probeert te schrijven. Voordat je hem aan echte leerlingen uitdeelt, moet je weten: is deze vraag te moeilijk? Is die andere te makkelijk? Meestal is de enige manier om dat te weten door de toets aan een enorme groep echte kinderen te geven, de nakijkwerk te beoordelen en de cijfers te verwerken. Dit is traag, duur en veel werk.

Maak kennis met de "gesimuleerde student". Wetenschappers proberen AI (Artificiële Intelligentie) te gebruiken om de rol van deze studenten te spelen. Het idee is om een superintelligente computer de toets te laten maken, antwoorden te laten generen, en vervolgens die antwoorden te gebruiken om te achterhalen hoe moeilijk de vragen zijn. Het klinkt als een kortere weg om tijd en geld te besparen. Maar hier zit de crux: deze AI-studenten zijn te perfect. Ze zijn als een klas waarin elke student een genie is die nooit een fout maakt en elke vraag op exact dezelfde manier beantwoordt. Als je een toets beoordeelt op basis van een klas vol perfecte genieën, zul je denken dat elke vraag makkelijk is, en je zult de leerlingen missen die daadwerkelijk worstelen. De AI is te uniform en te accuraat om een realistische vervanger te zijn voor een echte, chaotische klas.

Dit is waar een nieuwe studie van Wenjie Zhou en collega's om de hoek komt kijken. Zij stelden een simpele vraag: kunnen we de AI leren om een "slechte" student te zijn? Niet zomaar een willekeurige slechte student, maar een student met een specifieke, realistische mix van vaardigheden — iemand die heel goed is in het optellen van breuken, maar verschrikkelijk is in het vereenvoudigen ervan? Ze ontwikkelden een methode genaamd Cognitive Diagnostic Profiling (CDP). In plaats van de AI alleen maar te vragen "de toets te maken", geven ze de AI een gedetailleerd "karakterblad" dat beschrijft welke vaardigheden de AI-student wel en niet beheerst. Door de AI deze specifieke profielen te voeren, slaagden ze erin om een gesimuleerde klas te creëren die daadwerkelijk lijkt op en zich gedraagt als een echte klas, met een mix van genieën, gemiddelde leerlingen en leerlingen die worstelen met specifieke concepten.

Het probleem met "perfecte" AI-studenten

De onderzoekers begonnen door te testen wat er gebeurt als je simpelweg een Large Language Model (LLM) — het soort AI dat chatbots aandrijft — vraagt om een toets te maken. Ze gebruikten een klassieke dataset: 536 echte middelbare scholieren die een toets van 15 vragen over aftrekken van breuken maakten. Deze toets was ontworpen om vijf specifieke vaardigheden te controleren, zoals "lenen van een heel getal" of "hele getallen omzetten naar breuken".

Toen de AI de toets maakte zonder speciale instructies (de "no-profile" baseline), gedroeg hij zich als een supermens. Hij kreeg bijna alles goed. De resultaten waren saai uniform. De AI-studenten klonterden allemaal bij de bovenkant van het scorebereik, en de toets leek ongelooflijk makkelijk. De onderzoekers ontdekten dat de antwoorden van de AI totaal niet overeenkwamen met de echte menselijke data. De AI was te slim en te consistent, wat leidde tot een "vloek van hypernauwkeurigheid" waarbij de AI er niet in slaagde de diversiteit van een echte klas te simuleren. Het was alsof je het weer probeert te voorspellen door alleen naar zonnige dagen te kijken; je mist de regen, de stormen en de wolken.

De oplossing: De AI een "karakterblad" geven

Om dit op te lossen, introduceerde het team Cognitive Diagnostic Profiling (CDO). Zie dit als het geven van een gedetailleerde biografie aan de AI voordat hij begint met de toets.

1. Het Blauwdruk: Eerst braken ze de toets af in de vijf kernvaardigheden (attributen).
2. Het Profiel: In plaats van alleen te zeggen "wees een student", maakten ze een "profiel" voor elke gesimuleerde student. Dit profiel is een lijst met binaire schakelaars: "Kan vaardigheid A? Ja. Kan vaardigheid B? Nee."
3. De Vertaling: Ze vertaalden deze schakelaars naar natuurlijke taal. Een profiel zou bijvoorbeeld kunnen lezen: "Je bent een student die erg goed is in het vereenvoudigen van breuken, maar moeite heeft met het lenen van hele getallen. Je begrijpt de basis, maar raakt in de war wanneer de getallen ingewikkeld worden."
4. De Simulatie: Ze voerden deze beschrijving aan de AI samen met de toetsvragen. De AI beantwoordde de vragen vervolgens alsof hij die specifieke student was.

Ze testten twee manieren om deze profielen te maken. In de eerste manier (Uninformative CDP) wijsden ze willekeurig vaardigheden toe aan de AI-studenten, waardoor een brede mix van vermogens ontstond. In de tweede manier (Informative CDP) gebruikten ze data van de echte menselijke studenten om te bepalen hoeveel "genieën", "gemiddelde" studenten en "worstelende" studenten ze zouden creëren, om zo de werkelijke verdeling van vaardigheden in een echte klas na te bootsen.

De resultaten: Van "perfect" naar "echt"

De resultaten waren een gamechanger. Toen de AI-studenten deze karakterbladen kregen, werd de simulatie plotseling realistisch.

• De Verdeling: In de "no-profile" versie waren de AI-studenten allemaal opgepropt aan de bovenkant. Met de profielen verspreidden de scores zich. De "Informative CDP"-methode creëerde een klokcurve die bijna identiek was aan de echte menselijke studenten. De overlap tussen de vaardigheidsverdeling van de AI en de menselijke verdeling sprong van een lage 0,36 naar een hoge 0,83 (waarbij 1,0 identiek betekent).
• De Profielen: De onderzoekers controleerden of de AI zich ook echt gedroeg als het karakter dat hij speelde. Als het profiel zei "slecht in lenen", maakte de AI die vragen dan fout? Ja. De correlatie tussen de prestaties van de AI en de verwachte menselijke prestaties voor dat specifieke vaardigheidsprofiel was ongelooflijk hoog, variërend van 0,92 tot 0,98. Dit betekent dat de AI niet zomaar gokte; de AI simuleerde daadwerkelijk de cognitieve staat van een student met die specifieke sterktes en zwaktes.
• De Moeilijkheidsgraad van de Toets: Dit is het belangrijkste deel. Het doel was om te zien of de AI kon helpen ontdekken hoe moeilijk de vragen waren. Zonder profielen dacht de AI dat de vragen veel te makkelijk waren (de fout in de moeilijkheidsinschatting was enorm, met een "root-mean-square error" van meer dan 6). Met de profielen werden de schattingen van de AI veel scherper. Voor het best presterende model (Gemini 3.0 Flash met "Thinking" ingeschakeld), daalde de fout van 6,31 naar slechts 0,90. De AI ging van denken dat elke vraag een makkie was naar het nauwkeurig voorspellen welke vragen moeilijk en welke makkelijk waren, wat de echte menselijke data bijna perfect mat.

Waarom dit ertoe doet

De studie suggereert dat we niet hoeven te wachten tot duizend echte leerlingen een toets hebben gemaakt om te weten of deze goed is. Door deze "profiel-gebaseerde" aanpak te gebruiken, kunnen we realistische gesimuleerde data genereren die onderwijzers helpen om toetsen veel sneller en goedkoper te kalibreren. De belangrijkste les is dat de AI verteld moet worden wie hij moet nadoen. Zonder een specifiek cognitief profiel valt de AI terug op een perfecte, onrealistische robot. Met een profiel wordt hij een diverse, imperfecte en realistische student.

De onderzoekers ontdekten dat deze methode het beste werkt met modellen die over "redeneer-capaciteiten" beschikken (zoals de "Thinking"-modus in sommige AI-modellen), die beter lijken te zijn in het volgen van de complexe logica van de vaardigheidsprofielen. Ze merkten echter ook op dat dit een simulatie is. Hoewel de antwoorden van de AI overeenkwamen met de wiskunde van menselijke studenten, weten we niet of de AI ook echt op dezelfde manier "denkt" als een mens of alleen de juiste woorden voorspelt. Maar voor het doel van het verbeteren van toetsen, is de simulatie een krachtig hulpmiddel dat ons een enorme stap dichter bij een toekomst brengt waar de ontwikkeling van toetsen sneller, goedkoper en inclusiever is.