Automated item evaluation: Predicting item acceptance and rejection using LLM-generated critiques

Stel je voor dat je een docent bent die elke week duizenden huiswerkopdrachten moet nakijken. Sommige zijn briljant, sommige zijn verwarrend, en sommige zijn gewoon fout. Normaal gesproken moet je ze allemaal lezen om te beslissen welke je wilt houden en welke je weg moet gooien. Dit is traag, duur en vermoeiend. Stel je nu een super-slimme robotassistent voor die die opdrachten kan lezen en tegen je zegt: "Hé, deze ziet er riskant uit, misschien kun je deze beter niet gebruiken," nog voordat je de tijd besteedt aan het nakijken ervan. Dit is de wereld van Automated Item Evaluation (AIE). Het is een tak van onderwijstechnologie die probeert computers te gebruiken om de kwaliteit van toetsvragen (ook wel "items" genoemd) te beoordelen zonder dat daarvoor een menselijke expert elke vraag hoeft te lezen of deze eerst op echte leerlingen moet testen. De grote vraag die onderzoekers stellen is: kunnen we een computer leren om een "slechte" toetsvraag te herkennen door alleen de tekst te lezen, zodat we ons later niet de kop hoeven te breken omdat een vraag defect bleek te zijn?

Dit artikel gaat over het bouwen van die super-slimme robotassistent. De onderzoekers, Hotaka Maeda en Yikai Lu, wilden een systeem creëren dat naar een toetsvraag kan kijken en kan voorspellen of deze "geaccepteerd" (klaar voor gebruik) of "afgewezen" (weggooien) zou worden, gebaseerd op een enorme database van 52.759 echte vragen van een groot gestandaardiseerd testprogramma. Ze hebben de ruwe vragen niet alleen in de computer gevoerd; ze probeerden een slimme truc. Ze vroegen een groot taalmodel (een type AI dat kan schrijven en denken) om eerst een korte "kritiek" of beoordeling van de vraag te schrijven, en vervolgens voerden ze zowel de originele vraag als die AI-beoordeling in hun voorspellingsmodel. Denk erbij als het inhuren van een student om een korte samenvatting van een boek te schrijven voordat je zelf besluit of je het hele boek wilt gaan lezen.

De resultaten waren behoorlijk opwindend, maar met enkele belangrijke kanttekeningen. Het "fusiemodel" (het model dat naar zowel de vraag als de AI-kritiek keek) was de beste presteerder. Het had in ongeveer 75% van de gevallen gelijk over het algemeen. Hoewel het een soort superheld was voor wiskundevragen (het haalde 73% van de keren goed), had het wat meer moeite met Engelse taal en literatuurvragen (slechts 5[]% nauwkeurigheid). De onderzoekers ontdekten dat als ze de robot een beetje paranoïde maakten—door hem te vertellen alles te markeren dat misschien slecht is, in plaats van te wachten tot het definitief slecht is—hij 90% van de slechte vragen kon vangen, hoewel hij ook per ongeluk wat goede vragen zou markeren.

Dit is het belangrijkste deel: de robot was erg goed in het opsporen van vragen die te moeilijk waren, verwarrende formuleringen hadden of niet aansloten bij het curriculum. Maar hij was verschrikkelijk in het opsporen van vragen die bevooroordeeld, onrechtvaardig of gevoelig waren voor bepaalde groepen mensen. Het artikel suggereert dat terwijl computers heel goed worden in het controleren van de "mechanica" van een toetsvraag, ze nog steeds menselijke docenten nodig hebben om de "hartslag" en eerlijkheid van de vragen te controleren. Dus, de toekomst gaat niet over het vervangen van mensen, maar over het geven van een krachtig hulpmiddel aan hen, zodat ze de overduidelijke rommel kunnen filteren en zich kunnen concentreren op het lastige, belangrijke werk.

Het verhaal van de "Slechte Vraag"-detector

Het Probleem: De berg huiswerk
Het maken van een gestandaardiseerde toets is als het bouwen van een gigantisch Lego-kasteel. Je hebt duizenden individuele blokjes (vragen) nodig om het te laten staan. Maar niet elk blokje is goed. Sommige zijn gebarsten, sommige hebben de verkeerde kleur, en sommige passen gewoon niet. Traditioneel moeten experts elk blokje oppakken, inspecteren en soms zelfs testen op een groep kinderen om te zien of het werkt. Dit duurt eeuwig en kost een fortuin. Met de opkomst van AI die automatisch vragen kan genereren, wordt de berg blokjes elke dag groter. We hebben een manier nodig om snel de goede blokjes van de slechte te scheiden zonder ze allemaal met de hand te controlen.

Het Experiment: De twee-hersenen-aanpak
De onderzoekers besloten een computerbrein (specifiek een model genaamd DeBERTaV3-large) te trainen om dit sorteren te doen. Ze hadden een enorme dataset van 52.759 vragen. Ongeveer 34% hiervan werd "afgewezen" (permanent verwijderd omdat ze slecht waren), en de rest werd "geaccepteerd".

Ze probeerden drie verschillende manieren om de computer te onderwijzen:

1. De Ruwe Lezer: Ze voerden de computer alleen de tekst van de vraag.
2. De Criticus: Ze vroegen een andere AI (Qwen3) om eerst een tweezinige beoordeling van de vraag te schrijven, en voerden die beoordeling vervolgens aan de computer.
3. Het Fusiemodel: Ze combineerden beide! Ze voerden de computer de originele vraag en de AI-beoordeling.

De Resultaten: Een slimme, maar gebrekkige assistent
Het "Fusiemodel" was de duidelijke winnaar. Het behaalde een nauwkeurigheid van 0,75 (wat betekent dat het 75% van de tijd gelijk had) en een F1-score van 0,64.

• Wiskunde versus Engels: Het model was een wiskundig genie, met een F1-score van 0,73 voor wiskundevragen. Maar voor Engels (ELA) struikelde het met een F1-score van slechts 0,51. De auteurs suggereren dat dit komt doordat Engelse vragen vaak afhankelijk zijn van lange leesstukken, die de onderzoekers uit de data moesten laten omdat ze te lang waren.
• De "Paranoïde" Instelling: De onderzoekers merkten op dat als ze de "alarmdrempel" verlaagden van 0,5 naar 0,25, het model veel beter werd in het vangen van slechte vragen. Het ving 90% van de afgewezen items (gevoeligheid van 0,90 voor wiskunde en 0,88 voor ELA). De keerzijde? Het begon ook te veel goede vragen als slecht te markeren (de specificiteit daalde). De auteurs suggereren dat deze "paranoïde" instelling perfect zou kunnen zijn voor automatische vraaggeneratie, waarbij het goedkoop is om een vraag te maken maar duur om deze te beoordelen. Als je 90% van de slechte vragen vroegtijdig vangt, bespaar je veel tijd.

Wat het model miste: De menselijke aanraking
Ondanks het succes had het model een blinde vlek. Het was erg goed in het opsporen van vragen die te moeilijk waren of "psychometrische" problemen hadden (statistische problemen). Het had echter grote moeite met het detecteren van vragen gerelateerd aan bias, gevoeligheid, eerlijkheid of toegankelijkheid. Voor Engelse vragen ving het model slechts 27% van deze problemen op. De auteurs verklaren dat dit diep menselijke problemen zijn. Een computer kan zien of een woord moeilijk is, maar begrijpt misschien niet dat een specif kind verhaal beledigend kan zijn voor een bepaalde cultuur of groep. Dit suggereert dat hoewel AI het zware werk kan doen van het filteren, menselijke experts nog steeds absoluut noodzakelijk zijn om de eerlijkheid te controleren.

De Conclusie
Dit artikel suggereert dat we een bijna allesomvattende tool kunnen boueren om toetsvragen automatisch te evalueren. Door de ruwe tekst van een vraag te combineren met een door AI gegenereerde kritiek, kunnen we een veel betere voorspelling doen van of een vraag slaagt of faalt. Het is geen toverstaf die alles oplost—vooral niet als het gaat om eerlijkheid en bias—maar het is een krachtig nieuw hulpmiddel dat onderwijzers en testbedrijven een enorme hoeveelheid tijd en geld kan besparen. De toekomst van toetsing zal er mogelijk uitzien als een robot die de eerste selectie doet, waardoor menselijke experts zich kunnen concentreren op de vragen die echt een menselijk hart nodig hebben om te oordelen.