AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
Deze studie toont aan dat op prompts gebaseerde grote taalmodellen betrouwbaar conceptuele categorieën kunnen identificeren in open vragen van studenten in de wiskunde zonder fijnafstemming, waarbij een hoge nauwkeurigheid wordt bereikt voor positieve kenmerken en diep conceptueel begrip, terwijl de noodzaak voor ondersteuning door experts in de loop van het proces en taalkundig expliciete prompts wordt benadrukt om uitdagingen bij het verifiëren van afwezige kenmerken of het oplossen van ambiguïteit aan te pakken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het klaslokaal vinden de meest waardevolle momenten vaak niet plaats wanneer een leerling het juiste antwoord geeft, maar wanneer zij uitleggen hoe ze tot dat antwoord zijn gekomen. Docenten weten al lang dat ze, om een leerling werkelijk te begrijpen, voorbij het eindgetal moeten kijken en de redenering erachter moeten zien. Dit is de kern van formatieve evaluatie: een proces van controleren tijdens het leren, zodat het onderwijs kan worden aangepast om de leerling te helpen verder te komen. Er is echter een praktisch probleem. Wanneer leerlingen hun gedachten opschrijven, tekeningen maken of hun eigen verhaaltjes bij een som bedenken, krijgt de docent te maken met een berg tekst die gelezen en geïnterpreteerd moet worden. Dit diepgaand doen voor elke leerling kost tijd die in een drukke schooldag zelden bestaat. Als gevolg hiervan eindigen veel docenten met het beoordelen van alleen de eindantwoorden, waardoor ze de rijke inzichten missen die verborgen liggen in de uitleg van de leerlingen.
Jarenlang hebben onderzoekers geprobeerd computers te bouwen die deze uitleg konden lezen en de denkpatronen daarin konden herkennen. Vroege pogingen faalden vaak omdat ze vertrouwden op rigide regels of enorme hoeveelheden vooraf gelabelde data nodig hadden om te leren. De komst van grote taalmodellen — krachtige computersystemen die getraind zijn op enorme hoeveelheden tekst om menselijke taal te begrijpen en te genereren — heeft de vraag opnieuw opgeroepen. Deze modellen kunnen instructies volgen die in gewone mensentaal zijn geschreven, zonder dat ze voor elke specifieke taak opnieuw getraind hoeven te worden. Maar er blijft een cruciale twijfel bestaan: kan een machine die uitblinkt in taal, ook de specifieke, vaak subtiele logica van wiskunde begrijpen? Kan het het verschil zien tussen een leerling die een concept echt beheerst en iemand die slechts aan het gokt of de juiste woorden gebruikt om de verkeerde redenen?
Een onderzoeker aan de TU Dortmund Universiteit zette zich in om deze vraag te beantwoorden in de context van het wiskundig onderwijs. De onderzoeker wilde weten of deze nieuwe AI-tools betrouwbaar specifieke soorten leerlingdenken konden identificeren in open vragen over wiskunde, en of ze dat goed genoeg konden doen om nuttig te zijn in een echte klas. De studie richtte zich op twee hoofdonderwerpen: natuurlijke getallen en breuken. De onderzoeker verzamelde duizenden schriftelijke reacties van leerlingen uit de vijfde en zesde klas. Deze leerlingen kregen opdrachten zoals uitleggen waarom een breuk op een bepaalde manier werkt of het bedenken van een eigen verhaalsom bij een gegeven wiskundige vergelijking. Het doel was om te zien of een AI, geleid door een reeks instructies geschreven door een menselijke expert, deze reacties kon sorteren in betekenisvolle categorieën, zoals "toont diep begrip", "heeft een specifieke misconceptie" of "levert geen bewijs van begrip".
De onderzoeker testte vier verschillende open-source AI-modellen, dit zijn versies van de technologie die scholen op hun eigen servers kunnen hosten om de privacy van leerlingen te beschermen. De onderzoeker vergeleek de beoordeling door de AI met die van menselijke experts. De resultaten waren verrassend positief. Over meer dan 13.000 gecodeerde reacties behaalden de AI-modellen een hoog niveau van overeenstemming met de menselijke experts, waarbij ze de belangrijkste categorieën van het denken van leerlingen ongeveer 82 procent van de tijd correct identificeerden. Deze prestatie was consistent over verschillende soorten wiskundige problemen en verschillende modellen. De AI was bijzonder goed in het herkennen wanneer een leerling een concept correct uitlegde, zoals het begrijpen dat vermenigvuldigen het groeperen van items inhoudt, of wanneer een leerling een duidelijke, specifieke fout maakte in de redenering.
De studie onthulde echter ook waar de machines tegen een muur aanliepen. Wanneer de taak van de AI een eenvoudige rekencontrole vereiste — zoals controleren of de getallen in het verhaal van een leerling daadwerkelijk bij elkaar optellen — hadden de modellen moeite. Ze hadden ook moeite wanneer de reactie van een leerling erg kort of vaag was, of wanneer de leerling ambigue taal gebruikte. In deze lastige situaties neigde de AI naar gissen, waarbij vaak werd aangenomen dat de leerling meer begreep dan in werkelijkheid het geval was. De onderzoeker stelde vast dat de AI ongeveer even goed presteerde als een deskundige niet-expert, zoals een stagiair, maar het kon de prestaties van een ervaren expert niet evenaren die direct diepe conceptuele fouten of berekeningen kan signaleren.
De meest significante bevinding was niet alleen dat de AI werkt, maar hoe de AI werkt en waar deze hulp nodig heeft. De onderzoeker ontdekte dat de AI het meest betrouwbaar is wanneer de reactie van de leerling taalkundig expliciet is. Als een leerling duidelijke woorden gebruikt om een groeperingsstructuur te beschrijven, vangt de AI dit gemakkelijk op. Als de leerling vaag is, raakt de AI de weg kwijt. Dit suggereert dat het ontwerp van de toetsvragen zelf enorm veel uitmaakt; vragen die leerlingen stimuleren om duidelijk en volledig te schrijven, zullen betere resultaten opleveren van AI-tools. Bovendien concludeerde de studie dat deze AI-tools niet gezien moeten worden als vervangingen voor docenten. In plaats daarvan fungeren ze als een krachtige katalysator. Ze kunnen het zware werk doen van het lezen en sorteren van duizenden reacties, waardoor de gevallen die een menselijk oog vereisen worden gemarkeerd. Dit geeft de docent de vrijheid om zich te concentreren op de moeilijkste gevallen en om de uiteindelijke instructiebeslissingen te nemen op basis van een duidelijker en georganiseerder beeld van het begrip van de klas.
De onderzoeker benadrukt dat de AI een hulpmiddel is voor de docent, geen vervanging voor diens oordeelsvorming. Het systeem is ontworpen om te werken in een lus waarbij de machine een eerste analyse levert, waarna de menselijke docent de analyse beoordeelt, fouten corrigeert en de noodzakelijke context toevoegt die alleen een persoon kan bieden. Deze aanpak respecteert de complexiteit van het lesgeven terwijl het de praktische beperkingen van menselijke tijd erkent. Door AI te gebruiken voor de initiële sortering, kunnen docenten potentieel de diepe conceptuele denkprocessen van elke leerling onderzoeken, in plaats van slechts een enkelen. De studie bevestigt dat hoewel AI de genuanceerde kennis van een meesterdocent nog niet kan vervangen, het een punt heeft bereikt waarop het het maken van de droom van diepgaande, gepersonaliseerde formatieve evaluatie in de wiskunde tot een praktische realiteit voor scholen kan maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.