Automated Scoring of Handwritten Mathematical Problem Posing Using Large Language Models
Deze studie toont aan dat het grote taalmodel Gemini 3.5 Flash een betrouwbare automatische beoordeling kan bereiken van handgeschreven wiskundige probleemopstelopdrachten voor het middelbaar onderwijs wanneer een zero-shot prompting-benadering met een gestructureerde rubriek wordt gebruikt, met name voor problemen met gehele getallen en bij het gebruik van herziene OCR-tekstinvoer.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een leraar bent met een berg huiswerk om te nakijken. Je weet dat leerlingen vragen om hun eigen wiskundeproblemen te bedenken een superkracht is voor het leerproces—het stimuleert creativiteit en diep begrip. Maar het nakijken van deze creatieve, handgeschreven antwoorden is een nachtmerrie. Elke leerling schrijft anders, sommigen verzinnen onmogelijke scenario's, en anderen schrijven gewoon onzin. Het kost een eeuwigheid, en zelfs menselijke leraren kunnen het oneens zijn over wat een "goed" probleem is. Dit is waar Kunstmatige Intelligentie (AI) in beeld komt, met de belofte een onvermoeibare nakijkassistent te zijn. Maar hier zit de crux: AI is goed in het lezen van gedrukte tekst, maar kan het ook het verschil begrijpen tussen slordige, handgeschreven wiskundige krabbels en een briljante vraag van een leerling versus een verwarrende bende? Deze vraag bevindt zich op het snijvlak van onderwijs en informatica, en verkent of machines kunnen leren "denken" als een wiskundeleraar bij het beoordelen van de creativiteit van leerlingen.
De onderzoekers in deze studie besloten een zeer slimme AI, genaamd Gemini 3.5 Flash, aan de test te onderwerpen. Ze wilden zien of deze AI handgeschreven wiskundeproblemen, bedacht door 235 middelbare scholieren, kon lezen en beoordelen met dezelfde nauwkeurigheid als menselijke leraren. Hiervoor zetten ze een "smaaktest" op met twee verschillende scenario's: één die betrekking had op gehele getallen (zoals rijafstanden) en een andere die betrekking had op breuken (zoals het delen van een taart). Ze gaven de AI twee versies van dezelfde handgeschreven tekst: één die direct door de "ogen" van de computer was gelezen (wat soms fouten maakt bij slordig handschrift) en één die zorgvuldig was gecorrigeerd door menselijke experts. Ze probeerden ook de volgorde van de beoordelingsregels op twee manieren aan de AI te geven—beginnend vanaf de laagste score en omhoog gaand, of beginnend vanaf de hoogste score en omlaag gaand—om te zien of de volgorde van de instructies de mening van de AI zou veranderen.
De resultaten waren een mix van "goed nieuws" en "verbeterpuntjes". De studie toonde aan dat wanneer de AI de door experts gecorrigeerde tekst gebruikte, deze veel beter overeenkwam met menselijke leraren dan wanneer de AI de ruwe, slordige computerleesversie gebruikte. Echter, het type wiskundeprobleem maakte een groot verschil. De AI was veel nauwkeuriger bij het beoordelen van problemen over gehele getallen (de rijtaak) vergeleken met problemen over breuken (de taak over de taart). Het lijkt erop dat de AI meer moeite had met de nuances van breuken, waarbij de AI vaak hoge scores gaf aan antwoorden die wiskundig correct waren, maar niet echt pasten bij het verhaal dat de leerling vertelde. Interessant genoeg deed de volgorde waarin de beoordelingsregels werden gepresenteerd aan de AI er totaal niet toe; of de AI nu van onder naar boven of van boven naar beneden de rubric volgde, de prestaties bleven hetzelfde.
Kortom, de studie suggereert dat AI een betrouwbare hulp kan zijn bij het nakijken van handgeschreven wiskundeproblemen, maar het is nog niet perfect. Het werkt het beste wanneer het handschrift duidelijk is en de wiskunde gehele getallen betreft. De onderzoekers ontdekten dat het simpelweg voeden van de AI met betere tekst (door menselijke fouten in de computerleesfase te herstellen) een merkbaar verschil maakte, maar dat de AI nog steeds hulp nodig heeft om het "verhaal" achter de wiskunde te begrijpen, vooral wanneer het om breuken gaat. Hoewel de AI niet in de war raakte door de volgorde van de instructies, werd het wel in de war gebracht door de complexiteit van de wiskundige inhoud. De auteurs concluderen dat hoewel AI aanzienlijk potentieel heeft om leraren te helpen, we voorzichtig moeten zijn met hoe we het gebruiken, vooral voor complexere onderwerpen zoals breuken, en dat we altijd moeten controleren of de computer de handgeschreven tekst van de leerling correct leest voordat hij begint met nakijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.