Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math

Dit artikel introduceert ScratchMath, een nieuw benchmark voor het analyseren van fouten in handgeschreven wiskundige werkbladen van studenten, en evalueert de beperkingen van multimodale grote taalmodellen bij het diagnosticeren van deze fouten in vergelijking met menselijke experts.

De kern

Stel je voor dat een leraar een stapel huiswerk doorneemt. Ze kijken niet alleen naar het eindantwoord, maar vooral naar de krabbels op het kladpapier. Die krabbels vertellen het echte verhaal: waar dacht de leerling vast te lopen? Waarom maakte hij die fout?

Tot nu toe waren computers (kunstmatige intelligentie) heel goed in het oplossen van wiskundepuzzels, maar ze waren slecht in het analyseren van de gedachten van een leerling. Ze keken als een examenkandidaat ("Hoe los ik dit op?") in plaats van als een leraar ("Waarom heeft deze leerling dit verkeerd gedaan?").

Dit paper introduceert ScratchMath, een nieuw hulpmiddel om deze kloof te dichten. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Kladpapierspook"

Wiskundehuiswerk is vaak rommelig. Handgeschreven cijfers lijken op letters, breuken staan scheef, en leerlingen gebruiken hun eigen unieke manier van rekenen.

• De analogie: Stel je voor dat je een oude, vervaagde schets van een detective probeert te lezen. Een computer ziet vaak alleen vlekken, terwijl een mens de logica erachter snapt. Bestaande AI-modellen kunnen de tekst wel lezen, maar ze begrijpen niet waarom de leerling een stap verkeerd heeft gezet. Ze geven vaak gewoon het juiste antwoord, in plaats van uitleggen wat er misging.

2. De Oplossing: ScratchMath (De "Kladpapiers-Detective")

De onderzoekers hebben een nieuwe database gemaakt met 1.720 echte voorbeelden van handgeschreven wiskunde van Chinese basisschool- en middelbare scholieren.

• Het doel: Ze hebben AI-modellen getest op twee taken:
  1. De "Waarom-vraag" (Verklaring): "Leg uit waarom deze leerling 1980 heeft in plaats van 1,98." (Antwoord: "Hij vergat om gram om te rekenen naar kilo's").
  2. De "Categorie-vraag" (Classificatie): "Wat voor type fout is dit?" (Bijv. "Rekenfout" of "Begripsfout").
• De kwaliteit: Ze hebben dit niet zomaar gedaan. Menselijke experts (leraren) hebben samen met slimme computers gekeken, gecontroleerd en gecorrigeerd. Het is alsof je een team van topdetectives hebt die elke krabbel tot in de kleinste details hebben bestudeerd.

3. De Test: Wie is de beste leraar?

De onderzoekers hebben 16 verschillende AI-modellen (zowel gratis open-source als dure betaalde modellen) getest op deze database.

• Het resultaat: De AI's doen het nog niet zo goed als een menselijke leraar.
  • De "Grote Broers" (Betaalde modellen): Modellen zoals o4-mini en Gemini doen het het beste. Ze lijken een beetje op een ervaren leraar die de fouten snel ziet.
  • De "Jonge Leerlingen" (Open-source modellen): Deze modellen maken veel meer fouten. Ze zien soms letters als cijfers, of ze "hallucineren" (verzonnen ze een reden die er niet is).
• De verrassing: Soms doen de modellen het beter op middelbare schoolvragen dan op basisschoolvragen.
  • De analogie: Basisschoolleerlingen schrijven vaak heel rommelig en ongestructureerd (alsof ze met een viltstift op een rots schrijven). Middelbare scholieren schrijven netter en logischer (als een gedrukt boek). De AI's hebben dus meer moeite met de "rommelige" krabbels van de kleintjes.

4. Waar struikelen de AI's?

De paper laat zien dat AI's nog vastlopen op drie specifieke gebieden:

1. Lezen van de hand: Ze verwarren een '1' met een 'l' of een streepje.
2. De logica volgen: Ze zien de uitkomst, maar snappen niet welke denkstap de leerling heeft gemist.
3. Verzonnen verhalen: Soms bedenken ze een hele mooie, logische reden voor een fout, terwijl de leerling gewoon een ongelukje had.

Waarom is dit belangrijk?

Voor de toekomst van het onderwijs is dit cruciaal. Als we AI willen gebruiken om leerlingen te helpen, moet de computer niet alleen het antwoord weten, maar ook begrijpen hoe de leerling denkt.

• De conclusie: ScratchMath is als een nieuwe "spiegel" voor AI. Hij laat zien dat we nog een lange weg te gaan hebben voordat computers echt kunnen "meedenken" met een leerling. Ze moeten leren om niet alleen te kijken naar het antwoord, maar naar de reis die de leerling heeft gemaakt om daar te komen.

Kortom: We hebben nu een betere manier om te testen of AI's echt kunnen "leren" van fouten, en we hebben ontdekt dat ze daar nog veel van de menselijke leraar moeten leren.

Technische samenvatting

Titel: Kunnen MLLM's de gedachten van studenten lezen? Het ontrafelen van multimodale foutanalyse in handgeschreven wiskunde.

1. Probleemstelling

Het automatisch beoordelen van handgeschreven uitwerkingen (scratchwork) van studenten is cruciaal voor gepersonaliseerd educatief feedback, maar vormt een unieke uitdaging voor kunstmatige intelligentie. Bestaande educatieve NLP-systemen richten zich voornamelijk op tekstuele antwoorden en negeren de complexiteit van authentiek handgeschreven werk, zoals:

• Ambiguïteit in symbolen: Verwarring tussen tekens (bijv. '1', 'l', '|').
• Complexe lay-outs: Breuken, superscripten en persoonlijke oplossingsstrategieën.
• Perspectief van MLLM's: Huidige Multimodale Large Language Models (MLLM's) zijn getraind vanuit het perspectief van de exameneer (het vinden van het juiste antwoord) in plaats van dat van de docent (het diagnosticeren van waarom een student een fout maakt).

Bestaande benchmarks gebruiken vaak gestructureerde data of richten zich alleen op foutclassificatie zonder diepgaande uitleg, wat de nuance van echte studentenuitwerkingen mist.

2. Methodologie: De ScratchMath Benchmark

Om deze kloof te dichten, stellen de auteurs ScratchMath voor, een nieuw benchmark-dataset specifiek ontworpen voor het verklaren en classificeren van fouten in authentiek handgeschreven wiskundig werk.

• Dataset Samenstelling:
  • Grootte: 1.720 wiskundeproblemen van Chinese basisschool- en middelbareschoolstudenten.
  • Onderwerpen: Vijf kritieke gebieden: Getallen en Expressies, Vergelijkingen en Functies, Meetkunde en Meten, Toegepaste Wiskunde, en Statistiek en Kansrekening.
  • Opbouw: De dataset bevat de vraag, het referentieantwoord, de referentieoplossing, het antwoord van de student en een afbeelding van de uitwerking.
• Taken:
  1. Error Cause Explanation (ECE): Een open-ended uitleg genereren over de specifieke reden van de fout.
  2. Error Cause Classification (ECC): De fout classificeren in een van zeven vooraf gedefinieerde categorieën (bijv. Rekenfout, Conceptuele Kennisfout, Probleembegripfout).
• Data Collectie en Annotatie:
  • Een mens-machine collaboratieve aanpak werd gebruikt. Eerst genereerde GPT-4o voorlopige annotaties.
  • Vervolgens voerden vijf professionele wiskundeleraars (met >3 jaar ervaring) een grondige review, labeling en verificatie uit.
  • De dataset is gefilterd op kwaliteit (OCR-filtering, verwijdering van onleesbare teksten) en bevat geen PII (persoonlijke gegevens).
• Evaluatiemetrics:
  • Voor ECE: Gebruik van een "LLM-as-a-Judge" framework (o3-mini) om de semantische overeenkomst met de grondwaarheid te beoordelen.
  • Voor ECC: Strikte nauwkeurigheid (exacte match met de geannoteerde klasse).

3. Experimentele Opzet

De auteurs evalueerden 16 toonaangevende MLLM's op de ScratchMath-benchmark:

• Propriëtaire modellen: o4-mini, GPT-4o, Gemini 2.0 Flash (inclusief 'Thinking' varianten).
• Open-source modellen: Qwen2.5-VL, DeepSeek-VL2, Llama-3.2-Vision, QVQ, InternVL2.5, etc.
• Instellingen: Temperatuur 0 (greedy decoding) voor reproduceerbaarheid, met extra Chain-of-Thought (CoT) experimenten.

4. Belangrijkste Resultaten

De resultaten tonen significante prestatiekloven tussen AI en menselijke experts, met de volgende inzichten:

• Propriëtaire vs. Open-source: Propriëtaire modellen presteren consequent beter dan open-source modellen, zelfs bij vergelijkbare parametergroottes. Dit wordt toegeschreven aan diverse trainingsdata.
• Prestatiekloof met Mensen: Zelfs de beste modellen (o4-mini, Gemini 2.0 Flash Thinking) halen de prestaties van menselijke experts niet (menselijke score ~84% vs. beste model ~57% gemiddeld).
• Taakverschil:
  • Modellen presteren redelijk goed op Error Cause Explanation (ECE), vooral grotere "reasoning" modellen.
  • Error Cause Classification (ECC) blijkt aanzienlijk moeilijker; modellen worstelen met het correct categoriseren van fouten.
• Fouttypes in Modellen:
  • De meest voorkomende fouten zijn visuele herkenningsfouten (OCR-problemen bij onduidelijk handschrift) en formatteerfouten.
  • Modellen hebben moeite met het reconstrueren van de logische redenering van de student en vertonen vaak hallucinaties of over-speculatie.
  • Kleinere open-source modellen tonen vaker rekenfouten en hallucinaties.
• Invloed van Niveau en Type:
  • In tegenstelling tot wat verwacht werd, presteren modellen op de classificatietaak (ECC) soms beter op middelbareschoolvragen dan op basisschoolvragen. Dit komt doordat middelbareschooluitwerkingen gestructureerder en leesbaarder zijn.
  • Fouten in "Logisch Redeneren" en "Rekenen" blijven voor alle modellen de grootste uitdaging.

5. Bijdragen

De paper levert drie belangrijke bijdragen aan het veld:

1. Nieuwe Benchmark: Introductie van ScratchMath, de eerste benchmark specifiek gericht op het diagnosticeren en uitleggen van fouten in authentiek handgeschreven werk.
2. Dataset: Publicatie van een hoogwaardige, multimodale dataset van 1.720 voorbeelden, zorgvuldig geannoteerd via mens-machine samenwerking.
3. Evaluatie: De eerste uitgebreide evaluatie van state-of-the-art MLLM's op deze taak, met gedetailleerde analyses van hun beperkingen (vooral visuele perceptie en logische inferentie).

6. Betekenis en Toekomstperspectief

De studie benadrukt dat huidige MLLM's nog niet klaar zijn om als vervanging voor docenten te fungeren bij het analyseren van studentdenkprocessen. Hoewel ze goed zijn in het vinden van het juiste antwoord, missen ze het vermogen om de oorzaak van een fout in een complexe, handgeschreven uitwerking nauwkeurig te diagnosticeren.

Toekomstig werk richt zich op:

• Het integreren van expliciete fouttype-predicties in het trainingsproces.
• Het verbeteren van visuele herkenningsmethoden voor handschrift.
• Het uitbreiden van de dataset naar diverse talen en culturen om de generaliseerbaarheid te vergroten.
• Het ontwikkelen van modellen die beter aligneren met de analytische processen van educatieve experts.

De dataset, code en evaluatieframeworks zijn openbaar beschikbaar om verder onderzoek te faciliteren.