The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors

De studie toont aan dat visueel-taalmodellen op de DrawEduMath-benchmark tekortschotten in het analyseren van fouten van leerlingen die extra hulp nodig hebben, wat aangeeft dat deze modellen voor educatieve doeleinden andere ontwikkelingsprioriteiten nodig hebben dan louter wiskundige probleemoplossing.

De kern

Titel: Waarom slimme AI-tutors nog niet klaar zijn voor de klas (en waarom ze struggling students in de steek laten)

Stel je voor dat je een groep zeer slimme, digitale leraars hebt. Ze hebben miljoenen wiskundepuzzels opgelost en kunnen de moeilijkste vergelijkingen in een flits oplossen. Je zou denken: "Perfect! Laten we ze in elke klas zetten om kinderen te helpen."

Maar dit onderzoek, getiteld The Aftermath of DrawEduMath, laat zien dat deze digitale leraars een groot probleem hebben: Ze zijn geweldig in het zien van het juiste antwoord, maar ze zijn slecht in het begrijpen van fouten.

Hier is wat het onderzoek zegt, vertaald naar alledaags taal met een paar handige vergelijkingen:

1. De "Perfecte Student" vs. De "Lerende Student"

De onderzoekers testten 11 verschillende AI-modellen (zoals de slimme hersenen achter Google, OpenAI en Meta) met echte foto's van schoolwerk van kinderen. Sommige kinderen hadden het antwoord perfect, anderen maakten fouten.

• De Analogie: Stel je voor dat je een auto hebt die perfect rijdt op een lege, rechte snelweg. Maar zodra er een kind op de fiets voor de auto rijdt, of er een glibberige weg is, raakt de auto in paniek en stopt.
• Het Resultaat: De AI's deden het uitstekend als het kind het antwoord goed had. Maar zodra het kind een fout maakte (bijvoorbeeld een verkeerd getekende lijn of een verkeerd berekening), raakten de AI's in de war. Ze konden de fout niet goed beschrijven. Het was alsof ze dachten: "Oh, dit moet wel goed zijn, want ik heb het antwoord al in mijn hoofd," en negeerden wat er echt op het papier stond.

2. Het "Gouden Antwoord" Spook

Waarom doen ze dit? Het onderzoek suggereert dat de AI's zo getraind zijn om goede wiskunde te maken, dat ze veronderstellen dat iedereen het goed doet.

• De Analogie: Stel je voor dat je een chef-kok bent die alleen maar perfecte pizza's heeft gemaakt. Als iemand een pizza binnenbrengt met een gebakken korst en een rauwe kaas, en je vraagt: "Wat zie je?", zegt de chef: "Ik zie een perfecte pizza." Hij ziet de rauwe kaas niet, omdat zijn brein zo is geprogrammeerd om alleen de perfecte versie te verwachten.
• Het Gevolg: Als een kind een fout maakt, geeft de AI vaak het antwoord dat had moeten zijn, in plaats van te zeggen wat het kind echt heeft gedaan. Ze "hallucineren" een perfecte oplossing in plaats van de fout te analyseren.

3. Het is niet alleen de "slechte foto"

Je zou denken: "Misschien maken kinderen die fouten gewoon rommeligere tekeningen? Misschien is de foto wazig?"
De onderzoekers hebben dit getest. Ze hebben de rommelige, handgetekende antwoorden van de kinderen overgetekend naar schone, digitale versies.

• Het Resultaat: Zelfs met de schone, digitale foto's bleef de AI het moeilijk vinden om de fouten te zien. Het probleem zat dus niet in de "ruis" van de foto, maar in het "brein" van de AI zelf. Ze zijn niet getraind om fouten te analyseren, maar om fouten te corrigeren naar een ideaalbeeld.

4. De "Ja/Nee" vs. "Uitgebreid" Valstrik

De AI's deden het soms iets beter als je ze een simpele vraag stelde, zoals: "Is dit antwoord goed? Ja of Nee." Maar zodra je vroeg: "Wat ging er precies mis?", vielen ze terug.

• De Analogie: Het is alsof je een robot vraagt: "Is de deur open?" (Ja/Nee). Dat kan hij makkelijk. Maar als je vraagt: "Waarom staat de deur op een kier en wat moet je doen om hem dicht te krijgen?", dan raakt de robot in de war.
• Het Gevolg: Voor een echte leraar is het juist het uitleggen van de fout dat het belangrijkst is. De AI kan dat momenteel niet goed.

Waarom is dit belangrijk?

We willen AI gebruiken om kinderen te helpen leren. Maar leren betekent fouten maken. Als je een AI-tutor gebruikt die alleen goed doet als het antwoord al perfect is, helpt hij de kinderen die het hardst nodig hebben (diegene die worstelen met de stof) juist niet.

• Het Risico: Als we deze AI's nu al in de klas zetten, zouden ze kunnen denken dat een kind het goed doet (terwijl het fouten maakt) of juist denken dat een kind het fout heeft (terwijl het een slimme aanpak gebruikt). Dit kan de kloof tussen sterke en zwakke leerlingen zelfs vergroten.

De Conclusie in het Kort

Deze slimme AI's zijn als wiskundige olympische kampioenen: ze kunnen het perfecte antwoord geven. Maar een leraar is meer dan een olympisch kampioen; een leraar moet een coach zijn die ziet waar de speler struikelt en helpt om weer op te staan.

Op dit moment zijn deze AI's nog geen goede coaches. Ze moeten nog veel leren om niet alleen het "goede antwoord" te zien, maar ook de "moeizame weg" van een leerling die aan het leren is. Voordat we ze in de klas zetten, moeten we ze eerst trainen om fouten te begrijpen, niet alleen om ze te negeren.

Technische samenvatting

Probleemstelling

Het gebruik van Vision-Language Models (VLMs) in het onderwijs, bijvoorbeeld voor AI-tutors, neemt toe. Echter, er is een kritiek gat in de evaluatie: bestaande benchmarks testen vaak de vaardigheid van modellen om wiskundige problemen op te lossen, maar niet hoe goed ze presteren bij het analyseren van echt studentwerk, inclusief fouten en misconcepties.

De kernproblemen die dit paper adresseert zijn:

1. Prestatieverschil bij fouten: Het is onduidelijk of VLMs even goed presteren bij het beschrijven van werk van studenten die fouten maken (en dus extra pedagogische hulp nodig hebben) versus werk zonder fouten.
2. Diagnostische onbekwaamheid: Het is onbekend of modellen betrouwbaar kunnen vaststellen of een student een fout heeft gemaakt, wat essentieel is voor gerichte feedback.
3. Tekort aan realistische data: Veel benchmarks gebruiken schone, digitale data, terwijl echt studentwerk vaak "ruis" bevat (handgeschreven, getekend, onduidelijk).

Methodologie

De auteurs voerden een uitgebreide evaluatie uit over een periode van één jaar op het DrawEduMath-benchmark.

• Dataset: DrawEduMath bestaat uit 2.030 afbeeldingen van handgeschreven en getekende antwoorden van K-12 studenten op wiskundeproblemen, afkomstig van het leerplatform ASSISTments. De data bevat ruwe, natuurlijke data met variërende kwaliteit.
• Modellen: Er werden 11 Vision-Language Models geëvalueerd die in 2025 zijn uitgebracht, waaronder modellen van OpenAI (GPT-4.5, GPT-5, o4-mini), Anthropic (Claude Sonnet 3.7-4.5), Google (Gemini 2.0-2.5) en Meta (Llama 4 Scout).
• Evaluatie-maatstaf: De prestaties werden gemeten aan de hand van de nauwkeurigheid van de antwoorden op vragen over het studentwerk. Een LLM-judge (een ensemble van Claude Sonnet 4.5, Gemini 2.5 Pro en GPT-4o) beoordeelde de gelijkenis tussen het gegenereerde antwoord en het "gold standard" antwoord van leraren.
• Experimentele opzet:
  • Categorisering: Studentantwoorden werden geclassificeerd als "met fouten" of "zonder fouten" op basis van lerarenannotaties.
  • Vraagtypes: De vragen werden onderverdeeld in inhoudsbeschrijving (wat staat er op de afbeelding?), correctheid & fouten (is het antwoord juist? wat is de fout?) en beeldcreatie.
  • Controle-experimenten:
    • Probleemcontrole: Regressionanalyse om te zien of het prestatieverschil komt door de moeilijkheid van het probleem of de aanwezigheid van een fout.
    • Ruisreductie: Een subset van afbeeldingen werd handmatig "opgeschoond" en digitaal opnieuw getekend om te testen of beeldkwaliteit de oorzaak is van de slechte prestaties.
    • Tekstuele ondersteuning: Modellen kregen de tekstuele beschrijvingen van leraren als input om te zien of dit de diagnostische vaardigheden verbetert.

Belangrijkste Bijdragen

1. Ontdekking van systematische bias: Het paper toont aan dat VLMs systematisch slechter presteren bij het analyseren van werk van studenten die fouten maken, vergeleken met werk zonder fouten.
2. Diagnostisch falen: Modellen worstelen het meest met vragen die gaan over het beoordelen van de correctheid van een student, zelfs wanneer ze visueel heldere data krijgen.
3. Hypothese over "Error-Free Bias": De auteurs suggereren dat modellen zijn getraind op "hoogwaardige", correcte wiskundige data. Hierdoor gaan ze er onbewust van uit dat studentwerk correct is, wat leidt tot het "hallucineren" van correcte antwoorden voor foutief werk.
4. Open-source reproducibiliteit: De auteurs hebben scripts en data vrijgegeven om hun bevindingen te reproduceren en een transparante evaluatieframework voor educatieve AI te bieden.

Resultaten

De analyse leverde twee kernbevindingen op (F1 en F2):

• F1: Onderprestatie bij foutief werk: Alle 11 geëvalueerde VLMs presteerden significant slechter bij het beschrijven van inhoud in studentwerk dat fouten bevatte. Dit verschil bleek statistisch significant te zijn, zelfs wanneer gecontroleerd werd voor de moeilijkheid van het wiskundeprobleem zelf.
  • Oorzaak: Een deel van de fouten in het antwoord van het model komt doordat het model het "juiste" antwoord voorspelt dat zou horen bij een correcte oplossing, in plaats van de feitelijke (foute) inhoud van de afbeelding te beschrijven. Dit gebeurt vooral bij vragen met valse aannames (bijv. "Hoeveel vierkanten tekende de student?" wanneer de student geen vierkanten tekende).
• F2: Moeite met correctheidsbeoordeling: Vragen over de correctheid van het antwoord (bijv. "Maakte de student een fout?") waren over het algemeen het moeilijkst voor de modellen.
  • Invloed van tekst: Het toevoegen van tekstuele beschrijvingen (captions) verbeterde de prestaties iets, maar bleef achter bij de prestaties op andere vraagtypes zonder tekst.
  • Binair vs. Open: Hoewel binair vragen (Ja/Nee) soms makkelijker lijken dan open vragen, presteerden sommige modellen hier nauwelijks beter dan willekeurig gokken (random baseline).
  • Inconsistentie: Modellen vertonen geen consistent patroon; sommige rapporteren te veel fouten, andere missen fouten volledig. Dit varieert zelfs binnen modellen van dezelfde ontwikkelaar.

Betekenis en Conclusie

Dit paper heeft grote implicaties voor de integratie van AI in het onderwijs:

1. Pedagogisch risico: Omdat VLMs slechter presteren bij werk van studenten die worstelen (die juist de meeste hulp nodig hebben), bestaat het risico dat deze systemen deze leerlingen onterecht ondersteunen of hun fouten niet herkennen. Dit kan bestaande onderwijsongelijkheden verergeren.
2. Training-uitdaging: De huidige trainingsparadigma's voor VLMs, die gericht zijn op het oplossen van problemen en het genereren van correcte antwoorden, zijn in conflict met de educatieve noodzaak om fouten te begrijpen en te diagnosticeren. Er is een nieuwe ontwikkelingsprijs nodig die modellen traint op het analyseren van foutieve data.
3. Evaluatie-normen: De evaluatie van AI in het onderwijs mag niet alleen kijken naar algemene nauwkeurigheid. Het moet gedesaggregeerd worden om te controleren of modellen eerlijk presteren voor studenten op verschillende niveaus van vaardigheid en of ze fouten correct kunnen diagnosticeren.

Kortom, hoewel VLMs uitstekende wiskundeprofessionals kunnen zijn in theorie, zijn ze momenteel onvoldoende geschikt als pedagogische hulpmiddelen voor het analyseren van echt, imperfect studentwerk.