Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks

Deze studie concludeert dat zowel algemene als educatieve AI-tools slechts beperkt accuraat (gemiddeld 63%) zijn in het classificeren van de cognitieve vraagstukken van wiskundetaakken, waarbij ze een systematische bias vertonen naar middelmatige niveaus en oppervlakkige tekstkenmerken onterecht zwaarder wegen dan onderliggende cognitieve processen.

De kern

🤖 De Rekenmachine die Verkeerd Rekent: Wat AI echt kan (en niet kan) bij Wiskundetaakjes

Stel je voor dat je een leraar bent. Je hebt een enorme stapel wiskundetaakjes voor je liggen. Sommige zijn makkelijk (zoals "wat is 2+2?"), andere zijn heel moeilijk (zoals "ontwerp een brug en leg uit waarom hij niet instort"). Je moet voor je klas kiezen welke taakjes je gebruikt, afhankelijk van hoe slim of hoe hard je leerlingen moeten nadenken. Dit noemen experts kognitieve vraagbaarheid: hoe hard moet een leerling zijn hersenen gebruiken?

Nu is er een nieuwe hulp: Kunstmatige Intelligentie (AI). Mensen hopen dat deze slimme computers de leraars kunnen helpen om te zeggen: "Hey, dit taakje is makkelijk, dit is moeilijk."

Maar, wat zegt dit nieuwe onderzoek? Het antwoord is een beetje als een rekenmachine die soms de verkeerde knoppen indrukt.

1. De Proef: Een "Blind" Test

De onderzoekers uit Pittsburgh (een stad in de VS) wilden weten: Kunnen deze AI-tools de moeilijkheidsgraad van wiskundetaakjes goed inschatten, zonder dat we ze eerst heel lang moeten uitleggen hoe het moet?

Ze pakte 11 verschillende AI-tools (zoals ChatGPT, Claude, en speciale school-tools) en gaf ze 12 verschillende wiskundetaakjes. Ze gaven de AI een simpele opdracht: "Kijk naar dit taakje en zeg of het makkelijk of moeilijk is." Geen speciale trucs, gewoon de standaard-instellingen.

2. Het Resultaat: De "Middelmaat"-Valstrik

Het nieuws is gemengd, maar over het algemeen niet heel bemoedigend voor leraars die hopen dat AI het werk voor ze doet.

• De score: De AI's hadden het in slechts 63% van de gevallen goed. Dat is beter dan raden (25%), maar veel te slecht om er blind op te vertrouwen.
• De "Middelmaat"-Valstrik: Dit is het meest grappige (en gevaarlijke) deel. De AI-tools hadden een enorme voorkeur voor het midden.
  • Als een taakje heel makkelijk was (alleen feiten onthouden), zei de AI vaak: "Nee, dit is een beetje moeilijk, het is een standaardprocedure."
  • Als een taakje heel moeilijk was (leerlingen moeten zelf nadenken en puzzelen), zei de AI vaak: "Nee, dit is niet zo moeilijk, het is gewoon een procedure met een beetje uitleg."
  • De metafoor: Het is alsof je een thermometer hebt die bij -20 graden (vriezen) en +40 graden (heet) altijd "20 graden" aangeeft. De AI durft de uitersten niet aan en kiest altijd voor het veilige, gemiddelde antwoord.

3. Waarom lukt het niet? (De "Oppervlakkige" AI)

Waarom maken deze slimme computers zulke fouten? Het komt omdat ze oppervlakkig kijken in plaats van diep te denken.

• Oppervlakkig kijken: De AI kijkt naar woorden in de tekst. Zie je het woord "rekenen" of "stap-voor-stap"? Dan denkt de AI: "Ah, dit is een makkelijk procedure-taakje."
• Diep denken (wat ze missen): Een menselijke leraar kijkt naar wat de leerling moet doen. Moet de leerling zelf een strategie bedenken? Moet hij/zij uitleggen waarom iets werkt? De AI mist dit vaak.
• Vergelijking: Het is alsof je een boekbeoordeling schrijft op basis van de omslag. Als de omslag er simpel uitziet, denk je: "Dit is een makkelijk boek." Maar als je de inhoud leest, blijkt het een heel complex verhaal te zijn. De AI leest de inhoud niet echt; ze scannen alleen de omslag.

4. Speciale School-tools vs. Gewone AI

Je zou denken dat AI-tools die speciaal voor scholen zijn gemaakt (zoals 'Khanmigo' of 'Magic School') beter zouden zijn dan de algemene tools (zoals ChatGPT).

• Het nieuws: Nee, dat zijn ze niet. De speciale tools waren niet beter dan de gewone. Soms deed een gewone tool (DeepSeek) het zelfs het beste (83% goed), maar de meeste zaten rond de 50-60%.

5. Wat betekent dit voor leraren?

Dit onderzoek is een waarschuwing, maar ook een kans.

• Geen vervanging: Je kunt AI niet alleen laten beslissen welke taakjes je in je les gebruikt. Als je dat doet, krijg je misschien een les vol met taakjes die te makkelijk of te moeilijk zijn, omdat de AI de "moeilijkheidsgraad" verkeerd heeft ingeschat.
• Gebruik als hulpmiddel: Je kunt AI wel gebruiken als een eerste schatting. Stel je voor: AI zegt "Dit lijkt mij een makkelijk taakje." Jij, als ervaren leraar, kijkt ernaar en denkt: "Nee wacht, als ik dit aan mijn leerlingen geef, moeten ze echt nadenken over de context. Dit is eigenlijk moeilijk."
• De mens is onmisbaar: De AI is als een stagiair die veel boeken heeft gelezen, maar nog nooit in een klaslokaal heeft gestaan. Hij kent de theorie, maar mist het gevoel voor wat echt nodig is in de praktijk.

Conclusie in één zin

AI-tools zijn handige assistenten die kunnen helpen met het sorteren van taakjes, maar ze zijn nog te onbetrouwbaar om de "zware lading" van het lesontwerp alleen te dragen; de menselijke leraar moet altijd de eindcontrole doen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het onderzoekspaper "Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks", geschreven in het Nederlands.

Titel: Baseline Performance van AI-gereedschappen bij het Classificeren van de Cognitieve Vraag van Wiskundige Taken

1. Probleemstelling en Context

Leraren staan onder toenemende druk om hoogwaardige wiskundecurricula aan te passen aan individuele behoeften van leerlingen, terwijl ze tegelijkertijd de cognitieve strenge (rigor) moeten behouden. Het identificeren en aanpassen van taken op basis van hun cognitieve vraag (cognitive demand) vereist aanzienlijke pedagogische expertise en tijd, een schaars goed voor leraren.

Hoewel er veel interesse is in het gebruik van Kunstmatige Intelligentie (KI) om leraren te ondersteunen, is er weinig systemisch bewijs over de capaciteit van huidige KI-tools om fundamentele pedagogische taken uit te voeren, zoals het nauwkeurig beoordelen van het cognitieve niveau van instructiemateriaal. Bestaand onderzoek richt zich vaak op vooropleidingen of specifieke tools (zoals ChatGPT), zonder een brede vergelijking tussen algemene en educatieve KI-tools, en zonder diepgang in specifieke vakgebieden zoals wiskunde.

2. Methodologie

De studie evalueerde de prestaties van elf AI-tools bij het classificeren van wiskundetaken volgens het Task Analysis Guide (TAG)-raamwerk (ontwikkeld door Stein & Smith, 1998). Dit raamwerk onderscheidt vier niveaus van cognitieve vraag:

1. Memorization: Herhaling van feiten/regels zonder conceptueel begrip.
2. Procedures without Connections: Toepassing van algoritmen zonder conceptueel begrip.
3. Procedures with Connections: Toepassing van procedures om conceptueel begrip te ontwikkelen.
4. Doing Mathematics: Complexe, niet-algoritmische denkprocessen en zelfmonitoring.

Opzet van het experiment:

• Data: 12 wiskundetaken (A t/m L), verdeeld over de vier categorieën (3 per categorie), reeds geclassificeerd door menselijke experts.
• Tools:
  • Algemene tools (n=6): ChatGPT, Claude, DeepSeek, Gemini, Grok, Perplexity.
  • Educatieve tools (n=5): Brisk, Coteach AI, Khanmigo, Magic School, School.AI.
• Prompt-strategie: Een "out-of-the-box" benadering. Er werd één gestandaardiseerde prompt gebruikt zonder prompt-engineering, optimalisatie of few-shot learning. Dit moest de prestatie simuleren die een leraar zou behalen met een simpele, directe vraag.
• Analyse: De classificaties van de AI werden vergeleken met de expert-classificaties. Er werd een foutenanalyse uitgevoerd om te kijken naar brede misclassificaties (hoog vs. laag) en de kwaliteit van de redeneerprocessen.

3. Belangrijkste Resultaten

• Algemene Nauwkeurigheid: De gemiddelde classificatienauwkeurigheid over alle tools en taken bedroeg 63%. Hoewel dit significant hoger is dan toeval (25%), is het ver beneden het niveau dat nodig is voor betrouwbare autonome toepassing in het onderwijs. Geen enkele tool behaalde meer dan 83% nauwkeurigheid.
• Verschil tussen Tool-types: Er was geen significant verschil in prestatie tussen educatieve tools (63% gemiddeld) en algemene tools (61% gemiddeld). De beste prestatie werd geleverd door DeepSeek (algemeen, 83%), gevolgd door Coteach (educatief, 75%).
• Systeematische Bias (Midden-categorie Bias): AI-tools vertoonden een sterke bias naar de middelste categorieën (Procedures with/without Connections).
  • Taken aan de uitersten (Memorization en Doing Mathematics) werden systematisch verkeerd geclassificeerd.
  • Taken in de middelste categorieën werden veel nauwkeuriger ingeschat (bijv. 100% nauwkeurigheid voor Procedures without Connections).
  • Tools neigden naar "centrale tendens": bij twijfel kozen ze voor de middelste opties in plaats van de extreme.
• Oorzaak van Fouten: De foutenanalyse toonde aan dat AI-tools oppervlakkige tekstuele kenmerken (zoals het woord "algoritme" of "procedure") zwaarder lieten wegen dan de onderliggende cognitieve processen.
  • Bijvoorbeeld: Een taak die conceptueel diepgaand was (Doing Mathematics), werd vaak als minder hoog ingeschat omdat de tekst een procedurele oplossing suggereerde, terwijl de AI de noodzaak tot zelfstandig modelleren en redeneren over het hoofd zag.
  • Zelfs wanneer de classificatie correct was, was de onderliggende redenering vaak incompleet of onjuist (score 1.0-2.0 op een schaal van 0-3).

4. Kernbijdragen

1. Eerste systematische evaluatie: Dit is een van de eerste studies die de prestaties van zowel algemene als educatieve AI-tools vergelijkt op een fundamentele pedagogische taak binnen wiskunde.
2. Kwalitatieve foutenanalyse: In plaats van alleen naar nauwkeurigheid te kijken, ontleedde de studie hoe de AI tot conclusies komt. Het bleek dat AI-tools weliswaar de juiste categorie kunnen noemen, maar vaak de verkeerde redenering gebruiken (bijv. het negeren van de contextuele complexiteit).
3. Validatie van "Out-of-the-box" prestaties: De studie toont aan dat zonder geavanceerde prompt-engineering, AI-tools niet klaar zijn voor autonome inzet in lesplanning.
4. Identificatie van beperkingen: De studie benadrukt dat AI moeite heeft met het onderscheiden van subtiele verschillen tussen procedures met en zonder conceptuele connecties, en met het herkennen van niet-algoritmisch denken.

5. Betekenis en Implicaties

• Beperkte autonomie: Huidige AI-tools zijn nog niet betrouwbaar genoeg om wiskundetaken autonoom te classificeren of aan te passen zonder menselijk toezicht. Een fout van 37% is te groot voor kritieke onderwijsbeslissingen.
• Potentieel als Beslissingsondersteuning: AI kan wel dienen als een hulpmiddel om leraren te waarschuwen voor mogelijke taken of om een eerste inschatting te geven die door de leraar wordt geverifieerd.
• Noodzaak van Prompt Engineering: De prestaties kunnen waarschijnlijk aanzienlijk worden verbeterd door het gebruik van gestructureerde prompts, voorbeelden (few-shot learning) en chain-of-thought prompting. Echter, dit vereist vaardigheden die leraren momenteel vaak niet hebben.
• Tool-selectie: Niet alle AI-tools zijn gelijk; de keuze van de tool heeft een significante impact op de kwaliteit van de output (verschil van 50% tot 83%).
• Toekomstgericht: De studie pleit voor verdere ontwikkeling van tools die specifiek getraind zijn op pedagogische raamwerken en voor onderzoek naar hoe leraren en AI samenwerken in iteratieve feedbackloops.

Conclusie: Hoewel AI-tools boven het toevalsniveau presteren in het analyseren van cognitieve vraag, vertonen ze systematische zwaktes in het begrijpen van de diepte van wiskundige taken. De menselijke expertise van leraren blijft onmisbaar voor het waarborgen van de kwaliteit van instructiemateriaal.