Can LLMs Model Incorrect Student Reasoning? A Case Study on Distractor Generation

Dit onderzoek toont aan dat grote taalmodellen effectief plausibele foutieve redeneringen van studenten kunnen modelleren voor het genereren van meerkeuze-opties, waarbij hun proces sterk overeenkomt met onderwijskundige best practices en wordt geoptimaliseerd door het expliciet aanleveren van het juiste antwoord.

De kern

Titel: Kunnen AI's de "domme" fouten van leerlingen nabootsen? Een kijkje in de keuken van een slimme rekenmachine.

Stel je voor dat je een leraar bent die een toets maakt. Je wilt niet alleen de juiste antwoorden hebben, maar ook valkuilen (in het Engels: distractors). Dit zijn de antwoorden die een leerling zou kiezen als hij een specifieke, logische fout maakt. Als een leerling denkt dat $2 + 2 = 5$, moet die fout ook als antwoordoptie op de toets staan, zodat je kunt zien dat hij die specifieke verwarring heeft.

Maar het maken van zulke valkuilen is lastig. Je moet niet alleen weten wat het juiste antwoord is, maar ook in het hoofd van een leerling kruipen om te begrijpen waarom die fout gemaakt wordt.

Deze paper onderzoekt of moderne AI-modellen (zoals DeepSeek en GLM) dit kunnen. Kunnen ze niet alleen het juiste antwoord vinden, maar ook de "domme" redeneringen van een leerling nabootsen?

Hier is de samenvatting, vertaald naar begrijpelijke taal met een paar creatieve vergelijkingen.

1. De Opdracht: De "Fouten-Imitator"

De onderzoekers gaven de AI een taak: "Maak drie verkeerde antwoorden voor deze wiskundevraag, maar zorg dat ze slim genoeg zijn om een leerling in de val te lokken."

Het is alsof je een toneelspeler vraagt om een rol te spelen. De AI moet niet alleen de regisseur zijn (die het juiste antwoord weet), maar ook de acteur die de rol van een leerling met een specifieke misvatting speelt.

2. De Grote Verrassing: De AI werkt als een goede leraar

De onderzoekers dachten misschien dat AI's gewoon raden of oppervlakkige fouten zouden maken (zoals een getal veranderen van 4 naar 5). Maar wat ze zagen, was verrassend: De AI werkt precies zoals een ervaren leraar zou doen.

De AI volgt een soort recept dat ook in de pedagogie (leerwetenschap) wordt aangeraden:

1. Eerst het juiste antwoord vinden: De AI lost de som eerst perfect op. Dit is als een chef-kok die eerst het perfecte gerecht kookt.
2. Dan de fout bedenken: Vervolgens denkt de AI na: "Hoe zou een leerling hier fout gaan?" Misschien vergeet hij een stap, of deelt hij de verkeerde getallen.
3. De fout uitvoeren: De AI simuleert die fout stap voor stap.
4. Kiezen: Uiteindelijk kiest de AI de drie meest geloofwaardige fouten uit.

Het is alsof de AI eerst de juiste route op de kaart tekent, en dan zegt: "Oké, als ik hier per ongeluk linksaf sla in plaats van rechtsaf, kom ik uit bij een plek die eruitziet als een bestemming, maar dat niet is."

3. Waar gaat het mis? (De "Ziekte" van de AI)

Hoewel de AI het proces goed volgt, maakt hij soms nog fouten. De onderzoekers keken waar het misging:

• Niet de fout simuleren: De AI is goed in het bedenken van fouten.
• Het juiste antwoord vergeten: Soms vergeet de AI het juiste antwoord onderweg. Als je de basis niet kent, kun je geen goede valkuil maken.
• De verkeerde keuze maken: De AI bedenkt soms een goede fout, maar kiest er een minder goede uit voor de uiteindelijke toets.

De oplossing?
Als je de AI het juiste antwoord al geeft in de opdracht (als een anker), wordt hij veel beter. Het is alsof je de chef-kok het perfecte gerecht laat proeven voordat hij de "verkeerde" versies moet bedenken. Dit verbeterde de resultaten met 8%.

4. De Conclusie: AI is een slimme, maar nog niet perfecte, leerling

De kernboodschap van dit onderzoek is:

• Moderne AI's zijn niet alleen maar "zoekmachines" die antwoorden raden.
• Ze kunnen systematisch redeneren over waarom leerlingen fouten maken.
• Ze volgen een logisch proces: eerst goed doen, dan fouten bedenken, dan kiezen.
• Ze hebben echter wel een hulpje nodig (het juiste antwoord) om hun beste prestatie te leveren.

Kortom:
Stel je voor dat je een detective bent die moet uitzoeken hoe een dader (de leerling) een fout heeft gemaakt. De AI is nu zo slim dat hij eerst de feiten (het juiste antwoord) verzamelt, en dan pas de mogelijke scenario's van de dader reconstrueert. Hij is nog niet perfect, maar hij denkt op een manier die heel dicht bij hoe een echte menselijke leraar denkt.

Dit is een grote stap vooruit voor het maken van slimme toetsen en digitale tutors die echt begrijpen waar leerlingen vastlopen.

Technische samenvatting

Probleemstelling

In het domein van AI voor onderwijs (AI4Ed) is het modelleren van plausibele studentmisvattingen cruciaal voor toepassingen zoals toetsontwerp, diagnose van leerproblemen en gepersonaliseerde instructie. Een centrale uitdaging is het automatisch genereren van distractors (foutieve maar geloofwaardige antwoordopties) voor meerkeuzevragen (MCQ's).

Hoewel Large Language Models (LLMs) steeds beter worden in het simuleren van studentgedrag, is het onduidelijk hoe deze modellen redeneren wanneer ze foutieve antwoorden moeten genereren. Bestaande evaluaties focussen voornamelijk op de kwaliteit van het eindresultaat, maar niet op het onderliggende denkproces. De vraag is of LLMs werkelijk studentmisvattingen modelleren (op basis van leerwetenschappelijke principes) of dat ze slechts oppervlakkige patronen nabootsen.

Methodologie

De auteurs introduceren een gestructureerde analyse van de redeneertraces (reasoning traces) van state-of-the-art LLMs tijdens het genereren van distractors.

1. Taxonomie Ontwikkeling:
   De auteurs ontwikkelden een taxonomie van strategieën voor het genereren van distractors, gebaseerd op een combinatie van:

   • Leerwetenschappelijke theorie (o.a. Repair Theory en best practices voor het ontwerpen van MCQ's).
   • Empirische observatie van LLM-gedrag via "open coding".
     De taxonomie omvat acht strategieën (zie Tabel 1 in het paper):
   • INTER: Taakinterpretatie.
   • CORR: Referentie aan het correcte antwoord/oplossing.
   • ERR_DESC: Beschrijving van een misvatting of procedurele fout.
   • ERR_SIM: Simulatie van de foutieve procedure.
   • INST: Instantiatie van het foutieve resultaat.
   • PLAUS: Beoordeling van de plausibiliteit (hoe waarschijnlijk is het dat een student deze fout maakt?).
   • CURATE: Selectie en curatie van de uiteindelijke set distractors.
   • RECON: Heroverweging van eerdere keuzes.

2. Dataset en Modellen:

   • Dataset: Het Eedi Math MCQ Dataset (429 wiskundevragen van basisschoolniveau), gefilterd op vragen die niet afhankelijk zijn van de antwoordkeuzes om oplosbaar te zijn.
   • Modellen: DeepSeek-V3.2 en GLM-4.7 (beide "reasoning" modellen).
   • Prompting: Vergelijking tussen directe prompting, Chain-of-Thought (CoT) en specifieke "reasoning" prompting (waarbij het model extra denk-tokens genereert).

3. Analyse:

   • Automatische annotatie: Een LLM (gpt-4.1) werd gebruikt om de redeneertraces te annoteren volgens de taxonomie, met menselijke validatie op een subset (97% precisie, 95% recall).
   • Analyse dimensies: Frequentie van strategieën, temporele evolutie (wanneer komen strategieën voor?) en sequentiële overgangen (hoe worden strategieën gekoppeld?).

Belangrijkste Resultaten

1. Alignering met Leerwetenschap:
   De analyse toont een verrassende alignering tussen de processen van LLMs en best practices uit de leerwetenschappen. LLMs volgen voornamelijk een "solve-first, error-injection" strategie:

   • Ze lossen het probleem eerst correct op (CORR).
   • Ze identificeren vervolgens potentiële misvattingen (ERR_DESC).
   • Ze simuleren de fout door af te wijken van de correcte oplossing op een specifiek punt (ERR_SIM en INST).
   • Ze beoordelen de plausibiliteit en selecteren de beste set (PLAUS en CURATE).
     Dit is fundamenteel anders dan simpele oppervlakkige manipulaties van het juiste antwoord (similarity-based heuristiek), wat slechts in ca. 3% van de gevallen voorkwam.

2. Impact van Redeneren:
   Modellen die expliciet redeneren (CoT of reasoning mode) presteren significant beter dan modellen die direct antwoorden genereren.

   • De "proportional match" (overlap met menselijk gemaakte distractors) steeg van ~0.34-0.42 (direct) naar ~0.51-0.52 (redenerend).
   • Redenering vermindert drastisch het aantal per ongeluk correcte antwoorden en herhalingen.

3. Foutbronnen (Failure Modes):
   De analyse van falende gevallen onthulde dat de simulatie van fouten zelf (ERR_SIM) en de structuur van het redeneren robuust zijn. De belangrijkste oorzaken van falen zijn:

   • Onbetrouwbare herwinning van de correcte oplossing: Als het model de correcte oplossing niet correct berekent, kan het geen goede afwijkingen genereren.
   • Selectie en curatie: Het model heeft moeite om de meest plausibele fouten te onderscheiden van minder waarschijnlijke opties.

4. Anchoring Effect:
   Een cruciale bevinding is dat het expliciet verstrekken van het correcte antwoord in de prompt de prestaties met 8% verbetert. Dit bevestigt dat het "ankeren" aan de correcte oplossing essentieel is voor het genereren van geloofwaardige, maar foutieve redeneringen.

Bijdragen

1. Eerste Taxonomie voor LLM-Redenering: Een gestructureerd raamwerk om te analyseren hoe LLMs studentmisvattingen modelleren, niet alleen wat ze produceren.
2. Empirisch Bewijs voor "Solve-First": Het paper levert bewijs dat moderne LLMs, wanneer ze redeneren, natuurlijke neigingen vertonen die overeenkomen met expert-ontwerpprincipes (eerst correct oplossen, dan fouten injecteren).
3. Diagnose van Falen: Het identificeert specifiek dat de zwakke schakel niet de creatie van fouten is, maar de nauwkeurigheid van de basisoplossing en de selectie van de uiteindelijke set.
4. Praktische Richtlijn: Het toont aan dat het verstrekken van het correcte antwoord een eenvoudige en effectieve interventie is om de kwaliteit van automatisch gegenereerde toetsvragen te verbeteren.

Significantie

De studie biedt een dieper inzicht in de "black box" van LLMs in educatieve contexten. Het bevestigt dat LLMs niet alleen statistische patronen nabootsen, maar in staat zijn om systematische, misconception-gebaseerde redeneerprocessen te volgen die essentieel zijn voor kwalitatief hoogwaardig educatief materiaal. Dit heeft directe implicaties voor de ontwikkeling van:

• Automatische toetsgeneratie: Betere en veiligere MCQ's.
• Intelligente Tutoring Systemen (ITS): Betere diagnose van studentproblemen door het modelleren van specifieke foutpatronen.
• Vertrouwen in AI: Het bieden van uitlegbaarheid (explainability) over hoe een AI een foutieve student simuleert, wat cruciaal is voor acceptatie door docenten.

Kortom, het paper bewijst dat LLMs, mits goed gestuurd (bijv. via anchoring), effectieve modellen kunnen zijn voor het simuleren van incorrecte studentredenering, maar dat hun prestaties sterk afhankelijk zijn van de nauwkeurigheid van hun onderliggende correcte oplossingsstrategie.