Technische Samenvatting: FoundationalASSIST

Probleemstelling

De inzet van Large Language Models (LLM's) voor adaptief testen en gepersonaliseerd tutoreren rust op de aanname dat deze modellen het cognitieve proces van studenten kunnen begrijpen. De huidige onderwijsdatasets zijn echter fundamenteel incompatibel met de natuurlijke taalredeneervaardigheden van LLM's. Traditionele benchmarks, zoals ASSISTments, EdNet en Junyi Academy, representeren interacties van studenten als tupels van obscure identificatoren en binaire correctheidslabels. Dit formaat ontdoet de data van de semantische inhoud die nodig is om te redeneren over waarom een student worstelt, welke specifie specifieke misconceptie zij vasthoudt, of welk fout antwoord zij heeft gekozen. Bijgevolg is het onmogelijk om rigoureus te evalueren of LLM's fundamentele onderwijstaken kunnen uitvoeren, zoals kennisopsporing (knowledge tracing: het voorspellen van de prestaties van een student) of pedagogische gronding (het begrijpen van de eigenschappen van een toets), zonder een dataset die de volledige tekstuele rijkdom van het leerproces behoudt.

Methodologie

De auteurs introduceren FoundationalASSIST, de eerste Engelstalige onderwijsdataset die deze kloof probeert te overbruggen. De dataset is afgeleid van het ASSISTments-platform en beslaat interacties van januari 2019 tot juli 2024.

Constructie van de Dataset

FoundationalASSIST bestaat uit 1,7 miljoen interacties van 5.000 unieke studenten over 3.395 wiskundeproblemen. In tegenstelling tot eerdere datasets biedt het:

1. Volledige Vraagtekst: Volledige probleemstellingen met wiskundige notatie, omgezet naar leesbare tekst.
2. Werkelijke Antwoorden van Studenten: In plaats van binaire labels registreert de dataset de specifiek gekozen optie (voor meerkeuzevragen) of het exacte numerieke/tekstuele antwoord dat is ingevuld (voor invulvragen).
3. Distractor Selectiegegevens: Gegevens over welke specifieke foutieve antwoorden studenten kozen, wat analyse van misconceptiepatronen mogelijk maakt.
4. Curriculum Afstemming: Alle problemen zijn gekoppeld aan de Common Core State Standards (K-12), wat gestructureerde codes en beschrijvingen van kenniscomponenten biedt.

De dataset bevat 64,4% invulvragen en 23,4% single-select meerkeuzevragen, met een algehele correctheid van 61,5% (gebalanceerd naar 51,3% voor de evaluatieset).

Benchmark Taken

De paper definieert zes zero-shot evaluatietaken, verdeeld over twee tracks:

1. Kennisopsporing (Knowledge Tracing):
   • Vraagniveau Voorspelling: Het voorspellen of een student een specifieke vraag correct zal beantwoorden op basis van hun geschiedenis.
   • Cognitieve Student Modellering: Het voorspellen van de exacte respons (optieletter of numerieke waarde) die een student zal genereren.
2. Pedagogische Gronding (Pedagogical Grounding):
   • Moeilijkheidsgraad Vergelijking: Identificeren welke van twee problemen moeilijker is.
   • Discriminatie Vergelijking: Identificeren welk probleem beter onderscheid maakt tussen hoog- en laagbegaafde studenten (gebaseerd op Item Response Theory-parameters).
   • Meest Voorkomende Distractor Voorspelling: Voorspellen welk fout antwoord studenten het meest frequent kiezen.
   • Minst Voorkomende Distractor Voorspelling: Voorspellen welk fout antwoord studenten het minst frequent kiezen.

Experimentele Opzet

De auteurs evalueerden vier frontier LLM's: GPT-OSS-120B, Llama-3.3-70B-Instruct, Qwen3-Next-80B-Instruct en Qwen3-Next-80B-Thinking. Alle experimenten maakten gebruik van zero-shot prompting met gestructureerde inputs bestaande uit studentgeschiedenis en doelvragen. De evaluatie richtte zich op inherente capaciteiten voortvloeiend uit pretraining, waarbij fine-tuning of few-shot learning werd uitgesloten.

Belangrijkste Resultaten

Prestaties bij Kennisopsporing

• Marginale Verbetering ten opzichte van Baseline: Alle modellen overtroffen nauwelijks een triviale baseline van 51,3% (altijd "correct" voorspellen). Het beste model, GPT-OSS-120B, behaalde een nauwkeurigheid van 56,2%, een winst van slechts ~5 procentpunten.
• Optimistische Bias: Modellen vertoonden een systematische bias naar het voorspellen van correctheid. Zo behaalde Llama-3.3-70B een nauwkeurigheid van 85,4% wanneer studenten correct waren, maar slechts 12,6% wanneer ze onjuist waren. Dit suggereert dat modellen er niet in slagen worstelende studenten te herkennen.
• Cognitieve Modellering: Hoewel het voorspellen van exacte responsen moeilijker is, toonden modellen enige capaciteit, met name voor invulvragen (40–50% nauwkeurigheid), waarbij de kans op toeval bijna nul is. De prestaties daalden echter aanzienlijk bij foutieve antwoorden.
• Contextlengte: Het vergroten van de geschiedenislengte van 50 naar 400 interacties verbeterde de prestaties niet, wat aangeeft dat LLM's er niet effectief in slagen om lange-termijn interactiesequenties te benutten om studentmodellen op te bouwen.

Prestaties bij Pedagogische Gronding

• Moeilijkheidsgraad Schatting: Modellen toonden werkelijke competentie; GPT-OSS-120B bereikte een nauwkeurigheid van 68,6% (18,6% boven toeval). De prestaties verbeterden bij grotere verschillen in moeilijkheidsgraad (80,0% bij grote verschillen).
• Discriminatie Falen: Elk model presteerde onder het niveau van toeval (50%) bij de discriminatievergelijking. De beste performer, Qwen3-Next-80B-Thinking, behaalde 46,9%. Dit duidt op een fundamenteel onvermogen om te begrijpen wat een item diagnostisch maakt.
• Distractor Voorspelling: Modellen toonden gedeeltelijk succes bij het identificeren van de meest voorkomende distractor (tot 47,9% nauwkeurigheid versus een baseline van 35,8%), maar faalden significant bij het identificeren van de minst voorkomende distractor (dalend naar 20,5% voor de Thinking-variant).
• Redeneereffecten: De "Thinking"-variant van Qwen3 liet gemengde resultaten zien: het verbeterde de discriminatienauwkeurigheid licht, maar verslechterde de distractor-voorspellingsnauwkeurigheid aanzienlijk, wat suggereert dat uitgebreid redeneren kan leiden tot "overthinking" bij concrete patroonherkennings-taken.

Betekenis en Claims

De paper claimt dat FoundationalASSIST een noodzakelijk fundament legt voor het evalueren van LLM's in het onderwijs, door verder te gaan dan de beperkingen van ID-gebaseerde datasets. De auteurs stellen dat:

1. Huidige LLM's onvoldoende zijn voor gepersonaliseerd leren: Ondanks hun redeneervermogen kunnen frontier-modellen niet betrouwbaar de prestaties van studenten voorspellen of worstelende leerlingen identificeren zonder significante fine-tuning of architecturale wijzigingen.
2. Er een specifiek gat bestaat in pedagogisch begrip: Hoewel LLM's de moeilijkheidsgraad van een probleem kunnen intuïteren vanuit oppervlakkige kenmerken, ontbreekt het hen aan het metacognitieve redeneren dat nodig is om item-discriminatie (hoe een item verschillende abilità-niveaus scheidt) en de distributie van studentfouten te begrijpen.
3. Datascarcity een primaire bottleneck is: Het gebrek aan datasets die daadwerkelijke studentresponsen en foutpatronen in natuurlijke taal bevatten, heeft de vooruitgang belemmerd. FoundationalASSIST biedt de eerste bron om onderzoek naar cognitieve studentmodellering en misconceptie-analyse mogelijk te maken.
4. Voorzichtigheid bij implementatie: De systematische optimistische bias en het falen in discriminatietaken suggereren dat het inzetten van huidige LLM's voor high-stakes adaptieve testen of gepersonaliseerd tutoreren zonder menselijk toezicht prematuur en potentieel schadelijk is.

De auteurs positioneren FoundationalASSIST niet als een oplossing voor deze problemen, maar als een diagnostisch instrument om specifieke faalmodi (zoals het onvermogen om foutieve antwoorden te voorspellen of discriminatie te begrijpen) te identificeren die toekomstig onderzoek moet aanpakken om LLM's levensvatbaar te maken voor educatieve toepassingen.