💬 NLP

Knowing When to Defer: Selective Prediction for Responsible Knowledge Tracing

Dit artikel introduceert een intrinsiek selectief voorspellingskader voor kennisvolgmodellen dat gebruikmaakt van Monte Carlo Dropout om epistemische onzekerheid te kwantificeren, en toont aan dat het uitstellen van de meest onzekere voorspellingen de nauwkeurigheid en eerlijkheid aanzienlijk verbetert, terwijl het ook aantoont dat standaard psychometrische factoren minder dan een kwart van het onzekerheidssignaal van het model verklaren.

Oorspronkelijke auteurs: Joshua Mitton, Prarthana Bhattacharyya, Ralph Abboud, Simon Woodhead

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joshua Mitton, Prarthana Bhattacharyya, Ralph Abboud, Simon Woodhead

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wiskundeleraar bent die een stapel toetsen nakijkt. Je bent goed in je werk, maar zelfs de beste leraren hebben momenten van twijfel. Soms is een antwoord van een leerling zo verwarrend of is de vraag zo lastig dat je niet 100% zeker weet of je het goed hebt. In die momenten zou een verantwoordelijke leraar kunnen zeggen: "Ik ben hier niet zeker van; laat me een collega om een tweede mening vragen."

Dit artikel gaat over het leren aan computermodellen (specifiek "Knowledge Tracing"-modellen die voorspellen hoe studenten wiskunde leren) om precies hetzelfde te doen.

Hier is de uitleg van wat de onderzoekers hebben gedaan, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Oververzekerde Robot"

Jarenlang hebben onderzoekers AI-modellen gebouwd om te voorspellen of een student een wiskundevraag goed of fout zal beantwoorden. Deze modellen zijn als robots die elk handboek in de bibliotheek hebben gelezen. Ze zijn zeer goed in gokken, maar ze hebben een gebrek: ze weten niet wanneer ze gokken.

Zelfs wanneer ze fout zijn, klinken ze vaak zeer zelfverzekerd. In een echte klas is het een ramp als een robot een student zelfverzekerd het verkeerde antwoord vertelt. De onderzoekers wilden deze robots een "buikgevoel" geven, zodat ze weten wanneer ze moeten zeggen: "Ik weet het niet, laat een menselijke leraar dit afhandelen."

2. De Oplossing: De "Zekerheidsmeter" (MC-Dropout)

De onderzoekers bouwden geen gloednieuwe robot van scratch. In plaats daarvan namen ze drie bestaande, populaire robotontwerpen (genaamd DKT, SAKT en AKT) en gaven ze een speciale truc genaamd MC-Dropout.

Stel je MC-Dropout voor als het stellen van dezelfde vraag aan dezelfde robot 100 keer, maar elke keer dat je het vraagt, "mist" je zijn hersenen een beetje (door willekeurig sommige van zijn interne verbindingen uit te schakelen).

Als de robot je 100 keer hetzelfde antwoord geeft, is hij zelfverzekerd.
Als de robot je 50 verschillende antwoorden geeft, is hij verward.

Door te meten hoe veel de antwoorden van de robot om en om waggelen, creëerden de onderzoekers een "Zekerheidsmeter". Als de meter veel waggelen toont (hoge onzekerheid), stopt het systeem automatisch en zegt het: "Ik ga deze aan een menselijke leraar doorgeven."

3. De Resultaten: "Het Veiligheidsnet Werkt"

Het team testte dit op een echte wiskundedataset van een platform genaamd Eedi. Ze vroegen de robots om antwoorden van studenten te voorspellen, maar telkens wanneer de robot "waggelde" (onzeker was), lieten ze de robot die voorspelling overslaan en aan een mens doorgeven.

Dit is wat er gebeurde:

Betere Nauwkeurigheid: Door de 20% van de vragen die de robot niet zeker was, over te slaan, steeg de nauwkeurigheid van de resterende voorspellingen aanzienlijk (met ongeveer 2 tot 3 procentpunten). Het is als een basketbalspeler die stopt met schieten wanneer hij moe is en alleen schiet wanneer hij fris is; zijn schijnpercentage gaat omhoog.
Gerichte Veiligheid: De robot slaat niet zomaar willekeurige vragen over. Hij slaat specifiek die over die hij het meest waarschijnlijk fout zou maken. De vragen die hij oversloeg, waren 1,5 keer zo waarschijnlijk fout als die die hij behield.
Fairness: De robot slaat vragen niet alleen over voor "slechte" studenten. Hij slaat vragen over voor studenten van alle vaardigheidsniveaus en voor vragen van alle moeilijkheidsgraden. Hij behandelt iedereen eerlijk.

4. De Grote Verrassing: "Het Gaat Niet Alleen om Moeilijkheid"

De onderzoekers wilden weten waarom de robot verward was. Ze probeerden de verwarring van de robot uit te leggen met eenvoudige, oude wiskunderegels (zoals "deze vraag is moeilijk" of "deze student heeft moeite").

Ze ontdekten dat deze eenvoudige regels minder dan 4% van de verwarring van de robot konden verklaren. Zelfs toen ze een complexe, niet-lineaire rekenmachine gebruikten om een patroon te vinden, konden ze er slechts ongeveer 23% van verklaren.

De Analogie: Stel je voor dat de robot verward is omdat hij probeert de unieke, rommelige geschiedenis van het leren van een student te begrijpen—hoe ze een concept vorige week vergaten, hoe ze door geluk juist raadden, en hoe ze twee ideeën op een rare manier met elkaar verbinden. Eenvoudige wiskunderegels (zoals "Vraag X is moeilijk") kunnen die rommelige geschiedenis niet zien. De eigen interne "hersenmist" van de robot (MC-Dropout) is het enige dat dit kan zien.

5. De Conclusie: "Weten Wanneer Je Terugtreedt"

De belangrijkste les is dat AI verantwoordelijk moet zijn in een klaslokaal, moet weten wanneer het moet terugtreden.

Vertrouw niet op eenvoudige regels: Je kunt niet alleen kijken naar de moeilijkheid van een vraag om te weten of de AI veilig is.
Gebruik de eigen gevoelens van de AI: De AI moet zijn eigen interne onzekerheidssignaal (de "waggels") gebruiken om te beslissen wanneer het om hulp moet vragen.
Het is een teaminspanning: Dit systeem vervangt leraren niet. Het is een hulpmiddel dat leraren helpt door de lastige gevallen te filteren die menselijke aandacht nodig hebben, terwijl het de AI de eenvoudige gevallen laat afhandelen.

Kortom, het artikel bewijst dat het geven van AI-modellen een manier om te zeggen "Ik ben niet zeker", ze slimmer, veiliger en eerlijker maakt, zonder ze opnieuw te hoeven trainen of volledig nieuwe systemen te hoeven bouwen.

1. Probleemstelling

Knowledge Tracing (KT)-modellen zijn ontworpen om de toekomstige prestaties van een student op educatieve vragen te voorspellen op basis van hun interactiegeschiedenis. Hoewel recente deep learning-architecturen (zoals DKT, SAKT, AKT) de voorspellende nauwkeurigheid hebben verbeterd, lijden ze in de praktijk aan een kritieke beperking: ze missen het vermogen om hun eigen onzekerheid te kwantificeren.

De Kloof: Traditionele KT-modellen produceren puntenschattingen (bijvoorbeeld "80% kans op correct") zonder indicatie van vertrouwen. Dit leidt tot een lage specificiteit, waarbij modellen met zekerheid onjuiste voorspellingen doen die onopgemerkt blijven.
Het Doel: Het artikel stelt voor om verantwoord KT-deployen te behandelen als een Selectieve Voorspelling-probleem. In plaats van voor elke instantie een voorspelling te forceren, moet het model gevallen met hoge onzekerheid identificeren en deze uitstellen aan een menselijke leraar, waardoor de algehele betrouwbaarheid en veiligheid van het systeem worden verbeterd.

2. Methodologie

De auteurs introduceren een inherente laag voor selectieve voorspelling die direct wordt geïntegreerd met bestaande KT-modellen zonder dat hertraining vereist is.

A. Kwantificering van Onzekerheid via MC-Dropout

Het kernmechanisme voor het schatten van onzekerheid is Monte Carlo Dropout (MC-Dropout).

Proces: Tijdens inferentie blijven dropout-lagen actief. Het model voert $M$ stochastische forward passes uit voor één invoer.
Maten:
- Gemiddelde Voorspelling ( $\bar{p}$ ): De gemiddelde waarschijnlijkheid over $M$ passes.
- Onzekerheidssignaal: De variantie (of entropie) van de voorspellingen over de $M$ passes. Een hoge variantie duidt op hoge epistemische onzekerheid (het model is onzeker over zijn geleerde representatie van de toestand van de student).
Selectiestrategie: Voorspellingen worden gesorteerd op MC-Dropout-variantie. Het systeem onthoudt zich (stelt uit) van de top $X\%$ meest onzekere voorspellingen (bijvoorbeeld de top 20%) en geeft alleen voorspellingen weer voor de resterende gevallen met vertrouwen.

B. Experimentele Opstelling

Datasets: De studie maakt gebruik van de Eedi wiskundedataset, een grote, real-world dataset met logs van vraag-antwoord-interacties.
Architecturen: De methode wordt geëvalueerd over drie dominante KT-families:
1. DKT (Deep Knowledge Tracing): Gebaseerd op LSTM.
2. SAKT (Self-Attentive Knowledge Tracing): Gebaseerd op self-attention.
3. AKT (Attentive Knowledge Tracing): Contextbewuste attention met vergeetmechanismen.
Baselines:
- Gecalibreerd 2PL IRT: Een standaard Item Response Theory-model (Two-Parameter Logistic) gebruikt als psychometrische baseline voor onzekerheid.
- Klassieke Psychometrische Stack: Een regressieanalyse die test of onzekerheid kan worden verklaard door standaardkenmerken: vraagmoeilijkheid, studentvermogen, IRT-uitkomstambiguïteit en curriculumdekking.

3. Belangrijkste Bijdragen

Architectuur-onafhankelijke Verbetering: Aangetoond dat selectieve voorspelling de nauwkeurigheid, AUC en F1-scores verbetert voor DKT, SAKT en AKT zonder hertraining.
Superioriteit ten opzichte van Psychometrische Baselines: Aangetoond dat MC-Dropout-variantie een aanzienlijk sterker signaal is voor uitstel dan een gekalibreerd 2PL IRT-model.
Variantie-decompositie (Epistemische Inhoud): Aangetoond dat klassieke psychometrische kenmerken (moeilijkheid, vermogen, enz.) minder dan 4% (lineair) tot 23% (niet-lineair) van de onzekerheid van het model verklaren. De resterende 77–90% is architectuurspecifieke epistemische inhoud (onzekerheid met betrekking tot de unieke sequentiële trajecten van de student) die eenvoudigere modellen niet kunnen vastleggen.
Eerlijkheid en Targeting: Geverifieerd dat de uitstelstrategie sterk gericht is (werkelijke fouten uitstellen) en eerlijk (stelt niet onevenredig veel studenten met laag vermogen uit).

4. Belangrijkste Resultaten

A. Prestatiewinst (bij 80% Dekking)

Door de 20% meest onzekere voorspellingen uit te stellen, bereikten de modellen aanzienlijke metrische stijgingen zonder hertraining:

Nauwkeurigheid: +2,3 tot +3,0 procentpunten (pp).
AUC: +1,9 tot +2,4 pp.
F1-score: +1,4 tot +4,3 pp.
Statistische Significantie: Alle verbeteringen waren statistisch significant met nauwe betrouwbaarheidsintervallen.

B. Targeting en Eerlijkheid

Foutpercentage: De set van uitgestelde voorspellingen had een foutpercentage 1,45 tot 1,60 keer hoger dan de bewaarde set. Bij de moeilijkste vragen bereikte deze ratio 2,3–2,5x.
Eerlijkheid: Het onthoudingspercentage was consistent over kwartielen van studentvermogen (variërend van 16–23%, dicht bij de 20%-baseline). Cruciaal: het model gaf er niet de voorkeur aan studenten met laag vermogen uit te stellen; de zwakste studenten werden minder uitgesteld dan anderen, waardoor een veelvoorkomende faalmodus in AI-onderwijs wordt vermeden.

C. Vergelijking met IRT-Baseline

Bij 80% dekking leverde MC-Dropout een AUC-stijging van 2,0–2,4 pp op.
De gekalibreerde 2PL IRT-baseline leverde slechts 0,41–0,46 pp stijging op.
Conclusie: MC-Dropout biedt ongeveer 5x de stijging van de IRT-baseline, wat bewijst dat het echte epistemische onzekerheid vastlegt die verder gaat dan eenvoudige itemmoeilijkheid en studentvermogen.

D. Variantie-decompositie (Het "Waarom")

De auteurs regresseerden de epistemische onzekerheid van het model (met behulp van BALD-decompositie) tegen een stack van klassieke kenmerken:

Lineair Model: Verklaarde variantie was < 4%.
Niet-lineair Model (Random Forest): Verklaarde variantie steeg tot ~23% (maximaal voor DKT), waardoor 77–90% onverklaard bleef.
Implicatie: Het onzekerheidssignaal is grotendeels architectuurspecifiek. Het vloeit voort uit de interne, niet-lineaire representatie van het unieke leertraject van de student door het model, wat niet kan worden gereconstrueerd door externe heuristieken of eenvoudigere psychometrische proxies.

5. Betekenis en Conclusie

Dit artikel stelt vast dat verantwoord Knowledge Tracing meer vereist dan alleen hoge nauwkeurigheid; het vereist onzekerheidsbewustzijn.

Noodzaak van Inheemse Onzekerheid: De studie bewijst dat vertrouwen op externe proxies (zoals IRT of curriculumdekking) onvoldoende is voor veilig deployen. Het eigen interne onzekerheidssignaal van het model (via MC-Dropout) is noodzakelijk om hoog-risico voorspellingen te detecteren.
Deploystrategie: De voorgestelde laag voor "Selectieve Voorspelling" fungeert als poortwachter. Voorspellingen met lage variantie worden direct doorgegeven aan de aanbevelingsengine, terwijl voorspellingen met hoge variantie een fallback activeren (bijvoorbeeld leraar-review, diagnostische vragen of beheersingstests).
Complementariteit: Deze aanpak is geen vervanging voor eerlijkheidsaudits of klaslokaalevaluatie, maar is een complementair onderdeel dat essentieel is voor het bouwen van veilige, zelfvertrouwensbewuste educatieve AI-systemen.

Kortom, het artikel betoogt dat KT-modellen, om verantwoord in echte klaslokalen te worden ingezet, moeten worden uitgerust met een mechanisme om te "weten wanneer ze het niet weten", en MC-Dropout biedt een robuuste, architectuurnative oplossing om dit te bereiken.