💻 computer science

Incorporating Feedback into Elo-Based Knowledge Tracing for Iterative Problem Solving

Dit artikel stelt twee feedback-bewuste uitbreidingen van het Elo-ratingsysteem voor en valideert deze — de New Item- en Probability Modifier-modellen — die de nauwkeurigheid van kennisinschatting aanzienlijk verbeteren ten opzichte van standaardbenaderingen door expliciet onderscheid te maken tussen geassisteerde en ongeassisteerde successen in iteratieve probleemoplossende omgevingen.

Oorspronkelijke auteurs: Sébastien Rebaudo, Cédric d'Ham, Sihem Amer-Yahia

Gepubliceerd 2026-07-31

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sébastien Rebaudo, Cédric d'Ham, Sihem Amer-Yahia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een complexe vaardigheid te leren, zoals het beheersen van een nieuw level in een videogame of het oplossen van een lastige chemische puzzel. In de echte wereld kun je, als je vastloopt, een leraar om een hint vragen, of geeft diegene je misschien gewoon het antwoord. Maar in de digitale wereld proberen computers vaak in te schatten hoe slim je bent op basis van je antwoorden. Hiervoor gebruiken ze een systeem genaamd "Knowledge Tracing", wat in feite een manier is voor een computer om een lopende score bij te houden van wat je wel en wat je niet weet. Een populaire manier om deze score bij te houden is het "Elo-ratingsysteem", een methode die oorspronkelijk werd uitgevonden om schakers te rangschikken. Het werkt als een ladder: als je een moeilijke tegenstander verslaat, klim je omhoog; als je verliest van een makkelijke, zak je naar beneden. De grote vraag waar onderzoekers zich mee bezighouden is: wat gebeurt er als de computer je helpt? Als je een probleem oplost nadat de computer je een hint heeft gegeven, telt dat dan hetzelfde als het oplossen van het probleem helemaal op eigen kracht? Als de computer het verschil niet ziet, kan hij denken dat je een genie bent terwijl je eigenlijk alleen een klein duwtje nodig had, of kan hij denken dat je het moeilijk hebt terwijl je eigenlijk gewoon op hulp wachtte. Deze score verkeerd inschatten is een probleem, omdat het betekent dat de computer je de volgende keer de verkeerde soort lessen kan geven.

Dit artikel pakt precies dat probleem aan door te kijken naar hoe je het Elo-ratingsysteem slimmer kunt maken met betrekking tot "feedback". De onderzoekers bestudeerden 296 universiteitsstudenten die werkten aan een complexe chemische taak: het ontwerpen van een titratieprotocol (een stapsgewijs plan voor het mengen van chemicaliën). Deze studenten konden zo vaak proberen als ze wilden, en na elke foutieve gok gaf het systeem specifieke feedback, variërend van een kleine hint tot het volledige juiste antwoord. Het team testte twee nieuwe manieren om de scores van de studenten bij te werken die daadwerkelijk rekening houden met deze hulp.

Het eerste idee, het "New Item"-model, behandelt elke versie van een probleem als een totaal ander spel. Het zegt: "Dit puzzelstukje oplossen zonder hulp is één ding, maar het oplossen met een hint is een compleet andere uitdaging." De computer maakt dus een aparte score voor de "met hint" versie van het probleem. Het tweede idee, het "Probability Modifier"-model, is meer als een magische boost. Het zegt: "Het probleem is hetzelfde, maar het hebben van een hint maakt het veel gemakkelijker om het goed te krijgen." Het past de kans op succes aan op basis van hoe groot de hint was.

Toen de onderzoekers deze ideeën testten tegenover de oude, standaardmethode (die negeert of er hulp is gegeven), waren de resultaten duidelijk. Beide nieuwe modellen waren aanzienlijk beter in het voorspellen of een student de volgende stap goed zou doen. Ze gokten niet alleen beter; ze waren ook consistenter over verschillende groepen studenten heen en konden zelfs voorspellen hoe nieuwe, onbekende studenten zouden presteren. De studie gebruikte een dataset van 47.224 interacties om te bewijzen dat het negeren van feedback leidt tot een wazig, onnauwkeurig beeld van de kennis van een leerling. Door de hulp expliciet te modelleren, krijgt de computer een scherper, eerlijker beeld van wat de student daadwerkelijk weet, waardoor de "score" de werkelijke vaardigheid weerspiegelt in plaats van alleen hoeveel hulp er beschikbaar was.

Technische Samenvatting: Het integreren van feedback in Elo-gebaseerde kennismodellering voor iteratief probleemoplossend vermogen

Probleemstelling

In digitale leeromgevingen lossen leerlingen vaak complexe taken op via iteratieve pogingen die worden ondersteund door automatische feedback. Hoewel standaard Elo-ratingsystemen (ERS) breed worden gebruikt voor het schatten van de bekwaamheid van de leerling en de moeilijkheidsgraad van items vanwege hun computationele efficiëntie en schaalbaarheid, lijden ze in deze contexten aan een kritieke beperking: ze behandelen alle succesvolle uitkomsten als gelijkwaardig. Bijgevolg slaagt ERS er niet in om onderscheid te maken tussen onafhankelijk succes en succes behaald met assistentie. Dit gebrek aan onderscheid kan leiden tot vertekende kennisinschattingen, aangezien de prestaties van een leerling eerder de kwaliteit van de ontvangen feedback kunnen reflecteren dan de onderliggende competentie. Het artikel adresseert de uitdaging om de kennis van de leerling nauwkeurig te modelleren wanneer automatische feedback een integraal onderdeel is van het iteratieve probleemoplossende proces.

Methodologie

Data en Context

De studie maakt gebruik van een dataset van 47.224 interacties tussen leerling en item van 296 universiteitsstudenten via het LabNBook-platform. De taak bestaat uit het ontwerpen van een zuur-base titratieprotocol, een complexe activiteit die het selecteren, parametriseren en ordenen van acties vereist. Het systeem gebruikt Constraint-Based Modeling (CBM) om inzendingen te evalueren tegen 42 door experts gedefinieerde restricties (items). Feedback wordt gegeven na foutieve inzendingen, gericht op specifieke fouten met variërende niveaus van assistentie (gecodeerd als een ordinale variabele van 0 tot 5, waarbij 0 geen feedback is en 5 de expliciete juiste oplossing).

Modelleringskader

De auteurs stellen een hiërarchie van modellen voor, bewegend van een standaard baseline naar feedback-bewuste uitbreidingen.

Baseline Modellen:
- Standaard ERS (ST): Modelleert de kennis van de leerling ( $\theta_k$ ) en de moeilijkheidsgraad van het item ( $d_i$ ) met behulp van een enkele globale parameter per leerling en een standaard logistische functie.
- Verbeterde ERS (EN): Dient als de primaire baseline voor vergelijking. Het verbetert ST door:
  - Taaktype-specifieke Kennis: Het vervangen van globale kennis door parameters die specifiek zijn voor taaktypes (kenniscomponenten).
  - Dynamische Update-snelheden: Het introduceren van een vervalfactor voor de updates van de moeilijkheidsgraad van items om de afnemende onzekerheid te reflecteren naarmate er meer data wordt verzameld.
  - Schatting van Voorkennis: Het verhogen van de update-snelheid tijdens de initiële interacties om de voorkennis beter in te schatten.
Feedback-bewuste Uitbreidingen:
Het artikel introduceert twee verschillende modellen om feedback te integreren, die beide onderscheid maken tussen niet-geassisteerde ( $l=0$ ) en geassisteerde ( $l>0$ ) pogingen:
- New Item (NI) Model: Werkt vanuit de aanname dat feedback de aard van de taak fundamenteel verandert. Het behandelt elk $(item, feedback\_niveau)$ paar als een afzonderlijk item. De itemruimte breidt zich uit van $I$ naar $(L+1) \times I$ , waarbij $L$ het maximale feedbackniveau is. Elke variant heeft zijn eigen moeilijkheidsparameter ( $d_{i,l}$ ).
- Probability Modifier (PM) Model: Werkt vanuit de aanname dat feedback de taak zelf niet verandert, maar de kans op succes op een gegradeerde wijze verhoogt. Het gebruikt een binaire distinctie voor de itemruimte (niet-geassisteerd versus geassisteerd) maar introduceert een niveau-afhankelijke offset ( $c_l$ ) in de succesfunctie. De kans wordt gemodelleerd als $\sigma(\theta_{k,t(i)} - d_{i,f(l)} + c_l)$ , waarbij $c_l$ de verschuiving in de succeskans vertegenwoordigt door het feedbackniveau $l$ .

Evaluatiestrategie

De modellen werden geëvalueerd met behulp van Root Mean Square Error (RMSE) en Area Under the ROC Curve (AUC). Om robuuste conclusies te trekken, hanteerden de auteurs drie complementaire evaluatiestrategieën:

Robuustheid ten opzichte van Leerlingvariatie: Een bootstrap-procedure die leerlingtrajecten bemonsterde om de stabiliteit onder populatieperturbaties te testen.
Consistentie over Leerlingen: Een Wilcoxon signed-rank test om te bepalen of één model consistent beter presteert dan een ander op het niveau van de individuele leerling.
Generalisatie naar Onbekende Leerlingen: Een hold-out test waarbij modellen getraind op de helft van de leerlingen werden geëvalueerd op de andere helft om het generalisatievermogen te beoordelen.

Belangrijkste Resultaten

Voorspellende Nauwkeurigheid: Beide feedback-bewuste modellen (NI en PM) presteerden significant beter dan het feedback-onbewuste Enhanced (EN) model en het Standard (ST) model over alle evaluatiemetrieken.
- Vergeleken met EN bereikten de NI- en PM-modellen RMSE-winsten van ongeveer 5,2% tot 5,5% in de robuustheids- en generalisatietests.
- De betrouwbaarheidsintervallen voor de prestatieverschillen waren strikt positief, en de Wilcoxon p-waarden waren extreem klein ( $< 10^{-20}$ ), wat wijst op statistisch significante en consistente verbeteringen.
Modeldynamiek:
- Het NI-model toonde aan dat het behandelen van feedbackniveaus als afzonderlijke items leidt tot een stabielere convergentie van de schattingen van de moeilijkheidsgraad, waarschijnlijk omdat de $(item, feedback\_niveau)$ paren homogener zijn qua moeilijkheidsgraad.
- Het PM-model behaalde een vergelijkbare prestatie als NI met een compactere parametrisering (minder moeilijkheidsparameters), hoewel het extra hyperparameters ( $c_l$ ) moest schatten voor de verschuivingen in de waarschijnlijkheid.
- Beide feedback-bewuste benaderingen vereisten relatief weinig data om de baselines te overtreffen, waarbij de prestatiekloof al na enkele honderden voorspellingen zichtbaar werd.
Stabiliteit en Discriminatie: Cruciaal is dat de verbeteringen in voorspellende nauwkeurigheid werden bereikt zonder de interpreteerbaarheid van de modellen op te offeren. Zowel NI als PM behielden een betekenisvolle discriminatie tussen de kennisprofielen van leerlingen en produceerden stabiele schattingen van de moeilijkheidsgraad van items, wat essentieel is voor adaptieve leersystemen.

Betekenis en Claims

Het artikel claimt dat het expliciet modelleren van feedback essentieel is voor nauwkeurige kennismodellering in iteratieve leeromgevingen. De auteurs stellen dat het negeren van het onderscheid tussen onafhankelijk succes en geassisteerd succes leidt tot vertekende schattingen van de competentie van de leerling.

De primaire bijdrage is de demonstratie dat eenvoudige, lichtgewicht uitbreidingen van het Elo-ratingsysteem effectief de nuances van feedback-rijke leerprocessen kunnen vangen. Door het voorstellen van de New Item (NI) en Probability Modifier (PM) modellen, biedt de studie computationeel efficiënte alternatieven voor complexere deep learning-benaderingen of uitbreidingen van Bayesian Knowledge Tracing (BKT). De bevindingen suggereren dat:

Feedback niet louter als een post-hoc correctie moet worden beschouwd, maar als een fundamentele variabele die de leerconditie verandert.
Het mogelijk is om feedback in ERS te integreren terwijl de schaalbaarheid en real-time aanpasbaarheid van het systeem behouden blijven.
De keuze tussen het modelleren van feedback als een taaktransformatie (NI) of een waarschijnlijkheidsverschuiving (PM) afhangt van de specifieke afweging tussen modelexpressiviteit en complexiteit, aangezien beide in deze context zeer vergelijkbare empirische resultaten opleverden.

De auteurs concluderen dat deze benaderingen een overtuigend alternatief bieden voor educational data mining, waarbij de kloof wordt overbrugd tussen de behoefte aan geavanceerde modellering van instructieve ondersteuning en de praktische beperkingen van schaalbare, real-time adaptieve systemen.