Tracing intermittent knowledge states based on knowledge-context-aware augmentation of Q-matrices

Stel je voor dat je de voortgang probeert bij te houden van een student die een complexe discipline leert, zoals wiskunde. In de wereld van "knowledge tracing" (kennisopsporing) treden wetenschappers op als detectives, die proberen te achterhalen wat een student precies weet en niet weet op een gegeven moment. Ze doen dit door te kijken naar hoe studenten vragen beantwoorden over een bepaalde tijd. Traditioneel gingen veel computermodellen ervan uit dat de kennis van een student als een wankele koorddanser is: constant wiebelend, veranderend en wild fluctuerend bij elke vraag die ze beantwoorden. Als een student één vraag goed heeft, springt hun "kennisniveau" omhoog; als ze er één fout hebben, stort het in.

Echter, het echte leven is niet zo chaotisch. Denk aan leren als het bouwen van een huis. Je kunt een week lang stenen leggen (leren), en dan een weekend vrij nemen (een beetje vergeten), maar wanneer je op maandag terugkomt, is het fundament dat je vorige week hebt gebouwd nog steeds grotendeels aanwezig. Het verdwijnt niet alleen omdat je een pauze nam. De meeste bestaande computermodellen missen dit "intermitterende" karakter van leren — het idee dat kennis stabiel blijft tijdens een toets, maar aanzienlijk kan verschuiven tussen verschillende toetsperiodes. Deze paper, getiteld "Tracing intermittent knowledge states based on knowledge-context-aware augmentation of Q-matrices", heeft als doel een slimmere detective te bouwen die dit ritme begrijpt. Het introduceert een nieuw model genaamd INKT dat niet alleen de student observeert; het begrijpt ook de kaart van de kennis zelf en hoe studenten leren en vergeten in de loop van de tijd.

De Kaart en de Ontbrekende Stukjes

Om de oplossing van de onderzoekers te begrijpen, moeten we eerst kijken naar de instrumenten die zij gebruikten. Stel je een enorme kaart van een stad voor waar elke straat een "kennisconcept" vertegenwoordigt (zoals algebra of meetkunde) en elk gebouw een "toetsvraag" is. In deze stad leiden sommige straten direct naar andere; je kunt de snelweg niet bereiken zonder de oprit te gebruiken. Deze kaart wordt een Q-matrix genoemd. Het is een lijst die de computer vertelt welke concepten nodig zijn om bepaalde vragen te beantwoorden.

Het probleem is dat de kaarten die door menselijke experts worden geleverd, vaak incompleet zijn. Ze tonen alleen de voor de hand liggende verbindingen. Bijvoorbeeld, een kaart kan zeggen: "Om dit calculusprobleem op te lossen, moet je afgeleiden kennen." Maar het vergeet te vermelden dat om afgeleiden te kennen, je ook limieten moet kennen, en om limieten te kennen, moet je functies kennen. De computer, die naar de incomplete kaart kijkt, denkt dat de student alleen de vaardigheid afgeleiden nodig heeft. Als de student het calculusprobleem fout heeft, geeft de computer de schuld aan de calculusvaardigheid, terwijl het eigenlijk de student is die eigenlijk de kennis van limieten is vergeten.

De auteurs van deze paper realiseerden zich dat om de kaart te repareren, ze naar de "topologie" van de stad moesten kijken — de vorm van de verbindingen. Ze stelden een manier voor om de Q-matrix te "augmenteren" (of te upgraden). In plaats van alleen naar de directe links te kijken, volgt hun algoritme de volledige paden door de kennisgrafiek. Als Concept A leidt tot Concept B, en Concept B leidt tot Concept C, leert de computer dat het uitvoeren van een taak voor C ook A en B omvat. Ze gebruikten een wiskundige methode genaamd "topologische sortering" om deze concepten in een logische volgorde te organiseren, zoals het ordenen van boeken op een plank van gemakkelijk naar moeilijk. Door dit te doen, konden ze de "verborgen" verbindingen invullen, waardoor een schaarse, incomplete kaart werd veranderd in een rijke, gedetailleerde gids die laat zien hoe alle concepten in het geheim met elkaar verbonden zijn.

De "Intermitterende" Detective

Zodra ze een betere kaart hadden, bouwden de onderzoekers hun nieuwe detectivemodel, INKT. Het kernidee hier is dat kennisstaten "intermitterend" zijn. Dit betekent dat tijdens een korte toets (zoals een quiz van 30 minuten) de kennis van een student relatief stabiel is. Ze zijn niet plotseling alles aan het vergeten of een nieuw hoofdstuk aan het leren midden in de toets. Echter, tussen toetsen door — zeg een week later — kunnen studenten sommige dingen vergeten (de "vergetelheidsgraad") of nieuwe dingen leren (de "leergraad").

De meeste oude modellen behandelden elke vraag als een volledig nieuwe gebeurtenis waarbij de kennis van de student wild kon schommelen. INKT respecteert daarentegen de tijdsvensters. Het gaat ervan uit dat als je vandaag een toets maakt, je kennis een licht geëvolueerde versie is van wat het gisteren was, aangepast door hoeveel je hebt geleerd of vergeten in de tussentijd. Het gebruikt een wiskundig kader genaamd Item Response Theory (IRT), wat een chique manier is om te zeggen dat het niet alleen kijkt naar of je het antwoord goed had, maar ook naar hoe moeilijk de vraag was en hoe goed de vraag het verschil kan aangeven tussen een slimme student en een student die gokt.

Het model houdt ook rekening met de "vergetelheidscurve", een concept uit de psychologie dat suggereert dat we informatie verliezen in de loop van de tijd als we het niet gebruiken. INKT berekent een specifieke "vergetelheidsgraad" voor elke student en elk concept, en een "leergraad" voor hoe snel ze zaken oppikken. Vervolgens gebruikt het deze graden om te voorspellen wat de kennisstaat van de student bij de volgende toets zal zijn, in plaats van simpelweg te gokken op basis van het laatste antwoord.

Wat de Experimenten Lieten Zien

Om te zien of hun nieuwe detective goed was, testten de onderzoekers het op verschillende datasets. Ze creëerden een eigen dataset genaamd MTest van een echte middelbare school in Shenzhen, China, met betrokkenheid van 69 studenten, 7 toetsen en 88 kennisconcepten. Ze gebruikten ook drie publieke datasets (Math1, Math2 en FrcSub) en genereerden zelfs een enorme gesimuleerde dataset genaamd FMTest met behulp van een methode genaamd Formal Concept Analysis om te zien hoe het model omging met grote groepen studenten.

De resultaten waren zeer veelbelovend. Wanneer ze INKT vergeleken met andere modellen (sommige hiervan waren eenvoudiger, en andere waren complexer maar hielden geen rekening met het "intermitterende" karakter van leren), presteerde INKT consequent beter.

• Op de MTest-dataset behaalde INKT een nauwkeurigheid (ACC) van ongeveer 0,77 in het beste testscenario, terwijl het op één na beste model slechts ongeveer 0,57 bereikte.
• Op de grote gesimuleerde FMTest-dataset bereikte INKT een nauwkeurigheid van 0,94, waarmee het de anderen die rond de 0,81 schommelden, aanzienlijk overtrof.
• Het model bleek ook zeer stabiel. Zelfs toen ze het aantal studenten of de mix van toetsen veranderden, crashte INKT niet; het bleef nauwkeurige voorspellingen geven.

De onderzoekers voerden ook "ablatie-studies" uit, wat vergelijkbaar is met het uit elkaar halen van een motor om te zien welk onderdeel wat doet. Ze ontdekten dat als ze de "vergetelheidsgraad" of de "leergraad" uit het model zouden verwijderen, de prestaties aanzienlijk zouden dalen. Dit bewees dat het bijhouden van hoe studenten leren en vergeten in de loop van de tijd essentieel is. Ze ontdekten ook dat het gebruik van de "geaugmenteerde" Q-matrix (de geüpgradede kaart met verborgen verbindingen) cruciaal was. Wanneer ze de oude, incomplete kaart gebruikten, was het model niet zo goed in het voorspellen wie wat goed zou hebben.

Het Oordeel

De paper concludeert dat door een slimmere kaart van kennis (de geaugmenteerde Q-matrix) te combineren met een model dat het ritme van leren en vergeten respecteert (het traceren van intermitterende staten), we een veel duidelijker beeld krijgen van wat studenten daadwerkelijk weten. De auteurs suggereren dat deze aanpak rationeler is dan modellen die ervan uitgaan dat kennis constant en wild fluctueert.

De auteurs zijn echter voorzichtig om niet te beweren dat dit een perfect, opgelost probleem is. Ze geven toe dat hun "kaart" van kennisverbindingen nog steeds is gebouwd door menselijke experts, wat subjectief kan zijn. Ze merken ook op dat hun model ervan uitgaat dat de huidige kennis van een student alleen afhangt van de onmiddellijk voorafgaande staat, waarbij complexere "attention"-mechanismen (aandachtsmécanismen) die in het spel kunnen zijn, worden genegeerd. Ze suggereren dat toekomstig werk het automatisch genereren van deze kenniskaarten uit data en het gebruik van geavanceerdere aandachtsmécanismen kan omgaan om het model nog nauwkeuriger te maken.

Kortom, deze paper biedt een speelse maar rigoureuze manier om te stoppen met studenten te behandelen als nerveuze koorddansers en te beginnen met het behandelen van hen als bouwers die stenen leggen, een pauze nemen en terugkomen om een fundament grotendeels intact aan te treffen. Door de verborgen verbindingen in het curriculum en de natuurlijke eb en vloed van het geheugen te begrijpen, biedt het INKT-model een eerlijker en nauwkeuriger beeld van de leerreis.