🤖 machine learning

Disentangling Knowledge States with Ability and Proficiency Modeling for Knowledge Tracing

Dit artikel stelt Phase-Aware Knowledge Tracing (PAKT) voor, een nieuw framework dat het leerproces van studenten ontleedt in fasen van vaardigheidsopbouw en vaardigheidstoetsing met behulp van een multi-branch Transformer om de beperkingen van fase-agnostische modellen aan te pakken en superieure prestaties te behalen over meerdere benchmarks.

Oorspronkelijke auteurs: Duantengchuan Li, Yingqian Bi, Jinsong Chen, Rui Zhang, Mingwen Tong

Gepubliceerd 2026-07-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Duantengchuan Li, Yingqian Bi, Jinsong Chen, Rui Zhang, Mingwen Tong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin een computergestuurde tutor je kan observeren tijdens het studeren en direct weet, niet alleen wat je weet, maar ook hoe je het hebt geleerd. Dit is de kern van "Knowledge Tracing", een vakgebied binnen de educatieve technologie dat probeert te voorspellen hoe goed een student zal presteren op hun volgende toets op basis van hun eerdere huiswerk. Denk aan een GPS voor leren: in plaats van alleen te laten zien waar je bent, probeert het te raden waar je naartoe gaat. Jarenlang behandelden deze computertutors elke vraag die je beantwoordde als slechts een volgende stap op dezelfde lange weg. Ze gingen ervan uit dat de manier waarop je worstelde met een concept op dag één precies hetzelfde was als de manier waarop je er op dag tien moeiteloos doorheen gleed. Maar iedereen die ooit een nieuwe vaardigheid heeft geleerd, weet dat dit niet waar is. In het begin ben je onhandig en ben je dingen aan het uitzoeken; later ben je vloeiend en werk je automatisch. De grote vraag die onderzoekers stellen is: kunnen we een slimmere tutor bouwen die het verschil begrijpt tussen de "uitzoekfase" en de "beheersingsfase"?

Dit is precies waar het artikel "Disentangling Knowledge States with Ability and Proficiency Modeling for Knowledge Tracing" zich mee bezighoudt. De auteurs, een team van onderzoekers, betogen dat huidige computertutors een cruciaal detail missen: ze halen twee zeer verschillende soorten leergedrag door elkaar. Ze stellen een nieuw systeem voor genaamd PAKT (Phase-Aware Knowledge Tracing) dat de geschiedenis van een student opsplitst in twee afzonderlijke hoofdstukken: de Ability Phase (vaardigheidsfase) en de Proficiency Phase (bekwaamheidsfase).

Om de magie van PAKT te begrijpen, stel je voor dat je leert jongleren. In het begin bevind je je in de Ability Phase. Je laat ballen vallen, je armen zwaaien alle kanten op, en elke keer dat je er een vangt, voelt dat als een enorme overwinning. Je bent de ruwe vaardigheid vanaf nul aan het opbouwen. Je succes hier hangt volledig af van je natuurlijke "vermogen" om het concept te begrijpen. Maar zodra je genoeg hebt geoefend en eindelijk stopt met het laten vallen van de ballen, kom je in de Proficiency Phase. Nu ben je niet alleen meer ballen aan het vangen; je bent ze aan het jongleren met ritme en gemak. Je succes hier gaat niet meer over de vraag of je het kun doen; het gaat erom hoe vloeiend en consistent je het kunt doen na al die oefening.

Het artikel suggereert dat oude computertutors leken op een coach die naar je hele jongleercarrière keek en je één enkel cijfer gaf, waarbij de vroege onhandigheid en de latere vloeiendheid door elkaar werden gehaald. Dit creëert een "verwarrend signaal". Het nieuwe PAKT-model werkt echter als een coach met twee verschillende klemborden. Het scheidt je geschiedenis: het ene klembord houdt je vroege strijd bij (Ability), en het andere kote de latere consistentie (Proficiency).

Zo hebben ze het gebouwd en dit is wat ze vonden:

De Splitsing: De onderzoekers creëerden een slimme regel om de data te splitsen. Ze telden hoe vaak een student een specifiek concept correct beantwoordde. Zodra een student een bepaald aantal correcte antwoorden bereikte (een drempelwaarde die ze $k$ noemen), stopte het model met het behandelen van dat concept als "nieuw" en begon het het te behanden als "beheerst". Alles vóór die telling ging in de Ability-bak; alles daarna ging in de Proficiency-bak.
De Motor: Ze voedden deze twee afzonderlijke bakken, plus de oorspronkelijke volledige geschiedenis, aan een speciale AI-hersenen genaamd een "Multi-branch Transformer". Denk hierbij aan het hebben van drie verschillende experts die naar dezelfde student kijken: één expert focust alleen op de vroege strijd, één expert focust alleen op de latere vloeiendheid, en een derde kijkt naar het hele plaatje.
Het Resultaat: Wanneer ze dit nieuwe systeem testten op zes verschillende real-world datasets (variërend van algebra tot geografie en Spaans), presteerde het consequent beter dan de beste bestaande modellen. Het artikel rapporteert dat PAKT de voorspellingsnauwkeurigheid (gemeten met een metriek genaamd AUC) gemiddeld met 0,82% verbeterde, met de grootste sprong van 1,33% op de Spaanse dataset. Hoewel deze cijfers klein kunnen lijken, is een consistente winst zoals deze in de wereld van high-stakes testen en AI een significante overwinning.

De auteurs gebruikten ook een methode genaamd "causale analyse" om uit te leggen waarom de oude methode faalde. Ze lieten zien dat door vermogen en bekwaamheid samen te voegen, de oude modellen een "confounding bias" (verstorende bias) creëerden. Het is alsoort als proberen te voorspellen hoe snel een auto zal rijden door het vermogen van de motor (ability) te verwarren met de grip van de banden op de weg (proficiency). Als je ze niet scheidt, kun je niet zien welke van de twee de auto daadwerkelijk laat bewegen. Door ze te ontwarren, geeft PAKT een duidelijker en nauwkeuriger beeld van wat een student werkelijk weet.

De auteurs zijn echter voorzichtig om niet te beweren dat dit een perfect, opgelost probleem is. De auteurs merken op dat hun methode steunt op een specifieke waarde ( $k$ ) om te beslissen wanneer de overgang van "ability" naar "proficiency" plaatsvindt, en dat dit getal zorgvuldig moet worden afgestemd op verschillende vakken. Als een student niet genoeg oefent om dat getal te bereiken, kan het model het "proficiency"-gedeelte van hun verhaal niet zien. Maar over het algemeen suggereert de studie dat door te erkennen dat leren verschillende fasen heeft, we tutors kunnen bouwen die studenten veel beter begrijpen dan voorheen.

Technische Samenvatting: Phase-Aware Knowledge Tracing (PAKT)

Probleemstelling

Knowledge Tracing (KT) beoogt de toekomstige prestaties van een student te voorspellen door hun evoluerende kennisstaten te modelleren op basis van historische interactiesequenties. Hoewel bestaande deep learning-gebaseerde KT-methoden (bijv. DKT, SAINT, AKT) aanzienlijke vooruitgang hebben geboekt, behandelen zij de ruwe interactiesequentie voornamelijk als een verenigd gedragsproces. Dit verenigde paradigma gaat er impliciet van uit dat alle interacties op dezelfde manier bijdragen aan de evolutie van de kennisstaat, waarbij het de fase-specifieke aard van leren over het hoofd ziet.

De auteurs observeren dat leergedragingen van studenten significant verschillen over verschillende stadia: vroege interacties weerspiegelen primair vaardigheidsopbouw (initiële acquisitie en begrip van concepten), terwijl latere interacties bekwaamheid weerspiegelen (automatisering van vaardigheden, vloeiendheid en consistentie na beheersing). Het behandelen van deze verschillende fasen als één homogene sequentie kan complexe leersignalen verstrengelen, wat leidt tot een verwarrende bias (confounding bias) en de bekwaamheid van het model om de dynamische evolutie van kennisstaten nauwkeurig te karakteriseren beperkt.

Methodologie: Phase-Aware Knowledge Tracing (PAKT)

Om deze beperkingen aan te pakken, stellen de auteurs PAKT voor, een framework dat studentinteractiesequenties deelt in afzonderlijke Ability (vaardigheid) en Proficiency (bekwaamheid) fasen voor fase-specifieke modellering. De methodologie bestaat uit drie kerncomponenten:

1. Leergedrag-bewuste Sequentie-decompositie

De kerninnovatie is een decompositiemechanisme dat de responsgeschiedenis van een student voor elk kennisconcept (KC) partitioneert op basis van het cumulatieve aantal correcte reacties.

Mechanisme: Een binaire fase-indicatorfunctie $\delta(s, c, t)$ wordt gedefinieerd met behulp van een drempelwaarde $k$ . Als het cumulatieve aantal correcte reacties voor een concept $c$ door student $s$ bij stap $t$ kleiner is dan $k$ , wordt de interactie toegewezen aan de Ability Phase. Zodra het aantal $k$ bereikt of overschrijdt, wordt de daaropvolgende interactie toegewezen aan de Proficiency Phase.
Output: Dit proces genereert twee decompositie-maskermatrices ( $M^{A}$ en $M^{F}$ ) die de originele sequentie splitsen in een Ability-subsequentie en een Proficiency-subsequentie, terwijl de originele volledige sequentie behouden blijft.

2. Multi-Branch Transformer-gebaseerde Backbone

PAKT maakt gebruik van een multi-branch Transformer-architectuur om de gedecomposeerde sequenties te verwerken:

Drie input-branches:
1. Ability Branch: Verwerkt interacties gemaskeerd door $M^{A}$ , waarbij de intrinsieke cognitieve capaciteit en initiële acquisitie worden gevangen.
2. Proficiency Branch: Verwerkt interacties gemaskeerd door $M^{F}$ , waarbij door oefening geïnduceerde automatisering en consistentie worden gevangen.
3. Complete Branch: Verwerkt de originele, niet-gedecomposeerde sequentie om een holistisch beeld van het leertraject te behouden.
Twee-fasen training: De backbone maakt gebruik van een twee-fasen decoder-mechanisme. De eerste fase gebruikt een gedeelde Transformer-decoder over alle branches om universele sequentiële kenmerken efficiënt te leren. De tweede fase gebruikt onafhankelijke decoders voor elke branch om fase-specifieke specialisatie mogelijk te maken.

3. Type-bewuste Readout-module

Om de representaties van de drie branches te integreren, is een type-bewuste readout-module ontworpen:

Adaptieve Fusie: De Ability- ( $H_A$ ) en Proficiency- ( $H_F$ ) representaties worden gefuseerd via een leerbare coëfficiënt $\alpha$ : $H_{AF} = \alpha \cdot H_A + (1-\alpha) \cdot H_F$ .
Differentieel Winst: Een gap-vector $H_{\Delta} = H_F - H_A$ wordt berekend om de door oefening gedreven prestatieverbetering expliciet te vangen.
Finale Representatie: De finale studentrepresentatie $H_S$ wordt geconstrueerd door de gefuseerde ability-proficiency vector, de complete branch-representatie ( $H_C$ ) en de differential gain-vector te concateneren: $H_S = [H_{AF} \parallel H_C \parallel H_{\Delta}]$ .
Voorspelling: Deze representatie wordt gecombineerd met de doelvraag-kenmerken en door een MLP geleid om de waarschijnlijkheid van een correct antwoord te voorspellen.

Causale Analyse

Het artikel biedt een causale analyse met behulp van een Structureel Causaal Model (SCM). Het stelt dat in conventionele KT-modellen de intrinsieke bekwaamheid van de student ( $A$ ) en de verworven vaardigheid ( $F$ ) verstrengeld zijn via de geobserveerde interactiegeschiedenis ( $D$ ), wat een verwarrende bias creëert die de latente studentrepresentatie ( $S$ ) beïnvloedt. Door $A$ en $F$ expliciet te ontwarren en afzonderlijk te modelleren, doorbreekt PAKT deze spuriële correlatie, waardoor een nauwkeuriger schatting van de werkelijke bijdrage van elk factor aan de voorspellingsuitkomst mogelijk is.

Belangrijkste Bijdragen

Decompositiemechanisme: Ontwikkeling van een nieuw leergedrag-bewust mechanisme dat interactiesequenties partitioneert in ability- en proficiency-fasen op basis van cumulatieve correcte reacties.
Modelarchitectuur: Voorstel van een multi-branch Transformer-backbone met een type-bewuste readout-module om zowel fase-specifieke als holistische kennisstaten gezamenlijk te vangen.
Empirische Validatie: Uitgebreide experimenten die consistente verbeteringen laten zien ten opzichte van representatieve baselines over zes publieke datasets.
Theoretisch Inzicht: Een causale analyse die de verwarrende bias in fase-agnostische modellen onthult en de noodzaak van het ontwarren van leergedragingen rechtvaardigt.

Experimentele Resultaten

De auteurs hebben PAKT geëvalueerd op zes publieke benchmarks: Algebra05, ASSISTments09, ASSISTments17, Ed-Net, Slepemapy en Spanish.

Prestaties: PAKT behaalde de beste prestaties op alle zes de datasets op zowel AUC (Area Under the ROC Curve) als ACC (Accuracy) metrieken.
Verbetering: De methode liet consistente winsten zien ten opzichte van de sterkste baselines, met een gemiddelde AUC-winst van 0,82% en een maximale AUC-winst van 1,33% (op de Spanish dataset).
Vergelijking: Hoewel DisKT (een eerdere decompositie-methode) competitieve resultaten liet zien, was de prestatie ervan instabiel. De fijnmazige, op fasen gebaseerde decompositie van PAKT bleek robuuster en universeel effectiever.
Gevoeligheid: Sensitiviteitsanalyse op de drempelparameter $k$ gaf aan dat optimale prestaties over het algemeen optreden bij lage waarden ( $k \le 5$ ), waarbij specifieke optimale waarden variëren per datasetkenmerken (bijv. conceptdensiteit en interactievolume).
Ablatie: Het verwijderen van de "Complete" branch veroorzaakte de grootste prestatiedegradatie, wat de noodzaak van het holistische perspectief bevestigt, terwijl beide fase-specifieke branches complementaire verfijningen boden.

Betekenis en Beperkingen

Het artikel beweert dat PAKT het veld vooruit helpt door verder te gaan dan het "homogene modelleringsparadigma" en expliciet de temporele transitie van vaardigheidsverwerving naar vaardigheidsconsolidatie te modelleren. Deze aanpak sluit beter aan bij de gedragssemantiek van leren en vermindert de verwarrende bias.

De auteurs erkennen echter specifieke beperkingen:

Data-schaarsheid: Als een student te weinig interacties met een concept heeft om de drempelwaarde $k$ te bereiken, ontvangt de proficiency-branch weinig tot geen signaal, wat de effectiviteit potentieel verzwakt.
Hyperparameter Tuning: De optimale drempelwaarde $k$ moet handmatig worden afgestemd en varieert per dataset, wat wijst op een behoefte aan toekomstige automatische decompositiestrategieën.
Korte Sequenties: De methode kan moeite hebben met zeer korte interactiesequenties waarbij de fase-transitie niet waarneembaar is.

Dit werk wordt ondersteund door de National Natural Science Foundation of China en diverse universitaire hervormingsprojecten.