💬 NLP

Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

Dit artikel introduceert KCGen-KT, een geautomatiseerde, op LLM's gebaseerde pipeline die kenniscomponenten genereert en labelt voor open-ended programmeeropgaven, en waarneemt door middel van uitgebreide evaluatie dat deze door AI gegenereerde componenten traditionele, door mensen geschreven componenten overtreffen in het voorspellen van studentenprestaties en het modelleren van leercurves.

Oorspronkelijke auteurs: Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die probeert precies uit te vinden waar een student tegenaan loopt in een programmeercursus. In de oude tijden moest je handmatig een lijst met specifieke vaardigheden opschrijven (zoals "weten hoe je een lus gebruikt" of "begrijpen hoe je getallen optelt") en vervolgens elk individueel huiswerkprobleem doorlopen om te markeren welke vaardigheden het testte. Dit is als een bibliothecaris die handmatig een kaartcatalogus schrijft voor elk boek in een enorme bibliotheek; het duurt eeuwen, is vatbaar voor menselijke fouten en is ontzettend saai.

Dit artikel introduceert een nieuwe, geautomatiseerde manier om dit te doen met behulp van Kunstmatige Intelligentie (specifiek, Large Language Models of LLM's), maar met een draai: het werkt voor open-ended programmeeropgaven, waarbij studenten hun eigen code van scratch schrijven, in plaats van gewoon antwoorden te kiezen uit een meerkeuzelijst.

Hier is een uiteenzetting van wat ze deden, met gebruikmaking van eenvoudige analogieën:

1. Het Probleem: De "Open-Ended" Chaos

Bij meerkeuzevragen is er slechts één goed antwoord, dus is het makkelijk om te raden welke vaardigheid getest werd. Maar bij programmeren kunnen studenten hetzelfde probleem op tien verschillende manieren oplossen. De ene student gebruikt misschien een "for-lus", terwijl de ander "reguliere expressies" gebruikt. Beide krijgen het juiste antwoord, maar ze gebruikten verschillende vaardigheden.

De Analogie: Stel je voor dat je mensen vraagt een vogelhuisje te bouwen. Als je ze een meerkeuzetoets geeft, weet je precies wat ze hebben geleerd. Maar als je ze vraagt het te bouwen, gebruikt de ene persoon misschien een hamer en spijkers, terwijl de ander lijm en hout gebruikt. Uitzoeken welke vaardigheden elke persoon precies heeft gebruikt, alleen door naar het afgewerkte vogelhuisje te kijken, is erg moeilijk.

2. De Oplossing: De AI "Vaardigheidsdetective"

De auteurs bouwden een geautomatiseerde drie-stappen-pijplijn om te fungeren als een "Vaardigheidsdetective":

Stap 1: Het Onderzoek (Generatie): Ze voeden de AI met een programmeeropgave en een hoop verschillende studentoplossingen (zowel correcte als incorrecte). De AI fungeert als een detective, leest de code en zegt: "Ah, om dit op te lossen, moest je weten hoe je een 'If-statement' gebruikt en hoe je 'Wiskunde met absolute waarden' doet." Het maakt een lijst van deze vaardigheden (zogenaamde Knowledge Components, of KC's).
Stap 2: De Sorteerhoed (Clustering): De AI kan 100 licht verschillende namen genereren voor dezelfde vaardigheid (bijvoorbeeld "If-Else", "Conditionele Logica", "Besluitvorming"). Het systeem groepeert deze vergelijkbare ideeën samen, net als het sorteren van een hoop gemengde sokken in paren.
Stap 3: De Etiketteerder (Samenvatting): Ten slotte kijkt de AI naar elke groep vergelijkbare vaardigheden en geeft ze één duidelijke, voor mensen leesbare naam (zoals "Conditionele Logica"). Het labelt vervolgens elk probleem met deze nieuwe, schone labels.

3. Het Resultaat: Een Slimmere Tutor (KCGen-KT)

Zodra de AI deze vaardigheidslabels heeft, bouwden ze een nieuw "Knowledge Tracing"-systeem (een manier om studentleerproces in de tijd te volgen) genaamd KCGen-KT.

Hoe het werkt: In plaats van alleen maar te raden of een student de volgende vraag goed of fout zal krijgen, kijkt dit systeem naar de geschiedenis van de student met specifieke vaardigheden. Het vraagt zich af: "Struikelt deze student over 'Lussen' maar is hij/zij uitmuntend in 'Variabelen'?"
De Magie: Het systeem vertaalt het vaardigheidsniveau van de student naar een "soft token" (een digitaal signaal) dat de AI kan lezen. Dit stelt de AI in staat om niet alleen te voorspellen of de student zal falen, maar ook hoe het volgende stukje code van de student eruit zal zien.

4. Het Bewijs: Werkte het?

De onderzoekers testten dit op twee real-world datasets met duizenden studentcode-indieningen (één in Java, één in Python).

Beter dan Mensen: Verrassend genoeg hielpen de door de AI gegenereerde vaardigheidslabels studentprestaties beter voorspellen dan de labels die door menselijke experts waren geschreven.
Beter dan Oude AI: Het nieuwe systeem sloeg eerdere state-of-the-art AI-modellen die deze specifieke vaardigheidslabels niet gebruikten.
De "Leercurve"-Check: Ze controleerden of het systeem de "Wet van Oefening" volgde (het idee dat mensen beter worden naarmate ze meer oefenen). De door de AI gegenereerde vaardigheden toonden een duidelijk patroon: naarmate studenten een specifieke vaardigheid meer oefenden, daalde hun foutpercentage. Dit bewees dat de AI echte, betekenisvolle vaardigheden identificeerde.
Menselijke Goedkeuring: Toen ze het werk van de AI aan daadwerkelijke informaticaleraars lieten zien, waren de leraren het erover eens dat de vaardigheidsbeschrijvingen van de AI duidelijk, begrijpelijk en accuraat waren.

Samenvatting

Kortom, dit artikel zegt: "We hebben een AI geleerd om automatisch precies uit te vinden welke vaardigheden studenten gebruiken in hun programmeerhuiswerk. We hebben die door de AI gegenereerde vaardigheidslabels vervolgens gebruikt om een slimmere systeem te bouwen dat voorspelt hoe studenten in de toekomst zullen presteren. Het werkt beter dan menselijke experts en beter dan eerdere AI-methoden, en het helpt ons studentleerproces te begrijpen op een manier die duidelijk en interpreteerbaar is."

Wat ze NIET beweerden:

Ze beweerden niet dat dit leraren vervangt; ze stellen expliciet dat het bedoeld is om hen te ondersteunen.
Ze hebben dit nog niet getest op wiskunde- of wetenschapsproblemen (alleen programmeren).
Ze beweerden niet dat het perfect is; ze merkten op dat de AI soms vaardigheden die over problemen heen gedeeld worden, mist omdat het ze één voor één analyseert.

Technische Samenvatting: Geautomatiseerde Generatie van Kenniscomponenten en Interpreteerbare Kennistracking bij Programmeerproblemen

Probleemstelling
Bij studentenmodelleren zijn Kenniscomponenten (KC's) essentieel voor het beoordelen van fijne vaardigheidsbeheersing, het mogelijk maken van gepersonaliseerde feedback en het aandrijven van adaptieve leersystemen. Traditioneel worden KC's door menselijke domeinexperts vervaardigd en aan problemen gekoppeld, een proces dat arbeidsintensief, vatbaar voor bias is en moeilijk schaalbaar. Hoewel eerdere werken geautomatiseerde KC-generatie voor meerkeuzevragen hebben onderzocht, blijven open-ended problemen – met name in programmeren – onderbestudeerd. Open-ended programmeerproblemen stellen unieke uitdagingen: studentenantwoorden vertonen aanzienlijke diversiteit, fouten kunnen op talloze manieren optreden en er kunnen meerdere geldige oplossingsbenaderingen bestaan, die elk verschillende sets KC's omvatten. Bestaande geautomatiseerde methoden slagen er vaak niet in om deze complexiteit te vangen of vertrouwen op rigide syntactische structuren die niet geschikt zijn voor diverse studentenindieningen.

Methodologie
De auteurs stellen een tweeledig raamwerk voor: een geautomatiseerde pijplijn voor het genereren en labelen van KC's met behulp van Large Language Models (LLM's), en een nieuwe Kennistracking (KT) methode, KCGen-KT, die gebruikmaakt van deze gegenereerde KC's.

Geautomatiseerde KC-generatiepijplijn:
- Initiële Generatie: Voor elk programmeerprobleem selecteert het systeem een diverse set representatieve correcte studentencode-indieningen (geclusterd via CodeBERT-embeddings om variatie te waarborgen). Het prikkelt GPT-4o met few-shot voorbeelden en chain-of-thought-resoneren om fijne KC's te identificeren die nodig zijn om het probleem op te lossen, en converteert bestaande onderwerptags naar natuurlijke taalbeschrijvingen.
- Clustering en Controle van Abstractie: Om de granulariteit te beheren, worden de tekstuele beschrijvingen van gegenereerde KC's ingebed met Sentence-BERT. Hiërarchisch Agglomeratief Clustering (HAC) wordt toegepast om semantisch vergelijkbare KC's te samenvoegen. Door het aantal clusters aan te passen, controleert het systeem het abstractieniveau, van specifieke vaardigheden op functieniveau tot bredere conceptuele groeperingen.
- Labeling: GPT-4o wordt geprikkeld om elke cluster te samenvatten tot één informatief label (hetzij het selecteren van een bestaande KC of het synthetiseren van een nieuwe beschrijving). Tot slot wordt een Q-matrix geconstrueerd door elke probleem te koppelen aan de overeenkomstige samengevatte KC's.
KCGen-KT (Kennis Tracking Raamwerk):
- Architectuur: Het model gebruikt Llama 3 (8B parameters) als ruggengraat voor multi-task learning, waarbij zowel de binaire correctheid van de volgende studentenindiening als de daadwerkelijke code token-voor-token wordt voorspeld.
- Studententoestand Modelleren: Een standaard LSTM werkt een latente kennisstoestand van de student ( $h_t$ ) bij op basis van eerdere probleemtekst, code en correctheid. Deze toestand wordt geprojecteerd naar een beheersingsvector ( $m_t$ ) die de vaardigheid op elke unieke KC vertegenwoordigt.
- Soft-Token Conversie: Om beheersingsniveaus te integreren in de invoerruimte van de LLM, converteert het model discrete beheersingswaarden naar "soft tokens". Een beheersingsniveau $m^j_t$ voor KC $j$ wordt getransformeerd tot een gewogen combinatie van de embeddings voor "true" en "false" tokens: $s^j_t = m^j_t \cdot \text{emb}_{\text{true}} + (1 - m^j_t) \cdot \text{emb}_{\text{false}}$ . Hierdoor kunnen gradiënten tijdens het trainen door de beheersingsparameters stromen.
- Interpreteerbaarheid: Het model hanteert een compensatiemodel om individuele KC-beheersingsniveaus te aggregeren tot een algehele beheersingsscore, zodat een hogere kennis op specifieke KC's correleert met een hogere waarschijnlijkheid van een correct antwoord.
- Trainingsdoel: Het systeem minimaliseert een gecombineerde verliesfunctie die codegeneratieverlies (cross-entropy), correctheidvoorspellingsverlies (binaire cross-entropy) en een regularisatieverlies omvat om monotonie tussen KC-beheersing en correctheid af te dwingen.

Belangrijkste Bijdragen

Eerste Geautomatiseerde Pijplijn voor Open-ended Programmeren: Het artikel presenteert de eerste op LLM gebaseerde pijplijn die KC's kan genereren en labelen specifiek voor open-ended programmeerproblemen, waarbij de diversiteit en complexiteit van studentencode-indieningen worden aangepakt.
Interpreteerbare KT met Soft Tokens: De auteurs introduceren KCGen-KT, dat expliciet studentenbeheersing op tekstuele KC-beschrijvingen modelleert. Het nieuwe soft-token conversiemechanisme stelt de LLM in staat om continue beheersingsniveaus als invoer te gebruiken, waardoor de kloof tussen latente studentenstoestanden en tekstuele generatie wordt overbrugd.
Empirische Validatie: Het raamwerk wordt geëvalueerd op twee real-world datasets (CodeWorkout en FalconCode) met duizenden studentenindieningen.

Resultaten

Prestaties: KCGen-KT presteert beter dan bestaande state-of-the-art KT-methoden (inclusief TIKTOC en Code-DKT) en baselines met door mensen geschreven KC's. Specifiek bereikt de versie met door LLM gegenereerde KC's statistisch significante verbeteringen in AUC, F1-score, nauwkeurigheid en CodeBLEU (voor codegeneratie) op beide datasets.
Granulariteitsanalyse: Experimenten waarbij het abstractieniveau van KC's werd gevarieerd, tonen aan dat te abstracte KC's (hoge niveau clusters) de prestaties verslechteren, terwijl middelmatige tot lage abstractieniveaus (finere granulariteit) de beste resultaten opleveren. Dit suggereert dat voldoende detail cruciaal is voor accurate studentenmodelleren.
Leercursussen: De gegenereerde KC's sluiten beter aan bij de power law of practice (foutpercentages die afnemen met oefening) in vergelijking met door mensen geschreven KC's, en bereiken een hogere gewogen $R^2$ (0,21 versus 0,18) wanneer ze worden aangepast aan leercursusmodellen.
Menselijke Evaluatie: Docenten beoordeelden door LLM gegenereerde KC's als zeer interpreteerbaar (98,6% versus 94,6% voor menselijke baselines) en vonden de probleem-KC-koppelingen een hoge precisie te hebben (93,2%) en dekking (96% van de gevallen had gelijke of grotere dekking dan menselijke baselines).

Betekenis en Claims
Het artikel claimt dat hoogwaardige, automatisch gegenereerde KC's en accurate tagging cruciaal zijn voor het verbeteren van downstream studentenmodelleren. De auteurs tonen aan dat LLM's effectief fijne vaardigheden in open-ended programmeertaken kunnen identificeren, vaak menselijke tags overtreffend in voorspellende kracht en afstemming op cognitieve leerprincipes.

Het werk is bescheiden geschaald tot informaticaonderwijs vanwege beperkingen in data-beschikbaarheid (de noodzaak van grootschalige, longitudinale data van open-ended studentenreacties). De auteurs erkennen dat hun pijplijn momenteel afhankelijk is van contextvoorbeelden en dat toekomstig werk mens-in-de-lus verfijning, directe optimalisatie voor leercursusfitting en toepassing op andere domeinen zoals wiskunde en wetenschap moet verkennen. Zij benadrukken dat hun aanpak bedoeld is om educatoren te ondersteunen door handwerk te verminderen, niet om menselijk oordeel te vervangen, en adviseren deskundige review voordat implementatie in echte educatieve settings plaatsvindt.