💬 NLP

ConceptKT: A Benchmark for Concept-Level Deficiency Prediction in Knowledge Tracing

Dit paper introduceert ConceptKT, een benchmark en dataset die het traditionele kennisvolgen uitbreidt met het voorspellen van conceptuele tekortkomingen, waarbij wordt aangetoond dat het selecteren van historische antwoorden op basis van conceptuele uitlijning en semantische gelijkenis de prestaties van grote taalmodellen verbetert.

Oorspronkelijke auteurs: Yu-Chen Kang, Yu-Chien Tang, An-Zi Yen

Gepubliceerd 2026-03-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yu-Chen Kang, Yu-Chien Tang, An-Zi Yen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een leraar een klas heeft waar elke leerling een eigen "kennis-landkaart" heeft. De meeste digitale leersystemen kijken alleen naar de uitslag van een toets: "Goed" of "Slecht". Het is alsof je alleen kijkt of een auto op de finishlijn is aangekomen, zonder te weten of de motor kapot is, of de banden leeg, of de bestuurder de weg kwijt was.

Dit paper, getiteld "ConceptKT", wil dieper graven. Het introduceert een slim systeem dat niet alleen zegt of een antwoord fout is, maar precies vertelt waarom en welk concept de leerling niet begrijpt.

Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blinde" Leraar

Stel je voor dat een leerling een wiskundevraag over het berekenen van de inhoud van een tank moet oplossen.

Het oude systeem: Ziet dat het antwoord fout is en zegt: "Oeps, fout." Punt.
Het nieuwe systeem (ConceptKT): Kijkt naar de berekening en zegt: "Ah, ik zie wat er misgaat. De leerling heeft de inhoud (liter) verward met het oppervlak (vierkante meter). Hij weet niet hoe je een kubus afmetingen omrekent."

Dit is als een dokter die niet alleen zegt "je bent ziek", maar precies zegt: "Je hebt een ontsteking in je linkerknie door te veel rennen." Met die specifieke diagnose kun je de juiste remedie geven (rust, niet meer rennen, maar wel zwemmen).

2. De Oplossing: Een Speciale "Kennis-Database"

De onderzoekers hebben een nieuwe database gemaakt genaamd ConceptKT.

Hoe werkt het? Ze hebben duizenden antwoorden van studenten genomen en deze handmatig gecontroleerd door experts.
De "Tagging": Voor elke vraag hebben ze twee dingen gemerkt:
1. Welke bouwstenen (concepten) je nodig hebt om de vraag te beantwoorden (bijv. "Oppervlakte berekenen").
2. Welke bouwstenen de student mist als hij het fout doet (bijv. "Unit Conversion" of "Volume").

Het is alsof ze elke vraag in een bibliotheek hebben voorzien van een heel gedetailleerd etiket, zodat je precies ziet welke kennis er nodig is en waar de leemte zit.

3. De Uitdaging: Teveel Informatie (De "Schaal" vs. De "Naald")

De onderzoekers wilden weten of ze een slimme computer (een AI) konden gebruiken om dit te voorspellen. Maar er was een probleem:

Een leerling heeft misschien 1000 oude antwoorden in zijn geschiedenis.
Als je de AI al die 1000 antwoorden geeft, wordt het net alsof je iemand een hele berg boeken geeft om één specifiek feit te vinden. De AI raakt in de war door alle "ruis" (onbelangrijke details).

De vraag was: Moeten we de AI alles laten lezen, of moeten we slim kiezen?

4. De Oplossing: De "Slimme Selectie"

De onderzoekers ontdekten dat kwaliteit belangrijker is dan kwantiteit.

Foute aanpak: De AI krijgt alle antwoorden van de leerling. Het resultaat: de AI raakt in de war en maakt meer fouten.
Goede aanpak: De AI krijgt alleen de antwoorden te zien die vergelijkbaar zijn met de nieuwe vraag.
- Vergelijking: Stel je voor dat je een kok bent die een nieuwe soep moet maken. Je wilt niet naar je hele keukenkast kijken met honderden ingrediënten. Je kijkt alleen naar de kast met groenten, want dat is wat je nodig hebt voor soep.

De AI selecteert dus alleen de oude antwoorden die gaan over dezelfde "bouwstenen" (concepten) als de nieuwe vraag. Hierdoor kan de AI veel scherper zien wat de leerling wel en niet snapt.

5. Het Resultaat: Slimmer Voorspellen

Door deze "selectieve" aanpak te gebruiken, werd de AI veel beter in twee dingen:

Voorspellen of een antwoord goed is: Net als een ervaren leraar die de toestand van de leerling kent.
Voorspellen wat de leerling mist: De AI kan zeggen: "Deze leerling zal waarschijnlijk vastlopen bij 'Oppervlakte berekenen', dus geef hem eerst oefeningen daarover."

Samenvattend

Dit paper zegt eigenlijk: "Stop met het blindelings dumpen van alle data op een computer. Kies slim."

Als je een leerling wilt helpen, moet je niet naar zijn hele levensverhaal kijken, maar specifiek naar de momenten waarop hij worstelde met de zelfde soort problemen als de vraag die hij nu krijgt. Door die specifieke stukjes geschiedenis te gebruiken, wordt de AI een veel betere "diagnostisch arts" voor onderwijs, die precies weet welke medicijnen (oefeningen) de leerling nodig heeft.

Probleemstelling

Traditionele Kennistracing (Knowledge Tracing - KT) systemen zijn voornamelijk gericht op het voorspellen van de binair correctheid van een student (goed/fout) op basis van hun historische antwoorden. Hoewel deze systemen nuttig zijn voor het aanpassen van leerpaden, missen ze vaak het vermogen om de onderliggende conceptuele misvattingen te diagnosticeren die tot fouten leiden.

In praktijkgerichte educatieve scenario's is het essentieel om niet alleen te weten dat een student een fout maakt, maar ook waarom (bijvoorbeeld een gebrek aan begrip van oppervlakteberekening versus volume). Bestaande datasets ontbreken vaak gedetailleerde annotaties van de redeneerstappen en de specifieke concepten die een student niet heeft beheerst. Bovendien is het onduidelijk hoe Large Language Models (LLMs) en Large Reasoning Models (LRMs) het beste kunnen worden ingezet voor deze taak, vooral wanneer het gaat om het selecteren van de meest informatieve historische data uit een lange reeks antwoorden.

Methodologie

1. Dataset Constructie: ConceptKT
De auteurs hebben een nieuwe dataset, ConceptKT, ontwikkeld door de bestaande MathEDU-dataset uit te breiden.

Bron: De dataset bevat 4.048 oplossingsprocessen van 6 studenten met diverse academische achtergronden.
Annotatie: Drie experts in wiskundeonderwijs hebben de data handmatig geannoteerd. Voor elke vraag werden twee soorten labels toegevoegd:
- Geassocieerde Concepten: De concepten die nodig zijn om de vraag op te lossen.
- Ontbrekende Concepten: De specifieke concepten die de student niet heeft beheerst bij een fout antwoord (bijv. "Oppervlakteberekening" in plaats van "Volume").
Foutclassificatie: Fouten worden onderscheiden in "conceptuele tekortkomingen" (verkeerde operaties of gebrek aan kennis) en "slordigheidsfouten" (rekenfouten, onzorgvuldigheid).

2. Taakformulering en Prompting
Het onderzoek introduceert een uitgebreide KT-taak: het voorspellen van zowel de antwoordcorrectheid als de conceptuele tekortkomingen voor een nieuwe vraag, gebaseerd op de geschiedenis van de student.

Framework: Er wordt gebruik gemaakt van In-Context Learning met LLMs en LRMs.
Chain-of-Thought (CoT): De prompts zijn ontworpen om het model te laten redeneren in drie stappen:
1. Identificatie van de concepten die nodig zijn voor de nieuwe vraag.
2. Analyse van de studentgeschiedenis om conceptuele beheersing te beoordelen.
3. Voorspelling van correctheid en identificatie van ontbrekende concepten.

3. Strategieën voor Selectie van Historische Antwoorden
Omdat het invoeren van de volledige geschiedenis van een student (die duizenden tokens kan bevatten) redundantie en ruis kan introduceren, onderzochten de auteurs verschillende selectiestrategieën om de meest informatieve historische records te kiezen:

Alle Antwoorden: Geen selectie; de volledige geschiedenis wordt gebruikt.
Alleen Zelfde Concepten: Alleen antwoorden die dezelfde concepten betreffen als de doelvraag.
Conceptuele Semantische Selectie: Eerst worden antwoorden met dezelfde concepten gefilterd. Als er te weinig zijn (of om de beste te kiezen), wordt BERTScore gebruikt om de semantische gelijkenis tussen de historische vragen en de doelvraag te berekenen. De top- $m$ meest vergelijkbare antwoorden worden geselecteerd.

Belangrijkste Bijdragen

Concept-Level Deficiency Prediction: De introductie van een nieuwe taakdefinitie die verder gaat dan binair correctheid en specifiek gericht is op het diagnosticeren van conceptuele zwaktes.
ConceptKT Dataset: De eerste dataset met expert-geannoteerde labels voor zowel vereiste concepten als ontbrekende concepten bij foutieve antwoorden, gebaseerd op gedetailleerde oplossingsprocessen.
Analyse van Selectiestrategieën: Een systematische evaluatie van hoe het selecteren van historische data (in plaats van het invoeren van alles) de prestaties van LLMs en LRMs beïnvloedt voor diagnostische taken.

Resultaten

De experimenten omvatten verschillende modellen (o.a. Gemini-2.0-Flash, Llama-4, o3-mini, DeepSeek-R1) en traditionele KT-baselines (DKT, OKT, etc.).

Correctheid vs. Diagnose: Traditionele KT-modellen presteren goed bij het voorspellen van correctheid, maar slecht bij het diagnosticeren van conceptuele tekortkomingen. LLMs hebben hier potentieel, maar alleen met de juiste input.
Impact van Selectie:
- Het gebruik van alle antwoorden zonder filtering leidt tot een significante daling in de prestaties voor het voorspellen van conceptuele tekortkomingen (bijv. Macro-F1 daalt van ~17% naar ~5% bij sommige modellen).
- Conceptuele Selectie (alleen antwoorden met dezelfde concepten) verbetert de prestaties aanzienlijk.
- Conceptuele Semantische Selectie levert de beste resultaten op voor modellen met sterke redeneercapaciteiten (zoals o3-mini en DeepSeek-R1). Bijvoorbeeld, bij o3-mini steeg de Macro-F1 voor het detecteren van ontbrekende concepten van 2,16% (alle antwoorden) naar 12,77% (semantische selectie).
Aanvulling met Ruis: Het toevoegen van antwoorden met andere concepten (random of op basis van semantische gelijkenis) wanneer er te weinig "zelfde-concept" antwoorden zijn, verlaagt de prestaties. Dit bevestigt dat conceptuele relevantie belangrijker is dan de hoeveelheid inputdata.

Betekenis en Conclusie

Dit onderzoek toont aan dat voor effectieve diagnostische feedback in educatieve systemen, kwaliteit boven kwantiteit gaat bij het selecteren van trainingsdata voor LLMs.

Pedagogische Impact: Door specifieke conceptuele tekortkomingen te voorspellen, kunnen educatieve systemen gerichte remediërende materialen en scaffolding-strategieën bieden, in plaats van alleen te zeggen dat een antwoord fout is.
Technische Inzicht: De studie demonstreert dat zelfs modellen met een zeer groot contextvenster (tot 1 miljoen tokens) baat hebben bij slimme selectie van historische records. Het filteren op conceptuele alignering en semantische similariteit helpt het model om ruis te verminderen en zich te concentreren op de relevante patronen in het leerproces van de student.
Toekomst: Hoewel de resultaten veelbelovend zijn, blijft het voorspellen van conceptuele tekortkomingen uitdagend, vooral bij studenten met onstabiele leertrajecten of bij het onderscheiden van slordigheidsfouten van echte conceptuele gebreken.