Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems

Probleemstelling

In het domein van studentmodellering en leeraanalytics zijn kenniscomponenten (Knowledge Components - KCs) fundamenteel. KCs zijn fijngranulaire eenheden van vaardigheden of concepten die nodig zijn om leercurves te analyseren en gepersonaliseerd onderwijs te bieden. Een kernprincipe uit de cognitieve wetenschap is de wet van de praktijk (Power Law of Practice): het foutpercentage op een specifieke KC zou moeten afnemen naarmate een student deze vaker oefent.

Het grootste probleem is echter dat in real-world datasets voor open-ended programmeeropgaven (zoals Java-coding) zelden correctheidslabels op KC-niveau beschikbaar zijn. Meestal zijn er alleen labels op probleemniveau (het hele antwoord is correct of incorrect).

• De beperking van probleemniveau-labels: Als een student een probleem oplost dat meerdere KCs vereist, maar slechts één onderdeel fout heeft, wordt het hele antwoord als "incorrect" gemarkeerd. Dit verbergt de feitelijke beheersing van de andere KCs.
• Gevolg: Het toepassen van probleemniveau-correctheid op alle bijbehorende KCs leidt tot slecht passende leercurves die niet voldoen aan de cognitieve theorie (de wet van de praktijk) en resulteert in onnauwkeurige voorspellingen.
• Huidige oplossingen: Bestaande methoden gebruiken vaak Abstract Syntax Trees (AST) om syntactische overeenkomsten te vinden, maar missen vaak hogere niveau, algoritmische KCs. Handmatige labeling is te arbeidsintensief en niet schaalbaar.

Methodologie

De auteurs stellen een geautomatiseerd raamwerk voor dat Large Language Models (LLMs) gebruikt om direct correctheidslabels op KC-niveau te genereren vanuit de door studenten geschreven code.

1. Prompting-strategie (Chain-of-Thought):

• Het systeem gebruikt GPT-4o en Qwen3 Coder (een open-weight model).
• Er wordt gebruik gemaakt van Chain-of-Thought (CoT) prompting. De LLM krijgt de probleemstelling, de studentcode en een lijst van KCs.
• In plaats van direct een ja/nee-label te geven, wordt de LLM gevraagd stap-voor-stap te redeneren:
  1. Is deze specifieke KC gebruikt in de code?
  2. Is deze KC correct toegepast?
• Dit resulteert in een binaire label (correct/incorrect) per KC.
• Er worden in-context voorbeelden (few-shot learning) gebruikt om consistentie te waarborgen.

2. Automatische KC-Generatie:

• Naast door mensen gemaakte KCs, gebruikt het framework ook automatisch gegenereerde KCs.
• Door middel van clustering van CodeBERT-embeddings van correcte oplossingen, genereert de LLM een diverse set KCs die rekening houden met verschillende oplossingsstrategieën. Dit lost het probleem op van menselijke KC-sets die soms te beperkt of onvolledig zijn.

3. Temporaal Context-bewuste Code-KC Mapping:

• Een cruciale innovatie is het koppelen van KCs aan specifieke studentcode, niet alleen aan het probleem.
• Methode:
  • De laatste poging van een student (vaak een bijna-korrekte versie) wordt gebruikt om de meest relevante oplossingstrategie te identificeren via cosine-afstand met correcte referentiecode.
  • De KCs die bij deze strategie horen, worden gekoppeld aan de eerste poging van de student.
• Reden: De eerste poging vertegenwoordigt de initiële beheersing van de student, terwijl latere pogingen vaak debugging bevatten die de oorspronkelijke intentie verstoren. Dit zorgt voor een nauwkeurigere toewijzing van KCs aan de specifieke codeconstructies van de student.

Belangrijkste Bijdragen

1. Eerste systematisch onderzoek: Dit is het eerste werk dat LLMs systematisch onderzoekt voor het labelen van KC-correctheid in open-ended programmeeropgaven.
2. Nieuw Framework: Een end-to-end pipeline die CoT-prompting en temporale context-mapping combineert om fijngranulaire labels te genereren.
3. Validatie: Uitgebreide kwantitatieve evaluatie en menselijke validatie die aantonen dat LLM-labels betrouwbaar zijn en beter presteren dan bestaande heuristieken.

Resultaten

De evaluatie vond plaats op het CodeWorkout-dataset (10.834 code-pogingen van 246 studenten in Java). De prestaties werden gemeten aan de hand van:

• Fit van de leercurve (Power Law of Practice): Gemeten via RMSE en $r^2$.
• Voorspellende prestatie (Additive Factors Model - AFM): Gemeten via AUC.

Kernbevindingen:

• Superieure Fit: LLM-gemakkelabelde KCs leiden tot leercurves die veel beter voldoen aan de wet van de praktijk dan de baseline (waar probleemcorrectheid wordt doorgegeven aan alle KCs). De $r^2$ verbeterde aanzienlijk (bijv. van 0,253 naar 0,381 voor GPT-4o met menselijke KCs).
• Betere Voorspelling: Het gebruik van fijngranulaire labels verbeterde de voorspellende nauwkeurigheid van het AFM-model (hogere AUC).
• Impact van CoT: Het gebruik van Chain-of-Thought prompting resulteerde in betere resultaten dan directe prompting, wat aantoont dat redenering essentieel is voor deze taak.
• Menselijke Overeenstemming: Een menselijke evaluatie toonde een Cohen's Kappa van 0,74 tussen menselijke experts en GPT-4o, wat duidt op "substantiële overeenstemming". De overeenstemming tussen twee menselijke experts was 0,86.
• Robuustheid: Het framework werkte goed met zowel menselijke als automatisch gegenereerde KC-sets.

Significantie en Conclusie

Dit onderzoek toont aan dat LLMs een schaalbaar en cognitief onderbouwd alternatief bieden voor bestaande methoden om studentmastery te analyseren.

• Theoretische Impact: Het lost het probleem op van "verlies van nuance" in leercurves. Het maakt het mogelijk om te zien dat een student een probleem fout heeft, maar wel bepaalde vaardigheden (KCs) al beheerst.
• Praktische Toepassing: Nauwkeurige KC-labels zijn essentieel voor adaptieve leersystemen. Foutieve labels leiden tot verkeerde diagnostiek (bijv. studenten die te veel of te weinig oefening krijgen). Met dit framework kunnen systemen gerichter feedback geven en de leerstof beter sequentiëren.
• Toekomst: Hoewel er beperkingen zijn (bijv. de aanname dat de laatste poging de strategie volledig weergeeft), opent dit werk de weg voor fijnmazigere evaluaties van studentcode en betere AI-gestuurde educatieve interventies.