CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems

Technische Samenvatting: CodeGENCAT

Probleemstelling
Bestaande frameworks voor Computerized Adaptive Testing (CAT) vertrouwen overwegend op Item Response Theory (IRT) om vragen te selecteren op basis van de voorspelde waarschijnlijkheid dat een student een vraag correct beantwoordt. In dit paradigma worden antwoorden van studenten gereduceerd tot binaire labels voor juistheid (juist/onjuist). Deze abstractie gooit rijke diagnostische informatie weg die inherent is aan open antwoorden, een beperking die vooral acuut is in programmeeronderwijs. Bij programmeertaken kunnen twee studenten een vraag allebei niet goed beantwoorden, maar hun code-inzendingen kunnen toch zeer verschillende niveaus van begrip onthullen: de ene student kan een kleine syntaxisfout vertonen, terwijl de andere een fundamenteel conceptueel gat toont. Het behandelen van beide als simpelweg "onjuist" negeert de specifieke aard van de fout, wat de capaciteit van het systeem belemmert om conceptueel begrip en programmeervermogen nauwkeurig te modelleren.

Methodologie
De auteurs stellen CodeGENCAT (Generative Computerized Adaptive Testing for Open-ended Coding Problems) voor, een framework dat Large Language Models (LLM's) inzet om vragen te selecteren op basis van voorspelde, open antwoorden in code in plaats van binaire uitkomsten. De methodologie bestaat uit drie kerncomponenten:

1. Generative Item Response Theory (GIRT) Model:

   • Kennisrepresentatie: Kennis van studenten wordt weergegeven als een latente vector $z_i$ die via een Multi-Layer Perceptron (MLP) wordt geprojecteerd naar expliciete beheersingsniveaus ($\theta_i$) voor specifieke Kenniscomponenten (KC's).
   • Codegeneratie: Een LLM genereert voorspelde codeantwoorden, geconditioneerd op de vraagtekst en de geschatte kennis van de student. Om de kloof te overbruggen tussen scalaire beheersingsniveaus en LLM-ingangen, maken de auteurs gebruik van een "soft prompting"-techniek. Beheersingsniveaus worden lineair geïnterpoleerd tussen voorgeprogrammeerde embeddings van "WAAR" en "ONWAAR" om continue embeddings te creëren die in de prompt worden ingebracht.
   • Trainingsstrategie: Het model ondergaat een tweestaps trainingsproces:
     • Supervised Fine-Tuning (SFT): Het model leert code te genereren geconditioneerd op kennis, terwijl de negatieve log-likelihood wordt geminimaliseerd. Een aanvullende loss zorgt ervoor dat het gemiddelde voorspelde beheersingsniveau overeenkomt met de ground-truth score voor juistheid.
     • Direct Preference Optimization (DPO): Om mode collapse aan te pakken (waarbij het model identieke code genereert ongeacht de ingevoerde kennis), wordt een versterkingsleerstap geïntroduceerd. Preferentieparen worden gevormd door daadwerkelijke antwoorden van studenten te vergelijken met antwoorden van andere studenten die minder waarschijnlijk zijn gezien de huidige kennis van de student. DPO verfijnt het model om ervoor te zorgen dat gegenereerde antwoorden semantisch variëren op basis van de ingevoerde kennisstaat.

2. Vraagselectie-algoritmen:
   CodeGENCAT gebruikt het GIRT-model om $N$ potentiële codeantwoorden te stalen voor kandidaatvragen. Drie selectiecriteria worden voorgesteld om de volgende vraag te bepalen:

   • Op onzekerheid gebaseerd: Selecteert de vraag waarbij de gemiddelde voorspelde juistheidsscore het dichtst bij 0,5 ligt, waardoor de informatiewinst met betrekking tot de waarschijnlijkheid van juistheid wordt gemaximaliseerd.
   • Op diversiteit gebaseerd: Selecteert de vraag waarbij de gestaalde codeantwoorden de hoogste semantische diversiteit vertonen (gemeten via paarsgewijze cosinusgelijkheid van CodeBERT-embeddings), wat wijst op hoge onzekerheid over hoe de student zou kunnen reageren.
   • Op Fisher-informatie gebaseerd: Selecteert de vraag die de trace van de Fisher-informatiematrix maximaliseert, met als doel de onzekerheid over de latente kennisvector van de student het meest significant te verminderen.

3. Adaptieve testcyclus:
   Het systeem initialiseert de latente kennis van een student aan de hand van een populatie-prior. Bij elke stap worden antwoorden gestaald vanuit het GIRT-model voor kandidaatvragen, worden deze gescoord met het selectiealgoritme, wordt de hoogst gescoorde vraag toegediend, en wordt de latente kennis van de student bijgewerkt via gradient descent op basis van het daadwerkelijke antwoord.

Belangrijkste Bijdragen

• Generatief CAT-framework: Het eerste CAT-framework dat specifiek is ontworpen voor open programmeerproblemen en voorspelde codeantwoorden van studenten gebruikt voor vraagselectie, verdergaand dan binaire juistheid.
• GIRT-model: Een nieuw model dat kennisrepresentatie combineert met door LLM's aangedreven codegeneratie, getraind met SFT en DPO om ervoor te zorgen dat gegenereerde antwoorden overeenkomen met de geschatte kennis van de student.
• Nieuwe selectie-algoritmen: Drie verschillende algoritmen (onzekerheid, diversiteit, informatie) die generatieve capaciteiten benutten om de informatiewaarde van vragen te evalueren in de context van open antwoorden.

Experimentele Resultaten
Het framework werd geëvalueerd op twee real-world datasets: CodeWorkout (Java-inzendingen) en ProgFeed (Python-inzendingen).

• Prestaties: CodeGENCAT presteerde consistent beter dan sterke baselines (1PL IRT, BOBCAT, NCAT, LACAT) bij het schatten van studentenkennis, gemeten aan de hand van Area Under the Curve (AUC) en Nauwkeurigheid.
• Vroege winst: De meest significante verbeteringen traden op in de vroege fasen van de test ($t=1$ tot $t=7$). Op CodeWorkout behaalde het op diversiteit gebaseerde selectiealgoritme een 4,32% AUC-verbetering ten opzichte van de sterkste baseline in de eerste fase.
• Algoritmevariatie: De optimale selectie-algoritme varieerde per dataset en testfase. Diversiteit presteerde het beste in de vroege fasen op CodeWorkout, terwijl op informatie gebaseerde selectie consequent superieur was op ProgFeed en in latere fasen op CodeWorkout.
• Testveiligheid: CodeGENCAT behield concurrerende metrics voor testveiligheid (vraagblootstelling en overlappercentages), wat aantoont dat het efficiëntie kan balanceren met veiligheidsvereisten.
• Ablatiestudies: De studie bevestigde dat DPO-afstemming cruciaal is voor het model om diverse, kennis-geconditioneerde antwoorden te genereren. Grotere backbone-modellen (3B versus 1B) vertoonden dataset-afhankelijke voordelen, en het verminderen van het aantal gestaalde antwoorden ($N$) van 10 naar 3 bood aanzienlijke tijdsbesparing met minimale nauwkeurigheidsverlies.

Betekenis en Claims
Het artikel claimt dat CodeGENCAT een significante vooruitgang vertegenwoordigt in adaptief testen voor programmeeronderwijs door de rijke informatie die in open code zit te benutten. Door de focus te verschuiven van "of een student zal falen" naar "hoe een student zou kunnen falen", vangt het framework specifieke fouten en misvattingen op die binaire modellen missen. De auteurs stellen dat deze aanpak leidt tot nauwkeurigere en efficiëntere schatting van kennis, vooral tijdens de kritieke vroege fasen van testen. Zij merken op dat hoewel de huidige evaluatie beperkt is tot introductiecursussen informatica, het framework theoretisch aanpasbaar is voor andere open domeinen, mits geschikte datasets beschikbaar zijn. Het werk onderstreept het potentieel van generatieve modellen om psychometrische modellering te versterken zonder de nuance van door studenten gegenereerde inhoud te verliezen.