Technisch overzicht: INSIDE – Gezamenlijke modellering van latent redeneren en actie in LLM-studentensimulatoren

Probleemstelling

Op basis van Large Language Models (LLM) gebaseerde simulatoren in het onderwijs repliceren vaak observeerbare acties van studenten (bijv. het indienen van code), maar falen ze in het vastleggen van de onderliggende latente redeneerprocessen. In educatieve contexten kunnen twee studenten identieke code produceren om fundamenteel verschillende redenen, of dezelfde onjuiste oplossing bereiken via verschillende cognitieve paden. Bestaande benaderingen behandelen studentengedrag doorgaans als een 'black box', waarbij de focus uitsluitend ligt op de uitkomstvoorspelling. Deze beperking belemmert het diagnosticeren van misconcepties, het genereren van gerichte feedback of het effectief evalueren van tutorensystemen, aangezien observeerbare acties slechts een gedeeltelijk beeld van de cognitie geven. Bovendien, terwijl LLM-redeneeronderzoek zich vaak richt op het verbeteren van correctheid, omvat menselijk leren frequent fouten, misconcepties en incomplete strategieën die huidige modellen moeite hebben om authentiek te simuleren.

Methodologie

Het paper stelt INSIDE (INTERNAL STUDENT DIALOGUE) voor, een framework dat zowel de acties van de student als hun interne redeneerprocessen gezamenlijk modelleert. De methodologie bestaat uit drie primaire componenten:

1. Data en Context

De studie maakt gebruik van data van een introductiecursus programmeren aan UC Berkeley, die twee semesters beslaat (lente 2024 en lente 2025). De dataset bevat gegevens van ongeveer 900 studenten, 10 huiswerkopdrachten en stromen van meerdere indieningspogingen. Elke poging legt de code van de student, de resultaten van de autograder en natuurlijke taalfeedback van een AI-tutor vast. De data is gepartitioneerd in trainingssets (lente 2025) en testsets (lente 2024), met verdere splitsingen voor "Old Problems" (bekende problemen, nieuwe studenten) en "New Problems" (onbekende problemen).

2. Generatie van Interne Dialoog (Teacher Model)

Omdat de grondwaarheid van intern redeneren niet observeerbaar is, gebruiken de auteurs een teacher model (GPT-5) om retrospectieve inferentie uit te voeren. Gegeven de interactiecontext (probleem, eerdere indieningen, feedback) en de geobserveerde volgende indiening, genereert het teacher model:

• Gestructureerde Status-samenvattingen: Derdepersoonsanalyses van de cognitieve (begrip/misconcepties), affectieve (emoties/motivatie) en actie (concrete stappen) staten van de student, gegrond in Bloom's Taxonomie.
• Eerstepersoons Interne Dialoog: Een "think trace" ($z_t$) die de interne monoloog van de student simuleert voorafgaand aan de indiening. Deze dialoog is ontworpen om novice-redeneren te reflecteren, inclusief onzekerheid, gedeeltelijk begrip en potentiële fouten.

3. Student Modelleringsframework

De kernbijdrage is een studentenmodel dat getraind is om zowel de interne dialoog als de daaropvolgende code-indiening ($c_t$) te genereren, geconditioneerd op de interactiegeschiedenis.

• Fine-tuning (INSIDE): Modellen (Qwen2.5, Qwen3, LLaMA-3) worden gefinetuned met LoRA op paren van sequenties van (Context $\to$ Interne Dialoog $\to$ Code). De interne dialoog dient als een intermediaire cognitieve laag.
• Baselines: Het framework wordt vergeleken met:
  • SFT: Fine-tuning zonder interne dialoog (directe context $\to$ code).
  • Prompting (CoT): Standaard Chain-of-Thought prompting.
  • Prompting (BloomCoT): Gestructureerde prompting geïnspireerd door Bloom's Taxonomie.

Belangrijkste Bijdragen

1. Reconstructie van Pedagogisch Gegronde Redeneersporen: Het paper introduceert een methode om latente redeneersporen te reconstrueren uit interactiedata via retrospectieve inferentie, wat modellen in staat stelt om interpreteerbare interne dialoog te genereren ondanks de afwezigheid van grondwaarheid-redenering.
2. Gezamenlijk Modelleringsframework (INSIDE): Een nieuw framework dat codegeneratie conditioneert op geïnferreerde interne dialoog, waarbij het latente redeneerproces dat voorafgaat aan observeerbare acties expliciet wordt gemodelleerd.
3. Tweeledige Evaluatie: Een uitgebreide evaluatiemetriek die zowel Actiefidelity (overeenkomst tussen de distributies van gegenereerde code en echte studenten) als Redeneerkwaliteit (afstemming tussen gegenereerde dialoog en werkelijke code-wijzigingen) beoordeelt.

Resultaten

De evaluatie toont aan dat INSIDE beter presteert dan zowel de gefinetunede baselines zonder redenering (SFT) als diverse prompting-strategieën.

Actiefidelity

Gebruikmakend van de Wasserstein-afstand om de distributieve gelijkenis tussen model-gegenereerde en echte studentcode te meten:

• INSIDE behaalt consistent de laagste Wasserstein-afstanden over de metrieken (Pass Rate, Lines of Code, AST depth/width, PEP 8 violations) op de "Old Problems" testset ($test\_OP$).
• Op "New Problems" ($test\_NP$) presteert INSIDE vergelijkbaar met SFT, hoewel het gat kleiner is. De auteurs schrijven dit toe aan het hogere succespercentage in $test\_NP$, waar SFT al dicht bij de doelverdeling ligt.
• Pass Rate Trajecten: Echte studenten vertonen lage initiële pass rates met scherpe stijgingen nabij de laatste stappen. SFT-modellen volgen dit goed, maar prompting-gebaseerde modellen behouden vaak kunstmatig hoge pass rates vanaf het begin. INSIDE-modellen komen nauw overeen met de incrementele progressie van echte studenten en vertonen de laagste Mean Absolute Error (MAE) in pass rate trajecten.

Redeneerkwaliteit (Alignment)

Alignment meet het deel van de atomaire claims in de gegenereerde interne dialoog die wordt weerspiegeld in de grondwaarheid code-wijzigingen:

• INSIDE behaalt de hoogste alignment scores onder de geteste modellen. Specifiek bereikt Qwen3-8B-INSIDE 57,9% op $test\_NP$, terwijl Qwen2.5-7B-INSIDE 51,8% bereikt op $test\_OP$, waarmee het de beste prompting-baselines in beide settings overtreft.
• Opvallend genoeg bereiken grotere, meer capabele modellen (bijv. GPT-5, Qwen3-32B) vaak lagere alignment scores, wat suggereert dat superieur algemeen redeneervermogen niet automatisch vertaalt naar het simuleren van novice-achtig, foutgevoelig redeneren.
• Zelfconsistentie: Hoewel prompting-modellen een hoge zelfconsistentie vertonen (redenering komt overeen met hun eigen gegenereerde code), slagen ze er vaak niet in om echt studentgedrag te matchen. INSIDE behoudt competitieve zelfconsistentie terwijl het een superieure alignment bereikt met werkelijke student-wijzigingen.

Betekenis en Claims

Het paper claimt dat het modelleren van redeneren buiten observeerbare acties essentieel is voor het bouwen van realistische studentensimulatoren. Door interne dialoog te integreren, overbrugt INSIDE de kloof tussen verklaring en gedrag, waardoor simulaties worden geproduceerd waarbij het redeneren consistent is met de geobserveerde code-wijzigingen.

De auteurs benadrukken twee belangrijke implicaties:

1. Evaluatie en Optimalisatie: Studentensimulatoren met interne dialoog maken het mogelijk om te evalueren of AI-tutor feedback misconcepties oplost en ondersteunt contrafeitelijke analyse van interventies vóór implementatie.
2. Leerlinggerichte Tools: Het externaliseren van de interne dialoog kan studentreflectie en metacognitie ondersteunen, en het mogelijk maken om studenten te clusteren op basis van redeneerpatronen in plaats van alleen oppervlakkig gedrag.

Het paper erkent beperkingen, primair dat de interne dialoog gereconstrueerd is in plaats van geobserveerd, wat potentieel een coherenter redeneren reflecteert dan werkelijke novice-studenten. Het stelt echter dat deze benadering een nuttige proxy biedt voor onobserveerbare cognitieve signalen, wat bijdraagt aan de vooruitgang van mensgerichte AI in het onderwijs.