Technische Samenvatting: De context van het leerproces doet ertoe: Het meten en diagnosticeren van personalisatiekloven in op LLM gebaseerd instructieontwerp

1. Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden geïntegreerd in educatieve omgevingen om gepersonaliseerde ondersteuning te bieden, blijft het onduidelijk of het verstrekken van Leercontext (LC)—informatie over de identiteit, doelen en betrokkenheid van de lerende—leidt tot werkelijke pedagogische adaptatie of slechts tot oppervlakkige variatie in de respons. De huidige literatuur gaat er vaak van uit dat personalisatie vanzelfsprekend ontstaat door middel van prompting of toegang tot gegevens van de lerende, zonder directe meting van hoe LC de instructieontwerp-policy van een LLM verandert. Dit artikel adresseert de kloof in het evalueren van de vraag of LC de planning van een LLM verschuift naar expert-achtige, leerlinggerichte strategieën, en identificeert specifieke mismatches waar modellen er niet in slagen de context op de juiste wijze te benutten.

2. Methodologie: De Personalization Policy Probe (P3)

De auteurs introduceren de Personalization Policy Probe (P3), een framework voor het meten van personalisatie op het niveau van de instructieontwerp-policy van een LLM (de distributie van strategieën die het model prioriteert). De methodologie bestaat uit vier kerncomponenten:

A. Generatie van Synthetische Leercontext

Om experimentele controle en psychologische realiteit te waarborgen, genereren de auteurs synthetische leerlingprofielen op basis van de Motivated Strategies for Learning Questionnaire (MSLQ).

• Latente Toelatingsmodellering: Leerlingprofielen worden gemodelleerd als steekproeven uit een multivariate normale verdeling met behulp van empirische gemiddelden, standaarddeviaties en inter-construct correlaties uit MSLQ-data.
• Generatie van Itemrespons: Numerieke itemresponsen worden gegenereerd als lineaire functies van latente constructen plus ruis.
• Kwalitatieve Synthese: Numerieke scores worden door een LLM omgezet in natuurlijke taalbeschrijvingen, waarbij de beperking ligt op herformulering in plaats van uitbreiding, om te voorkomen dat er nieuwe informatie wordt gehallucineerd.
• Contextconstructie: Deze profielen worden aangevuld met leerdoelen afkomstig van OpenStax-leerboeken om volledige Leercontexten (LC) te vormen.

B. Instructieontwerp-taak

De LLM wordt behandeld als een instructieontwerper die een policy $\pi$ volgt die een LC-toestand $s$ in kaart brengt naar een distributie over een actieruimte $A$ (een set van 23 instructiestrategieën afgeleid van de Digital Promise Learner Variability Navigator).

• Policy Schatting: Het model wordt geprompt om de top $k=5$ kritieke strategieën voor een specifieke lerende te selecteren. Dit wordt $N=100$ keer herhaald om de empirische policy-distributie $\hat{\pi}(a|s)$ te schatten.
• Condities: De studie vergelijkt Controle (LC-blind, enkel doelgericht) versus Interventie (LC-bewust) condities.

C. Expert Referentiesignalen

Twee expert calculus-docenten leverden annotaties die dienen als grondwaarheid:

1. Strategie-oriëntatie: Het beoordelen van strategieën als leerlinggericht (+1), inhoudgericht (-1) of gebalanceerd (0).
2. Instructieontwerp: Het selecteren van de top 5 strategieën voor specifieke kenmerken van de lerende.
3. Relevantie van Kenmerken: Het beoordelen van de pedagogische impact van elk leerlingkenmerk op een schaal van 1–5.

D. Metrieken

• Total Variation Distance (TVD): Meet de afwijking tussen de LLM-policy en de geaggregeerde expert-policy.
• Leerlinggerichtheid ($F$): Een scalaire score die kwantificeert in welke mate een policy de nadruk legt op leerlinggerichte strategieën boven inhoudgerichte strategieën.
• Relevantie-Impact Analyse: Een "leave-one-out" analyse waarbij individuele leerlingkenmerken worden verwijderd om hun invloed op de policy te meten (via de verandering in TVD), vergeleken met de door experts beoordeelde relevantie.

3. Belangrijkste Resultaten

De studie, uitgevoerd op GPT-5.2 over 50 synthetische lerenden, levert de volgende bevindingen op:

• LC Veroorzaakt Systematische Policy-verschuivingen: Het verstrekken van LC verschuift de instructie-policy van de LLM consistent weg van inhoudgerichte strategieën (bijv. "Worked Examples") naar leerlinggerichte strategieën (bijv. "Goal Setting and Monitoring").
• Verminderde Afwijking van Experts: De inclusie van LC vermindert de Total Variation Distance tussen de LLM-policy en de expert-policy in alle geteste gevallen. Meer dan de helft van de contexten induceerde ten minste een reductie van 10% in afwijking.
• Persistente Personalisatiekloof: Ondanks de verschuiving blijven de leerlinggerichtheidsscores van het model aanzienlijk lager dan die van expert-instructeurs. Het model past zich aan, maar niet op een expert-niveau.
• Relevantie-Impact Mismatch: De analyse van leerlingkenmerken onthult een gebrek aan lineaire correlatie (Spearman's $\rho \approx 0.11$) tussen de door experts beoordeelde pedagogische relevantie en de werkelijke invloed van die kenmerken op het model.
  • Verwaarloosde Kenmerken: Sommige kenmerken met een hoge relevantie (bijv. Zelfregulatie) hebben een lage invloed op de planning van de LLM.
  • Gehallucineerde Relevantie: Sommige kenmerken met een lage relevantie of nul-waarde (bijv. "De lerende heeft twee broers/zussen") oefenen een niet-verwaarloosbare invloed uit op de beslissingen van de LLM.

4. Bijdragen

1. P3 Framework: Introductie van een diagnostic framework op policyniveau voor het meten van personalisatie in LLM-tutoring via veranderingen in de distributie van instructiestrategieën en leerlinggerichtheid.
2. Synthetische LC Generatie: Een methode voor het genereren van psychometrisch onderbouwde, gecontroleerde leercontexten met behulp van MSLQ-data om te dienen als diagnostische probes.
3. Casestudy & Diagnose: Een uitgebreide casestudy van GPT-5.2 die aantoont dat hoewel LC de afstemming met expert-planning verbetert, er een significante mismatch blijft bestaan. Het artikel diagnosticeert dit via een relevantie-impact analyse, waarbij verwaarloosde kenmerken en spuriële sensitiviteiten worden geïdentificeerd.

5. Betekenis en Claims

Het artikel claimt dat de context van het leerproces materieel van belang is, maar niet automatisch leidt tot effectieve personalisatie.

• Operationele Conclusie: Huidige LLM-tutors vertonen een meetbare adaptatie aan LC, maar hun instructieplanning blijft niet-expert en onvoldoende robuust tegen afleidende context.
• Evaluatieverschuiving: Personalisatie moet niet enkel worden geëvalueerd op basis van de vraag of context het gedrag van het model verandert, maar of die veranderingen overeenstemmen met de pedagogische intentie.
• Fundament voor Verbetering: Door personalisatiekloven te kwantificeren en bloot te leggen waar modellen falen in het prioriteren van relevante leerlingkenmerken, maakt het P3-framework gerichte verbeteringen van LC-bewuste LLM-systemen mogelijk (bijv. door middel van prioritering van leerlingkenmerken, tuning van pedagogische modellen en LC-engineering) vóór de implementatie bij echte leerlingen.

De auteurs blijven bescheiden over de generaliseerbaarheid en merken op dat de resultaten specifiek zijn voor het calculus-domein en dat de analyse marginale effecten vastlegt in plaats van complexe niet-lineaire interacties tussen leerlingkenmerken. Zij benadrukken dat de studie de intentie van het instructieontwerp evalueert in plaats van de uitvoering van de resultaten.