Technische Samenvatting: Leren Prompten – Verbeteren van Studentenbetrokkenheid met Adaptieve LLM-gebaseerde Middelbare School-Tutoring

Probleemstelling

Hoewel Large Language Models (LLM's) een aanzienlijk potentieel bieden voor het personaliseren van onderwijs, kampen huidige tutorensystemen met drie primaire beperkingen:

1. Statische Prompting: De meeste bestaande systemen vertrouwen op statische prompts die zijn ontworpen voor één enkel vakgebied (bijv. wiskunde), en slagen er niet in om te adapteren aan de diverse vereisten van verschillende academische disciplines (bijv. Frans, Geografie, Natuurkunde).
2. Simulatie-naar-Realiteit Kloof: Onderzoek valideert de pedagogische effectiviteit vaak in synthetische omgevingen waar gesimuleerde studenten "sycophancy" (vleierij) of geïdealiseerd gedrag vertonen, wat leidt tot distributieverschuivingen bij implementatie bij echte studenten.
3. Feedback-schaarsheid: In real-world scenario's skippen gebruikers vaak formele oefeningen na interactie met een tutor, wat resulteert in een gebrek aan directe, expliciete feedback (bijv. toetsresultaten) die noodzakelijk is voor het trainen van adaptieve modellen. Bestaande benaderingen vertrouwen vaak op enkele black-box scores die gevoelig zijn voor hoge variantie en beloningsmanipulatie (reward gaming).

Methodologie

De auteurs stellen een Onderwerp-bewust Adaptief Tutorensysteem voor dat promptselectie formuleert als een contextuele bandit-routingprobleem. Het framework bestaat uit drie kerncomponenten:

1. Inputrepresentatie en Promptruimte

• Hybride Input ($X$): Om representatie-degeneratie (anisotropie) in pre-trained embeddings te mitigeren, gebruikt het systeem een dual-path architectuur. Het fuseert een 768-dimensionale onderwerp-embedding (van een E5-encoder) met een leerbare 64-dimensionale subject ID-embedding. Dit injecteert expliciet onderwerp-grenzen in de latente ruimte.
• Prompt Pool ($P$): Het systeem selecteert uit een pool van 20 onderscheidende pedagogische prompts. Deze prompts zijn geschreven door menselijke experts en gevarieerd via LLM's, en dekken strategieën zoals Socratic scaffolding, Feynman rolomdraaiing en empathische ondersteuning.

2. Evaluatieve Score Kalibratie ($Y$)

Om het gebrek aan directe oefenscores aan te pakken, maken de auteurs gebruik van een LLM Evaluator (GPT-5-mini) die instructieve effectiviteit decomponeert in 14 binaire pedagogische criteria geworteld in onderwijstheorie (bijv. tutor scaffolding, studentnieuwsgierigheid, correcte antwoorden binnen 2 beurten).

• Weging: De ruwe score is een gewogen som van deze 14 kenmerken, waarbij de gewichten zijn afgeleid van Pearson-correlaties met door mensen gelabelde leeruitkomsten.
• Kalibratie: Om de sim-to-real kloof te overbruggen, wordt een sigmoid kalibratiefunctie toegepast op de ruwe score ($y_{raw}$) om de distributie van gesimuleerde feedback af te stemmen op de empirische distributies uit de echte wereld, waardoor het router-model niet over-optimaliseert voor synthetisch gedrag.

3. Routing Architectuur en Optimalisatie

• Actor-Critic Netwerk: De router maakt gebruik van een residual subject injectiemechanisme. De subject-embedding wordt direct in de laatste outputlagen geïnjecteerd (via skip-connections) om te voorkomen dat het onderwerp verdund wordt tijdens diepe niet-lineaire transformaties, waardoor wordt gegarandeerd dat onderwerp-specifieke vereisten de strategieselectie sturen.
• Training: Het model wordt geoptimaliseerd met Proximal Policy Optimization (PPO), aangepast voor een single-step contextuele bandit-setting. Het maakt gebruik van Experience Replay en importance sampling om de hoge latentie van LLM-omgevingen te verwerken.
• Deployment Strategie: In live deployment werkt het systeem in twee modi: Exploitatie (80% van het verkeer, waarbij de hoogste waarschijnlijkheid strategie greedily wordt geselecteerd) en Exploratie (20% van het verkeer, via gewogen sampling om diverse trainingsdata te verzamelen).

Experimentele Opzet

• Simulatie: Een gecontroleerde omgeving met drie gesimuleerde studentprofielen (Gemotiveerd, Gemiddeld, Ondermotiveerd) werd gebruikt om de router te trainen over 16.000 stappen.
• Real-World A/B Test: Het systeem werd ingezet bij 359 Nederlandse middelbare scholieren (656 conversaties) in maart en april 2026.
• Baselines: Vergelijkingen werden gemaakt met een Productie Baseline (expert-verfijnde statische Socratic prompt) en een Literatuur Baseline (statische adaptatie van een eerdere pedagogische prompt).

Belangrijkste Resultaten

1. Simulatieprestaties

• De adaptieve router presteerde significant beter dan beide statische baselines in simulatie (Gemiddelde Score: 0,694 vs. 0,647 en 0,64, $p < 0,001$).
• De router elimineerde succesvol de "staart" van slechte interacties (scores < 0,4) die bij statische benaderingen werden waargenomen.
• Onderwerp-alignement: In 8 van de 13 geëvalueerde onderwerpen bereikte de router een perfecte match met de empirisch optimale strategie. In andere gevallen was de regret margin minimaal (< 0,02).

2. Real-World Deployment

• Instructieve Efficiëntie: De adaptieve router verminderde het aantal beurten dat nodig was om diepe interacties te bereiken (beurten $\ge$ 5) met ongeveer 3 beurten vergeleken met de baseline ($p = 0,007$).
• Strategie Verschuiving: De router paste zich succesvol aan van in simulatie geprefereerde strategieën (bijv. Feynman/diep redeneren) naar real-world optimale strategieën (bijv. Coach/scaffolding), wat een succesvolle sim-to-real transfer aantoont.
• Conversieratio's:
  • De Exploitatie router behaalde een conversieratio die vergelijkbaar is met de statische baseline (19,1% vs. 19,6%).
  • De Exploratie router (stochastische sampling) behaalde een significant hogere conversieratio van 28,1%, wat suggereert dat strategie-diversiteit nuttiger kan zijn dan een enkele "optimale" policy in de vroege fase van deployment.
• Score Validiteit: De pedagogische scores van de LLM-evaluator waren statistisch voorspellend voor de oefenconversie (0,599 voor geconverteerd vs. 0,560 voor niet-geconverteerd, $p = 0,037$), wat de proxy-metriek valideert.

Betekenis en Claims

Het artikel claimt aan te tonen dat:

1. Gedecodeerde Feedback Robuust Is: Het opdelen van instructieve effectiviteit in 14 observeerbare criteria biedt een betrouwbare, door mensen gealigneerde proxy voor succes van de leerling, zelfs bij afwezigheid van downstream oefenresultaten.
2. Adaptieve Routing Werkt: Het formuleren van tutoring als een prompt-routingprobleem stelt het systeem in staat om pedagogische strategieën te specialiseren over verschillende onderwerpen, waarbij het statische baselines overtreft in zowel simulatie als real-world settings.
3. Sim-to-Real Transfer Bereikbaar Is: Door middel van score-kalibratie en residual subject injectie kan het systeem de kloof tussen geïdealiseerde simulaties en schaarse, ruisige real-world interacties overbruggen, waarbij strategieën verschuiven om aan te sluiten bij de werkelijke behoeften van de student (bijv. van diep redeneren naar scaffolding).

De auteurs merken beperkingen op, waaronder dataschaarsheid in long-tail onderwerpen, de moeilijkheid om directe kenniswinst te meten zonder formele oefeningen, en de beperking van een discrete prompt pool die de generatie van nieuwe hybride strategieën verhindert. Ze suggereren dat toekomstig werk zich kan richten op longitudinale studies, het balanceren van domein-imbalansen en het integreren van gesprekshistorie in de routing-beslissing.