Technische Samenvatting: PIVOT (Preference-based Intervention Vectors for Pedagogical Tutor Steering)

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet voor conversationele tutoring, maar effectieve pedagogiek vereist meer dan enkel het genereren van correcte antwoorden. Succesvolle tutoring vereist dynamische strategische keuzes, zoals wanneer men moet scafolde (ondersteunen), hints moet geven, feedback moet bieden of reflectie moet uitnodigen. Hoewel bestaande methoden voor prompting en training-gebaseerde alignment (bijv. Supervised Fine-Tuning, Reinforcement Learning) algemeen pedagogisch gedrag verbeteren, lijden zij aan kritieke beperkingen:

1. Prompting: Is aanpasbaar maar kwetsbaar onder distributieverschuivingen of adversariële verzoeken.
2. Training-gebaseerde Alignment: Produceert stabiel gedrag maar mist betrouwbare, expliciete controle over specifieke pedagogische zetten tijdens de inferentie zonder hertraining.
3. Activatie-sturing (Activation Steering): Eerdere werken in het sturen van LLM's vertrouwen doorgaans op binaire contrasten (bijv. waarheidsgetrouw versus onwaarheidsgetrouw). Pedagogische tutor-zetten zijn niet natuurlijk binair; gedragingen zoals feedback, hinting en directe uitleg overlappen vaak en missen duidelijke contrastieve negatieve klassen. Bovendien ontbreekt een verenigde taxonomie of gelabelde dataset voor tutor-zetten over verschillende systemen heen.

Consequent is er behoefte aan een framework dat controle mogelijk maakt over specifieke, genuanceerde pedagogische strategieën tijdens de inferentie, zonder de modelgewichten te wijzigen of uitsluitend te vertrouwen op statische prompts.

Methodologie: PIVOT Framework

De auteurs stellen PIVOT voor, een online preference-gebaseerd framework voor activatie-sturing ontworpen voor bevroren (frozen) LLM-tutors. Het systeem leert multi-layer residual-stream sturingsvectoren via een generate–label–optimise loop.

1. Taxonomie van Tutoring-zetten

De auteurs definiëren een zeven-categorieën taxonomie die geworteld is in eerder werk over intelligente tutoring en klasgesprekken:

• Scaffolding Moves (Ondersteunende zetten):
  • Feedback: Evalueert juistheid zonder redenering toe te voegen.
  • Pump: Nodigt uit tot brede uitwerking zonder de responsruimte te vernauwen.
  • Focusing: Vraagt de student om specifieke delen van hun redenering te rechtvaardigen of uit te leggen.
• Answer-Revealing Moves (Antwoord-onthullende zetten):
  • Hint/Funnelling: Vernauwt de oplossingsruimte met aanwijzingen of correcties zonder het antwoord te geven.
  • Prompt: Voltooit bijna een stap, waarbij een korte voltooiing voor de student wordt overgelaten.
  • Assertion: Stelt het antwoord of de uitleg direct vast.
• Reflection (Reflectie):
  • Metacognition: Vraagt de student om te reflecteren op hun begrip, zelfvertrouwen of leerstatus.

2. Leren van Sturingsvectoren

PIVOT leert zet-specifieke vectoren ($V^{(m)}$) over geselecteerde residual-stream lagen ($S$) via een iteratieve loop:

• Generate: Gegeven een tutoring-context genereert de bevroren LLM kandidaat-responsen. De sturingssterkte wordt gecontroleerd door scalairen ($\alpha_{prompt}$ en $\alpha_{gen}$).
• Judge: Een door mensen gevalideerde LLM-judge wijst een zet-label toe aan elke respons. Afzonderlijke judges evalueren relevantie en fluentie.
  • Target Pool: Responsen die de doelzet matchen ($\hat{m} = m$) en voldoen aan de relevantie/fluentie-checks.
  • Non-Target Pool: Responsen met andere zet-labels ($\hat{m} \neq m$).
• Optimise: Preferentie-paren worden geconstrueerd uit target en non-target generaties. Het systeem optimaliseert een gewogen preference loss om de sturingsvectoren bij te werken. Cruciaal is dat het systeem dynamische weging gebruikt om non-target zetten die het model vaak verwart met de doelzet, zwaarder te wegen, waardoor de beslissingsgrens wordt verfijnd.

3. Inferentie-sturing

Tijdens de inferentie injecteert PIVOT de geleerde vectoren in de residual stream van het bevroren model.

• Single Move: Een specifieke vector wordt toegevoegd aan geselecteerde lagen met een schaleringsfactor $\gamma$.
• Composition: Meerdere vectoren kunnen worden gecombineerd (toegevoegd of afgetrokken) om gemengde pedagogische gedragingen te creëren (bijv. het combineren van Assertion en Feedback).

Belangrijkste Bijdragen

1. PIVOT Framework: Een inferentie-tijd framework voor controleerbare pedagogische sturing dat multi-layer residual-stream vectoren leert via online preference optimization over de eigen tutor-move confusions van het model.
2. Taxonomie en Evaluatie-pipeline: Introductie van een zeven-categorieën tutor-move taxonomie en een door mensen gevalideerde LLM-gebaseerde evaluatie-pipeline voor het beoordelen van tutor-zetten, relevantie en fluentie.
3. Analyse van Controleerbaarheid: Karakterisering van hoe sturingssterkte, interventielagen, datasets en modelvarianten de controle, relevantie en fluentie beïnvloeden.
4. User Study: Een studie met 30 docenten die aantoont dat controleerbare tutor-zetten pedagogisch interpreteerbaar zijn en de voorkeur genieten boven neutrale baselines.

Resultaten

Offline Evaluatie

• Control Accuracy: PIVOT bereikt hoge hit-rates voor de doelzet (bijv. ~88,9% op MathDial, ~88,2% op ConvoLearn) bij gematigde sturingssterktes ($\alpha \approx 1.0 - 2.0$).
• Quality Trade-off: Relevantie en fluentie blijven nabij de baseline bij gematigde sterktes, maar verslechteren scherp wanneer de sturing te sterk is ($\alpha > 2.0$).
• Generalisatie:
  • Cross-Dataset: Vectoren getraind op MathDial en ConvoLearn generaliseren naar de ongeziene StudyChat dataset (80,6% hit rate).
  • Cross-Model: Vectoren transfereren effectief naar een niet-instructie-getunede base model (Qwen3.5-9B-Base), wat aangeeft dat de geleerde richtingen niet afhankelijk zijn van chat-georiënteerde post-training.
• Layer Ablation: Multi-layer sturing (lagen 6–28) presteert significant beter dan single-layer sturing. Vroege lagen (6–12) zijn het meest kritiek voor betrouwbare controle, terwijl late lagen minder bijdragen.
• Vergelijking: PIVOT presteert beter dan een offline BiPO-stijl baseline die op dezelfde preference-paren is getraind, wat suggereert dat online preference-constructie essentieel is voor het scheiden van overlappende pedagogische gedragingen.

User Study

• Deelnemers: 30 docenten met ervaring in primair/basisonderwijs wiskunde.
• Voorkeur: 73,3% van de deelnemers gaf de gestuurde conversaties de voorkeur boven een neutrale baseline gegenereerd met dezelfde prompt.
• Perceptie: Docenten beoordeelden de controles als helder, bruikbaar en pedagogisch betekenisvol. Zij waardeerden het vermogen om studenten te begeleiden zonder hen te veel te sturen of het antwoord voortijdig te onthullen.
• Gebruikspatronen: Docenten pasten de controles dynamisch aan op basis van de staat van de student (bijv. Focusing en Hint gebruiken voor vastgelopen studenten, en Assertion voor passieve/onzekere studenten), waarbij zij de controles behandelden als responsieve pedagogische acties in plaats van willekeurige generatieknoppen.

Betekenis en Claims

Het artikel claimt dat PIVOT een veelbelovend mechanisme biedt om onderwijzers fijnmazige controle te geven over de reacties van de LLM-tutor zonder de kosten van het hertrainen van modelgewichten of de fragiliteit van louter prompt engineering. Door tutor-gedragingen om te zetten in stuurbare residual-stream richtingen, stelt het framework gebruikers in staat om de nuances van pedagogische strategieën nauwkeurig te moduleren (bijv. verschuiven van directe uitleg naar scaffolding), terwijl de relevantie en fluentie van het model behouden blijven.

De auteurs benadrukken dat hoewel het systeem de controleerbaarheid en de voorkeur van docenten verbetert, het geen garantie biedt voor verbeterde leerresultaten van studenten. Zij positioneren PIVOT als een hulpmiddel om menselijke docenten te ondersteunen, niet om hen te vervangen, waarbij toezicht van de docent en waarborgen tegen overmatige afhankelijkheid van gegenereerde feedback vereist zijn. Het werk benadrukt dat activatie-sturing effectief kan omgaan met de genuanceerde, niet-binaire aard van pedagogische interacties, een uitdaging waar eerdere binaire sturingsmethoden niet aan konden voldoen.