Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

Technische Samenvatting: Laat Tutor-Persona's Spreken voor LLM's

Probleemstelling
Hoewel Large Language Models (LLM's) prominent zijn geworden in educatief tutorschap, maken bestaande benaderingen doorgaans gebruik van één enkel, monolithisch tutor-beleid. Deze methoden slagen er vaak niet in de inherente diversiteit van menselijke tutorschapstijlen te vatten. In real-world interacties wordt pedagogische intentie gerealiseerd via adaptieve strategieën waarbij tutors variëren in hun niveau van scaffolding, directiviteit, feedback en affectieve ondersteuning op basis van de behoeften van de leerling. Huidige technieken, zoals het prompten met specifieke beleidsregels of trainen via Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL), optimaliseren voor algemene pedagogische kwaliteit, maar modelleren of controleren niet expliciet de specifieke stilistische variaties die kenmerkend zijn voor individuele menselijke tutors. De kern van de onderzochte onderzoeksvraag is hoe deze verschillen in tutorschapstijlen gevangen kunnen worden en hoe LLM's gestuurd kunnen worden om specifieke, op de tutor afgestemde gedragingen te vertonen zonder te vertrouwen op expliciete, handmatig ontworpen prompt-instructies.

Methodologie
De auteurs stellen een activatiesturing-benadering (activation steering) voor die een "sturingsvector" leert van menselijke tutor-student-dialogen om het gedrag van de LLM te sturen naar specifieke tutor-persona's. De methodologie verloopt in drie hoofdfasen:

1. Data-constructie en Baseline Modellering:
   De auteurs maken gebruik van de Question-Anchored-Tutoring-Dialogues-2k dataset, bestaande uit dialogen tussen 21 unieke menselijke tutors en studenten. Eerst wordt een LLM (Llama-3.1-8B-Instruct) via Supervised Fine-Tuning (SFT) getraind op deze dataset om te dienen als een proxy voor het "populatiegemiddelde" tutor-gedrag. Dit model wordt geconditioneerd op de dialoogcontext om een generieke, gemiddelde tutor-respons te genereren voor elke willekeurige beurt.

2. Constructie van Contrastieve Paren:
   Voor elke dialoogbeurt wordt een contrastief paar geconstrueerd:

   • Voorkeursrespons: De grondwaarheid-uitlating van een specifieke menselijke tutor ($t_{i,j,k}$).
   • Niet-voorkeursrespons: De respons gegenereerd door het SFT-model ($\bar{t}_{j,k}$), die de gemiddelde populatie vertegenwoordigt.
     Deze opzet definieert expliciet de richting van het gemiddelde tutor-gedrag naar het specifieke gedrag van tutor $i$.

3. Leren van de Sturingsvector en Coëfficiënten:
   De auteurs maken gebruik van een voorkeursoptimalisatie-doelstelling geïnspireerd door BiPO (gebouwd op Direct Preference Optimization). Zij leren:

   • Een gedeelde sturingsvector ($v$) in de activatieruimte van het model (specifiek bij de laatste transformer-laag).
   • Tutor-specifieke schaleringscoëfficiënten ($\delta_i$) die de gedeelde vector voor elke tutor schalen.

   De optimalisatie minimaliseert een logistische loss die het gestuurde model aanmoedigt om een hogere waarschijnlijkheid toe te kennen aan de grondwaarheid-tutor-uitlating en een lagere waarschijnlijkheid aan de gemiddelde populatie-uitlating. De coëfficiënten $\delta_i$ worden geparametriseerd via leerbare scalairen $u_i$ en genormaliseerd om een eenheidsgemiddelde over de tutors te hebben om schaalambiguïteit op te lossen. De doelfunctie is:
   $$\min_{v,u} \mathbb{E}_{i,j,k} \left[ -\log \sigma \left( \beta \log \frac{\pi_\theta(t_{i,j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(t_{i,j,k} | \mathcal{A}_L)} - \beta \log \frac{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L)} \right) \right]$$
   waarbij $\mathcal{A}_L$ de latente activaties op laag $L$ vertegenwoordigt, en $\beta$ een hyperparameter is die de gelijkenis met het basismodel controleert.

   Tijdens de inferentie wordt een globale schaleringsfactor $\alpha$ geïntroduceerd ($\mathcal{A}_L \leftarrow \mathcal{A}_L + \alpha \delta_i v$) om een vloeiende aanpassing van de interventiekracht mogelijk te maken.

Belangrijkste Bijdragen

• Impliciete Extractie van Persona's: Het artikel toont aan dat tutor-specifieke persona's ingebed in menselijke dialogen geëxtraheerd kunnen worden en gebruikt kunnen worden om LLM-gedrag te sturen zonder expliciete tekstuele prompting.
• Activatie-sturing voor Tutorschap: De auteurs introduceren een methode om een gedeelde sturingsrichting en tutor-specifieke coëfficiënten te leren die het modelgedrag verschuiven van een populatiegemiddelde naar individuele tutorstijlen.
• Controleerbare en Interpreteerbare Variatie: De geleerde schaleringscoëfficiënten ($\delta_i$) onthullen een interpreteerbare structuur die overeenkomt met consistente verschillen in tutorschapgedrag (bijv. van rapportrijke scaffolding naar minimale, taakgerichte instructie).
• Prestatiewinst: De aanpak verbetert de semantische uitlijning met grondwaarheid-tutor-uitlatingen en verhoogt de win rates op basis van voorkeuren, terwijl de lexicale gelijkenis grotendeels behouden blijft.

Experimentele Resultaten
De auteurs evalueerden de methode op een testset met een uitgesloten set (held-out) met behulp van zowel lexicale (ROUGE-L, BLEU) als semantische (Cosine Similarity, LLM-als-Judge Win Rate) metrieken.

• Semantische Uitlijning: Sturing verbeterde de semantische uitlijning met grondwaarheid-tutors aanzienlijk. In de "mid" fase van dialogen (waar de kern van probleemoplossing plaatsvindt), steeg de cosine similarity van 0,385 (niet-gestuurd) naar 0,426 (gestuurd). De LLM-judge gaf de voorkeur aan de gestuurde uitlatingen boven de niet-gestuurde baseline in 58,7% van de vergelijkingen.
• Lexicale Gelijkenis: Lexicale overlap (ROUGE-L en BLEU) bleef grotendeels behouden, met slechts lichte reducties, wat aangeeft dat de sturing de formulering en discoursestructuur verandert in plaats van exacte woordovereenkomst af te dwingen.
• Schaleringsfactor ($\alpha$): Het variëren van $\alpha$ onthulde een trade-off. Matige waarden (bijv. $\alpha=0,5$) boden de beste balans, waarbij de stilistische uitlijning werd verbeterd terwijl de lexicale gelijkenis behouden bleef. Hogere waarden ($\alpha=1,0$) verhoogden de Win Rate (0,582) maar verminderden de lexicale scores, wat suggereert dat te sterke sturing de oppervlakte-fluency kan degraderen.
• Kwalitatieve Analyse: Een analyse van de geleerde coëfficiënten ($\delta_i$) bracht tutors in kaart op een spectrum van stijlen. Tutors met een lagere $\delta_i$ vertoonden "rapportrijke scaffolding" (gebruik van emoji's, complimenten, stap-voor-stap begeleiding), terwijl zij met een hogere $\delta_i$ "efficiëntie-georiënteerde" of "minimalistische" stijlen vertoonden (beknopte correcties, taakgerichte prompts, minder affectieve taal). De gestuurde LLM repliceerde deze onderscheidende stijlen succesvol, zoals het verschuiven van generieke verklaringen naar specifieke, beknopte corrigerende zetten of empathische scaffolding, afhankelijk van de doel-tutor.

Betekenis en Claims
Het artikel claimt dat activatie-sturing een effectief en interpreteerbaar mechanisme biedt voor het controleren van de tutor-specifieke variatie in LLM's met signalen die rechtstreeks uit menselijke dialoogdata worden afgeleid. De auteurs stellen dat hun methode een consistente herwinning van tutor-specifieke sturing over dialoogcontexten mogelijk maakt, waarbij het model wordt weggestuurd van een generiek populatiegemiddelde gedrag naar de specifieke gedragingen die door individuele tutors worden vertoond.

De betekenis ligt in het vermogen om de "diversiteit van tutorschapstijlen" te vangen die vaak verloren gaat in single-policy modellen. De auteurs merken op dat de geleerde sturingsrichting een continuüm van pedagogische gedragingen codeert, van hoog-investerende, rapport-opbouwende scaffolding tot laag-investerende, taakvoltooiingsgerichte instructie. Zij concluderen dat deze aanpak een manier biedt om de pedagogische intentie te controleren voorbij de oppervlakkige stijl, waardoor gepersonaliseerde tutoring-simulaties mogelijk worden die de genuanceerde verschillen weerspiegelen die in echte menselijke interacties worden gevonden.

Beperkingen en Toekomstige Richtingen
De auteurs erkennen verschillende beperkingen:

• Generaliseerbaarheid: De evaluatie is beperkt tot één wiskundige dialoog-dataset; generalisatie naar andere domeinen is niet geverifieerd.
• Baselines: Vergelijkingen zijn beperkt tot SFT; toekomstig werk zou ook prompting-gebaseerde baselines moeten bevatten.
• Evaluatie: De studie vertrouwt op automatische metrieken en model-gebaseerde oordelen in plaats van menselijke evaluatie.

Voorgestelde toekomstige onderzoeksrichtingen omvatten het integreren van expliciete pedagogische rubrieken of student-outcome beloningen om modellen beter af te stemmen op effectieve praktijken, het leren van complementaire sturingsvectoren voor student-persona's om interacties te simuleren, en het uitbreiden van de methode om meerdere ontkoppelde sturingsrichtingen te leren voor fijnmazigere controle over afzonderlijke pedagogische attributen.