The Impact of Steering Large Language Models with Persona Vectors in Educational Applications

Probleemstelling

Onderwijsapplicaties op basis van Large Language Models (LLM's) evolueren snel naar gepersonaliseerde systemen die niet alleen inhoud, maar ook interactiestijlen kunnen aanpassen. Hoewel "activatie-gebaseerde sturing" (activation steering) een veelbelovende techniek is om modelgedrag tijdens inferentie te manipuleren zonder hertraining, blijft de impact hiervan in educatieve contexten onduidelijk.
De kernvraag is hoe het manipuleren van persoonlijkheidstrekken (personas) via vectorinterventies de kwaliteit van gegenereerde antwoorden en de rechtvaardigheid van geautomatiseerde scoring beïnvloedt. Bestaand werk behandelt sturing en educatieve scoring vaak als gescheiden domeinen; er ontbreekt een systematisch onderzoek naar hoe deze interactie werkt binnen één onderliggend model dat zowel als tutor als als assessor fungeert.

Methodologie

De auteurs volgen het framework van Chen et al. (2025) voor persona-vectoren, bestaande uit drie fasen:

1. Contrastieve Data Generatie:
   Voor zeven karaktertrekken (b.v. kwaadaardig, apathisch, hallucinerend, humoristisch, onbeleefd, optimistisch, sycofantisch) worden paren van contrastieve systeemprompts gegenereerd (positief vs. negatief). Een externe judge (GPT-4.1-mini) filtert de gegenereerde antwoorden op coherentie en manifestatie van de trek.

2. Persona Vector Extractie:
   Er worden activaties geëxtraheerd uit de verborgen staten van het model. De persona-vector ($v_{t,l}$) voor een trek $t$ in laag $l$ wordt berekend als het gemiddelde verschil tussen de activaties van positieve en negatieve prompt-response paren:
   $$v_{t,l} = \frac{1}{|D^+_t|} \sum h^{(i)}_l - \frac{1}{|D^-_t|} \sum h^{(j)}_l$$
   Er wordt gekozen voor een interventie-laag op ongeveer 50% van de modeldiepte, waar sturing empirisch het meest effectief is.

3. Activatie Sturing:
   Tijdens inferentie worden de verborgen staten ($h_{l^*}$) in de geselecteerde laag gewijzigd door de persona-vector op te tellen met een stuurcoëfficiënt $\alpha$:
   $$\tilde{h}_{l^*} = h_{l^*} + \alpha \cdot v_{t,l^*}$$
   In dit onderzoek is $|\alpha| = 2.0$ vastgehouden voor alle modellen en trekken.

Experimenteel Opzet:

• Modellen: Drie modellen met verschillende architecturen en groottes: Qwen3-4B (Dense), Qwen3-32B (Dense) en gpt-oss-20b (MoE).
• Dataset: ASAP-SAS (Automated Student Assessment Prize, Short Answer Scoring), met 10 korte antwoord-opdrachten verdeeld over twee domeinen: Wetenschap (feitelijk) en Engels Taal en Kunst (ELA; interpretatief).
• Experimenten:
  • Experiment A: Evaluatie van de kwaliteit van gegenereerde antwoorden door een externe judge (GPT-5.2) onder verschillende persona-configuraties.
  • Experiment B: Evaluatie van de interactie tussen persona-gestuurde "studenten" en persona-gestuurde "scorers" om systematische bias in scoring te meten.

Belangrijkste Resultaten

1. Impact op Antwoordkwaliteit (Generatie)

• Algemene daling: Persona-sturing verlaagt over het algemeen de kwaliteit van de antwoorden.
• Modelafhankelijkheid: De impact varieert sterk per model. Qwen3-4B is het meest gevoelig (grootste absolute verschuiving), terwijl Qwen3-32B (groter model) de minste veranderingen toont. Het MoE-model (gpt-oss-20b) toont grote verschuivingen, ondanks zijn grootte.
• Taakafhankelijkheid: Er is een sterk verschil tussen domeinen. ELA-taken (interpretatief, argumentatief) zijn 2,5 tot 11 keer gevoeliger voor persona-sturing dan feitelijke wetenschapstaken. Bijvoorbeeld, bij Qwen3-32B is de effectgrootte voor ELA 11x groter dan voor wetenschap.
• Kwaliteitsverlies: Sturing leidt vaak tot semantische fouten (verzonnen bewijs, tegenstrijdigheden, lekken van planningstekst) in plaats van alleen oppervlakkige stijlveranderingen.

2. Impact op Scoring (Assessment)

• Valentie-georiënteerde bias: Scorers vertonen voorspelbare verschuivingen in strengheid gebaseerd op hun persona:
  • Kwaadaardige of onbeleefde scorers geven strengere (lagere) scores.
  • Goede of optimistische scorers geven mildere (hogere) scores.
• Architectuur-effect: Het MoE-model (gpt-oss-20b) vertoont ongeveer 6x grotere kalibratieverschuivingen dan de dense Qwen-modellen.
• Risico op ELA: Net als bij generatie zijn ELA-taken veel gevoeliger voor scorer-bias dan wetenschapstaken (2,5–3x hoger risico). Feitelijke taken hebben strakkere rubrieken, waardoor persona-invloed beperkt blijft.
• Interactie: De scorer-persoonlijkheid werkt als een globale kalibratieverschuiving; het beïnvloedt alle studenten gelijkmatig, maar verandert de absolute scores aanzienlijk.

Belangrijkste Bijdragen

1. Eerste Systematische Studie: Dit is het eerste onderzoek dat de effecten van activatie-gestuurde persona-trekken systematisch analyseert in zowel educatieve generatie als geautomatiseerde scoring.
2. Ontdekking van Taak- en Architectuur-afhankelijkheid: Het onderzoek toont aan dat de risico's van personalisatie niet uniform zijn. Interpretatieve taken (ELA) en MoE-architecturen zijn aanzienlijk gevoeliger voor sturing dan feitelijke taken en dense modellen.
3. Kwaliteit vs. Stijl: Het bewijst dat persona-sturing vaak de inhoudelijke kwaliteit en redenering ondermijnt (bijv. hallucinaties, tegenstrijdigheden) in plaats van alleen de toon aan te passen.
4. Kalibratievereiste: Het stelt dat het inzetten van gestuurde modellen in het onderwijs strikte, taakbewuste en architectuurbewuste kalibratie vereist om eerlijke scoring te garanderen.

Betekenis en Conclusie

De studie waarschuwt dat het gebruik van persona-vectoren voor personalisatie in educatieve AI-systemen niet zonder risico's is. Hoewel het mogelijk is om modellen aan te passen voor empathie of precisie, kan dit leiden tot:

• Een daling in de kwaliteit van het gegenereerde onderwijsmateriaal.
• Systematische onrechtvaardigheid in de beoordeling van studentenwerk, afhankelijk van de gekozen persona en het type vraag.

De auteurs concluderen dat toekomstige implementaties van AI-tutors die zowel genereren als scoren, rekening moeten houden met deze gevoeligheid. Vooral bij open-ended taken en bij het gebruik van MoE-modellen is extra voorzichtigheid en kalibratie noodzakelijk om te voorkomen dat de "persoonlijkheid" van het systeem de educatieve integriteit en beoordelingsrechtvaardigheid ondermijnt.