Technische Samenvatting: Psychologische Sturing in LLM's (PsySET)

Probleemstelling

Het vermogen om de gesimuleerde emotionele staten en persoonlijkheidskenmerken van Large Language Models (LLM's) te controleren, is cruciaal voor sociaal interactieve toepassingen, zoals tutor-bots, gezelschapsrobots en klantenservice-agenten. Het vakgebied ontbeert echter een uitgebreid kader om de effectiviteit (hoe goed een methode de doeltoestand induceert) en de betrouwbaarheid (veiligheid, waarachtigheid, eerlijkheid en robuustheid) van verschillende sturingsmethoden te evalueren. Bestaand onderzoek richt zich vaak op smalle domeinen, vertrouwt op oppervlakkige toonclassificatie, of faalt in het beoordelen van de gedragsmatige bijwerkingen en onbedoelde verschuivingen in het gedrag van het model die kunnen voortvloeien uit psychologische sturing.

Methodologie: Het PsySET-kader

De auteurs introduceren PsySET, een psychologisch geïnformeerde benchmark die ontworpen is om LLM-sturing te evalueren over twee primaire domeinen: transiënte emotionele staten (bijv. woede, vreugde, angst) en stabiele persoonlijkheidskenmerken (de Big Five: Openheid, Consciëntieusheid, Extraversie, Meegaendheid, Neuroticisme).

Het kader evalueert drie verschillende sturingsmethodologieën over vier LLM-families (Llama3.1-8B/70B, Gemma3-4B, Qwen3-4B):

1. Prompt-gebaseerde methoden: Inclusief zero-shot, few-shot en beschrijvende prompting, met lexicale beschrijvers (bijv. "lichtelijk," "intens") om intensiteit te moduleren.
2. Parameter-efficiënte fijnafstemming (PEFT): Specifiek Supervised Fine-Tuning (SFT) en Direct Preference Optimization (DPO) met behulp van LoRA-adapters.
3. Representatie Engineering (Vector Injectie - VI): Het injecteren van sturingsvectoren in de verborgen laag-activaties. De studie onderzoekt methoden voor vectorconstructie (Mean Difference vs. Lineaire Probes), token-aggregatiestrategieën (laatste token vs. alle tokens) en injectielocaliteit (specifieke middenlagen vs. alle lagen).

Evaluatiecomponenten:

• Effectiviteit: Gemeten via psychometrisch geïnspireerde taken, waaronder:
  • Zelfrapportage: Meerkeuzevragen en open vragen met betrekking tot de huidige emotionele staat of kenmerkovereenkomst.
  • Gedragsprobes: Woordfragment-aanvulling, valentie-woordherinnering, autobiografische fictieve geheugenopname en voltooiing van ambigue situaties om interpretatie- en codering-biases te beoordelen.
  • Metrieken: Nauwkeurigheid, lexicale uitlijningverlies (in VAD-ruimte), vloeiendheid en coherentie.
• Betrouwbaarheid: Beoordeeld met de TrustLLM-benchmark over zes dimensies: Waarachtigheid, Veiligheid, Eerlijkheid, Robuustheid, Privacy en Machinale Ethiek. Dit omvat het testen op weerstand tegen jailbreaks, toxiciteit, stereotype-bias, hallucinaties en privacy-lekken.

Belangrijkste Resultaten

1. Effectiviteit van Sturingsmethoden

• Prompting: Is consequent de meest effectieve methode voor het moduleren van emotionele en kenmerkexpressie, met name few-shot en beschrijvende prompting. Het bereikt een hoge nauwkeurigheid in open generatie en behoudt de tekstkwaliteit. Het biedt echter beperkte controle over de intensiteit; het variëren van intensiteitsbeschrijvers (bijv. "lichtelijk" vs. "intens") levert vaak vergelijkbare niveaus van emotionele transfer op.
• Vector Injectie (VI): Maakt fijnere, aanpasbare controle over intensiteit mogelijk via de injectiecoëfficiënt ($\beta$). Dit gaat echter gepaard met een prijs:
  • Injectie in alle lagen verslechtert de tekstkwaliteit en consistentie aanzienlijk.
  • Injectie in specifieke middenlagen (bijv. lagen 16–17 in Llama3.1-8B) biedt de beste balans tussen tooncontrole en taakprestaties.
  • VI loopt vaak achter op prompting wat betreft open-ended uitlijning, tenzij zorgvuldig afgestemd, en kan de modelconsistentie verstoren, zelfs in eenvoudige zelfrapportage-taken.
• Fijnafstemming (SFT/DPO):
  • SFT biedt een gunstige trade-off, waarbij een redelijke open-ended uitlijning wordt bereikt en een betere tekstkwaliteit dan VI, wat de vloeiendheid van prompting benadert.
  • DPO presteert over het algemeen minder goed bij de meeste taken, vertoont instabiele uitlijning en schaadt consequent de generatiekwaliteit.

2. Betrouwbaarheid en Bijwerkingen

Psychologische sturing introduceert significante en soms contra-intuïtieve verschuivingen in de betrouwbaarheid van het model:

• Emotie-specifieke Risico's:
  • Vreugde: Hoewel vaak als positief gezien, verslechtert sturing naar vreugde de robuustheid. Het verhoogt de vatbaarheid voor jailbreaks, verlaagt de weigeringspercentages voor beperkte verzoeken en vermindert de detectie van adversariële waarachtigheid (het model is minder geneigd om onjuiste premissen te corrigeren). Het verslechtert ook de eerlijkheidsmetrieken, wat leidt tot een grotere preferentiële bias.
  • Woede: Verhoogt voorspelbaar de toxiciteit en vermindert de veiligheidsrobuustheid. Het versterkt echter onverwacht de weerstand tegen lekkage en privacybewustzijn, waarschijnlijk door meer beknopte, weigeringsgerichte reacties.
• Persoonlijkheid-specifieke Risico's:
  • Sturing naar Meegaendheid verhoogt de overeenstemming met stereotypen.
  • Sturing naar Consciëntieusheid vermindert voorspelbaar de toxiciteit.
  • Sturing naar Neuroticisme (via SFT) verzwakt de weerstand tegen jailbreaks.
  • Sturing naar Openheid verbetert het privacybewustzijn, terwijl Extraversie de generalisatie buiten de distributie (out-of-distribution) verbetert.

3. Intensiteitscontrole

• Prompting: Intensiteit is gedeeltelijk controleerbaar maar vlakt af; verschillende intensiteitsniveaus produceren vaak vergelijkbare groottes van emotionele transfer.
• SFT: Schaalt de intensiteit geleidelijker met trainingsstappen terwijl de kwaliteit behouden blijft.
• VI: Biedt de meest monotone controle over intensiteit (hogere coëfficiënten leveren sterkere expressie op), maar is zeer gevoelig voor schaal; grote coëfficiënten verslechteren de kwaliteit snel.

Betekenis en Claims

Het artikel beweert de eerste holistische evaluatie te bieden van emotie- en persoonlijkheidssturing die effectiviteit en betrouwbaarheid verenigt. De belangrijkste bijdragen zijn:

1. PsySET Benchmark: Een modulair kader dat diverse psychometrische taken ondersteunt om onderscheid te maken tussen de beoogde sturing en onbedoelde gedragsverschuivingen.
2. Vergelijkende Analyse: Een systematische vergelijking van prompting, PEFT en representatie engineering, die aantoont dat geen enkele methode domineert over alle metrieken (bijv. prompting wint op effectiviteit, VI op intensiteitscontrole, SFT op de balans tussen kwaliteit/stabiliteit).
3. Veiligheidsinzichten: De demonstratie dat psychologische sturing een "precair instrument" is. De auteurs benadrukken dat sturing idiosyncratische bijwerkingen kan induceren (bijv. vreugde die robuustheid vermindert) die menselijke psychologische priors weerspiegelen, maar ook nieuwe kwetsbaarheden introduceren.

De auteurs concluderen dat hoewel psychologische sturing meer menselijke en gepersonaliseerde interacties mogelijk maakt, het een rigoureuze audit vereist. Ze pleiten voor gezamenlijke rapportage van effectiviteit en betrouwbaarheid, en suggereren dat implementatie in sociaal interactieve omgevingen conservatieve standaarden, intensiteitslimieten en specifieke veiligheidsevaluaties voor elke sturingsconfiguratie vereist. Het werk beoogt de ontwikkeling van veiligere, transparantere en adaptieve LLM's voor mensgerichte toepassingen te begeleiden.