The Effectiveness of Style Vectors for Steering Large Language Models: A Human Evaluation

Technische Samenvatting: De Effectiviteit van Stijlvectoren voor het Sturen van Large Language Models

Probleemstelling
Het controleren van het gedrag van Large Language Models (LLM's) tijdens de inferentie is cruciaal voor het afstemmen van outputs op menselijke veiligheidseisen en communicatiedoelen. Hoewel prompt engineering en fine-tuning gevestigde methoden zijn, missen deze vaak een precieze stilistische controle of vereisen ze aanzienlijke computationele middelen. Activation steering biedt een lichtgewicht alternatief door de interne activaties van het model direct te modificeren om generatie te sturen. Eerdere onderzoeken hebben zich echter primair gericht op geautomatiseerde classificaties of illustratieve voorbeelden om de haalbaarheid aan te tonen. Er bestaat een aanzienlijke kloof met betrekking tot de vraag of mensen daadwerkelijk genuanceerde sturing in LLM-outputs kunnen waarnemen, met name wat betreft emotionele toon, en hoe dergelijke sturing de tekstkwaliteit en begrijpelijkheid beïnvloedt.

Methodologie
De studie maakt gebruik van een op activatie gebaseerde stijlsturingsmethode, aangepast van Konen et al. [2], gebruikmakend van het LlaMA-3-8B-Lexi-Uncensored model. De methodologie bestaat uit drie primaire fasen:

1. Vectorconstructie: Stijlvectoren worden afgeleid van de GoEmotions-dataset (gemapt naar de zes basisemoties van Ekman: woede, afkeer, angst, vreugde, verdriet, verrassing). Voor een doelstijl $t$ en contrastieve stijlen $c$ worden de gemiddelde activatievectoren $\bar{a}^{(i)}$ voor elke laag $i$ berekend. De stijlvector $v^{(i)}(t)$ wordt berekend als het verschil tussen de doelgemiddelde activatie en het gemiddelde van de contrastieve activaties:
   $$v^{(i)}(t) = \bar{a}^{(i)}(t) - \frac{1}{s}\sum_{j=1}^{s} \bar{a}^{(i)}(c_j)$$
2. Inference-Time Steering: Tijdens de generatie worden de originele activaties $a^{(i)}(x)$ gemodificeerd door de geschaalde stijlvector toe te voegen:
   $$\hat{a}^{(i)}(x) = a^{(i)}(x) + \lambda \cdot v^{(i)}(t)$$
   Hier fungeert $\lambda$ als een schaalparameter die de intensiteit van de sturing regelt. De studie past deze vectoren toe over alle lagen van het model.
3. Evaluatie:
   • Automatische Evaluatie: Een vooraf getraind DistilRoBERTa-model classificeert de emotionele intensiteit, en het LlaMA-3 model zelf beoordeelt de tekstbegrijpelijkheid op een schaal van 1–10.
   • Menselijke Evaluatie: Een binnen-onderwerp studie ($N=190$) geworven via Prolific. Deelnemers beoordeelden meer dan 7.000 gegenereerde teksten op waargenomen emotionele intensiteit (0–7 schaal) en tekstbegrijpelijkheid (0–7 schaal) over 19 prompts, 6 emoties en 8 sturingssterktes ($\lambda \in [0.00, 0.35]$).

Belangrijkste Bijdragen
Het artikel brengt de literatuur op drie specifieke manieren vooruit:

1. Eerste Menselijke Evaluatie: Het biedt de eerste grootschalige menselijke evaluatie van activatiesturing voor emotionele toon, waarbij verder wordt gegaan dan geautomatiseerde metrieken om waargenomen intensiteit en tekstkwaliteit te beoordelen.
2. Analyse van Sturingssterkte versus Kwaliteit: Het analyseert de afruil tussen sturingsintensiteit en outputkwaliteit, waarbij wordt vastgesteld dat matige sterktes de vloeiendheid behouden terwijl hogere sterktes de coherentie verslechteren.
3. Vergelijking van Modelarchitectuur: Het demonstreert dat de upgrade van Alpaca (in eerder werk) naar LlaMA-3 leidt tot meer consistente en uitgesproken sturingseffecten over emoties en sterktes heen.

Resultaten

• Emotionele Intensiteit: Menselijke beoordelingen bevestigden een duidelijke toename van de waargenomen emotionele intensiteit voor vijf van de zes emoties (woede, afkeer, angst, vreugde, verdriet) naarmate $\lambda$ toenam. De sterkste effecten werden waargenomen voor afkeer ($\eta^2_p = 0.616$) en angst ($\eta^2_p = 0.540$). Verrassing vertoonde minimale sturingsmogelijkheid ($\eta^2_p = 0.042$), zonder betekenisvolle verandering in waargenomen intensiteit.
• Mens-Model Alignement: Er was een sterke overeenstemming tussen menselijke en modelgebaseerde kwaliteitsbeoordelingen (gemiddelde Pearson $r = 0.776$). Hoewel menselijke beoordelaars conservatiever waren in hun bovengrens-beoordelingen, werden de trends in emotionele amplificatie en de afname in begrijpelijkheid bij hoge $\lambda$-waarden nauwgezet weerspiegeld door de automatische classificaties.
• Tekstkwaliteit: De begrijpelijkheid bleef stabiel voor sturingssterktes tot $\lambda \approx 0.15$. Voorbij deze drempel begon de tekstkwaliteit (vloeiendheid en coherentie) significant te verslechteren. De studie merkt op dat menselijke beoordelaars ook "co-perceptie" van emoties waarnamen (bijv. sturing voor woede verhoogde ook de waargenomen afkeer), wat de multidimensionale aard van menselijke emotieperceptie reflecteert, die de eendimensionale modelclassificaties niet volledig konden vatten.
• Betrouwbaarheid: De inter-beoordelaar betrouwbaarheid was hoog voor geaggregeerde oordelen (ICC $\approx 0.71–0.87$) voor de meeste emoties, hoewel de individuele consistentie van beoordelaars varieerde.

Significantie
Het artikel stelt dat activatie-gebaseerde controle een schaalbare en effectieve methode is om het gedrag van LLM's over affectieve dimensies te sturen. Het valideert dat:

• Activatie-sturing succesvol emoties kan versterken op een controleerbare manier zonder hertraining.
• Matige sturingssterktes ($\lambda \approx 0.15$) een levensvatbaar evenwicht bieden tussen emotionele expressiviteit en tekstbegrijpelijkheid.
• Automatische scoring kan dienen als een betrouwbare proxy voor mens-waargenomen kwaliteit, wat potentieel de kosten van toekomstige evaluaties vermindert.
• De techniek bijzonder effectief is voor LlaMA-3 architecturen, wat suggereert dat modelcapaciteit de effectiviteit van activatie-engineering beïnvloedt.

De auteurs concluderen dat hoewel de methode effectief is, het specifieke kalibratie per emotie vereist om de afruil tussen intensiteit en coherentie te beheren, en dat toekomstig werk de generaliseerbaarheid naar meerzaal-dialogen en meer abstracte stilistische attributen moet verkennen.