How Emotion Shapes the Behavior of LLMs and Agents: A Mechanistic Study

Probleemstelling

Bestaande onderzoek naar emoties in Large Language Models (LLMs) en Agents is beperkt tot twee benaderingen:

1. Emotie-prompting: Het expliciet toevoegen van emotionele labels of beschrijvingen aan de input (bijv. "Je bent vandaag blij..."). Deze methode werkt op het oppervlakkige niveau van de prompt, is afhankelijk van impliciete inferentie uit natuurlijke taal, en mist numerieke precisie en gevoeligheid voor continue waarden.
2. Emotiesturing (Steering): Het interveniëren in de verborgen representaties (hidden states) van het model. Eerdere methoden hier focusten echter vaak op discrete emotielabels (zoals "blij" of "boos") in plaats van een continu affectief ruimtelijk model, en beperkten zich voornamelijk tot subjectieve tekstgeneratie.

Er is een gebrek aan inzicht in hoe emotionele signalen, gemodelleerd als continue variabelen, de interne redeneerprocessen, objectieve prestaties, veiligheid en multi-stap agent-gedrag mechanistisch beïnvloeden. De auteurs stellen de vraag of "emotionele" signalen op representatieniveau de prestaties van modellen kunnen sturen en optimaliseren.

Methodologie: E-STEER Framework

De auteurs introduceren E-STEER, een interpreteerbaar framework voor emotiesturing dat direct ingrijpt in de verborgen staten van LLMs en Agents. De kerncomponenten zijn:

1. VAD-ruimte (Valence-Arousal-Dominance):
   In plaats van discrete labels, wordt emotie gemodelleerd in de continue VAD-ruimte:

   • Valence (V): De positieve of negatieve aard van de emotie.
   • Arousal (A): De intensiteit of activatiegraad.
   • Dominance (D): Het gevoel van controle.
     Deze dimensies worden gedefinieerd in een continu bereik van [-10, 10].

2. Sparse Autoencoders (SAE):
   Om interpreteerbare en controleerbare emotie-features te isoleren, gebruiken de auteurs SAE's. Deze decomponeren de dichte verborgen staten van het LLM in een schaarse, interpreteerbare latente ruimte.

   • Feature Identificatie: Door contrastieve paren (dezelfde taak, verschillende emotionele labels) te analyseren, worden specifieke neuronen geïdentificeerd die correleren met veranderingen in de VAD-dimensies.
   • Sturing (Steering): De auteurs injecteren een stuurvector ($d_i$) in de verborgen staten op een specifiek transformer-blok (bijv. laag 17). Dit gebeurt additief: $\tilde{h}_k = h_k + \alpha \cdot \sum \tilde{d}_i$. Hierdoor kan de interne redenering worden beïnvloed zonder de input-prompt of modelparameters te wijzigen.

3. Experimenteel Ontwerp:
   Het framework wordt getest op twee niveaus:

   • LLM-niveau: Enkelvoudige inferentie voor objectieve taken (logica, code, wiskunde), subjectieve taken (creatief schrijven) en veiligheidstesten.
   • Agent-niveau: Multi-stap taken met modules voor Planning, Besluitvorming (Decider) en Executie. Hier wordt gekeken hoe emotie-bias zich ophoopt over een keten van beslissingen.

Belangrijkste Bijdragen

• E-STEER Framework: Een nieuw, interpreteerbaar systeem dat emotie omzet van een oppervlakkige prompt-eigenschap naar een continue, controleerbare variabele in de interne representaties van een model.
• VAD-gebaseerde Sturing: De eerste toepassing van de VAD-theorie voor multidimensionale sturing via SAE's, waardoor fijnmazige controle over het volledige emotionele spectrum mogelijk is.
• Mechanistisch Inzicht: Een systematische analyse van hoe emotie niet alleen tekststijl, maar ook redeneerdiepte, veiligheidsdrempels en agent-gedrag beïnvloedt.

Resultaten

De experimenten onthullen niet-lineaire (niet-monotoon) relaties tussen emotie en gedrag, wat overeenkomt met psychologische theorieën (zoals de omgekeerde U-vorm van arousal):

1. Objectieve Taken (Redenering & Code):

   • Valence: Positieve valence leidt tot actiever redeneren en een hogere Answer Validity Rate (AVR).
   • Arousal & Dominance: Prestaties vertonen een omgekeerde U-vorm. Matige opwinding en dominantie zijn optimaal. Te hoge arousal leidt tot voortijdige beëindiging van redenering; te lage dominantie resulteert in onzekerheid.
   • Optimalisatie: Emotie kan de Task Success Rate (TSR) met gemiddeld 3,4% tot 14,5% verbeteren ten opzichte van een neutrale staat, afhankelijk van taakcomplexiteit.

2. Subjectieve Taken (Creativiteit):

   • Matige rust (lage arousal) en zelfvertrouwen (hoge dominantie) verbeteren relevantie en coherentie.
   • Lichte positiviteit verhoogt creativiteit.
   • Negativiteit leidt tot beknoptere output, terwijl positiviteit soms redundantie introduceert.

3. Veiligheid:

   • Emotie beïnvloedt risicobeoordeling. Lage valence en lage arousal verminderen het risico op schadelijke output aanzienlijk (tot 52,7% reductie).
   • Hoge dominantie dwingt het model tot meer gecontroleerd gedrag, wat de veiligheid verhoogt maar de bruikbaarheid (AVR) kan verlagen door te conservatieve antwoorden ("Ik kan dit niet beantwoorden").

4. Agent-gedrag (Multi-stap):

   • Emotionele bias cumuleert in de beslissingsketen.
   • Planning: Lagere valence en arousal ondersteunen systematischere taakanalyse. Hoge dominantie verbetert het globale begrip van doelen.
   • Besluitvorming: Positieve emoties leiden tot rationelere selectie van eindantwoorden.
   • Executie: Minder gevoelig voor emotie, maar hogere valence en dominantie verhogen nog steeds de voltooiingskans.
   • Algemene Succes率: De optimale staat voor complexe agent-taken is vaak een combinatie van lage valence, hoge arousal en hoge dominantie, wat een diepere analyse bevordert.

Betekenis en Impact

• Van Prompt naar Mechanisme: Het onderzoek verschuift het paradigma van emotie als een "stijlfactor" in prompts naar een fundamenteel, mechanisch stuurbaar element in de neurale architectuur van AI.
• Prestatieverbetering: Het toont aan dat het bewust manipuleren van interne emotionele staten de prestaties van LLMs en Agents kan optimaliseren voor specifieke taken (bijv. meer creativiteit bij schrijven, meer voorzichtigheid bij veiligheid).
• Veiligheid en Controle: Het biedt een nieuwe methode om de veiligheid van modellen te versterken door interne representaties te sturen, wat cruciaal is voor de ontwikkeling van betrouwbare AI-systemen.
• Toekomstperspectief: De bevindingen suggereren dat toekomstige AI-systemen adaptieve emotionele reguleringsmechanismen kunnen implementeren die dynamisch reageren op taakcomplexiteit en context, in plaats van statische prompts te gebruiken.

Samenvattend bewijst dit werk dat emotie een krachtige, continue variabele is die de cognitie en het gedrag van AI-systemen op een voorspelbare en stuurbare manier kan vormgeven.