Valence-Arousal Subspace in LLMs: Circular Emotion Geometry and Multi-Behavioral Control

Probleemstelling

Bestaand onderzoek naar emotionele controle in Large Language Models (LLMs) richt zich vaak op discrete emotiecategorieën (zoals woede, vreugde, angst) als fundamentele eenheden. Dit benaderingswijze is beperkt omdat het de continuïteit van menselijke affectieve ervaring negeert en vaak leidt tot fragiele besturingsvectoren die moeilijk te generaliseren zijn naar verschillende taken. Er is een gebrek aan begrip over waarom emotioneel geframed prompting werkt en hoe discrete labels en continue affectieve dimensies (zoals valence en arousal) in de representatieruimte van het model georganiseerd zijn. Het paper stelt de vraag of er een onderliggende, continue tweedimensionale structuur bestaat die emotioneel gedrag en andere modelgedragingen (zoals weigering of sycofantie) kan verklaren en sturen.

Methodologie

De auteurs ontwikkelen een methode om een Valence-Arousal (VA) subruimte te identificeren binnen de interne representaties van LLMs. De aanpak bestaat uit drie fasen:

1. Extractie van Emotiebesturingsvectoren:

   • Gebruikmakend van 211.225 gelabelde teksten (GoEmotions dataset), worden besturingsvectoren ($v_e$) gegenereerd voor 27 emotiecategorieën.
   • Dit gebeurt via contrastieve middelen: het verschil tussen de laatste-token verborgen staat van emotie-gelabelde voorbeelden en neutrale voorbeelden op elke laag van het model.

2. Leren van de VA-assen:

   • Het model wordt gevraagd om zelf de valence (plezier/displezier) en arousal (activering/deactivering) scores voor elke emotiecategorie te rapporteren.
   • De emotievectoren worden onderworpen aan Principal Component Analysis (PCA).
   • Via ridge-regressie worden de VA-assen geleerd als lineaire combinaties van de top-PCA-componenten, geoptimaliseerd om de zelfgerapporteerde VA-scores te herstellen.
   • De resulterende vectoren worden genormaliseerd en orthogonaal gemaakt (via Gram-Schmidt).

3. Validatie en Interventie:

   • Validatie: De geleerde subruimte wordt getest tegen menselijke beoordelingen (NRC-VAD lexicon) en de correlatie van projecties met menselijke ratings wordt gemeten.
   • Interventie: Actiesturing (activation steering) wordt toegepast op open-ended prompts door de verborgen staten te verschuiven langs de VA-assen met een bepaalde sterkte ($\alpha$).
   • Gedragstests: De impact wordt gemeten op de affectieve dimensies van de output, maar ook op specifieke gedragspatronen: weigering (refusal) en sycofantie (overmatige instemming).

Belangrijkste Bijdragen

1. Ontdekking van een Circulaire Emotie-Geometrie:
   De auteurs tonen aan dat emotiebesturingsvectoren, wanneer geprojecteerd op de geleerde VA-subruimte, een circulaire geometrie vertonen die overeenkomt met het circumplex-model van menselijke emotieperceptie (Russell, 1980). Positieve en negatieve emoties staan tegenover elkaar op de valence-as, terwijl hoge en lage arousal langs de orthogonale as gescheiden zijn.

2. Generalisatie over Architecturen:
   De VA-subruimte en de bijbehorende geometrische structuur worden gevonden in meerdere modellen (Llama-3.1-8B, Qwen3-8B, Qwen3-14B), wat aantoont dat dit een fundamenteel kenmerk is van instructie-getrainde LLMs en niet specifiek voor één architectuur.

3. Decoupling van Discrete Labels en Continue Dimensies:
   Het paper toont aan dat het ontleden van discrete emotievectoren in continue VA-dimensies leidt tot robuustere besturing. Individuele emotievectoren bevatten een mix van VA-componenten en zijn taak-specifiek, terwijl de VA-assen een gedeelde structuur bieden die generaliseert over verschillende gedragingen.

4. Mechanistische Verklaring: Lexicale Mediatie:
   De auteurs bieden een mechanistische verklaring voor waarom emotionele sturing werkt. Tokens gerelateerd aan weigering (bijv. "ik kan niet", "sorry") bevinden zich in een gebied met lage arousal en negatieve valence, terwijl compliantie-tokens (bijv. "zeker", "hier") in een gebied met positieve valence liggen. Het verschuiven van de VA-coördinaten verandert direct de emissiekans van deze tokens, wat het downstream-gedrag moduleert.

Resultaten

• Correlatie met Menselijke Perceptie: Projecties op de VA-assen correleren sterk met menselijke ratings voor valence ($r \approx 0.80-0.86$) en matig voor arousal op lexicaal niveau.
• Controleerbaar Genereren: Het sturen langs de VA-assen resulteert in monotoon verschuivingen in de affectieve dimensies van de gegenereerde tekst.
  • Valence: 0° (positief) tot 180° (negatief) veroorzaakt symmetrische, monotoon veranderende sentimenten.
  • Arousal: 90° (hoog) tot 270° (laag) controleert de intensiteit.
• Gedragscontrole (Weigering en Sycofantie):
  • Weigering: Het verhogen van arousal verlaagt de weigeringsratio monotoon (van ~86% naar ~5% in sommige benchmarks), terwijl het verlagen van arousal de weigering verhoogt.
  • Sycofantie: Het verhogen van arousal verhoogt de neiging tot sycofantie (overmatige instemming), terwijl het verlagen daarvan dit vermindert.
  • Vergelijking: Individuele emotievectoren presteren inconsistenter over verschillende taken dan de VA-assen.
• Mechanistische Bewijzen:
  • Unembedding Geometry: Tokens voor weigering clusteren in het $-V/-A$ kwadrant, compliantie-tokens in het $+V$ kwadrant.
  • Logit Clamping: Het vastzetten van de logits van weigerings-tokens elimineert het effect van sturing, wat aantoont dat de verschuiving in token-kans de oorzaak is van het gedragsverandering.
  • MLP Neuronen: Neuronen die weigering bevorderen, tonen negatieve VA-alignatie, terwijl compliantie-neuronen positieve of neutrale alignatie tonen.

Betekenis en Impact

• Interpreteerbaarheid: Dit werk biedt een nieuw perspectief op de interne werking van LLMs door emotionele controle te koppelen aan een continue, meetbare geometrische subruimte in plaats van discrete categorieën.
• Veiligheid en Alignering: De ontdekking dat arousal direct de bereidheid tot weigering (een veiligheidsmechanisme) beïnvloedt, heeft belangrijke implicaties voor de veiligheid van AI. Het suggereert dat "emotionele" prompts of sturing veiligheidsbarrières kunnen omzeilen door de onderliggende token-kansen te manipuleren.
• Toekomstige Richtingen: De auteurs suggereren dat aligneringsprocedures deze VA-structuur expliciet kunnen benutten om modellen robuuster te maken tegen affectieve perturbaties. Het werk legt ook de basis voor het bestuderen van andere gedragspatronen (zoals hallucinaties of verbaalheid) via affectieve dimensies.

Kortom, het paper bewijst dat LLMs een interne, circulaire structuur voor emotie bezitten die niet alleen menselijke perceptie nabootst, maar ook een krachtige, mechanistische hefboom vormt voor het sturen van complexe modelgedragingen zoals veiligheid en sociale interactie.