Whether, Not Which: Mechanistic Interpretability Reveals Dissociable Affect Reception and Emotion Categorization in LLMs

Titel: Whether, Not Which: Mechanistische Interpretatie onthult Dissocieerbare Affectieve Ontvangst en Emotie-categorisatie in LLM's

1. Het Probleem

Recente studies in mechanische interpretatie suggereren dat Large Language Models (LLMs) interne representaties van emotie ontwikkelen, vaak aangeduid als "emotie-circuits" of "emotie-neuronen". Echter, een fundamentele methodologische beperking ondermijnt de validiteit van deze claims: alle bestaande studies gebruiken stimuli waarbij emotionele inhoud wordt gesignaliseerd door expliciete emotie-sleutelwoorden (bijv. "verwoest", "furieus", "blij").

Dit creëert een verwarringsfactor (confound): het is onduidelijk of de geïdentificeerde circuits de werkelijke emotionele betekenis van een situatie detecteren, of simpelweg de lexicale kenmerken van het woord "verwoest" herkennen. De kernvraag is: Detecteren deze circuits echte emotionele betekenis, of zijn het slechts "sleutelwoord-spotter"?

2. Methodologie

De auteur voert de eerste klinische validatietest uit voor claims over emotie-circuits, gebruikmakend van methoden uit de klinische psychologie en vier convergerende technieken voor mechanische interpretatie.

• Stimuli-ontwerp:
  • Set A (Baseline): 80 stimuli met expliciete emotie-woorden (gebaseerd op bestaande datasets zoals crowd-enVENT).
  • Set B (Klinische Vignetten): 96 klinisch ontworpen vignetten die specifieke emoties oproepen uitsluitend via situatie- en gedragsaanwijzingen, zonder enige vorm van emotie-woorden, sentimentfrases of beschrijvingen van interne toestanden.
    • Voorbeeld: Een vignet over rouw beschrijft een onaangetast bord en een urn op een tafel, zonder het woord "rouw" te gebruiken.
    • Elke emotie wordt gekruist met drie verschillende topic-domeinen om te controleren of het model het onderwerp in plaats van de emotie encodeert.
• Modelkeuze: Zes modellen van twee families (Llama-3.2-1B, Llama-3-8B, Gemma-2-9B), inclusief zowel 'base' als 'instruct' varianten.
• Analyse-methoden:
  1. Lineaire Probing: Correlatie tussen activaties en emotielabels.
  2. Causale Activatie Patching: Het overbrengen van activaties van bron- naar doelexamples om causale effecten te testen.
  3. Knockout-experimenten: Het uitschakelen van lagen om de noodzaak van specifieke componenten te testen.
  4. Representatieve Geometrie: Analyse van de ruimtelijke organisatie van emotie-embeddings.

3. Belangrijkste Bijdragen

1. Eerste Klinische Validatie: Het introduceren van klinische, sleutelwoord-vrije stimuli als een strenge externe standaard voor het testen van emotieverwerking in AI.
2. Ontdekking van een Dissociatie: Het vaststellen van twee fundamenteel verschillende mechanismen voor emotieverwerking: Affect Reception (ontvangst) en Emotion Categorization (categorisatie).
3. Convergent Bewijs: Het toepassen van vier verschillende interpretatiemethoden op hetzelfde stimuluscontrast, wat robuustheid garandeert.
4. Open Source: Het vrijgeven van 96 klinische vignetten, de extractie-pipeline en alle analyse-scripts voor replicatie.

4. Resultaten

A. Affect Reception (Emotionele Ontvangst)

• Definitie: Het detecteren van de aanwezigheid van emotioneel significante inhoud (ja/nee).
• Resultaat: Dit mechanisme werkt met bijna perfecte nauwkeurigheid (AUROC 1.000) op de klinische vignetten (Set B), zonder enige emotie-woorden.
• Locatie: Het signaal verzadigt in de vroege lagen van het netwerk (9–38% van de diepte), lang voordat categorisatie piekt.
• Robuustheid: Dit geldt voor alle zes modellen, inclusief het kleinste model (1B parameters). Het model "weet" dat er iets emotioneels gebeurt puur op basis van context.

B. Emotion Categorization (Emotie-categorisatie)

• Definitie: Het toewijzen van de gedetecteerde affectie aan een specifiek label (bijv. verdriet vs. woede).
• Resultaat: Dit mechanisme is gedeeltelijk afhankelijk van sleutelwoorden.
  • Zonder sleutelwoorden daalt de AUROC met 1% tot 7% ten opzichte van stimuli met sleutelwoorden.
  • De daling is groter in kleinere modellen (4,6–6,7% bij 1B) en kleiner in grotere modellen (1,1–1,9% bij 8B/9B).
• Locatie: Dit proces vindt plaats in de middelste tot late lagen en vereist gedistribueerde integratie over het hele netwerk, vooral bij afwezigheid van sleutelwoorden.

C. Causale Bevestiging (Patching)

• Bij het patchen van activaties van sleutelwoord-rijke stimuli naar sleutelwoord-vrije stimuli, wordt een affectief salientie-signaal overgedragen, niet een specifiek emotielabel.
• Dit bevestigt dat het model eerst de "significantie" detecteert en vervolgens, lokaal op basis van de tekst, de categorie bepaalt.

D. Schaal-effecten en Architectuur

• Schaal: Grotere modellen (8B/9B) vertonen een sterkere abstractie en minder afhankelijkheid van sleutelwoorden. De kloof tussen detectie en categorisatie neemt af naarmate het model groter wordt.
• Fragiliteit: In kleine modellen (1B) is emotiecategorisatie zonder sleutelwoorden kwetsbaar (afhankelijk van specifieke lagen). In grotere modellen wordt het proces gedistribueerd en robuuster (geen enkel punt van falen).
• Instruction Tuning: Finetuning (RLHF) verandert niet de encoding van emoties (die is al aanwezig in base-modellen), maar herorganiseert de geometrie. Het zorgt ervoor dat representaties van dezelfde emotie (ongeacht of ze via woorden of context werden aangeboden) dichter bij elkaar in de vectorruimte komen te liggen.

5. Betekenis en Implicaties

• Falsificatie van de "Sleutelwoord-hypothese": De studie weerlegt het idee dat emotie-circuits puur lexicaal zijn. LLM's kunnen echte emotionele betekenis uit situaties halen, net als mensen.
• AI Veiligheid:
  • Krisisdetectie: Zelfs kleine modellen kunnen emotionele nood signaleren zonder dat de gebruiker expliciete woorden gebruikt (bijv. "Ik voel me hopeloos"). Dit biedt een robuust veiligheidsnet.
  • Adversariale Robuustheid: Een gebruiker die probeert emotie-woorden te vermijden om manipulatie te maskeren, zal toch het "affect reception"-mechanisme van het model activeren.
• Methodologische Paradigmaverschuiving: De studie pleit voor het gebruik van klinische psychologie-methoden (situatie-gebaseerde vignetten) als standaardvalidatie in de NLP-wereld, in plaats van te vertrouwen op datasets die emotionele inhoud en vocabulaire verwarren.
• Theoretisch Inzicht: Het ondersteunt het "Persona Selection Model", waarbij pre-training de basis voor emotionele representaties legt, en post-training (alignment) deze representaties structureel organiseert voor betere bruikbaarheid.

Conclusie:
LLMs beschikken over twee dissociabele mechanismen voor emotie. Affect reception is robuust, sleutelwoord-onafhankelijk en aanwezig in de vroege lagen. Emotion categorization is complexer, afhankelijk van schaal en soms van sleutelwoorden, en vindt plaats in latere lagen. De conclusie is niet dat emotie-circuits niet bestaan, maar dat ze complexer zijn dan gedacht: ze detecteren eerst de betekenis, en categoriseren daarna pas op basis van beschikbare contextuele hulpmiddelen.