💬 NLP

Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

Dit artikel toont aan dat open-source LLM's (Apertus-8B en Gemma-4) emotieconcepten coderen met een valentiegeometrie die vergelijkbaar is met die van propriëtaire modellen, terwijl ze tegelijkertijd onderscheidende, architectuurspecifieke patronen onthullen in de manier waarop deze representaties ontstaan over de modeldiepte en variëren op basis van het extractiecorpus.

Oorspronkelijke auteurs: Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

Gepubliceerd 2026-06-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat er binnenin een gigantisch, complex computerbrein (een Large Language Model) verborgen "draaiknoppen" zijn die controleren hoe de computer over dingen denkt. Een eerdere studie vond deze draaiknoppen in een specifieke AI genaamd Claude. Ze ontdekten dat als je de "geluksknop" draait, de AI gelukkiger acteert, en als je de "verdrietsknop" draait, de AI droeviger acteert. Nog cooler is dat de manier waarop deze draaiknoppen in het computerbrein zijn gerangschikt, veel lijkt op hoe mensen emoties in hun eigen geest organiseren.

Dit nieuwe artikel vraagt: Is dit slechts een eigenaardigheid van de Claude-computer, of hebben andere AI-hersenen ook deze verborgen emotiedraaiknoppen?

Om dit te ontdekken, keken de onderzoekers in twee verschillende open-source AI-hersenen: APERTUS-8B en GEMMA-4-E4B. Ze keken niet alleen; ze probeerden ook te "luisteren" naar de interne gedachten van de AI terwijl deze verhalen schreef over verschillende emoties (zoals vreugde, angst of woede) zonder ooit het woord "vreugde" of "angst" daadwerkelijk te gebruiken.

Hier is wat ze vonden, eenvoudig onderverdeeld:

1. De "Gelukksknop" bestaat overal

Net als in de oorspronkelijke studie hadden beide nieuwe AI-hersenen een duidelijke interne richting voor Valentie (of iets goed of slecht aanvoelt).

De Analogie: Stel je voor dat je een kamer binnenloopt en een enorme kompas ziet. In alle drie de AI-hersenen (Claude, Apertus en Gemma) betekende de naald die naar het "Noorden" wees consistent "Goed/Gelukkig" en "Zuid" betekende "Slecht/Droevig".
Het Resultaat: De onderzoekers konden deze "Noord-Zuid"-lijn in beide nieuwe modellen met zeer hoge nauwkeurigheid vinden, wat bewijst dat dit geen eenmalige fout is, maar een algemeen kenmerk van hoe deze computers denken.

2. De "Waar" is verschillend (De reis is belangrijk)

Hoewel het "Noord-Zuid"-kompas in alle drie de gevallen bestond, was het pad dat de informatie aflegde om daar te komen totaal anders.

GEMMA-4-E4B (De Vroege Vogel): Deze AI begreep het verschil tussen goed en slecht heel vroeg in zijn verwerking, zoals een kind dat direct weet wat goed en fout is. Echter, naarmate de informatie dieper in het brein reisde, werd dit duidelijke signaal wazig en verdween het bijna tegen het einde.
APERTUS-8B (De Late Bloeier): Deze AI begon zonder een duidelijk idee van "goed versus slecht" in zijn vroege lagen. Het was als een onbeschreven blad. Maar naarmate de informatie dieper in het brein bewoog (richting het einde), werd het "Goed versus Slecht"-signaal plotseling heel sterk en duidelijk.
De Les: Twee verschillende AI-hersenen kunnen tot dezelfde emotionele begrijpelijkeheid komen, maar ze nemen totaal verschillende routes om daar te komen. De één bouwt het langzaam op; de ander begint ermee en verliest het vervolgens.

3. De "Opwinding-knop" is wankel

De onderzoekers keken ook naar Arousal (hoe opgewonden of kalm iets aanvoelt).

Het Probleen: Ze konden geen consistent "Opwinding"-draaiknop vinden in deze modellen. Het signaal was erg zwak.
De Twist: De sterkte van dit signaal hing volledig af van wie de verhalen schreef. Wanneer de AI verhalen las die geschreven waren door het GEMMA-model, was de "Opwinding"-draaiknop veel duidelijker. Wanneer de AI verhalen las die door het APERTUS-model waren geschreven, was de draaiknop bijna onzichtbaar.
De Analogie: Het is alsof je probeert te luisteren naar een fluistering. Als de persoon die fluistert een specifiek type microfoon draagt (Gemma-verhalen), kun je de opwinding duidelijk horen. Als ze een andere microfoon gebruiken (Apertus-verhalen), gaat de opwinding verloren in de ruis. Dit suggereert dat de inhoud van de verhalen belangrijker is dan de interne bedrading van de AI voor deze specifieke emotie.

4. De Kaart versus het Kompas

De onderzoekers controleerden ook of de "kaart" van het AI-brein veranderde terwijl het informatie verwerkte.

Ze vonden dat de algemene vorm van de interne wereld van de AI (de kaart) grotendeels hetzelfde bleef van begin tot eind.
Echter, het specifieke "Kompas" (de Goed/Slecht richting) bleef draaien en veranderde zijn oriëntatie terwijl het door de lagen bewoog.
De Les: Alleen omdat de kamer (het brein) er hetzelfde uitziet, betekent niet dat de richting waarin je kijkt (de emotie) hetzelfde blijft.

Samenvatting

Dit artikel bevestigt dat AI-modellen interne "emotie-vectoren" hebben die lijken op de menselijke psychologie, maar ze bouwen ze niet allemaal op dezelfde manier op.

Goed versus Slecht (Valentie): Gevonden in alle modellen, maar gebouwd in verschillende stadia van verwerking.
Opgewonden versus Kalm (Arousal): Moeilijk te vinden en hangt sterk af van de soort verhalen die de AI leest.

De auteurs concluderen dat hoewel we deze emotionele "knoppen" kunnen vinden, we voorzichtig moeten zijn omdat verschillende modellen ze op verschillende plaatsen verbergen, en de verhalen die we ze voeren, die knoppen moeilijker of makkelijker te vinden kunnen maken. Ze hebben hun code en data publiek gemaakt zodat anderen deze draaiknoppen in andere AI-hersenen kunnen proberen te vinden.

Technische Samenvatting: "Waar vinden modellen geluk? Emotieve vectoren in Open-Source LLM's"

Probleemstelling
Recent werk door Sofroniew et al. (2026) identificeerde "emotieve vectoren" binnen de interne activatieruimte van het propriëtaire model Claude Sonnet 4.5. Deze vectoren bleken emotieconcepten te coderen, de gedrag van het model causaal te beïnvloeden en een geometrische structuur te vertonen die de menselijke psychologische kaders weerspiegelt (specifiek het Russell-circumplexmodel van valentie en arousal). Het bleef echter onduidelijk of deze bevindingen specifiek waren voor de unieke trainingsregimes van Claude of een algemene eigenschap vertegenwoordigen van grote taalmodellen (LLM's). Bovendien was de evolutie van deze representaties over de netwerkdiepte en de invloed van extractiemethodologieën (specifiek het gebruikte verhaalcorpus) nog niet onderzocht. Dit artikel behandelt drie kernvragen: (1) Zijn emotieve vectoren generaliseerbaar naar open-weight modellen? (2) Hoe varieert de emergentie van valentie-geometrie over de lagen van het model? (3) Hoe beïnvloedt de keuze van het verhaalcorpus de extractie van deze vectoren?

Methodologie
De auteurs repliceerden en breidden de analyse van emotieve vectoren uit op twee open-weight modellen: APERTUS-8B (een 32-laagse transformer met volledig open gewichten, data en code) en GEMMA-4-E4B (een 42-laagse transformer).

Dataset Constructie: In navolging van Sofroniew et al. (2026) genereerden de auteurs synthetische datasets bestaande uit 1.539 verhalen voor elk van de 171 verschillende emoties. Cruciaal is dat zij twee onafhankelijke corpora creëerden: één gegenereerd door APERTUS-8B en één door GEMMA-4-E4B. Voor elke emotie werden de modellen gepromptt om verhalen te schrijven waarin personages de doel-emotie ervaren zonder deze te benoemen, waarbij werd vertrouwd op indirecte aanwijzingen (acties, fysieke sensaties, dialoog). Een vaste set van 40 neutrale verhalen werd eveneens gegenereerd om als baseline te dienen.
Contrastvector Extractie: Voor elke emotie en laag extraheerden de auteurs de activaties van de residual stream. Om emotie-specifieke signalen te isoleren van algemene linguïstische kenmerken, voerden zij een tweestaps-proces uit:
- Het middelen van activaties over tokens en verhalen om een ruwe vector te vormen.
- Het projecteren van de "emotie-agnostische" subspace eruit door de projectie van de ruwe vector op de hoofdcomponenten (top $K$ ) af te treken, die afgeleid waren van de 40 neutrale verhalen (die 50% van de neutrale variantie verklaren).
Analyse:
- PCA & Correlatie: Principale Component Analyse (PCA) werd toegepast op de contrastmatrices. De eerste twee hoofdcomponenten (PC1, PC2) werden gecorreleerd met menselijke valentie- en arousal-beoordelingen uit het NRC Lexicon.
- Cross-Layer Gelijkenis: Centered Kernel Alignment (CKA) werd gebruikt om de representatieve gelijkenis tussen lagen te meten.
- Directionele Stabiliteit: De cosinus-gelijkenis werd berekend tussen de valentie-richtingsvectoren (de as die het sterkst correleert met menselijke beoordelingen) over opeenvolgende lagen om stabiliteit te volgen.

Kernbijdragen en Resultaten

Generalisatie van Emotieve Vectoren: De studie slaagde erin de valentie-geometrie te herstellen in beide open-weight modellen, wat aantoont dat emotieve vectoren niet uniek zijn voor Claude.
- APERTUS-8B: Bereikte een piek PC1–valentie correlatie van $r = 0,76$ (met gebruik van door Gemma gegenereerde verhalen).
- GEMMA-4-E4B: Bereikte een piek PC1–valentie correlatie van $r = 0,83$ (met gebruik van door Gemma gegenereerde verhalen).
- Deze pieken benaderen of overtreffen de $r = 0,81$ gerapporteerd voor Claude Sonnet 4.5, wat de algemeenheid van het fenomeen over verschillende architecturen heen bevestigt.
Divergerende Emergentie-trajecten: Hoewel beide modellen vergelijkbare piekcorrelaties bereikten, verschilde de diepte waarop valentie-representaties ontstonden aanzienlijk:
- GEMMA-4-E4B: Vertoonde vroege codering gevolgd door instorting. De valentie-correlaties piekten rond laag 16 (ca. 38% diepte) en daalden daarna naar nul in latere lagen. CKA-analyse toonde een vloeiend gradiënt over alle lagen, wat suggereert dat de representatieve ruimte stabiel bleef, zelfs toen de specifieke valentie-as degradeerde.
- APERTUS-8B: Vertoonde late emergentie. De valentie-correlaties waren nabij nul in de eerste helft van het netwerk, stegen scherp na laag 18 en stabiliseerden zich in de bovenste lagen (piekend bij laag 23–31). CKA-analyse onthulde een duidelijke "faseovergang" in de middelste lagen, wat wijst op een reorganisatie van de representatieve ruimte.
Corpus-Afhankelijke Arousal: De extractie van arousal (PC2) was zeer gevoelig voor het verhaalcorpus.
- Beide modellen vertoonden een significant sterkere PC2–arousal alignment wanneer geëvalueerd op door Gemma gegenereerde verhalen ( $r$ tot 0,45) vergeleken met door Apertus gegenereerde verhalen ( $r \le 0,21$ ).
- Dit suggereert dat arousal-relevante linguïstische aanwijzingen ongelijk verdeeld zijn over gegenereerde corpora, en dat de keuze van het stimuluscorpus een substantiële methodologische factor is in plaats van een louter implementatiedetail.
Stabiele Ruimte, Instabiele As: De auteurs observeerden een disconnect tussen de stabiliteit van de algemene representatieve ruimte (CKA) en de stabiliteit van de specifieke valentie-as. In GEMMA-4-E4B bleef de ruimte vergelijkbaar over de lagen, zelfs waar de valentie-correlatie instortte, wat impliceert dat valentie-informatie behouden blijft maar gecodeerd wordt langs een verschuivende as.

Betekenis en Claims
Het artikel claimt dat vergelijkbare hoogwaardige emotionele representaties kunnen ontstaan uit verschillende computationele paden binnen neurale netwerken. De bevindingen suggereren dat:

Universaliteit: Emotieve vectoren een algemene eigenschap zijn van LLM's, geen artefact van de specifieke training van een model.
Implicaties voor Interpreteerbaarheid: Het "waar" en "hoe" van emotie-codering varieert per architectuur. Het monitoren of sturen van deze vectoren vereist zorgvuldige laagselectie, aangezien de optimale laag voor interventie verschilt tussen modellen (vroeg voor Gemma, laat voor Apertus).
Methodologische Rigor: De extractie van emotieve vectoren is gevoelig voor het invoercorpus. De studie benadrukt dat de keuze van het corpus de herstelbaarheid van specifieke emotionele dimensies (met name arousal) aanzienlijk kan beïnvloeden, wat diverse stimulussets noodzakelijk maakt voor een robuuste analyse.

De auteurs concluderen dat hoewel de piekgeometrie van de emotieruimte consistent is, het ontwikkelingspad van deze representaties modelspecifiek is, met implicaties voor gerichte steering-interventies en veiligheidsmonitoring in open-weight modellen.