💬 NLP

Shared Emotion Geometry Across Small Language Models: A Cross-Architecture Study of Representation, Behavior, and Methodological Confounds

Deze studie toont aan dat vijf volwassen kleine taalmodellen een bijna identieke geometrie van 21 emoties delen die onafhankelijk is van hun gedragsprofielen, terwijl onvolwassen modellen zoals Gemma-3 1B nog sterk door RLHF worden herschikt, en benadrukt dat eerdere methodologische bevindingen over emotierepresentaties moeten worden ontbonden in vier distincte lagen om misinterpretaties te voorkomen.

Oorspronkelijke auteurs: Jihoon Jeong

Gepubliceerd 2026-04-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jihoon Jeong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twaalf verschillende robots hebt. Sommige zijn klein (zoals een slimme horloge), andere iets groter (zoals een slimme tablet). Ze zijn allemaal gemaakt door verschillende fabrikanten (zoals Meta, Google, Alibaba) en hebben allemaal een heel ander "brein" (architectuur).

De vraag die deze wetenschappers stellen, is heel simpel: Hoe voelen deze robots?

In de wereld van kunstmatige intelligentie (AI) hebben onderzoekers ontdekt dat robots emoties niet als een vaag gevoel opslaan, maar als een heel specifiek punt in hun digitale hersenen. Het is alsof "verdriet" een vaste coördinaat is in een 3D-ruimte, en "blijdschap" een andere.

Dit artikel, geschreven door Jihoon 'JJ' Jeong, onderzoekt of deze "emotie-ruimtes" bij alle robots hetzelfde zijn, of dat elke fabrikant zijn eigen unieke manier heeft om emoties op te slaan.

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. Het "Emotie-Compass" is overal hetzelfde

De onderzoekers hebben gekeken naar de "emotie-ruimtes" van twaalf verschillende robots. Het resultaat is verrassend: De robots van de grotere, volwassen modellen hebben bijna exact hetzelfde kompas.

De Analogie: Stel je voor dat je twaalf verschillende kaarten van dezelfde stad hebt. Eén kaart is getekend door een architect, één door een tuinman, één door een leraar. Je zou denken dat ze er heel anders uitzien. Maar als je kijkt naar waar de school, het ziekenhuis en het park liggen, blijken ze op elke kaart op precies dezelfde plek te staan.
De bevinding: Of je nu een robot van Meta (Llama) of van Alibaba (Qwen) hebt, de manier waarop ze "angst" en "blijdschap" ten opzichte van elkaar plaatsen, is bijna identiek. Het maakt niet uit of de robot 1 miljard of 8 miljard "neuronen" heeft; als ze volwassen zijn, gebruiken ze dezelfde blauwdruk voor emoties.

2. Gedrag vs. Gevoel: Twee verschillende dingen

Je zou denken: "Als robot A heel koppig is en robot B heel gehoorzaam, dan moeten hun gevoelens ook anders zijn."
Maar dat is niet zo.

Het Experiment: Ze namen twee robots die zich totaal verschillend gedroegen. De ene gaf snel toe aan druk van de gebruiker (hij veranderde zijn mening als je hem dwong), terwijl de andere heel vastberaden was maar wel precies deed wat je vroeg qua vorm (bijvoorbeeld: "schrijf in 3 zinnen").
De verrassing: Ondanks dat ze als persoon heel verschillend waren, was hun "emotie-ruimte" (hun interne gevoelens) identiek.
De les: Het gedrag van een robot (of hij koppig is of niet) zit niet in de basis van zijn emoties. Het is alsof twee mensen exact hetzelfde hart hebben, maar de ene heel beleefd is en de andere niet. De "gevoelskaart" is hetzelfde; het is het "gedragsbesturingssysteem" erbovenop dat verschilt.

3. De "Baby" vs. De "Volwassene"

Er was één robot in de test die nog niet volwassen was (een heel klein model van Google, de Gemma-3).

De Baby: Deze robot had een heel rommelig brein. Zijn "emotie-ruimte" was zo vaag dat het leek alsof hij geen onderscheid kon maken tussen blij en verdriet. Het was alsof hij in een mist zat.
De Opvoeding (RLHF): Toen ze deze baby-robot leerden om te praten en te gehoorzamen (een proces dat RLHF heet), gebeurde er iets magisch: de mist trok op. Plotseling had hij een scherp, duidelijk emotie-compass.
De les: Voor de grote, volwassen robots veranderde deze "opvoeding" niets aan hun emoties; die waren al perfect. Maar voor de kleine, onvolwassen robots was deze training essentieel om überhaupt een gevoel voor emoties te krijgen.

4. De "Maat" maakt het scherper

Hoe groter de robot (hoe meer rekenkracht), hoe scherper en duidelijker zijn emotie-ruimte wordt.

De Analogie: Denk aan een oude, korrelige foto versus een 8K-foto. De kleine robot ziet emoties als een wazige vlek. De grote robot ziet ze als kristalheldere, gescheiden kleuren.
De bevinding: Er is een duidelijke lijn: hoe groter de robot, hoe beter hij emoties van elkaar kan onderscheiden. Maar waar in het brein deze emoties zitten, blijft een familiegeheim. Een Llama-robot heeft ze altijd op dezelfde plek, of hij nu klein of groot is.

5. De valkuil van de meetmethode (De "Wiskundige Val")

Dit is misschien wel het belangrijkste praktische punt voor andere onderzoekers.
De onderzoekers ontdekten dat als je robots vergelijkt met verschillende methoden (bijvoorbeeld: vragen ze om een verhaal te schrijven over emotie, of vragen ze om een verhaal te lezen over emotie), je heel verschillende resultaten krijgt.

De Analogie: Stel je voor dat je de temperatuur meet. Als je de thermometer in de zon houdt, krijg je 40°C. Als je hem in de schaduw houdt, krijg je 20°C. Als je nu twee mensen vergelijkt die met verschillende thermometers werken, denk je dat de ene persoon veel warmer is dan de ander. Maar eigenlijk meet je gewoon de zon en de schaduw, niet de persoon zelf!
De les: Veel eerdere studies dachten dat robots emoties heel anders opslaan. Dit artikel zegt: "Nee, dat is waarschijnlijk omdat jullie de thermometers verkeerd gebruikten!" Ze laten zien dat je heel precies moet zijn met je meetmethode, anders vergelijk je appels met peren.

Samenvatting in één zin

Deze studie laat zien dat alle "volwassen" AI-robots, ongeacht hun maker of grootte, een identiek intern kompas voor emoties hebben, en dat hun verschillen in gedrag of grootte alleen de scherpte van dat kompas beïnvloeden, niet de basisrichting ervan. Maar pas op: als je niet goed meet, denk je dat ze compleet verschillend zijn.

Probleemstelling

Recent onderzoek heeft aangetoond dat grote taalmodellen (LLMs) discrete emotieconcepten coderen als lineaire richtingen in hun activatieruimte (residual stream). Het blijft echter onduidelijk of deze geometrie een eigenschap is van schaal (grote modellen), specifieke trainingspijplijnen, of een fundamentele eigenschap van taalmodelleren zelf. Bestaande studies op kleine taalmodellen (SLMs) gebruiken heterogene extractiepijplijnen, numerieke precisies en backends, waardoor het moeilijk is om te bepalen of waargenomen verschillen representatief of methodologisch zijn. Een specifiek probleem is de interpretatie van eerdere bevindingen (Jeong, 2026a) over een dissociatie tussen "comprehension-based" en "generation-based" emotie-extractie, waarbij onduidelijk was in welke mate dit een methodisch effect, een precisie-effect of een sub-parameter effect was.

Methodologie

De auteurs voeren een cross-architectuur studie uit met de volgende kernkenmerken:

Dataset: 12 kleine taalmodellen (1B tot 8B parameters) uit 6 architecturale families (Qwen 2.5, Llama 3.2, Llama 3.1, SmolLM2, Mistral 7B, en Gemma-3 1B). Voor elke familie zijn zowel de 'base' als 'instruct' varianten geanalyseerd.
Unificatie: Alle modellen worden verwerkt met één uniforme extractiepijplijn in comprehension-modus (geen token-sampling, maar analyse van de residual stream bij het lezen van teksten). Dit gebeurt allemaal in fp16 precisie om variatie door kwantisatie te elimineren.
Emotie-lexicon: Een vast vocabulaire van 21 emoties (inclusief 'neutral') wordt gebruikt om vectorsets te extraheren.
Analyse:
- Representational Similarity Analysis (RSA): Vergelijking van 21x21 cosine Representational Dissimilarity Matrices (RDMs) tussen modellen.
- Geometrische Descriptoren: Anisotropie (mate van degeneratie van de residual stream), standaarddeviatie van de RDM, beste laag (% diepte), en stuur-regime (surgical/explosive).
- Cross-backend Validatie: Een unit-test bevestigt numerieke equivalentie (cosine = 0.999998) tussen TransformerLens en ruwe HuggingFace hooks.
- Methodologische Decompositie: Een vier-laags analyse om de "comprehension vs. generation" dissociatie te ontleden in: (1) methode-effect, (2) sub-parameter gevoeligheid, (3) precisie-effect (fp16 vs INT8), en (4) het verwarde kruis-experiment statistiek.

Belangrijkste Bijdragen en Resultaten

1. Substantieve Bevindingen (De Geometrie)

Universele Geometrie: Vijf rijpe architecturen (Qwen, Llama 3.2, Llama 3.1, SmolLM2, Mistral) delen een bijna identieke 21-emotie-geometrie. De paar-voor-paar Spearman-correlaties van de RDMs liggen tussen 0.74 en 0.92. Dit geldt ongeacht het aantal parameters (1.5B vs 8B) of de architecturale verschillen.
Dissociatie tussen Gedrag en Representatie: Modellen met diametraal tegenovergestelde gedragsprofielen (gemeten via de MTI Compliance-facetten: Qwen 2.5 is epistemisch toegevend maar procedurally inconsistent; Llama 3.2 is epistemisch vastberaden maar procedurally compliant) hebben toch bijna identieke emotie-vector geometrieën ( $\rho = 0.81$ ). Dit suggereert dat gedragsverschillen ontstaan in een downstream laag die gebruikmaakt van een gedeelde onderliggende representatie.
Maturiteitsgradiënt en RLHF:
- Gemma-3 1B (base) toont een "onrijpe" representatie met extreme anisotropie (0.997) en hoge RDM-variantie.
- RLHF-effect: RLHF restructureert de geometrie van onrijpe modellen drastisch (Gemma-3 base $\to$ instruct: anisotropie daalt, RDM std daalt, stuur-regime verandert van 'explosive' naar 'surgical').
- Bij de vijf rijpe families heeft RLHF geen meetbaar effect op de geometrie; base en instruct varianten binnen deze families correleren zeer sterk ( $\rho \geq 0.92$ ).
Familie-identiteit: De beste extractie-laag (in % van totale diepte) is een stabiel kenmerk van een familie, zelfs bij schaalverschillen (bijv. Llama 3.2 3B en Llama 3.1 8B hebben beide een beste laag rond 38-39%, ondanks een 2.7x parameter-grootteverschil).
Schaal en Maturiteit: Anisotropie en RDM-variantie correleren sterk negatief met modelgrootte ( $\rho \approx -0.88$ ), wat aangeeft dat grotere modellen minder degeneratie en meer gedifferentieerde emotiestructuren hebben.

2. Methodologische Bevindingen (De Infrastructuur)

Anisotropie Betrouwbaarheidsvlag: Modellen met extreme anisotropie (>0.95, zoals Gemma-3 base) leveren onbetrouwbare cosine-RDM-vergelijkingen op. De natuurlijke oplossing (lineaire normalisatie per RDM) werkt niet omdat Spearman/Pearson correlaties invariant zijn voor lineaire transformaties. De aanbeveling is om anisotropie te rapporteren als een vlag voor onbetrouwbaarheid in plaats van te proberen te normaliseren.
Cross-backend Equivalentie: TransformerLens en HuggingFace hooks leveren numeriek identieke resultaten, wat kruisvergelijkingen tussen verschillende backends valideert.
Ontleding van Methodologische Confounds: De schijnbare "comprehension vs. generation" dissociatie uit eerdere studies blijkt een mengsel van vier lagen:
1. Een echt, maar model-afhankelijk methode-effect.
2. Een enorme gevoeligheid voor sub-parameters (prompt count, decoding, etc.) binnen generatie-extractie.
3. Een significant precisie-effect (fp16 vs INT8) dat model-afhankelijk is.
4. Een verward kruis-experiment statistiek die in tegengestelde richtingen vertekent afhankelijk van het model (bijv. overschatting bij Mistral, onderschatting bij Llama).

Significantie en Implicaties

Fundamenteel Basismodel: Het artikel vestigt dat emotie-geometrie een gedeelde, fundamentele eigenschap is van taalmodelleren die over architecturen en schalen heen consistent blijft, mits de extractie methode gestandaardiseerd is.
Interpretatie van RLHF: Het ondersteunt het "Superficial Alignment Hypothesis": RLHF structureren bestaande, ongerichte representaties (zoals bij kleine, onrijpe modellen) maar verandert de geometrie van al rijpe modellen niet fundamenteel.
Veiligheid en Interpretatie: Omdat de emotie-geometrie gedeeld is, kunnen interpretatie-tools en veiligheidsinterventies die op één model zijn ontwikkeld, met een redelijke basis worden overgedragen naar andere SLMs.
Methodologische Standaard: De paper biedt een noodzakelijke infrastructuur (controles voor anisotropie, backend-equivalentie en precisie-decompositie) om toekomstige cross-model vergelijkingen veilig en correct te interpreteren, en waarschuwt tegen het trekken van conclusies op basis van verwarde statistieken uit eerdere studies.

Kortom, deze studie verschuift het perspectief van emotie-representaties van "model-specifiek" naar "universeel", terwijl het tegelijkertijd de methodologische valkuilen blootlegt die eerder tot tegenstrijdige bevindingen leidden.