💬 NLP

Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

Diese Arbeit zeigt, dass Open-Source-LLMs (Apertus-8B und Gemma-4) Emotionskonzepte mit einer Valenzgeometrie kodieren, die mit proprietären Modellen vergleichbar ist, während sie gleichzeitig architekturspezifische Muster aufzeigen, wie diese Repräsentationen über die Modelltiefe hinweg entstehen und basierend auf dem Extraktionskorpus variieren.

Ursprüngliche Autoren: Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, im Inneren eines riesigen, komplexen Computergehirns (einem Large Language Model) gibt es verborgene „Drehregler“ oder „Knöpfe“, die steuern, wie der Computer über Dinge empfindet. Eine vorangegangene Studie fand diese Regler in einer speziellen KI namens Claude. Es wurde entdeckt, dass, wenn man den „Glücks“-Regler aufdreht, die KI glücklicher agiert, und wenn man den „Traurigkeits“-Regler aufdreht, sie trauriger agiert. Noch faszinierender ist, dass die Art und Weise, wie diese Regler im Gehirn des Computers angeordnet sind, der Art und Weise ähnelt, wie Menschen ihre Emotionen in ihrem eigenen Geist organisieren.

Diese neue Arbeit fragt: Ist das nur eine Eigenart des Claude-Computers, oder haben andere KI-Gehirne ebenfalls diese gleichen verborgenen Emotions-Regler?

Um dies herauszufinden, schauten die Forscher in das Innere zweier verschiedener Open-Source-KI-Gehirne: APERTUS-8B und GEMMA-4-E4B. Sie haben nicht nur zugesehen; sie versuchten, den internen Gedanken der KI „zuzuhören“, während diese Geschichten über verschiedene Emotionen schrieb (wie Freude, Angst oder Wut), ohne dabei jemals das Wort „Freude“ oder „Angst“ selbst zu verwenden.

Hier ist das, was sie fanden, vereinfacht aufgeschlüsselt:

1. Der „Glücks“-Regler existiert überall

Genau wie in der ursprünglichen Studie hatten beide dieser neuen KI-Gehirne eine klare interne Richtung für Valenz (ob etwas gut oder schlecht ist).

Die Analogie: Stellen Sie sich vor, Sie betreten einen Raum und sehen einen riesigen Kompass. In allen drei KI-Gehirnen (Claude, Apertus und Gemma) bedeutete die Nadel, die nach „Norden“ zeigte, konsistent „Gut/Glücklich“ und nach „Süden“ bedeutete „Schlecht/Traurig“.
Das Ergebnis: Die Forscher konnten diese „Nord-Süd“-Linie in beiden neuen Modellen mit sehr hoher Genauigkeit finden, was beweist, dass dies kein einmaliger Fehler ist, sondern ein gemeinsames Merkmal der Art und Weise, wie diese Computer denken.

2. Das „Wo“ ist unterschiedlich (Die Reise zählt)

Obwohl der „Nord-Süd“-Kompass in allen drei Modellen existierte, war der Pfad, den die Information nahm, um dorthin zu gelangen, völlig unterschiedlich.

GEMMA-4-E4B (Der Frühaufsteher): Diese KI begriff den Unterschied zwischen Gut und Böse sehr früh in ihrer Verarbeitung, wie ein Kind, das sofort weiß, was richtig und falsch ist. Doch während die Information tiefer in das Gehirn wanderte, wurde dieses klare Signal unscharf und verschwand gegen Ende fast vollständig.
APERTUS-8B (Der Spätentwickler): Diese KI begann ohne eine klare Vorstellung von „Gut vs. Böse“ in ihren frühen Schichten. Es war wie ein unbeschriebenes Blatt. Aber als die Information tiefer in das Gehirn wanderte (hin zu den Endschichten), wurde das „Gut vs. Böse“-Signal plötzlich sehr stark und klar.
Das Fazit: Zwei verschiedene KI-Gehirne können zum selben emotionalen Verständnis gelangen, aber sie nehmen völlig unterschiedliche Routen, um dorthin zu gelangen. Das eine baut es langsam auf; das andere beginnt damit und verliert es dann wieder.

3. Der „Erregungs“-Regler ist wackelig

Die Forscher untersuchten auch die Arousal (wie aufgeregt oder ruhig etwas ist).

Das Problem: Sie konnten in diesen Modellen keinen konsistenten „Erregungs“-Regler finden. Das Signal war sehr schwach.
Die Wendung: Die Stärke dieses Signals hing vollständig davon ab, wer die Geschichten geschrieben hatte. Wenn die KI Geschichten las, die vom GEMMA-Modell geschrieben wurden, war der „Erregungs“-Regler viel klarer. Wenn sie Geschichten las, die von APERTUS geschrieben wurden, war der Regler fast unsichtbar.
Die Analogie: Es ist, als würde man versuchen, ein Flüstern zu hören. Wenn die Person, die flüstert, ein bestimmtes Mikrofon trägt (Gemma-Geschichten), kann man die Erregung deutlich hören. Wenn sie ein anderes Mikrofon verwendet (Apertus-Geschichten), geht die Erregung im Rauschen verloren. Dies deutet darauf hin, dass der Inhalt der Geschichten wichtiger ist als die interne Verschaltung der KI für diese spezifische Emotion.

4. Die Karte vs. der Kompass

Die Forscher prüften auch, ob sich die „Karte“ des KI-Gehirns änderte, während es Informationen verarbeitete.

Sie fanden heraus, dass die allgemeine Form der internen Welt der KI (die Karte) von Anfang bis Ende weitgehend gleich blieb.
Jedoch drehte und änderte der spezifische „Kompass“ (die Gut-und-Schlecht-Richtung) seine Orientierung ständig, während er sich durch die Schichten bewegte.
Die Lektion: Nur weil der Raum (das Gehirn) gleich aussieht, bedeutet das nicht, dass die Richtung, in die man blickt (die Emotion), gleich bleibt.

Zusammenfassung

Diese Arbeit bestätigt, dass KI-Modelle interne „Emotions-Vektoren“ besitzen, die der menschlichen Psychologie ähneln, aber sie bauen sie nicht alle auf die gleiche Weise auf.

Gut vs. Böse (Valenz): In allen Modellen vorhanden, aber zu unterschiedlichen Stadien der Verarbeitung aufgebaut.
Aufgeregt vs. Ruhig (Arousal): Schwer zu finden und hängt stark davon ab, welche Geschichten die KI liest.

Die Autoren kommen zu dem Schluss, dass wir zwar diese emotionalen „Regler“ finden können, aber vorsichtig sein müssen, da verschiedene Modelle sie an unterschiedlichen Stellen verstecken und die Geschichten, die wir ihnen füttern, diese Regler schwerer oder leichter auffindbar machen können. Sie haben ihren Code und ihre Daten öffentlich zugänglich gemacht, damit andere versuchen können, diese Regler in anderen KI-Gehirnen zu finden.

Technische Zusammenfassung: „Wo finden Modelle Glück? Emotionsvektoren in Open-Source-LLMs“

Problemstellung
Jüngste Arbeiten von Sofroniew et al. (2026) identifizierten „Emotionsvektoren“ innerhalb des internen Aktivierungsraums des proprietären Modells Claude Sonnet 4.5. Es wurde festgestellt, dass diese Vektoren Emotionskonzepte kodieren, das Verhalten des Modells kausal beeinflussen und eine geometrische Struktur aufweisen, die menschliche psychologische Frameworks (speziell das Russell-Zirkumplexe-Modell von Valenz und Erregung) widerspiegelt. Es blieb jedoch unklar, ob diese Befunde spezifisch für das einzigartige Trainingsregime von Claude sind oder eine allgemeine Eigenschaft großer Sprachmodelle (LLMs) darstellen. Zudem waren die Evolution dieser Repräsentationen über die Netzwerktiefe hinweg sowie der Einfluss der Extraktionsmethodik (speziell des Story-Korpus) unerforscht. Diese Arbeit adressiert drei Kernfragen: (1) Sind Emotionsvektoren auf Open-Weight-Modelle generalisierbar? (2) Wie variiert das Aufkommen der Valenzgeometrie über die Modellschichten hinweg? (3) Wie beeinflusst die Wahl des Story-Korpus die Extraktion dieser Vektoren?

Methodik
Die Autoren replizierten und erweiterten die Analyse der Emotionsvektoren auf zwei Open-Weight-Modellen: APERTUS-8B (ein 32-Schicht-Transformer mit vollständig offenen Gewichten, Daten und Code) und GEMMA-4-E4B (ein 42-Schicht-Transformer).

Datensatzkonstruktion: In Anlehnung an Sofroniew et al. (2026) erstellten die Autoren synthetische Datensätze, die 1.539 Geschichten für jeweils 171 unterschiedliche Emotionen enthalten. Entscheidend ist, dass sie zwei unabhängige Korpora erstellten: eines, das von APERTUS-8B generiert wurde, und eines, das von GEMMA-4-E4B generiert wurde. Für jede Emotion wurden die Modelle angewiesen, Geschichten zu schreiben, in denen Charaktere die Ziel-Emotion erleben, ohne sie beim Namen zu nennen, wobei sie sich auf indirekte Hinweise (Handlungen, körperliche Empfindungen, Dialoge) verlassen mussten. Ein fester Satz von 40 neutralen Geschichten wurde ebenfalls generiert, um als Baseline zu dienen.
Kontrastvektor-Extraktion: Für jede Emotion und Schicht extrahierten die Autoren die Aktivierungen des Residual-Streams. Um emotionsspezifische Signale von allgemeinen linguistischen Merkmalen zu isolieren, führten sie einen zweistufigen Prozess durch:
- Mittelung der Aktivierungen über Token und Geschichten zur Bildung eines Rohvektors.
- Projektion aus dem „emotionsagnostischen“ Subraum durch Subtraktion der Projektion des Rohvektors auf die Hauptkomponenten (Top $K$ ), die aus den 40 neutralen Geschichten abgeleitet wurden (welche 50 % der neutralen Varianz erklären).
Analyse:
- PCA & Korrelation: Die Hauptkomponentenanalyse (PCA) wurde auf die Kontrastmatrizen angewendet. Die ersten zwei Hauptkomponenten (PC1, PC2) wurden mit menschlichen Bewertungen von Valenz und Erregung aus dem NRC-Lexikon korreliert.
- Ähnlichkeit über Schichten: Die Centered Kernel Alignment (CKA) wurde verwendet, um die Ähnlichkeit der Repräsentationen zwischen den Schichten zu messen.
- Direktionale Stabilität: Die Kosinusähnlichkeit wurde zwischen den Valenz-Richtungsvektoren (der Achse, die am stärksten mit menschlichen Bewertungen korreliert) benachbarter Schichten berechnet, um die Stabilität zu verfolgen.

Wesentliche Beiträge und Ergebnisse

Generalisierung von Emotionsvektoren: Die Studie konnte die Valenzgeometrie in beiden Open-Weight-Modellen erfolgreich rekonstruieren und zeigte damit, dass Emotionsvektoren nicht exklusiv für Claude sind.
- APERTUS-8B: Erreichte eine Spitzenkorrelation von PC1–Valenz von $r = 0,76$ (unter Verwendung von Gemma-generierten Geschichten).
- GEMMA-4-E4B: Erreichte eine Spitzenkorrelation von PC1–Valenz von $r = 0,83$ (unter Verwendung von Gemma-generierten Geschichten).
- Diese Spitzenwerte nähern sich dem für Claude Sonnet 4.5 berichteten Wert von $r = 0,81$ an oder übertreffen ihn sogar, was die Allgemeingültigkeit des Phänomens über verschiedene Architekturen hinweg bestätigt.
Divergente Emergenz-Trajektorien: Während beide Modelle ähnliche Spitzenkorrelationen erreichten, unterschied sich die Tiefe, in der die Valenzrepräsentationen auftraten, signifikant:
- GEMMA-4-E4B: Zeigte eine frühe Kodierung, gefolgt von einem Kollaps. Die Valenzkorrelationen erreichten ihren Höhepunkt um Schicht 16 (ca. 38 % der Tiefe) und fielen in späteren Schichten gegen Null. Die CKA-Analyse zeigte einen glatten Gradienten über alle Schichten hinweg, was darauf hindeutet, dass der Repräsentationsraum stabil blieb, selbst als die spezifische Valenzachse degradierte.
- APERTUS-8B: Zeigte eine späte Emergenz. Die Valenzkorrelationen lagen in der ersten Hälfte des Netzwerks nahe bei Null, stiegen nach Schicht 18 steil an und stabilisierten sich in den oberen Schichten (mit Spitzenwerten zwischen Schicht 23 und 31). Die CKA-Analyse offenbarte einen deutlichen „Phasenübergang“ in den mittleren Schichten, was auf eine Reorganisation des Repräsentationsraums hindeutet.
Korpus-abhängige Erregung: Die Extraktion der Erregung (PC2) war hochsensibel gegenüber dem Story-Korpus.
- Beide Modelle zeigten eine signifikant stärkere PC2–Erregungs-Ausrichtung, wenn sie auf Gemma-generierten Geschichten evaluiert wurden ( $r$ bis zu 0,45) im Vergleich zu Apertus-generierten Geschichten ( $r \le 0,21$ ).
- Dies deutet darauf hin, dass erregungsrelevante linguistische Hinweise ungleichmäßig über generierte Korpora verteilt sind und die Wahl des Stimulus-Korpus ein wesentlicher methodischer Faktor ist und kein bloßes Implementierungsdetail.
Stabiler Raum, instabile Achse: Die Autoren beobachteten eine Diskrepanz zwischen der Stabilität des gesamten Repräsentationsraums (CKA) und der Stabilität der spezifischen Valenzachse. In GEMMA-4-E4B blieb der Raum über die Schichten hinweg ähnlich, selbst dort, wo die Valenzkorrelation kollabierte, was impliziert, dass die Valenzinformation erhalten bleibt, aber entlang einer sich verschiebenden Achse kodiert wird.

Bedeutung und Ansprüche
Das Paper behauptet, dass ähnliche hochgradige emotionale Repräsentationen aus unterschiedlichen computationalen Pfaden innerhalb neuronaler Netze entstehen können. Die Ergebnisse legen nahe:

Universalität: Emotionsvektoren sind eine allgemeine Eigenschaft von LLMs und kein Artefakt eines spezifischen Modelltrainings.
Implikationen für die Interpretierbarkeit: Das „Wo“ und „Wie“ der Emotionskodierung variiert je nach Architektur. Das Überwachen oder Steuern dieser Vektoren erfordert eine sorgfältige Auswahl der Schicht, da die optimale Schicht für Interventionen zwischen den Modellen variiert (früh für Gemma, spät für Apertus).
Methodische Stringenz: Die Extraktion von Emotionsvektoren ist sensitiv gegenüber dem Eingabe-Korpus. Die Studie verdeutlicht, dass die Wahl des Korpus die Rekuperierbarkeit spezifischer emotionaler Dimensionen (insbesondere der Erregung) erheblich beeinflussen kann, was diverse Stimuli für eine robuste Analyse notwendig macht.

Die Autoren kommen zu dem Schluss, dass zwar die Spitzengeometrie des Emotionsraums konsistent ist, die Entwicklungsbahn dieser Repräsentationen jedoch modellspezifisch ist, was Auswirkungen auf gezielte Steering-Interventionen und das Sicherheitsmonitoring in Open-Weight-Modellen hat.