💬 NLP

Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

Cet article démontre que les LLM open-source (Apertus-8B et Gemma-4) encodent les concepts d'émotion avec une géométrie de valence comparable à celle des modèles propriétaires, tout en révélant des motifs distincts, spécifiques à l'architecture, dans la manière dont ces représentations émergent à travers la profondeur du modèle et varient selon le corpus d'extraction.

Auteurs originaux : Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez qu'à l'intérieur d'un cerveau informatique géant et complexe (un Grand Modèle de Langage), il existe des « cadrans » ou des « boutons » cachés qui contrôlent ce que l'ordinateur ressent à propos de certaines choses. Une étude précédente a découvert ces cadrans dans une IA spécifique appelée Claude. Ils ont découvert que si l'on tourne le cadran du « bonheur », l'IA agit de manière plus joyeuse, et si l'on tourne le cadran de la « tristesse », elle agit de manière plus triste. Encore plus génial, la façon dont ces cadrans sont disposés à l'intérieur du cerveau de l'ordinateur ressemble beaucoup à la façon dont les humains organisent les émotions dans leur propre esprit.

Cette nouvelle publication pose la question suivante : Est-ce simplement une particularité de l'ordinateur Claude, ou d'autres cerveaux d'IA possèdent-ils également ces mêmes cadrans d'émotions cachés ?

Pour le découvrir, les chercheurs ont regardé à l'intérieur de deux cerveaux d'IA différents en open-source : APERTUS-8B et GEMMA-4-E4B. Ils ne se sont pas contentés de regarder ; ils ont essayé d'« écouter » les pensées internes de l'IA pendant qu'elle écrivait des histoires sur différentes émotions (comme la joie, la peur ou la colère) sans jamais réellement prononcer les mots « joie » ou « peur ».

Voici ce qu'ils ont trouvé, résumé simplement :

1. Le cadran du « Bonheur » existe partout

Tout comme dans l'étude originale, ces deux nouveaux cerveaux d'IA possédaient une direction interne claire pour la Valence (si quelque chose est agréable ou désagréable).

L'analogie : Imaginez que vous entriez dans une pièce et voyiez une boussole géante. Dans les trois cerveaux d'IA (Claude, Apertus et Gemma), l'aiguille pointant vers le « Nord » signifiait systématiquement « Bien/Joyeux » et le « Sud » signifiait « Mal/Triste ».
Le résultat : Les chercheurs ont pu trouver cette ligne « Nord-Sud » dans les deux nouveaux modèles avec une très grande précision, prouvant qu'il ne s'agit pas d'un bug ponctuel, mais d'une caractéristique commune de la façon dont ces ordinateurs réfléchissent.

2. Le « Où » est différent (Le voyage compte)

Bien que la boussole « Nord-Sud » existât dans les trois cas, le chemin que l'information empruntait pour y arriver était totalement différent.

GEMMA-4-E4B (L'oiseau de l'aube) : Cette IA a compris la différence entre le bien et le mal très tôt dans son traitement, comme un enfant qui sait immédiatement ce qui est bien ou mal. Cependant, à mesure que l'information voyageait plus profondément dans le cerveau, ce signal clair est devenu flou et a presque disparu vers la fin.
APERTUS-8B (Le tardif) : Cette IA a commencé sans idée claire du « bien vs mal » dans ses premières couches. C'était comme une page blanche. Mais à mesure que l'information se déplaçait plus profondément dans le cerveau (vers la fin), le signal « Bien vs Mal » est soudainement devenu très fort et clair.
La leçon : Deux cerveaux d'IA différents peuvent arriver à la même compréhension émotionnelle, mais ils prennent des routes totalement différentes pour y parvenir. L'un le construit lentement ; l'autre commence avec cela et le perd ensuite.

3. Le cadran de l'« Excitation » est instable

Les chercheurs ont également cherché l'Arousal (le degré d'excitation ou de calme de quelque chose).

Le problème : Ils n'ont pas réussi à trouver un cadran d'« Excitation » cohérent dans ces modèles. Le signal était très faible.
Le rebondissement : La force de ce signal dépendait entièrement de qui écrivait les histoires. Lorsque l'IA lisait des histoires écrites par le modèle GEMMA, le cadran de l'« Excitation » était beaucoup plus clair. Lorsqu'elle lisait des histoires écrites par le modèle APERTUS, le cadran était presque invisible.
L'analogie : C'est comme essayer d'entendre un murmure. Si la personne qui murmure porte un micro spécifique (les histoires de Gemma), vous entendez l'excitation clairement. Si elle utilise un micro différent (les histoires d'Apertus), l'excitation se perd dans le statique. Cela suggère que le contenu des histoires importe plus que le câblage interne de l'IA pour cette émotion spécifique.

4. La Carte vs La Boussole

Les chercheurs ont également vérifié si la « carte » du cerveau de l'IA changeait au fur et à mesure qu'elle traitait l'information.

Ils ont trouvé que la forme globale du monde interne de l'IA (la carte) restait globalement la même du début à la fin.
Cependant, la « Boussole » spécifique (la direction Bien/Mal) continuait de tourner et de changer son orientation à travers les couches.
La leçon : Ce n'est pas parce que la pièce (le cerveau) semble la même que la direction que vous regardez (l'émotion) reste la même.

Résumé

Cette publication confirme que les modèles d'IA possèdent des « vecteurs d'émotion » internes qui ressemblent à la psychologie humaine, mais ils ne les construisent pas tous de la même manière.

Bien vs Mal (Valence) : Trouvé dans tous les modèles, mais construit à différentes étapes du traitement.
Excité vs Calme (Arousal) : Difficile à trouver et dépend fortement du type d'histoires que l'IA lit.

Les auteurs concluent que, bien que nous puissions trouver ces « boutons » émotionnels, nous devons être prudents car les différents modèles les cachent à des endroits différents, et les histoires que nous leur donnons peuvent rendre ces boutons plus difficiles ou plus faciles à trouver. Ils ont rendu leur code et leurs données publics afin que d'autres puissent essayer de trouver ces cadrans dans d'autres cerveaux d'IA.

Résumé technique : « Où les modèles trouvent-ils le bonheur ? Vecteurs d'émotion dans les LLM en open-source »

Énoncé du problème
Des travaux récents de Sofroniew et al. (2026) ont identifié des « vecteurs d'émotion » au sein de l'espace d'activation interne du modèle propriétaire Claude Sonnet 4.5. Il a été découvert que ces vecteurs encodent des concepts émotionnels, influencent causalement le comportement du modèle et présentent une structure géométrique reflétant les cadres psychologiques humains (plus précisément le modèle circumplexe de la valence et de l'éveil de Russell). Cependant, il restait à déterminer si ces découvertes étaient spécifiques au régime d'entraînement unique de Claude ou si elles représentaient une propriété générale des grands modèles de langage (LLM). De plus, l'évolution de ces représentations à travers la profondeur du réseau et l'influence des méthodologies d'extraction (notamment le corpus de récits utilisé) n'avaient pas été explorées. Ce document aborde trois questions fondamentales : (1) Les vecteurs d'émotion sont-ils généralisables aux modèles aux poids ouverts (open-weight) ? (2) Comment l'émergence de la géométrie de la valence varie-t-elle selon les couches du modèle ? (3) Comment le choix du corpus de récits affecte-t-il l'extraction de ces vecteurs ?

Méthodologie
Les auteurs ont répliqué et étendu l'analyse des vecteurs d'émotion sur deux modèles aux poids ouverts : APERTUS-8B (un transformeur de 32 couches avec des poids, des données et un code entièrement ouverts) et GEMMA-4-E4B (un transformeur de 42 couches).

Construction du jeu de données : Suivant Sofroniew et al. (2026), les auteurs ont généré des jeux de données synthétiques contenant 1 539 récits pour chacun des 171 émotions distinctes. Crucialement, ils ont créé deux corpus indépendants : l'un généré par APERTUS-8B et l'autre par GEMMA-4-E4B. Pour chaque émotion, les modèles ont été incités à écrire des récits où les personnages éprouvent l'émotion cible sans la nommer, en s'appuyant sur des indices indirects (actions, sensations physiques, dialogues). Un ensemble fixe de 40 récits neutres a également été généré pour servir de base de référence.
Extraction du vecteur de contraste : Pour chaque émotion et chaque couche, les auteurs ont extrait les activations du flux résiduel (residual stream). Pour isoler les signaux spécifiques à l'émotion des caractéristiques linguistiques générales, ils ont suivi un processus en deux étapes :
- Moyennage des activations à travers les jetons (tokens) et les récits pour former un vecteur brut.
- Projection hors de l'espace sous-jacent « émotion-agnostique » en soustrayant la projection du vecteur brut sur les composantes principales (les $K$ premières) dérivées des 40 récits neutres (expliquant 50 % de la variance neutre).
Analyse :
- PCA et Corrélation : L'Analyse en Composantes Principales (ACP/PCA) a été appliquée aux matrices de contraste. Les deux premières composantes principales (PC1, PC2) ont été corrélées avec les évaluations humaines de valence et d'éveil issues du lexique NRC.
- Similitude inter-couches : L'alignement de noyau centré (CKA - Centered Kernel Alignment) a été utilisé pour mesurer la similitude de représentation entre les couches.
- Stabilité directionnelle : La similitude cosinus a été calculée entre les vecteurs de direction de la valence (l'axe le plus corrélé aux évaluations humaines) à travers les couches adjacentes pour suivre la stabilité.

Contributions clés et résultats

Généralisation des vecteurs d'émotion : L'étude a réussi à récupérer la géométrie de la valence dans les deux modèles aux poids ouverts, démontant que les vecteurs d'émotion ne sont pas uniques à Claude.
- APERTUS-8B : A atteint une corrélation pic PC1–valence de $r = 0,76$ (en utilisant des récits générés par Gemma).
- GEMMA-4-E4B : A atteint un pic de corrélation PC1–valence de $r = 0,83$ (en utilisant des récits générés par Gemma).
- Ces pics approchent ou dépassent le $r = 0,81$ rapporté pour Claude Sonnet 4.5, confirmant la généralité du phénomène à travers différentes architectures.
Trajectoires d'émergence divergentes : Bien que les deux modèles aient atteint des corrélations de pointe similaires, la profondeur à laquelle les représentations de la valence ont émergé diffère considérablement :
- GEMMA-4-E4B : A présenté un encodage précoce suivi d'un effondrement. Les corrélations de valence ont culminé autour de la couche 16 (environ 38 % de la profondeur) puis sont retombées vers zéro dans les couches ultérieures. L'analyse CKA a montré un gradient fluide à travers toutes les couches, suggérant que l'espace de représentation est resté stable même lorsque l'axe spécifique de la valence se dégradait.
- APERTUS-8B : A présenté une émergence tardive. Les corrélations de valence étaient proches de zéro dans la première moitié du réseau, augmentant brusquement après la couche 18 et se stabilisant dans les couches supérieures (culminant entre les couches 23 et 31). L'analyse CKA a révélé une « transition de phase » distincte dans les couches intermédiaires, indiquant une réorganisation de l'espace de représentation.
Éveil dépendant du corpus : L'extraction de l'éveil (PC2) était très sensible au corpus de récits.
- Les deux modèles ont montré un alignement PC2–éveil nettement plus fort lorsqu'ils étaient évalués sur des récits générés par Gemma ( $r$ jusqu'à 0,45) par rapport aux récits générés par Apertus ( $r \le 0,21$ ).
- Cela suggère que les indices linguistiques pertinents pour l'éveil sont inégalement répartis entre les corpus générés, et que le choix du corpus de stimuli est un facteur méthodologique substantiel plutôt qu'un simple détail de mise en œuvre.
Espace stable, axe instable : Les auteurs ont observé un décalage entre la stabilité de l'espace de représentation global (CKA) et la stabilité de l'axe de valence spécifique. Dans GEMMA-4-E4B, l'espace est resté similaire à travers les couches même là où la corrélation de valence s'est effondrée, impliquant que l'information de valence est préservée mais encodée le long d'un axe mouvant.

Signification et affirmations
L'article affirme que des représentations émotionnelles de haut niveau similaires peuvent émerger de différents chemins computationnels au sein des réseaux de neurones. Les conclusions suggèrent que :

Universalité : Les vecteurs d'émotion sont une propriété générale des LLM, et non un artefact de l'entraînement d'un modèle spécifique.
Implications pour l'interprétabilité : Le « où » et le « comment » de l'encodage de l'émotion varient selon l'architecture. Surveiller ou piloter (steering) ces vecteurs nécessite une sélection de couche prudente, car la couche optimale pour l'intervention diffère selon les modèles (précoce pour Gemma, tardive pour Apertus).
Rigueur méthodologique : L'extraction des vecteurs d'émotion est sensible au corpus d'entrée. L'étude souligne que le choix du corpus peut impacter significativement la récupérabilité de dimensions émotionnelles spécifiques (particulièrement l'éveil), nécessitant des ensembles de stimuli diversifiés pour une analyse robuste.

Les auteurs concluent que bien que la géométrie de pointe de l'espace émotionnel soit cohérente, la trajectoire de développement de ces représentations est propre à chaque modèle, ce qui a des implications pour les interventions de pilotage ciblées et la surveillance de la sécurité dans les modèles aux poids ouverts.