💬 NLP

From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

Cette étude démontre que la géométrie sémantique des états internes des grands modèles de langage est plus fidèlement récupérable à partir de comportements de choix forcé que d'associations libres, prouvant que les mesures comportementales contiennent des informations prédictives sur les représentations cognitives internes au-delà des simples bases lexicales.

Auteurs originaux : Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz Günther

Publié 2026-02-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz Günther

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Grand Défi : Voir à l'intérieur de la "Tête" de l'IA

Imaginez que vous avez un robot très intelligent (un Grand Modèle de Langage ou LLM) qui parle parfaitement le français. Vous lui posez des questions, et il répond. Mais comment fonctionne-t-il vraiment à l'intérieur ?

C'est un peu comme essayer de comprendre la cuisine d'un grand chef en regardant seulement le plat final servi sur la table. Vous voyez le résultat (le comportement), mais vous ne voyez pas les ingrédients, les épices ou les techniques secrètes utilisées dans la cuisine (les états cachés ou "hidden states" du modèle).

Habituellement, pour comprendre la "cuisine" d'un humain, les psychologues utilisent des jeux de mots (comme "qu'est-ce qui vous vient à l'esprit quand je dis 'chien' ?"). Cette étude se demande : Peut-on deviner la "cuisine" interne d'une IA simplement en regardant ses réponses à ces jeux de mots ?

🎮 Les Deux Jeux de Mots

Les chercheurs ont fait jouer 8 intelligences artificielles différentes à deux types de jeux avec un vocabulaire de 5 000 mots :

Le Jeu de l'Association Libre (Free Association) :
- L'analogie : C'est comme un jeu de "mot à mot" où l'IA doit dire tout ce qui lui passe par la tête.
- Exemple : Si on dit "Chien", l'IA peut dire "Chat", "Os", "Promenade", "Mouton"...
- Le problème : C'est très libre, donc les réponses sont très variées et parfois un peu chaotiques. C'est comme essayer de dessiner un portrait en regardant un feu d'artifice : c'est beau, mais difficile à capturer.
Le Jeu du Choix Forcé (Forced Choice) :
- L'analogie : C'est un quiz à choix multiples. On donne un mot (ex: "Chien") et une liste de 16 mots, et l'IA doit choisir exactement deux qui sont les plus proches.
- Exemple : Parmi "Banane, Violon, Chat, Voiture...", l'IA choisit "Chat" et "Os".
- L'avantage : C'est plus contraint, plus précis. C'est comme si on demandait au chef de choisir ses deux meilleurs ingrédients parmi une liste donnée.

🔍 La Grande Découverte : Le "Radar" des Réponses

Les chercheurs ont comparé deux choses pour chaque IA :

La carte des réponses (ce que l'IA dit dans les jeux).
La carte interne (ce qui se passe réellement dans les couches de neurones de l'IA, comme une radiographie de son cerveau).

Le résultat surprenant :

Le jeu de Choix Forcé fonctionne comme un radar très précis. Les réponses de l'IA dans ce jeu correspondent énormément à ce qui se passe dans son cerveau interne. On peut presque "lire" la structure de sa pensée juste en regardant ses choix.
Le jeu d'Association Libre est beaucoup plus bruyant et flou. Il donne une idée générale, mais il est difficile de reconstruire la structure interne précise de l'IA à partir de ces réponses libres.

L'image clé : Imaginez que vous voulez comprendre la géographie d'une île.

L'Association Libre, c'est comme regarder des photos prises par des touristes qui marchent au hasard : vous voyez des coins, mais la carte globale est floue.

Le Choix Forcé, c'est comme un satellite qui prend des photos précises de points spécifiques : vous pouvez reconstruire la carte exacte de l'île (la structure interne de l'IA) avec une grande précision.

🏆 Pourquoi est-ce important ?

On peut "lire" les IA sans les ouvrir : Souvent, on ne peut pas voir l'intérieur d'une IA (c'est une "boîte noire"). Cette étude montre que si on utilise le bon type de questions (le choix forcé), on peut deviner comment l'IA organise ses connaissances, même sans avoir accès à son code interne.
La précision compte : Cela prouve que la façon dont on pose les questions change tout. Une question ouverte ("Dis-moi tout") est moins utile pour comprendre la structure profonde qu'une question fermée ("Choisis parmi ces options").
Un pont entre humains et machines : Cela confirme que les IA, tout comme les humains, ont une structure logique cachée derrière leurs mots. Et on peut la découvrir en observant comment elles réagissent à des contraintes précises.

En résumé

Cette recherche nous dit que pour comprendre comment une intelligence artificielle "pense" vraiment, il ne suffit pas de lui laisser la parole librement. Il faut la mettre au défi avec des choix précis. C'est en la forçant à faire des distinctions claires que l'on révèle la véritable architecture de son esprit numérique.

C'est comme si on découvrait que pour connaître la personnalité d'une personne, il ne faut pas seulement lui demander "de quoi rêvez-vous ?", mais plutôt lui donner un test de personnalité avec des choix précis : c'est là que la vérité se cache !

1. Problématique et Contexte

La recherche en sciences cognitives traite souvent la connaissance sémantique comme une structure latente inaccessible directement, qu'il faut inférer à travers le comportement (par exemple, via des tâches d'association de mots). Récemment, les Grands Modèles de Langage (LLM) sont utilisés comme « participants » dans ces paradigmes pour générer des normes sémantiques comparables à celles des humains.

Cependant, une question fondamentale reste ouverte : le comportement d'un LLM (ses réponses discrètes) révèle-t-il la structure de ses représentations internes (ses états cachés) ? Contrairement aux humains, dans les LLM, nous avons accès à la fois au comportement et aux états internes. L'objectif de cette étude est de déterminer dans quelle mesure la géométrie sémantique dérivée du comportement (via des tâches psycholinguistiques) correspond à la géométrie des états cachés (hidden-states) des couches du modèle, et si l'on peut reconstruire cette géométrie interne uniquement à partir des sorties comportementales.

2. Méthodologie

Les auteurs ont conçu une expérience à grande échelle impliquant 8 modèles transformateurs instructés (Falcon3, Gemma-2, Llama-3.1, Mistral, Phi-4, Qwen2.5, rnj-1) et un vocabulaire partagé de 5 000 noms.

A. Collecte de données comportementales

Deux paradigmes psycholinguistiques ont été appliqués pour construire des matrices de similarité comportementale ( $S_{beh}$ ) :

Choix Forcé (Forced Choice - FC) : Pour chaque mot indice, le modèle doit sélectionner 2 mots parmi 16 candidats proposés. Cela génère une matrice de comptage réponse-indice ( $B_{FC}$ ).
Association Libre (Free Association - FA) : Pour chaque mot indice, le modèle doit générer 5 mots associés. Cela génère une matrice $B_{FA}$ .

Volume : Plus de 17,5 millions d'essais au total.
Traitement : Les matrices de comptage sont repondérées par l'Information Mutuelle Ponctuelle Positive (PPMI) pour atténuer les biais de fréquence, puis converties en matrices de similarité par cosinus.

B. Extraction des états cachés

Pour le même vocabulaire, les auteurs extraient les représentations des mots à chaque couche $\ell$ du modèle selon quatre stratégies de contexte :

Averaged : Moyenne des états cachés sur 50 phrases naturelles (corpus C4).
Meaning : Prompt fixe « Quelle est la signification du mot {w} ? ».
Task (FC) : Le mot est inséré dans le prompt de la tâche de choix forcé (sans la liste des candidats).
Task (FA) : Le mot est inséré dans le prompt de la tâche d'association libre.

Les vecteurs sont centrés en moyenne (mean-centered) pour corriger l'anisotropie des espaces vectoriels avant le calcul de similarité ( $S_{hid}^\ell$ ).

C. Analyse et Comparaison

Trois méthodes d'évaluation sont utilisées pour comparer la géométrie comportementale ( $S_{beh}$ ) et la géométrie interne ( $S_{hid}$ ) :

Analyse de Similarité Représentationnelle (RSA) : Calcul de la corrélation de Pearson entre les structures de similarité par paires des deux espaces.
Chevauchement des Voisins les Plus Proches (Nearest-Neighbor Overlap - NN@k) : Mesure de la cohérence locale des voisins dans les espaces.
Régression Ridge sur Mots de Test (Held-out-words) : Prédiction des similarités d'états cachés d'un modèle cible à partir de similarités comportementales et de baselines lexicales (FastText, BERT, consensus inter-modèles), sur un ensemble de mots non vus lors de l'entraînement.

3. Résultats Clés

A. Alignement Choix Forcé vs Association Libre

Le Choix Forcé (FC) aligne significativement mieux la géométrie comportementale avec la géométrie des états cachés que l'Association Libre (FA).
RSA Moyenne (FC) : $r \approx 0,46$ (avec des stratégies d'extraction alignées sur la tâche) contre $r \approx 0,19$ pour la FA.
Interprétation : La contrainte du choix forcé concentre les observations sur un support commun, réduisant le bruit et augmentant le rapport signal/bruit pour la reconstruction de la structure géométrique. L'association libre, plus dispersée et à queue lourde, est plus difficile à mapper.

B. Impact de la Stratégie d'Extraction et de la Profondeur

L'alignement varie selon la couche du modèle et le contexte d'extraction.
Les stratégies alignées sur la tâche (Task FC/FA) et Meaning montrent un pic d'alignement dans les couches intermédiaires précoces (environ couches 10-12).
La stratégie Averaged (moyenne sur contextes naturels) décale le pic d'alignement vers les couches plus profondes (vers la couche 40+), suggérant que les contextes naturels diluent le signal sémantique pur au profit de structures plus complexes.

C. Prédictibilité et Généralisation

Dans la régression ridge sur mots de test, l'ajout de la similarité comportementale (surtout FC) améliore la prédiction des similarités d'états cachés au-delà des baselines lexicales (FastText, BERT) et du consensus inter-modèles.
Gain de performance : L'ajout de FC augmente le $R^2$ moyen de +0,022, tandis que FA n'apporte qu'un gain négligeable (+0,002).
Cela démontre que les mesures purement comportementales conservent une information récupérable sur l'organisation sémantique interne, même sans accès aux logits.

D. Consensus Inter-Modèles

La similarité partagée entre différents modèles (consensus) est un prédicteur très fort ( $r \approx 0,80$ ), confirmant l'hypothèse d'un sous-espace sémantique « universel » ou « platonique » commun aux LLM.

4. Contributions Principales

Alignement Comportement-Activation : Preuve empirique que la géométrie sémantique dérivée du comportement (surtout via le choix forcé) correspond fortement à la géométrie des états cachés internes, validant l'idée que le comportement contraint et révèle les états internes.
Prédictibilité depuis le Comportement : Démonstration qu'il est possible de prédire les similarités d'états cachés non observés à partir de données comportementales seules, surpassant les modèles lexicaux statiques.
Ressource de Données : Publication d'un jeu de données massif (17,5M+ essais) couvrant deux paradigmes sur 8 modèles, ainsi que du code complet pour la reproductibilité.

5. Signification et Implications

Pour la Science Cognitive : L'étude valide l'hypothèse fondamentale selon laquelle les structures comportementales sont contraintes par les états internes. Elle suggère que les tâches comportementales bien conçues (comme le choix forcé) agissent comme des instruments de mesure capables de « sonder » l'espace sémantique interne d'un modèle, même en mode boîte noire.
Pour l'Interprétabilité des LLM : Cela offre une méthode pour inférer la structure sémantique interne d'un modèle sans avoir besoin d'accéder à ses poids ou à ses logits, ce qui est crucial pour l'audit de modèles propriétaires.
Limites : Les résultats sont limités aux noms fréquents en anglais et aux modèles instructés. La nature corrélative de l'étude ne prouve pas la causalité directe (bien que l'alignement soit fort).

En conclusion, cet article établit un pont quantitatif robuste entre le comportement observable des LLM et leur architecture interne, montrant que des tâches psycholinguistiques contrôlées peuvent révéler la géométrie sémantique cachée des modèles de langage.