💻 computer science

Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models

Cette étude identifie et valide des neurones MLP spécifiques à certaines entités, concentrés dans les premières couches des modèles de langage, qui permettent de moduler de manière causale le rappel de faits en activant ou en supprimant ces cellules.

Auteurs originaux : Itay Yona, Dan Barzilay, Michael Karasik, Mor Geva

Publié 2026-04-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Itay Yona, Dan Barzilay, Michael Karasik, Mor Geva

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Grand Secret des "Cellules Grand-Mère" dans l'IA

Imaginez que les grands modèles de langage (comme ceux qui font fonctionner les chatbots) sont d'immenses bibliothèques remplies de milliards de livres. Quand vous demandez : "Qui est la femme de Barack Obama ?", le modèle ne va pas lire tous les livres un par un. Il doit trouver l'information instantanément.

Les chercheurs se sont posé une question fascinante : Où exactement, dans le cerveau numérique de l'IA, est stockée l'identité d'une personne comme Barack Obama ?

Est-ce que cette information est dispersée un peu partout, comme de la poussière dans une pièce ? Ou existe-t-il un bouton magique unique, une sorte de "commutateur" spécial, qui, une fois activé, réveille instantanément toute la connaissance sur cette personne ?

C'est ce qu'ils appellent l'hypothèse de la "Cellule Grand-Mère" (un terme emprunté à la neuroscience). L'idée est que, tout comme il pourrait exister dans notre cerveau un neurone qui ne s'allume que quand on pense à notre grand-mère, il pourrait exister dans l'IA un seul petit neurone qui gère tout ce qui concerne "Barack Obama".

🔍 La Chasse au Trésor : Comment ils ont cherché

Les chercheurs (Itay Yona et son équipe) ont décidé de jouer aux détectives dans le code de plusieurs modèles d'IA (comme Qwen, Llama, Mistral).

Le Test de la Stabilité : Ils ont posé des milliers de questions sur le même sujet (ex: "L'origine de...", "Le rôle de...", "L'âge de..." Barack Obama) et ont regardé quels petits neurones s'activaient à chaque fois.
La Découverte : Ils ont trouvé que pour beaucoup d'entités populaires, un seul petit neurone (ou un très petit groupe) semblait être le chef d'orchestre. Ce neurone agit comme une étiquette d'identité.
L'Emplacement : Curieusement, ces "boutons magiques" ne sont pas cachés au fond du cerveau de l'IA. Ils sont situés tout au début, dans les premières couches du modèle. C'est comme si l'IA reconnaissait immédiatement "Ah, c'est Obama !" dès les premières secondes de lecture, avant même de commencer à réfléchir à la réponse.

🎮 L'Expérience : Éteindre et Allumer le Bouton

Pour prouver que ce neurone est vraiment important et pas juste une coïncidence, ils ont fait deux expériences de "chirurgie" sur le modèle :

L'Amnésie (Éteindre le bouton) : Ils ont coupé l'alimentation de ce neurone spécifique pour "Barack Obama".
- Résultat : Le modèle est devenu soudainement amnélique pour Obama. Il ne savait plus qui il était, ni sa femme, ni sa présidence. Pourtant, il continuait de parler parfaitement bien pour les autres sujets (comme Donald Trump). C'est comme si vous aviez effacé la fiche d'identité d'une personne dans un fichier informatique, mais que tout le reste du fichier restait intact.
L'Injection (Allumer le bouton) : Ils ont pris un modèle qui ne connaissait pas la réponse (ou qui avait oublié), et ils ont forcé l'activation de ce seul neurone "Obama" au bon moment.
- Résultat : Magie ! Le modèle a retrouvé instantanément la capacité de répondre correctement, même si on lui avait caché le nom dans la question. C'est comme si vous appuyiez sur un interrupteur qui allume toute la lumière de la pièce.

🌍 La Robustesse : Le Nom n'a pas d'Importance

Ce qui est encore plus incroyable, c'est que ce "bouton magique" ne dépend pas de l'orthographe exacte.

Que vous écriviez "Barack Obama", "Barack Obama" (avec une faute), "Obama", ou même le nom en chinois ou en hébreu... c'est le même neurone qui s'allume.

Cela signifie que l'IA ne stocke pas juste une chaîne de lettres. Elle a créé une représentation pure de l'identité. C'est comme si le neurone ne reconnaissait pas le mot "Paris", mais l'essence même de la ville de Paris, peu importe comment on l'appelle.

📉 Les Limites : Ce n'est pas magique pour tout le monde

Il faut nuancer le tableau :

Cela fonctionne très bien pour les entités populaires (les présidents, les grandes villes, les célébrités).
Pour des choses moins connues, ou dans d'autres modèles d'IA (comme Llama ou Mistral), c'est moins clair. Parfois, il faut plusieurs neurones pour faire le travail, et pas un seul.
Le modèle Qwen (un modèle chinois) semblait avoir ces "boutons" beaucoup plus clairement que les autres, comme s'il avait une bibliothèque mieux rangée.

💡 En Résumé : Pourquoi c'est important ?

Cette recherche nous dit que les IA ne sont pas des "boîtes noires" totalement incompréhensibles.

Elles ont des points d'accès précis.
On peut comprendre comment elles se souviennent des faits.
On pourrait, à l'avenir, modifier ces mémoires sans tout casser (par exemple, faire oublier une fausse information à l'IA sans lui faire perdre sa capacité à parler).

C'est un peu comme découvrir que dans une ville immense, chaque citoyen a une adresse postale unique et précise, et non pas une adresse vague dans un quartier entier. Une fois qu'on connaît l'adresse (le neurone), on peut lui envoyer des messages ou lui retirer ses clés très facilement.

En une phrase : Les chercheurs ont prouvé que pour les choses célèbres, l'IA utilise de petits "boutons" spécifiques au début de son cerveau pour se souvenir de qui elles sont, et qu'on peut contrôler ces boutons pour faire oublier ou se souvenir de choses précises.

1. Problématique et Contexte

Les modèles de langage (LLM) sont capables de répondre à de nombreuses questions factuelles centrées sur des entités (ex: "Qui est le président des États-Unis ?"), mais les mécanismes internes responsables de cette récupération de connaissances restent mal compris.
La question centrale est de savoir comment et où l'accès aux faits est ancré lors de l'inférence :

Le modèle construit-il progressivement le sens d'une entité sur de nombreuses couches ?
Ou récupère-t-il une représentation compacte de l'entité via des points d'accès localisés ?

Les auteurs s'inspirent de l'hypothèse de la "cellule grand-mère" en neurosciences (l'idée qu'un neurone unique peut coder un concept complexe) pour proposer l'existence de "cellules d'entité" : des neurones MLP (Multi-Layer Perceptron) clairsemés et sélectifs qui agissent comme des ancres stables pour la récupération factuelle.

2. Méthodologie

L'équipe propose un pipeline de localisation et d'intervention au niveau des neurones pour tester cette hypothèse.

A. Localisation des Cellules d'Entité

Données : Utilisation d'un ensemble de 200 entités populaires issues du dataset PopQA (PopQA-200).
Prompts : Pour chaque entité, des prompts templatisés sont générés (ex: "L'origine de [Entité]", "Le rôle de [Entité]").
Extraction d'Activations : Pour chaque couche $\ell$ et chaque neurone $j$ , l'activation de la projection descendante (down-projection) est extraite à la position du token final de l'entité.
Score de Stabilité : Les activations sont normalisées et un score de stabilité $S_{\ell j}$ $S_{ℓ j}$ est calculé pour identifier les neurones qui s'activent fortement et de manière cohérente à travers les différents prompts d'une même entité.
- Le score favorise une forte activation moyenne et une faible variabilité relative (coefficient de variation).
Candidat : Le neurone $(\ell, j)$ avec le score le plus élevé est désigné comme la "cellule d'entité" candidate.

B. Interventions Causales

Une fois les cellules candidates identifiées, deux interventions sont appliquées pour vérifier leur rôle causal :

Ablation Négative : L'activation du neurone cible est multipliée par un facteur négatif ( $\alpha < 0$ ). Cela teste la nécessité : si le neurone est crucial, le modèle devrait oublier les faits liés à cette entité spécifique.
Injection Contrôlée : L'activation du neurone est réécrite (injection) à une valeur spécifique estimée à partir des prompts d'origine, sur un token placeholder (remplaçant l'entité). Cela teste la suffisance : l'activation d'un seul neurone peut-elle restaurer la connaissance de l'entité ?

C. Modèles Évalués

L'étude porte sur 7 modèles de 5 familles différentes, dont Qwen2.5-7B (Base et Instruct), Qwen3-8B, OLMo-7B, Llama-3.1-8B, Mistral-7B et OpenLLaMA-7B.

3. Résultats Clés

Résultat 1 : Concentration dans les Couches Précoces

Pour la grande majorité des entités (99% dans Qwen2.5-7B), les cellules d'entité les plus stables se trouvent dans les couches précoces (0 à 5). Cela suggère que la représentation de l'identité de l'entité est formée tôt dans le processus de transformation, avant la récupération des faits détaillés.

Résultat 2 : Nécessité Causale (Amnésie Spécifique)

L'ablation négative des cellules localisées provoque une amnésie spécifique à l'entité.

Le modèle perd sa capacité à récupérer des faits sur l'entité cible (ex: Barack Obama) tout en restant fluide et en conservant les connaissances sur d'autres entités de contrôle (ex: Donald Trump).
Sur l'ensemble des 200 entités, 131 neurones ont été identifiés comme "fiables" car leur suppression affecte uniquement l'entité cible sans faire effondrer le modèle.

Résultat 3 : Suffisance Causale (Injection)

L'injection contrôlée d'une seule cellule localisée sur un token placeholder suffit souvent à restaurer la récupération factuelle.

Sur un sous-ensemble d'entités où la réponse est connue, l'injection correcte atteint un taux de réussite (pass@5) de 63,3%, contre près de 0% pour les contrôles (initialisation moyenne ou injection d'une cellule d'une autre entité).
L'utilisation d'un seul neurone (top-1) est souvent suffisante, indiquant que la récupération n'est pas un processus graduel distribué mais peut être déclenchée par un point d'accès unique.

Résultat 4 : Robustesse aux Variations de Surface

Les mêmes cellules sont retrouvées pour des variantes orthographiques, des acronymes (ex: FBI), des fautes de frappe et des formes multilingues d'une même entité.

Cela indique que ces neurones ne codent pas une simple chaîne de tokens, mais une représentation canonique de l'identité de l'entité, robuste aux variations de surface.

Limites et Généralisation

Qwen2.5-7B Base présente les résultats les plus clairs et cohérents.
Le phénomène persiste dans Qwen2.5-7B-Instruct (après l'ajustement par instruction) et dans Qwen3-8B, bien que la preuve causale soit légèrement plus faible.
Pour les autres familles de modèles (Llama, Mistral, OLMo), bien que des cellules candidates puissent être localisées, la validation causale et la robustesse sont beaucoup moins cohérentes, suggérant que l'existence de ces "cellules grand-mère" dépend de l'architecture et des données d'entraînement.

4. Contributions Principales

Validation de l'hypothèse de la cellule grand-mère : Démonstration empirique que des neurones MLP clairsemés et stables agissent comme des points d'accès causaux pour la récupération d'entités dans les LLM.
Localisation et Intervention : Développement d'une méthode pour localiser ces neurones via la stabilité des prompts et valider leur rôle via l'ablation et l'injection.
Cartographie des propriétés : Identification de la concentration précoce (couches 0-5) et de la robustesse aux variations linguistiques comme caractéristiques clés de ces cellules.
Nuance sur la généralité : Démonstration que ce mécanisme est reproductible mais dépendant du modèle, étant plus prononcé dans la famille Qwen.

5. Signification et Impact

Ce travail apporte une compréhension mécaniste profonde de la façon dont les LLM stockent et récupèrent les connaissances factuelles.

Interprétabilité : Il identifie des points d'accès "actionnables" (sparse, causally actionable) pour analyser et moduler le comportement des modèles.
Édition de Modèles : La découverte que l'activation d'un seul neurone peut suffire à récupérer une entité ouvre de nouvelles voies pour l'édition précise de modèles (model editing) sans avoir besoin de réentraîner ou de modifier massivement les poids.
Architecture : Cela remet en question l'idée que la connaissance est purement distribuée et graduelle, suggérant l'existence de "vocabulary latente" d'entités agissant comme des ancres computationnelles.

En résumé, l'article démontre que pour une sous-ensemble significatif d'entités, les LLM possèdent des "cellules grand-mère" numériques : des neurones précoces, stables et causalement puissants qui servent de clés d'accès à la mémoire factuelle.