🤖 machine learning

Geometric Evolution Maps: Extracting Stable Concept Probes from Transformer Residual Streams

Ce papier introduit les Cartes d'Évolution Géométrique (GEM), une méthode qui suit la trajectoire directionnelle des concepts dans les flux résiduels des transformateurs pour identifier des « couches de transfert » stables où les représentations se stabilisent, permettant ainsi d'extraire des sondes de concepts plus fiables que les approches traditionnelles basées sur des couches fixes ou des scores maximaux, et ce à travers des architectures diverses.

Auteurs originaux : James Henry

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : James Henry

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle d'IA de type Transformer comme une immense usine à plusieurs étages, où des idées brutes entrent au rez-de-chaussée et sont traitées étage par étage jusqu'à devenir un produit fini au sommet.

Pendant longtemps, les chercheurs tentant de comprendre ce que l'IA pense (par exemple, si elle comprend la « colère », la « vérité » ou le « danger ») ont suivi une règle simple : Regardez simplement le tout dernier étage. Ils supposaient qu'une fois une idée arrivée à la dernière couche, elle était pleinement formée et stable.

Cet article soutient que cette règle est erronée. C'est comme essayer de comprendre une recette en ne regardant que le plat final dressé, en ignorant le fait que les ingrédients ont été hachés, mélangés, chauffés et remués de manières complètement différentes à chaque étage avant d'arriver là.

Voici une explication simple de ce que l'article a découvert et proposé :

1. Le Problème : Les idées tournent comme des toupies

Les auteurs ont constaté que lorsque l'IA « réfléchit » à un concept (comme l'« ironie » ou la « menace »), la façon dont elle représente cette idée dans sa mémoire interne tourne frénétiquement alors qu'elle monte les étages de l'usine.

L'Analogie : Imaginez un groupe de personnes essayant de former une pyramide humaine. Au bas, elles s'agrippent simplement les unes aux autres et tournent en rond, essayant de trouver leur équilibre. Elles sont partout.
Les Données : L'article a mesuré cette « rotation ». Dans la plupart des cas, la direction de l'idée au début du processus d'assemblage était presque complètement différente (comme pointer vers le Nord par rapport au Sud) de l'endroit où elle a fini.
L'Erreur : Si vous essayez de « sonder » (détecter) l'idée alors qu'elle tourne encore au milieu de l'usine, vous risquez de la capter dans la mauvaise direction. Vous pourriez penser que l'IA réfléchit au « danger » alors qu'elle est en train d'organiser les pièces pour finalement réfléchir au danger.

2. La Solution : La couche de « Passation »

Les auteurs ont introduit une nouvelle méthode appelée Cartes d'Évolution Géométrique (GEM). Au lieu de deviner quel étage observer, les GEM suivent l'idée alors qu'elle monte dans l'usine pour trouver le moment exact où elle cesse de tourner et se verrouille en place.

L'Analogie : Pensez à une course de relais. Les coureurs (les couches) se passent le témoin (le concept) d'avant en arrière. Pendant un moment, le témoin vacille et est passé maladroitement. Mais ensuite, il y a un moment précis — la Passation — où le coureur attrape enfin le témoin, stabilise sa prise et commence à courir en ligne droite.
La Découverte : L'article a révélé que cette « prise stable » se produit à un étage spécifique, qu'ils appellent la Couche de Passation. Une fois que l'idée a franchi cette couche, elle cesse de tourner et reste stable jusqu'au sommet.
Le Résultat : Si vous voulez savoir ce que l'IA pense, vous ne devriez pas regarder tout en haut (où elle pourrait avoir dérivé) ni au milieu (où elle tourne encore). Vous devriez regarder exactement à la Couche de Passation, là où l'idée s'est installée dans sa forme finale et stable.

3. Tester la Théorie

Les chercheurs ont testé cela sur 23 modèles d'IA différents (allant de très petits à très grands) et 17 types de concepts différents (comme l'« ironie », l'« urgence », la « tromperie », etc.).

La Comparaison : Ils ont comparé leur nouvelle méthode de « Passation » à l'ancienne méthode du « Pic » (regarder l'étage où l'idée semblait la plus forte, même si elle tournait encore).
Le Résultat : La méthode de Passation était meilleure dans 68 % des cas. Dans de nombreux cas, elle était nettement plus précise.
La Limite : Elle fonctionne mieux dans les grands modèles. Dans les très petits modèles, la « rotation » est parfois si chaotique ou l'usine si courte que l'idée n'a pas le temps de se stabiliser correctement avant d'atteindre le sommet.

4. Règles Spéciales pour Différents Types d'Usines

L'article a noté que différents types d'usines d'IA se comportent différemment :

Usines Standard (MHA) : Elles ont presque toujours une couche de « Passation » claire où l'idée se stabilise. La nouvelle méthode fonctionne très bien ici.
Usines Groupées (GQA) : Elles ont une structure interne plus complexe. Elles se stabilisent parfois plus tôt ou se comportent différemment, de sorte que la méthode de « Passation » est moins dominante mais toujours utile.
La Règle « Près du Sommet » : Parfois, l'idée se stabilise si tard qu'elle est presque tout en haut. Si vous essayez de vérifier l'idée là, vous risquez de la mélanger accidentellement avec l'étape finale d'« emballage » (se préparer à parler). Les auteurs ont créé une règle spéciale pour gérer ces cas rares, afin d'éviter qu'ils ne soient confondus par le processus d'emballage.

5. Ce Que Cela Signifie (et Ce Que Cela Ne Signifie Pas)

Ce que cela prouve : L'article prouve que les concepts de l'IA ne sont pas statiques ; ce sont des processus dynamiques qui se déplacent et tournent avant de se stabiliser. Pour les comprendre, vous devez trouver le moment où ils cessent de bouger.
Ce que cela ne prétend pas : L'article ne prétend pas que cela rend l'IA plus sûre, ou que nous pouvons désormais contrôler parfaitement le comportement de l'IA. Il fournit simplement un meilleur « microscope » pour voir où les pensées de l'IA sont réellement stables.
Un Échec : L'article admet qu'un petit modèle spécifique (gpt2) a enfreint les règles. Dans cette toute petite usine, la « Passation » s'est produite si près du sommet que la méthode a été confondue par le processus d'emballage. C'est une limitation connue, et non un défaut de la théorie générale.

Résumé

Imaginez le cerveau de l'IA comme une rivière. L'ancienne façon de l'étudier consistait à regarder l'océan où la rivière se termine, en supposant que l'eau était calme. Cet article dit : « Non, l'eau tourbillonne et tourne tout le long du parcours. »

La Carte d'Évolution Géométrique est comme un capteur qui flotte le long de la rivière, attendant le moment exact où l'eau cesse de tourbillonner et coule droit. Une fois qu'elle trouve cet endroit calme (la Couche de Passation), elle prend une photo. Cette photo est une image beaucoup plus claire et plus précise de ce que l'IA pense réellement que n'importe quelle photo prise au sommet ou au fond.

Résumé technique : Cartes d'évolution géométrique (GEM)

Énoncé du problème

Les sondes linéaires extraites des flux résiduels des transformateurs ne sont fiables que dans la mesure où elles proviennent de la couche spécifique à partir de laquelle elles sont extraites. La littérature actuelle repose sur trois heuristiques naïves pour la sélection de couches : sonder la dernière couche, sonder la couche présentant le score de séparation maximal, ou sonder une couche fixe située au milieu ou vers la fin.

L'article soutient que ces approches échouent à prendre en compte une réalité structurelle fondamentale : les représentations de concepts dans les flux résiduels des transformateurs ne sont pas statiques. Elles émergent progressivement, subissent une rotation directionnelle substantielle durant leur phase d'assemblage (au sein de la Zone d'Allocation de Concept ou CAZ), et ne se stabilisent dans une direction fixe qu'à une « couche de transfert » caractéristique, située après la CAZ principale. Sonder au pic de séparation (qui se produit à l'intérieur de la CAZ) ou à l'entrée de la CAZ extrait une direction qui n'est pas encore stabilisée, conduisant à des sondes de concepts peu fiables.

Méthodologie : Cartes d'évolution géométrique (GEM)

L'article introduit les Cartes d'évolution géométrique (GEM), une méthode permettant de suivre la trajectoire directionnelle complète d'un concept à travers les activations du flux résiduel afin d'identifier la couche précise où la direction du concept se stabilise.

Définitions fondamentales

Direction du concept ( $u^{(l)}$ ) : À chaque couche $l$ , la direction dominante du concept est définie comme la différence normalisée en $L_2$ entre les moyennes des activations du flux résiduel des paires contrastives positives et négatives (Différence des Moyennes).
Vitesse angulaire ( $\omega^{(l)}$ ) : Le taux de changement directionnel est calculé comme $\omega^{(l)} = 1 - |u^{(l)} \cdot u^{(l-1)}|$ . Une vitesse élevée indique une rotation active ; une vitesse faible indique une stabilité.
Zone d'Allocation de Concept (CAZ) : La plage de couches où un concept subit son événement de séparation principal, détecté via des scores de séparation normalisés par Fisher.
Couche de transfert ( $L_H$ ) : Définie opérationnellement comme la première couche immédiatement suivant la fin de la CAZ où la vitesse angulaire chute en dessous d'un seuil ( $\epsilon = 0.05$ ). C'est la couche où la direction du concept se « verrouille ».
Son stabilisée : La sonde extraite est le vecteur unitaire $u^{(L_H)}$ à la couche de transfert.

Règle de largeur adaptative

Lors de l'évaluation des sondes par ablation, l'article introduit une règle de largeur adaptative ( $w$ ). Par défaut, on ablate 3 couches consécutives commençant à $L_H$ . Cependant, pour les transferts proches de la dernière couche ( $L_H/N > 0.85$ ), l'ablation de 3 couches risque de s'étendre dans la zone de préparation à la déembedding, diluant ainsi le signal. Pour ces cas, la règle fixe $w=1$ afin d'extraire la direction exactement au point de convergence.

Contributions clés

Formalisation des GEM : Une méthode traitable pour calculer la couche de transfert et extraire la direction stabilisée du concept.
Validation empirique de la rotation : Démonstration que les directions de concepts subissent une rotation substantielle durant l'assemblage. Sur 391 paires concept $\times$ modèle (23 modèles, 17 concepts), le Cosinus Entrée-Sortie (EEC) moyen au sein des CAZ est de 0,233, avec 93,9 % des paires montrant un EEC < 0,5. Cela confirme que sonder à l'entrée de la CAZ ou au pic de séparation capture une direction orthogonale à l'état stabilisé final.
Supériorité des sondes de transfert : Les sondes extraites par GEM sont au moins aussi précises que les sondes de couche maximale dans 68,5 % (268/391) des essais et surpassent strictement dans 66,2 % (259/391). Un test de rang signé de Wilcoxon sur les proportions par modèle confirme la significativité ( $p=0,010$ ; $p=0,0036$ en excluant gpt2).
Résultats spécifiques à l'architecture :
- MHA vs GQA : Les modèles MHA privilégient la couche de transfert dans 78,3 % des essais, tandis que les modèles GQA ne le font que dans 47,1 %.
- Échelle : La structure GEM existe même dans les modèles de 70 M, mais la qualité de la sonde s'améliore significativement dans la gamme >500 M.
Contrôle de spécificité directionnelle : L'ablation de la direction spécifique du concept supprime la séparation à un taux médian 377 fois supérieur à celui de l'ablation de direction aléatoire (45,6 % contre 0,24 %), confirmant que l'effet est porté par la direction du concept elle-même, et non simplement par la profondeur.
Contrôle apparié en profondeur : Une expérience de contrôle comparant GEM à une couche non stabilisée à la même profondeur relative a confirmé que le critère de stabilisation contribue à une suppression de séparation supplémentaire de +32,5 points de pourcentage, écartant la profondeur d'extraction comme seul moteur.
Modes de défaillance structurés :
- gpt2 : Identifié comme un véritable mode de défaillance où l'ablation à la couche de transfert (due à la proximité de la déembedding dans un modèle de 12 couches) augmente pathologiquement la séparation.
- OPT-6.7b : A initialement semblé être une défaillance dans un corpus plus petit (amélioration de 41 %) mais a atteint une amélioration de 76 % à $N=250$ , indiquant que la découverte initiale dépendait de la taille du corpus.

Résultats et observations

Profondeur de transfert : La plupart des concepts se stabilisent dans les 15 à 30 % finaux de la profondeur du modèle. Les concepts liés à la sécurité et épistémiques (par exemple, threat_severity, certainty) transfèrent plus profondément (profondeur relative moyenne $\ge$ 0,86), tandis que les concepts syntaxiques (par exemple, specificity, plurality) transfèrent plus tôt.
Structure de relais : Les expériences d'ablation multi-nœuds sur pythia-6.9b révèlent que les concepts existent souvent dans un relais causal. Le nœud GEM le plus profond est le point d'intervention causalement le plus concentré, mais les nœuds peu profonds sont causalement en amont (une perturbation croisée a été observée dans 9 des 15 concepts multi-nœuds).
Efficacité de la règle adaptative : La règle proche de la fin ( $w=1$ ) améliore la qualité de la sonde dans 75,9 % des cas déclenchés (60/79), avec un gain moyen de +7,44 points de pourcentage pour ces cas.

Importance et affirmations

L'article affirme que GEM fournit la méthodologie d'extraction sous-jacente aux articles CAZ Validation et PRH dans ce programme de recherche. Son importance principale réside dans :

Correction de l'extraction de sondes : Établir que la direction « stabilisée » à la couche de transfert est la représentation géométriquement précise d'un concept, supérieure aux directions transitoires trouvées aux pics de séparation.
Cartographie des dynamiques d'assemblage : Fournir une méthode pour visualiser et quantifier la « rotation » des concepts, révélant que les concepts ne sont pas statiques mais subissent un processus d'assemblage dynamique avant de se stabiliser.
Caractérisation causale : Démontrer que GEM identifie les points les plus accessibles dans un relais causal pour l'intervention, bien qu'il ne prétende pas capturer l'intégralité du codage du concept (qui reste distribué).

L'article reste modeste quant à son périmètre : il ne prétend pas expliquer le mécanisme complet du codage des concepts (par exemple, les contributions spécifiques des sous-couches d'attention par rapport aux MLP) ni prétend capturer toutes les informations des concepts, seulement les « pics » de la distribution où le signal est suffisamment grand pour être isolé et testé. Il note explicitement que l'ablation comportementale (mesurant les changements de sortie en aval) est conçue mais n'a pas encore été exécutée à grande échelle.