🤖 machine learning

Causal Dimensionality of Transformer Representations: Measurement, Scaling, and Layer Structure

Ce papier introduit la « dimensionnalité causale » (kappa) en tant que métrique intrinsèque au modèle quantifiant le rang effectif de l'influence causale d'une couche de transformateur, révélant que, tandis que la capacité de représentation évolue linéairement avec la largeur d'un autoencodeur parcimonieux, la capacité causale sature à un niveau sous-linéaire qui reste invariant à la taille du modèle et présente des motifs structurels distincts à travers la profondeur du réseau.

Auteurs originaux : Nilesh Sarkar, Dawar Jyoti Deka

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nilesh Sarkar, Dawar Jyoti Deka

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une usine massive et complexe (le modèle d'IA) qui reçoit des matières premières (du texte) et produit un produit fini (une réponse). À l'intérieur de cette usine, des milliers d'ouvriers (neurones) échangent des notes entre eux. Depuis longtemps, les chercheurs tentent de comprendre cette usine en attribuant une étiquette nominative à chaque ouvrier, espérant ainsi voir qui fait quoi.

Ce papier présente une nouvelle méthode pour compter combien d'ouvriers sont réellement essentiels à la production de l'usine, révélant un écart surprenant entre le nombre d'ouvriers qui existent et le nombre de ceux qui comptent.

Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. Le problème de l'« étiquette nominative » (SAE)

Les chercheurs utilisent un outil appelé Autoencodeur Épars (SAE). Imaginez cela comme un dictionnaire géant qui tente d'attribuer une étiquette nominative unique à chaque « pensée » ou « caractéristique » distincte de l'IA.

L'ancienne hypothèse : Si vous agrandissez le dictionnaire (ajoutez plus d'étiquettes), vous supposez découvrir davantage de choses importantes qui modifient réellement la réponse de l'IA.
La réalité : Les auteurs ont testé cela en rendant le dictionnaire 64 fois plus grand. Ils ont constaté que, tandis que le nombre d'étiquettes (caractéristiques qui s'activent) explosait par un facteur de 15,6, le nombre de caractéristiques réellement importantes (celles dont la suppression modifierait la réponse de l'IA) ne croissait que d'un facteur de 4,35.

L'analogie : Imaginez une bibliothèque. Si vous doublez la taille de la bibliothèque, vous doublez le nombre de livres (capacité de représentation). Mais les auteurs ont découvert que même si vous rendez la bibliothèque 64 fois plus grande, le nombre de livres contenant réellement le « code secret » pour résoudre une énigme spécifique ne croît que légèrement. La plupart des nouveaux livres ne sont que des variations des mêmes vieilles histoires.

2. Le « coin causal »

Les auteurs appellent cet écart le Coin Représentationnel-Causal.

Représentationnel : Combien d'« idées » différentes l'IA peut contenir dans sa tête.
Causal : Combien de ces idées pilotent réellement la décision finale.
La découverte : L'IA peut contenir un nombre massif d'idées, mais seule une infime fraction d'entre elles sont les « patrons » qui tirent réellement les leviers pour prendre la décision finale. Le reste n'est que du « bruit de fond » ou des copies redondantes.

3. Le « nombre magique » (Dimensionnalité causale)

Le papier définit un nombre spécifique, $\kappa$ (kappa), qui représente le vrai nombre d'idées de « patron » dans une couche spécifique de l'IA.

La découverte : Ils ont calculé ce nombre pour une IA de 2 milliards de paramètres et l'ont trouvé autour de 1 990.
La surprise : Ce nombre est intrinsèque. Peu importe si vous rendez l'IA 3,5 fois plus grande (de 2 à 9 milliards de paramètres), le nombre d'idées de « patron » reste exactement le même.
L'analogie : Imaginez un groupe de 2 personnes et un orchestre de 100 personnes jouant la même chanson. L'orchestre de 100 personnes possède plus d'instruments (paramètres), mais ils ne font qu'interpréter les mêmes 3 mélodies de base plus fort et avec plus d'harmonie. Le nombre de mélodies uniques (dimensionnalité causale) n'a pas changé ; ils ont simplement plus de musiciens pour les jouer.

4. L'effet de « creusement »

À mesure que vous allez plus profondément dans l'IA (de la première couche à la dernière), le « volume » du signal diminue.

La découverte : Le signal nécessaire pour identifier une caractéristique importante devient 20 fois plus faible à mesure que l'on s'enfonce dans le réseau.
L'analogie : Imaginez un jeu de « Téléphone arabe ». La première personne parle fort. Au moment où le message atteint la dernière personne, ce n'est plus qu'un chuchotement. Si vous utilisez un microphone réglé sur « fort » pour écouter à la fin, vous penserez que personne ne parle. Vous devez augmenter considérablement la sensibilité pour entendre les parties importantes dans les couches profondes.

5. Le « filtre » contre le « sélecteur » (Un grand retournement)

Le papier a testé ce qui se passe si vous remplacez le « encodeur » de l'IA (la partie qui décide quelles caractéristiques activer) par un encodeur aléatoire et désordonné.

Le résultat : Lorsqu'ils ont utilisé un encodeur aléatoire, le nombre de caractéristiques « importantes » a explosé par un facteur de 9.
La conclusion : L'encodeur entraîné n'est pas un « sélecteur » choisissant les meilleures caractéristiques. C'est un filtre (ou un suppresseur). Son travail principal est de désactiver le bruit de fond.
L'analogie : Imaginez l'encodeur comme un videur dans une boîte de nuit. Vous pourriez penser que le videur est là pour choisir les gens « cool » (caractéristiques) à laisser entrer. Mais ce papier montre que le videur est en fait là pour empêcher la foule d'entrer. Si vous enlevez le videur (en utilisant un encodeur aléatoire), la boîte devient chaotique et surpeuplée de gens qui n'ont pas leur place. Les gens « cool » étaient toujours là ; le videur s'assurait simplement que le bruit ne les noyait pas.

Résumé de ce que cela signifie

Plus de taille $\neq$ plus de complexité : Rendre les modèles d'IA plus grands ne leur donne pas nécessairement plus de « types » de pensée ; cela leur donne simplement plus de façons de dire les mêmes choses.
Le nombre de « patrons » est fixe : Il existe une limite stricte au nombre de concepts de « patrons » indépendants qu'une couche peut gérer, quelle que soit la taille du modèle.
L'interprétabilité nécessite un nouveau focus : Si vous voulez comprendre comment une IA pense, ne cherchez pas seulement les caractéristiques les plus « bruyantes ». Vous devez examiner comment le système filtre le bruit, car c'est là que réside la véritable structure.

Le papier conclut que nous disposons d'une nouvelle méthode mesurable pour compter la véritable « capacité de pensée » d'une couche d'IA, et il s'avère que cette capacité est beaucoup plus petite et plus stable que nous ne le pensions auparavant.

Résumé Technique : Dimensionnalité Causale des Représentations de Transformateurs

Énoncé du Problème

Les Autoencodeurs Sparse (SAE) sont devenus l'outil standard pour décomposer les flux résiduels des transformateurs en dictionnaires de caractéristiques interprétables et monosémantiques. Une hypothèse prédominante dans le domaine postule que la capacité de représentation (le nombre de caractéristiques qui s'activent sur n'importe quelle entrée) évolue linéairement avec la capacité causale (le nombre de caractéristiques dont la perturbation modifie effectivement le comportement du modèle). Si cela était vrai, augmenter simplement la largeur des SAE étendrait proportionnellement l'ensemble des caractéristiques causalement pertinentes disponibles pour l'interprétabilité mécaniste.

Ce travail remet en question cette hypothèse, soutenant que les capacités de représentation et causales divergent considérablement à mesure que les SAE s'agrandissent. Les auteurs postulent que le domaine manque d'une caractérisation systématique de la relation entre la largeur des SAE et l'influence causale, ce qui nécessite une nouvelle métrique pour quantifier la structure causale intrinsèque des couches de transformateurs.

Méthodologie

1. Définition de la Dimensionnalité Causale ( $\kappa$ )

Les auteurs introduisent la dimensionnalité causale, notée $\kappa(L, M, T)$ , définie comme le rang effectif du produit extérieur de l'espérance du Jacobien à la couche $L$ :
$\kappa(L, M, T) = \text{eff-rang}(\Sigma_L), \quad \text{où } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$
Ici, $J_L(x)$ est le Jacobien de la sortie du modèle par rapport au flux résiduel à la couche $L$ . $\kappa$ représente le nombre effectif de directions dans le flux résiduel qui influencent causalement la sortie. Les auteurs prouvent que $\kappa \le \min(d, |V|)$ , où $d$ est la dimension du modèle et $|V|$ la taille du vocabulaire.

2. Estimation par Balayage de Largeur de SAE et Patching d'Attribution

Puisque le calcul exact de $\Sigma_L$ est intraitable (nécessitant $d$ passes arrière par entrée), les auteurs proposent un estimateur cohérent utilisant le Patching d'Attribution (AtP) couplé à un balayage de largeur de SAE :

Patching d'Attribution : Utilisé comme proxy du premier ordre de l'influence causale. Le score pour une caractéristique $i$ est $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$ , mesurant l'impact de la caractéristique sur la perte.
Balayage de Largeur : Les auteurs entraînent des SAE sur Gemma-2-2B (Couche 12) sur sept largeurs allant de 16 384 à 1 048 576 caractéristiques.
Métrique : Ils comptent le nombre de caractéristiques $N_{causal}(m)$ qui dépassent un seuil absolu calibré $\epsilon$ (fixé au 98e percentile des scores AtP à la largeur de référence).
Cohérence : Sous les hypothèses de couverture, de fidélité et d'absence de caractéristiques mortes, $N_{causal}(m)$ converge vers un comptage spectral qui borne inférieurement $\kappa$ .

3. Contrôles Expérimentaux

L'étude emploie des contrôles rigoureux pour isoler le signal causal :

$\ell_0$ Apparié : Contrôle du nombre moyen de caractéristiques actives à travers les largeurs pour éviter les confusions dues à la dérive de la parcimonie.
Invariance d'Échelle : Comparaison de Gemma-2-2B et Gemma-2-9B à des profondeurs relatives appariées.
Invariance Architecturale : Tests sur des SAE TopK, JumpReLU et ReLU standard.
Ablations : Une ablation encodeur/décodeur à quatre cellules pour distinguer la sélection de caractéristiques du filtrage de parcimonie.
Vérité Terrain Synthétique : Test de la récupération de directions causales connues dans un modèle jouet.

Résultats Clés

1. Le Coin Représentationnel–Causal

Sur la Couche 12 de Gemma-2-2B, l'augmentation de la largeur du SAE par un facteur 64× (de 16k à 1M) a entraîné :

Croissance Représentationnelle : Le nombre de caractéristiques s'activant ( $N_{repr}$ ) a augmenté de 15,6×.
Croissance Causale : Le nombre de caractéristiques causalement actives ( $N_{causal}$ ) n'a augmenté que de 4,35×.
Cette divergence, qualifiée de coin représentationnel–causal, démontre que la capacité de représentation croît linéairement tandis que la capacité causale sature de manière sous-linéaire.

2. Estimation de $\kappa$

L'ajustement d'une courbe de saturation à la trajectoire $N_{causal}(m)$ donne une estimation de la dimensionnalité causale :

$\hat{\kappa} \approx 1\,990$ (avec un large intervalle de confiance dû aux limites matérielles sur la largeur des SAE, mais un ratio robuste).
$\hat{\kappa} / d_{modèle} \approx 0,86$ : Le modèle utilise presque toutes ses dimensions de représentation de manière causale sur du texte générique, mais ce nombre est borné et ne croît pas avec la largeur du SAE.
Rapport de Participation : Une borne inférieure $\kappa_{PR} \approx 280$ indique un spectre à queue lourde de l'influence causale.

3. Invariance et Structure

Invariance d'Échelle : Malgré une augmentation de 3,46× des paramètres (Gemma-2-2B vs 9B), le comptage causal à la profondeur relative appariée est resté identique ( $N_{causal} = 328$ ). Cela suggère que $\kappa$ est déterminé par la diversité des tâches, et non par le nombre de paramètres.
Atténuation par la Profondeur : Sur huit couches, le seuil d'attribution absolu requis pour identifier les 2 % des meilleures caractéristiques a chuté de 20× de la Couche 1 à la Couche 23, indiquant que la force du signal causal s'atténue avec la profondeur.
Invariance Architecturale : La croissance sous-linéaire de $N_{causal}$ s'est maintenue à travers les architectures TopK, JumpReLU et ReLU standard.

4. Insight Mécaniste : L'Encodeur comme Filtre

Une découverte cruciale de l'ablation à quatre cellules est que le remplacement de l'encodeur entraîné par une projection orthonormale aléatoire a gonflé $N_{causal}$ de 9,27×.

Implication : L'encodeur entraîné agit principalement comme un filtre de parcimonie (supprimant les caractéristiques de fond) plutôt que comme un sélecteur de caractéristiques.
Conséquence : Les travaux d'interprétabilité se concentrant sur les étiquettes de caractéristiques de l'encodeur pourraient être mal orientés ; la structure du décodeur et le routage des caractéristiques supprimées sont probablement plus critiques.

5. Validation et Contrôles

Privilège Géométrique : Les caractéristiques causales ne montraient aucune distinction géométrique (magnitude ou similarité cosinus) par rapport aux caractéristiques non causales dans l'espace du décodeur.
Récupération Synthétique : AtP a échoué à récupérer les directions causales de vérité terrain dans un modèle jouet (Rappel = 0), confirmant qu'AtP mesure les motifs d'activation routés à travers le décodeur, et non une récupération directe d'une base causale.
Récupération Spécifique à la Tâche : Sur des circuits de tâches spécifiques (Marks et al., 2025), les 5 % supérieurs des caractéristiques AtP ont récupéré 98,2 % de la vérité terrain, soutenant une « structure en couches » où un noyau à AtP élevé est partagé entre les tâches, entouré d'un halo spécifique à la tâche.

Signification et Revendications

Ce travail établit $\kappa$ comme une propriété mesurable et intrinsèque au modèle des couches de transformateurs. Ses contributions principales sont :

Définition Théorique : Définir la dimensionnalité causale comme le rang effectif du Jacobien causal et prouver ses bornes supérieures.
Caractérisation Empirique : Démontrer que la capacité causale est récupérable de manière sous-linéaire par la largeur des SAE et invariante à la mise à l'échelle du modèle, contredisant l'hypothèse selon laquelle des SAE plus larges étendent linéairement l'interprétabilité causale.
Recadrage Mécaniste : Identifier l'encodeur entraîné comme un filtre de parcimonie, suggérant que l'« ensemble causal » est défini par la suppression du bruit par l'encodeur plutôt que par la sélection de concepts spécifiques.
Implication Pratique : Les largeurs actuelles de SAE (par exemple 1M) ne capturent que ~72 % de la dimensionnalité causale estimée ( $\hat{\kappa}$ ), impliquant que pour un énumération causale complète, des SAE nettement plus larges (environ 2,6M) seraient nécessaires, ce qui est actuellement prohibitif sur le plan computationnel.

Les auteurs concluent que le « coin » est une propriété fondamentale des représentations de transformateurs, pilotée par la saturation des dimensions du sous-espace causal, et que les efforts d'interprétabilité doivent tenir compte de cette mise à l'échelle non linéaire et du rôle spécifique de l'encodeur dans le filtrage des caractéristiques de fond.