Résumé Technique : Les Transformers Convergent vers des Noyaux Algorithmiques Invariants

1. Énoncé du Problème

L'obstacle central à l'interprétabilité mécaniste dans les réseaux de neurones est la sous-détermination. Bien que l'entraînement contraine le comportement d'un modèle (la mise en correspondance des entrées vers les sorties), il ne contraint pas la réalisation interne de ce comportement. Des modèles entraînés indépendamment présentent souvent une équivalence fonctionnelle — accomplissant la même tâche avec des configurations de poids et des circuits internes très différents. Ce phénomène, observé dans la géométrie du paysage de perte, la fusion de modèles et les systèmes biologiques (par exemple, la dégénérescence et la dérive systémique), pose un défi fondamental : si les mécanismes ne se généralisent pas à travers les réalisations, quelles explications sont « réelles » ?

Les efforts actuels d'interprétabilité se concentrent souvent sur des détails d'implémentation spécifiques (par exemple, des têtes d'attention particulières ou des caractéristiques éparses), qui peuvent être idiosyncrasiques à une seule session d'entraînement. Cet article soutient que pour parvenir à une compréhension mécaniste généralisable, la recherche doit déplacer son attention des circuits spécifiques à une réalisation vers les invariants — des structures computationnelles stables partagées entre différentes sessions d'entraînement indépendantes.

2. Méthodologie : Extraction de Noyau Algorithmique (ACE)

L'article introduit l'Algorithmic Core Extraction (ACE), un cadre conçu pour isoler des sous-espaces de faible dimension qui sont à la fois nécessaires et suffisants pour une tâche et invariants à travers les réalisations de modèles. La méthode opérationnalise les principes de la théorie des systèmes linéaires (plus précisément la décomposition de Kalman et la réduction de modèle équilibrée) pour les transformers.

Le pipeline ACE se compose de trois étapes :

1. Extraire : Pour une couche de transformer donnée avec une dimension cachée $D$ et $N$ entrées, la méthode calcule l'interaction entre les activations centrées sur la moyenne ($H$) et les Jacobiens des sorties pertinentes pour la tâche ($J$). En effectuant une décomposition en valeurs singulières (SVD) sur $HJ^\top$, l'ACE identifie les directions qui sont conjointement actives et pertinentes. Les vecteurs singuliers principaux définissent un sous-espace de faible dimension (le « noyau ») projeté en retour dans l'espace des activations.
2. Valider : Le noyau extrait est validé causalement via ablation. Un noyau est jugé suffisant si la projection des activations sur celui-ci préserve la performance de la tâche, et nécessaire si son retrait (projection sur le complément) réduit la performance au niveau du hasard.
3. Identifier : La structure computationnelle au sein du noyau est récupérée en ajustant des opérateurs linéaires (par exemple, $z_{t+1} \approx Az_t$) aux coordonnées du noyau et en inspectant leurs propriétés spectrales (valeurs propres) pour déterminer la dynamique sous-jacente.

3. Résultats Clés

A. Tâches de Chaînes de Markov Synthétiques

Sur des transformers à une seule couche entraînés sur une chaîne de Markov à quatre états :

• Paramètres Divergents, Noyaux Convergents : Des modèles entraînés avec des graines aléatoires différentes ont atteint une précision quasi optimale, mais présentaient une similitude cosinus quasi nulle dans leurs poids.
• Sous-espaces 3D Invariants : L'ACE a réussi à isoler un noyau de 3 dimensions dans chaque modèle. Ces noyaux étaient nécessaires et suffisants pour la tâche.
• Alignement Géométrique vs Statistique : Bien que les noyaux résident dans des sous-espaces presque orthogonaux (recouvrement des projecteurs $\approx 0,02$), ils présentaient un alignement statistique quasi parfait (Analyse de Corrélation Canonique $\approx 0,99$).
• Récupération de la Dynamique : Les opérateurs linéaires ajustés au sein de ces noyaux ont récupéré les valeurs propres exactes de la matrice de transition de la chaîne de Markov de référence, démontrant que les modèles encodent les mêmes dynamiques de transition dans des systèmes de coordonnées différents.

B. Addition Modulaire et Grokking

Pour des transformers à deux couches entraînés sur l'addition modulaire ($a + b \equiv c \mod p$) :

• Émergence lors du Grokking : Les noyaux algorithmiques se sont cristallisés (se sont condensés en sous-espaces de faible dimension, nécessaires/suffisants) simultanément au phénomène de « grokking » (la transition tardive de la mémorisation vers la généralisation).
• Dynamiques Rotationnelles : L'ajustement automatisé des opérateurs a révélé qu'au moment du grokking, les valeurs propres des opérateurs du noyau se sont fixées sur le cercle unité, indiquant l'émergence de dynamiques cycliques/rotationnelles requises pour l'arithmétique modulaire.
• Inflation du Noyau sous Régularisation : Sous un effet de décroissance des poids (weight decay) continu après le grokking, les noyaux se sont « gonflés », passant d'environ 15 à 60 dimensions. Cette inflation a été pilotée par la redondance : alors que le nombre de dimensions suffisantes pour la performance restait stable, le nombre de dimensions nécessaires pour empêcher une performance de niveau hasard s'est étendu. La décroissance des poids a agi comme une force de redistribution, répartissant les poids sur tous les modes fonctionnellement équivalents (jusqu'au maximum théorique de $\lfloor p/2 \rfloor$).
• Loi d'Échelle Inverse : L'article dérive un lien théorique entre la redondance fonctionnelle, la régularisation et le temps de grokking. Il postule que l'équivalence fonctionnelle accélère la transition vers la généralisation, produisant une loi d'échelle inverse pour le temps de grokking : $\tau_{grok} \propto 1/(\omega p)$, où $\omega$ est la décroissance des poids et $p$ la redondance. Des balayages empiriques de $\omega$ et $p$ ont validé cette prédiction.

C. Grands Modèles de Langage (LLM)

L'ACE a été appliqué à six modèles pré-entraînés couvrant quatre familles (GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5) et sur plus de deux ordres de grandeur en échelle (de 117M à 32B de paramètres) sur la tâche de l'accord sujet-verbe en nombre :

• Noyau 1D Universel : Un axe causal unique de dimension 1 a été identifié dans les couches tardives de tous les six modèles.
• Contrôle Causal : Cet axe est nécessaire et suffisant pour l'accord. La projection des activations sur celui-ci prédit la marge de logit singulier-pluriel. Crucialement, inverser le signe de cet axe inverse les préférences de nombre grammatical tout au long de la génération ouverte (par exemple, changer « The key... are » en « The key... is »).
• Alignement Trans-Architecture : Malgré les différences d'architecture, de tokenisation et de données d'entraînement, les coordonnées de ces noyaux 1D s'alignaient de manière significative entre les modèles (corrélations de Spearman jusqu'à 0,93). Cela suggère un mécanisme partagé et invariant pour le nombre grammatical, indépendant des détails d'implémentation.

4. Signification et Revendications

L'article affirme que sous la complexité apparente des transformers entraînés se cache une structure computationnelle plus simple et partagée. Ses principales contributions sont :

1. Un Changement de Paradigme de l'Interprétabilité : Passer de l'étude des implémentations de circuits spécifiques à l'étude des invariants. Les auteurs soutiennent que les explications mécanistes doivent être ancrées dans des quantités stables et invariantes à l'implémentation plutôt que dans des détails idiosyncrasiques.
2. Opérationnalisation des Invariants : Le cadre ACE fournit une méthode pour isoler ces invariants, les valider causalement et récupérer les algorithmes qu'ils implémentent sans présupposer leur forme.
3. Explication Mécaniste du Grokking : L'article fournit une théorie liant l'équivalence fonctionnelle, la régularisation et le temps de grokking, suggérant que la redondance permet à la décroissance des poids d'accélérer la transition vers la généralisation en distribuant les poids à travers des modes valides.
4. Preuve de Modèles du Monde Internes : La récupération des structures de tâches de référence (spectres de Markov, opérateurs cycliques) suggère que ces noyaux encodent des représentations des processus générateurs de données, s'alignant sur le « principe du modèle interne » de la théorie du contrôle.
5. Implications pour la Fusion de Modèles : L'observation selon laquelle les modèles fonctionnellement équivalents intègrent des noyaux dans des sous-espaces presque orthogonaux explique la difficulté de la fusion de modèles (l'interpolation naïve échoue). Cela suggère que l'alignement des noyaux algorithmiques, plutôt que des poids, pourrait être une approche fondée pour la recombinaison de modèles.

L'article conclut que cibler les invariants offre une voie plus traitable vers la compréhension et le contrôle mécanistes, notant que bien que la dimensionnalité des noyaux pour les tâches de raisonnement complexe reste une question ouverte, la stabilité du noyau d'accord 1D à travers des échelles massives suggère que la dimensionnalité du noyau ne dépend pas strictement de la taille du modèle.