📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

Cet article introduit un nouveau diagnostic par passe avant uniquement pour les transformeurs avec LayerNorm qui identifie une direction morte algébrique exacte dans l'espace des paramètres en utilisant seulement les paramètres d'échelle de LayerNorm, une méthode validée sur 14 modèles pour prédire avec précision les structures singulières et distinguer les architectures LayerNorm des architectures RMSNorm sans décomposition en valeurs propres.

Auteurs originaux : Tejas Pradeep Shirodkar, P. J. Narayanan

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tejas Pradeep Shirodkar, P. J. Narayanan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle d'apprentissage automatique massif et complexe (un Transformer) comme un immense gratte-ciel de plusieurs étages fait d'équations mathématiques. Lorsque les ingénieurs entraînent ces modèles, ils ajustent des milliards de petits boutons (paramètres) pour que le bâtiment se tienne parfaitement droit et fonctionne bien.

Ce document présente une nouvelle façon de regarder à l'intérieur de ce gratte-ciel pour trouver des « directions mortes ».

Qu'est-ce qu'une « direction morte » ?

Considérez les paramètres du modèle comme un paysage de collines et de vallées. Habituellement, si vous poussez légèrement le modèle dans n'importe quelle direction, cela change son fonctionnement. Mais dans ces « directions mortes », le paysage est parfaitement plat. Si vous poussez le modèle le long d'une direction morte, rien ne se passe. C'est comme marcher sur un lac gelé : vous pouvez glisser indéfiniment sans couler ni changer de trajectoire.

Trouver ces directions est généralement difficile. Cela nécessite généralement de faire passer le modèle par des milliers de cas de test, d'effectuer des calculs mathématiques complexes sur les résultats, ou de simuler la façon dont le modèle apprend. C'est comme essayer de trouver une fissure cachée dans un mur en tapotant dessus des milliers de fois.

La grande découverte : Le « Compas Magique »

Les auteurs ont trouvé un raccourci, mais uniquement pour les modèles qui utilisent un composant spécifique appelé LayerNorm (un outil standard en IA).

Ils ont découvert que vous n'avez pas besoin de faire tourner le modèle ou d'effectuer des calculs lourds pour trouver ces directions mortes. Il vous suffit de regarder un nombre spécifique à l'intérieur des réglages du modèle, appelé le paramètre « gamma » ( $\gamma$ ).

L'analogie : Imaginez que le composant LayerNorm possède un cadran avec des chiffres dessus. Les auteurs ont découvert que si vous prenez simplement l'inverse de ces nombres (en les retournant) et que vous les normalisez, vous obtenez une carte parfaite pointant directement vers la direction morte.
La magie : Vous pouvez lire cette carte instantanément. Pas de passage direct (exécution du modèle), pas de rétropropagation (calcul des erreurs), et pas de décompositions propres complexes nécessaires. C'est comme regarder le plan et savoir immédiatement où se trouvent les points faibles, sans même avoir à construire la maison.

Les deux types de bâtiments

Le papier a testé cela sur 14 modèles différents (certains pour le texte, d'autres pour les images). Ils ont trouvé une distinction claire :

Modèles LayerNorm (ceux avec la carte) : Sur 9 modèles sur 9 utilisant LayerNorm, le « compas magique » a parfaitement fonctionné. La direction prédite par le chiffre simple correspondait à la véritable direction morte trouvée par des calculs lours à quatre décimales près. C'était une correspondance parfaite.
Modèles RMSNorm (ceux sans la carte) : Dans 5 modèles utilisant un autre outil appelé RMSNorm, ce truc n'a pas fonctionné. Il n'y avait pas de direction morte universelle que l'on pouvait trouver simplement en regardant les chiffres. Cela fait sens car RMSNorm manque d'un « projecteur » mathématique spécifique qui crée la direction morte dans LayerNorm.

Que se passe-t-il lors de l'entraînement ?

Le papier a également examiné ce qui se passe lorsque le modèle apprend.

Au début (Aléatoire) : La direction morte existe à cause de l'architecture (le plan), et le « compas magique » la trouve immédiatement.
Après l'entraînement : Le modèle devient encore plus « plat » dans cette direction. La direction morte devient un canyon profond. L'écart entre le départ aléatoire et le modèle entraîné montre comment le processus d'entraînement a approfondi ces zones plates.

Un contrôle de sécurité pour le gratte-ciel

Les auteurs ont également utilisé cette méthode pour vérifier si le « flux résiduel » (le couloir principal où l'information circule à travers le bâtiment) reste solide.

La règle : Dans un bâtiment sain, le « point le plus faible » du couloir ne doit pas devenir plus faible à mesure que l'on monte les étages.
Le résultat : Dans 13 modèles sur 14, cette règle s'est vérifiée. Le couloir est resté solide.
L'exception : Un modèle (Gemma 4-31B) présentait une véritable « direction morte » où le couloir s'est effectivement affaibli. La méthode des auteurs a identifié ce défaut instantanément, montrant qu'il ne s'agissait pas d'une simple erreur de mesure, mais d'un véritable problème structurel dans ce modèle spécifique.

Pourquoi est-ce important (selon le papier)

C'est gratuit : Vous pouvez diagnostiquer la « structure singulière » (les zones plates) d'un modèle en lisant simplement ses paramètres. Aucun calcul lourd n'est requis.
C'est un classificateur : Vous pouvez dire si un modèle utilise LayerNorm ou RMSNorm simplement en vérifiant si ce « compas magique » fonctionne.
C'est un outil de diagnostic : Si vous voyez un modèle où ce compas échoue ou là où le couloir s'affaiblit, cela signale une anomalie structurelle potentielle qui mérite d'être étudiée.

En résumé, le papier dit : « Si vous avez un modèle LayerNorm, vous n'avez pas besoin de l'exécuter pour trouver ses directions les plus faibles et les plus plates. Regardez simplement un nombre, inversez-le, et vous avez la réponse. »

Résumé Technique : Directions Mortes Algébriques dans les Transformers à LayerNorm

Énoncé du Problème
Les transformers préentraînés opèrent à proximité de minima singuliers de leur paysage de perte, où la métrique d'information de Fisher dégénère le long de directions spécifiques de « mort » dans l'espace des paramètres. Le long de ces directions, la perte est plate et l'information de Fisher directionnelle s'annule. Identifier ces directions est crucial pour comprendre la géométrie des modèles et la théorie de l'apprentissage singulier, mais les méthodes existantes sont coûteuses en calcul ou indirectes. Localiser une direction morte nécessite généralement une passe avant combinée à une décomposition en valeurs propres des activations, des estimations de complexité basées sur l'échantillonnage (ex: coefficient d'apprentissage local), ou un accès étendu aux gradients. Crucialement, aucune méthode préalable ne fournit une direction morte spécifique calculable uniquement à partir des paramètres du réseau sans une passe avant ou arrière.

Méthodologie
Cet article développe un diagnostic en forme close pour les transformers dotés de LayerNorm (LN) basé sur le cadre de Shirodkar (2026), qui dérive les directions mortes d'une factorisation KFAC (approximation de la courbure par produit de Kronecker) de l'information de Fisher. L'intuition centrale est que le projecteur de soustraction de la moyenne, inhérent à la fonction de transfert de la LayerNorm, impose algébriquement une direction de noyau spécifique dans la covariance des activations post-normalisation.

Les auteurs proposent que pour tout transformer équipé de LayerNorm, la direction d'échelle inverse du paramètre affine de la LayerNorm, définie par $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ , est un noyau algébrique exact de la covariance des activations centrées post-dernière-normalisation pour toute distribution d'entrée. Cette direction est extraite directement du paramètre d'échelle appris $\gamma$ seul.

La méthodologie implique trois tests de diagnostic primaires sur 14 transformers préentraînés (allant de 160M à 35B de paramètres, incluant des modèles de langage et de vision avec LayerNorm et RMSNorm) :

Validation de la ligne de base algébrique : À l'initialisation aléatoire, la direction prédite $v^*$ est comparée à la direction singulière inférieure mesurée ( $u_\perp$ ) de la covariance des activations.
Dichotomie du côté de la norme : La présence ou l'absence de cette direction de noyau universelle est utilisée pour classifier le schéma de normalisation (LayerNorm vs RMSNorm).
Écart induit par l'entraînement : Le « rapport de Schur » $R(h)$ et son complément $\Delta_\gamma = 1 - R(h)$ sont mesurés pour quantifier à quel point les directions mortes réelles deviennent plus profondes après l'entraînement par rapport à la ligne de base architecturale.
Invariance de profondeur : L'article teste si la plus petite valeur singulière du flux résiduel ( $\sigma_{\min}$ ) est préservée de bloc en bloc, une propriété dérivée des connexions de saut d'identité et de l'hypothèse de non-annulation.

Toutes les mesures sont effectuées via une seule passe avant par checkpoint sans accès aux gradients ou chaînes d'échantillonnage, en utilisant une accumulation de covariance centrée en fp64 pour éviter les planchers de bruit numérique.

Principales Contributions

Direction Morte Algébrique pour LayerNorm : L'article prouve et valide empiriquement que pour tout transformer LayerNorm, la direction $\gamma^{-1}/\|\gamma^{-1}\|$ est une direction morte de la covariance des activations centrées post-dernière-normalisation. Cette direction est lisible à partir du paramètre affine seul, sans passe avant.
Différentiel Négatif de RMSNorm : Il est prouvé que RMSNorm, dépourvue de projecteur de soustraction de la moyenne, ne possède pas de telle direction morte universelle dépendant uniquement de $\gamma$ . Cela crée une dichotomie algébrique stricte entre les deux types de normalisation.
Invariance de Profondeur du Flux Résiduel $\sigma_{\min}$ : Un corollaire en forme close prédit que la plus petite valeur singulière du flux résiduel ne peut pas diminuer de bloc en bloc ( $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ ) sous l'hypothèse de non-annulation.
Diagnostic du Rapport de Schur : L'article introduit une métrique quantitative ( $\Delta_\gamma$ ) qui mesure l'écart entre la ligne de base architecturale (initialisation aléatoire) et la structure singulière entraînée. Cet écart sert de diagnostic de structure singulière accessible par une simple passe avant.

Résultats
Les prédictions ont été testées sur 14 modèles (9 LayerNorm, 5 RMSNorm) à travers divers objectifs (prédiction du prochain jeton, classification d'images, apprentissage auto-supervisé).

Correspondance Algébrique : À l'initialisation aléatoire, la direction prédite $\gamma^{-1}/\|\gamma^{-1}\|$ correspond à la direction singulière inférieure mesurée avec quatre décimales de précision ( $|\cos| \ge 0.9999$ ) sur les 9 modèles LayerNorm. L'alignement moyen était de 0.99999.
Absence de RMSNorm : Les 5 modèles RMSNorm ont correctement montré aucune corrélation avec une direction dérivée de $\gamma$ ( $|\cos| \le 0.10$ ), se situant au niveau nul des directions aléatoires.
Écart d'Entraînement : Sur les checkpoints entraînés, le rapport de Schur $\Delta_\gamma$ sature à $\approx 1$ sur tous les modèles, indiquant que l'entraînement ouvre des directions mortes environ $10^3$ fois plus profondes que la ligne de base architecturale établie par la LayerNorm.
Invariance de Profondeur : L'invariance de profondeur $\sigma_{\min}$ $σ_{m i n}$ tient pour 13 modèles sur 14 lorsqu'elle est lue sur leurs propres distributions d'entrée.
- La seule exception, Gemma 4-31B, présente une véritable direction morte intrinsèque où la $\sigma_{\min}$ du flux résiduel diminue d'environ $18\times$ à la sortie.
- L'autre variante de Gemma 4 (Gemma 4-E4B) a montré une chute lors de l'étalonnage textuel uniquement, qui s'est dissipée sous étalonnage multimodal (texte+image+audio), identifiant cela comme une direction morte relative à la distribution plutôt qu'intrinsèque.
Validation Dynamique : Sur la trajectoire de pré-entraînement de Pythia-1B, le ratio $\sigma_{\min}$ est resté $\ge 1$ à chaque étape, tandis que l'alignement avec la direction de noyau prédite est resté élevé ( $\ge 0.998$ ) même lorsque $\gamma$ se dispersait, confirmant que la prédiction suit le $\gamma$ appris plutôt que l'initialisation.

Signification et Revendications
L'article prétend fournir la « lecture de direction morte la plus économique » spécifique à la LayerNorm, ne nécessant que l'inspection d'un seul paramètre ( $\gamma$ ) sans aucune passe avant ou arrière. Cela permet aux praticiens de :

Identifier les Sous-espaces Morts : Détecter les directions mortes dans les modèles gelés sans échantillonnage ni accès aux gradients.
Classifier l'Architecture : Déterminer le schéma de normalisation (LN vs RMSNorm) d'un modèle préentraîné purement à partir de ses paramètres.
Diagnostiquer les Pathologies : Utiliser le profil de profondeur $\sigma_{\min}$ comme un signal en temps réel pour détecter des anomalies architecturales (ex: l'effondrement localisé dans l'MLP de Gemma 4) que les pipelines standards pourraient manquer en raison des planchers de bruit numérique.
Orienter la Conception : Fournir un test structurel pour les nouveaux schémas de normalisation afin de prédire s'ils porteront un noyau universel dérivé de $\gamma$ .

Les auteurs soulignent que le cadre distingue les directions mortes architecturalement garanties (présentes à l'initialisation aléatoire dans la LayerNorm) et les directions mortes induites par l'entraînement (qui approfondissent le noyau dans les modèles LN et RMSNorm). L'écart entre ces deux états sert de diagnostic de la structure singulière accumulée pendant l'entraînement. L'article ne prétend pas résoudre l'origine de l'anomalie de Gemma 4, mais réussit à la localiser dans la sous-couche MLP et à la distinguer des artefacts de calibration.