💬 NLP

Gated Normalization Removal and Scale Anchoring in Pre-Norm Transformers

Cet article présente TaperNorm, une approche à porte pour les transformateurs pré-normalisés qui élimine progressivement les couches de normalisation internes afin d'améliorer le débit d'inférence et révèle que la normalisation finale sert principalement à ancrer l'échelle des représentations pré-logits, un rôle qui peut être remplacé par une mise à l'échelle à cible fixe pour permettre des modèles entièrement dépourvus de normalisation.

Auteurs originaux : Andrei Kanavalau, Carmen Amo Alonso, Sanjay Lall

Publié 2026-05-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Andrei Kanavalau, Carmen Amo Alonso, Sanjay Lall

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle Transformer (le cerveau derrière les chatbots d'IA modernes) comme une immense usine à plusieurs étages. Chaque fois qu'un élément de données (un mot) traverse l'usine, il passe par plusieurs salles. Dans chaque salle, il y a un « inspecteur de contrôle qualité » (appelé couche de normalisation) qui vérifie les données, ajuste leur taille et s'assure qu'elles ne deviennent ni trop folles ni trop petites avant de passer à la salle suivante.

Pendant des années, les ingénieurs ont pensé que ces inspecteurs étaient absolument nécessaires à chaque étape, tout le temps. Mais cet article pose une question simple : avons-nous vraiment besoin que ces inspecteurs soient actifs après que l'usine a terminé son entraînement ?

Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. L'astuce du « Tapering » (Transformer les inspecteurs en portes)

Les auteurs ont créé une nouvelle méthode appelée TaperNorm. Imaginez-la comme un gradateur pour les inspecteurs de contrôle qualité.

Pendant l'entraînement : Au début, les inspecteurs travaillent dur, vérifiant chaque élément de données comme d'habitude.
La transition : À mesure que l'entraînement se termine, les auteurs « baissent » progressivement l'intensité des inspecteurs. Ils ne les licencient pas simplement ; ils les apprennent à arrêter de vérifier les données et à les laisser passer avec une règle simple et fixe (comme « multiplier par 1,5 »).
Le résultat : À la fin, les inspecteurs disparaissent. Ils ont été remplacés par une porte simple et statique. Comme la porte n'est qu'une règle fixe, l'usine peut la « plier » dans la machinerie de la salle suivante. Cela signifie que l'ordinateur n'a plus besoin de faire des calculs supplémentaires pour vérifier les données ; il les fait simplement passer.

Pourquoi cela compte-t-il ?
L'article a testé cela sur un petit modèle (TinyStories) et un modèle célèbre (GPT-2). Ils ont constaté que supprimer ces inspecteurs internes n'a pas beaucoup nui à l'intelligence du modèle (seulement une toute petite baisse de performance). Cependant, comme les inspecteurs ont été supprimés, l'usine est devenue plus rapide.

L'augmentation de vitesse : Lorsqu'ils ont testé la vitesse à laquelle le modèle pouvait écrire du texte, il était 1,18 fois plus rapide. C'est comme une voiture passant de 60 mph à 70 mph simplement en supprimant quelques ralentisseurs inutiles.

2. Le problème de l'« Ancre » (Pourquoi le dernier inspecteur doit rester)

Voici la découverte la plus intéressante. Bien qu'ils aient pu supprimer les inspecteurs au milieu de l'usine, ils ont constaté que le tout dernier inspecteur (juste avant que l'IA ne donne sa réponse finale) joue un rôle spécial et unique.

L'analogie de l'ancre :
Imaginez la pensée finale de l'IA comme un ballon flottant dans le vent.

Avec le dernier inspecteur : L'inspecteur agit comme une ancre. Il maintient le ballon à une hauteur spécifique. Peu importe la force du vent (les mathématiques tentant de rendre la réponse plus confiante), le ballon reste à un niveau stable. Cela maintient l'IA stable.
Sans le dernier inspecteur : Si vous retirez cette dernière ancre, le ballon est libre de dériver. Les mathématiques de l'IA tentent naturellement de faire voler le ballon de plus en plus haut (rendant les réponses plus « confiantes » ou extrêmes) simplement pour réduire son score d'erreur. Cela s'appelle la « poursuite des logits ». L'IA devient instable car elle continue d'augmenter sa propre confiance sans limite.

La solution :
Si vous devez retirer ce dernier inspecteur (pour rendre le modèle encore plus rapide), vous devez remplacer l'ancre par autre chose. Les auteurs ont utilisé une « perte d'échelle à cible fixe ».

La métaphore : Imaginez une amarre qui tire doucement le ballon vers une hauteur spécifique s'il tente de flotter trop haut ou de couler trop bas. Cette amarre agit comme une « ancre virtuelle », empêchant l'IA de devenir folle, permettant ainsi de supprimer le dernier inspecteur en toute sécurité.

3. La conclusion

L'article conclut avec deux enseignements principaux :

Les inspecteurs internes sont optionnels : Vous pouvez entraîner l'IA avec des inspecteurs, puis les transformer en portes simples à la fin. Cela rend l'IA plus rapide (jusqu'à 18 % plus rapide dans leurs tests) avec presque aucune perte d'intelligence.
Le dernier inspecteur est spécial : Le contrôle final est crucial car il empêche l'IA de devenir « trop confiante » et instable. Si vous le supprimez, vous devez ajouter une « amarre » (une règle mathématique spécifique) pour maintenir la confiance de l'IA sous contrôle.

En bref : Vous pouvez éliminer les intermédiaires pour rendre l'IA plus rapide, mais vous devez faire attention à la toute dernière étape, sinon l'IA pourrait se laisser emporter par sa propre confiance.

Résumé technique : Suppression de la normalisation à porte et ancrage d'échelle dans les transformateurs pré-normalisés

Énoncé du problème

Les couches de normalisation (par exemple, LayerNorm, RMSNorm) sont des composants standard des architectures de transformateurs, stabilisant les activations et permettant l'entraînement de réseaux profonds. Cependant, ces couches introduisent des calculs non linéaires dépendants de l'échantillon qui entraînent une surcharge significative lors de l'inférence. Il reste incertain de savoir si ces statistiques par token sont strictement nécessaires tout au long de la phase d'inférence, en particulier dans les transformateurs pré-normalisés. Alors que des travaux antérieurs ont tenté de supprimer la normalisation via des astuces d'initialisation ou un ajustement fin séquentiel, il manque une compréhension des rôles fonctionnels distincts des couches de normalisation internes par rapport à la couche finale, spécifiquement concernant la manière dont elles contrôlent l'échelle de la représentation pré-logit.

Méthodologie

Les auteurs proposent TaperNorm, une approche de suppression de la normalisation à porte conçue pour les transformateurs pré-normalisés. Cette méthode permet au modèle de passer d'une normalisation standard à des cartes linéaires ou affines apprises et indépendantes de l'échantillon pendant l'entraînement, permettant ainsi la suppression des opérations de normalisation lors de l'inférence.

Mécanisme central : TaperNorm

TaperNorm interpole dynamiquement entre une branche normalisée et une branche de mise à l'échelle fixe à l'aide d'une porte globale $g \in [0, 1]$ . Pour un vecteur de token $h$ :
$\text{TaperNorm}(h; g) = g \cdot \frac{h}{r(h)} D\gamma + (1 - g) \cdot c \cdot h D\tilde{\gamma}$
Où :

$r(h)$ est le facteur de mise à l'échelle RMSNorm.
$D\gamma$ et $D\tilde{\gamma}$ sont des matrices de mise à l'échelle diagonales apprises.
$c$ est un scalaire par couche.
$g$ est une porte globale qui commence à 1 (normalisation standard) et est atténuée par cosinus jusqu'à 0 au cours de l'entraînement.

Procédure d'entraînement :

Échauffement : La porte $g$ est maintenue à 1. Le modèle s'entraîne comme un transformateur pré-normalisé standard.
Calibration : À la fin de l'échauffement, le scalaire $c$ est calculé pour minimiser la différence des moindres carrés entre la branche normalisée et la branche de mise à l'échelle, assurant une transition fluide sans décalage de distribution.
Atténuation : La porte $g$ est atténuée jusqu'à 0. Les paramètres de la branche de mise à l'échelle ( $\tilde{\gamma}$ ) restent entraînables.
Fusion d'inférence : Une fois $g=0$ , la couche TaperNorm devient une simple carte linéaire/affine ( $c \cdot h D\tilde{\gamma}$ ). Cette opération peut être mathématiquement fusionnée dans les projections linéaires adjacentes (par exemple, les projections QKV ou les poids MLP), supprimant l'opération de normalisation explicite du graphe d'inférence.

Analyse de l'ancrage d'échelle

L'article identifie une distinction critique entre les couches de normalisation internes et la couche finale :

Normalisation finale comme ancre : La couche de normalisation finale agit comme une ancre d'échelle implicite. Mathématiquement, elle est 0-homogène, ce qui signifie qu'elle supprime la composante de gradient radial à la sortie. Sans cette ancre, la minimisation de l'entropie croisée peut pousser le modèle à augmenter indéfiniment les magnitudes des logit (« poursuite des logit ») pour réduire la perte, entraînant une instabilité.
Alternative explicite : Lorsque la normalisation finale est supprimée (dans les configurations « All-Taper »), les auteurs introduisent une perte d'échelle à cible fixe ( $L_{aux}$ ). Cette perte auxiliaire pénalise les écarts des échelles de tokens par rapport à une cible fixe $s_{tgt}$ , fournissant une force de restauration radiale explicite qui contrebalance la tendance à la poursuite des logit.

Deux configurations expérimentales sont testées :

Atténuation interne : Les normalisateurs de blocs internes sont atténués vers des cartes linéaires, mais la normalisation finale reste active (ancre implicite).
Atténuation totale : Tous les normalisateurs, y compris le dernier, sont atténués. Cela nécessite la perte d'échelle à cible fixe pour maintenir la stabilité (ancre explicite).

Contributions clés

Suppression de la normalisation à porte : Une méthode pour atténuer les modules RMSNorm/LayerNorm vers des redimensionnements linéaires/affines fixes, permettant l'élimination des statistiques par token lors de l'inférence via la fusion des poids.
Théorie de l'ancrage d'échelle de sortie : Une analyse démontrant que le rôle distinct principal de la couche de normalisation finale est de supprimer les gradients radiaux. L'article montre que sans cette ancre, l'entropie croisée induit une croissance illimitée des logit, et qu'une perte d'échelle à cible fixe peut efficacement remplacer ce rôle stabilisateur.
Validation empirique : Des expériences sur l'entraînement préalable de TinyStories et l'ajustement fin de GPT-2 montrent que la normalisation interne peut être supprimée avec des augmentations minimales de la perte de validation. L'approche atteint jusqu'à 1,18 fois un débit plus élevé dans le décodage autorégressif avec cache KV après fusion des mises à l'échelle internes.

Résultats

Entraînement préalable (TinyStories) :
- Atténuation interne (+aux) : A atteint des pertes de validation comprises entre 0,7 % et 1,5 % de la base pour toutes les tailles de modèles (de 1M à 30M paramètres).
- Atténuation totale (+aux) : A atteint des pertes comprises entre 0,8 % et 1,8 % de la base, démontrant qu'un modèle entièrement sans normalisation est réalisable avec un ancrage d'échelle explicite.
- Dynamique : Les modèles sans ancre d'échelle ont présenté une croissance rapide des magnitudes des logit (« poursuite des logit »). La perte d'échelle à cible fixe a réussi à supprimer ce comportement, alignant les magnitudes de gradient avec la base ancrée.
Débit d'inférence :
- Sur un NVIDIA H100, la configuration Atténuation interne (fusionnée) a atteint un débit de tokens par seconde 1,15 à 1,18 fois supérieur à la base RMSNorm standard. La configuration Atténuation interne (non fusionnée) (opérations de mise à l'échelle explicites) a atteint une accélération de 1,10 à 1,14 fois.
Ajustement fin (GPT-2) :
- Les méthodes proposées Internal-TaperLN et All-TaperLN ont atteint des pertes d'entropie croisée compétitives avec l'approche « FakeLN » (Baroni et al., 2025) et les modèles Vanilla standard sur les ensembles de données OpenWebText et The Pile.
- Contrairement aux méthodes de suppression séquentielle, TaperNorm utilise une porte globale unique pour supprimer toutes les couches sélectionnées simultanément.

Importance et affirmations

L'article affirme que les couches de normalisation internes et finales jouent des rôles distincts dans les transformateurs pré-normalisés. Alors que les normalisateurs internes peuvent être remplacés par des cartes linéaires apprises indépendantes de l'échantillon avec une dégradation de performance négligeable, la couche de normalisation finale remplit une fonction unique en tant qu'ancre d'échelle de sortie.

L'importance de ce travail réside dans :

Efficacité : Il fournit une voie pratique pour supprimer les opérations de normalisation coûteuses en calcul du graphe d'inférence, générant des gains de débit mesurables (jusqu'à 1,18 fois) sans réentraînement à partir de zéro.
Insight théorique : Il clarifie que la stabilité fournie par la couche de normalisation finale est largement due à sa suppression des gradients radiaux. Cette insight permet la conception de modèles « entièrement sans normalisation » en remplaçant l'ancre implicite par une perte d'échelle à cible fixe explicite.
Robustesse : L'approche maintient une dynamique pré-normalisée standard au début de l'entraînement, ne transitionnant vers des cartes linéaires que plus tard, ce qui semble plus stable que les méthodes tentant d'entraîner sans normalisation dès le départ.

Les auteurs restent modestes quant à la portée, notant que les expériences sont limitées à des modèles allant jusqu'à 30M de paramètres et à des piles matérielles spécifiques. Ils reconnaissent que la robustesse face aux valeurs aberrantes d'activation dans les régimes de milliards de paramètres et l'applicabilité à d'autres objectifs que l'entropie croisée restent des questions ouvertes pour les travaux futurs.