💬 NLP

GeoNorm: Unify Pre-Norm and Post-Norm with Geodesic Optimization

Cet article introduit GeoNorm, une nouvelle méthode de normalisation qui unifie les approches Pre-Norm et Post-Norm en interprétant les sorties de couche comme des mises à jour géodésiques sur une variété avec une décroissance par couche, atteignant des améliorations de performance constantes dans les modèles Transformer avec un surcoût computationnel négligeable.

Auteurs originaux : Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

Publié 2026-01-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à écrire une histoire. Pour ce faire, le robot utilise une machine complexe appelée Transformer. À l'intérieur de cette machine, il y a de nombreux étages d'« ouvriers » (comme des ouvriers de l'attention et des ouvriers de l'alimentation directe) qui font circuler l'information le long d'une chaîne.

Chaque fois qu'un ouvrier transmet un message au suivant, le message doit être « normalisé ». Considérez la normalisation comme un bouton de volume ou une règle. Cela garantit que le message n'est ni trop fort (trop grand), ni trop faible (trop petit) avant de passer à l'étape suivante.

Pendant longtemps, les ingénieurs ont eu deux manières principales de régler ce bouton de volume :

Post-Norm : L'ouvrier fait son travail, ajoute son message à la chaîne, et ensuite, quelqu'un vérifie le volume et l'ajuste.
Pre-Norm : Quelqu'un vérifie le volume avant que l'ouvrier ne commence, afin que l'ouvrier commence toujours avec un message parfaitement calibré.

Les deux méthodes fonctionnent, mais elles ont des défauts. Le Post-Norm peut parfois provoquer des pics de volume soudains (comme un sifflement de larsen), tandis que le Pre-Norm peut faire en sorte que les premiers ouvriers crient trop fort par rapport aux derniers.

La nouvelle idée : GeoNorm

Les auteurs de cet article, GeoNorm, disent : « Pourquoi nous contenter de vérifier le volume avec une règle ? Réfléchissons plutôt au chemin que prend le message. »

Ils ont réalisé que la façon dont ces messages se déplacent est comparable à une marche sur la surface d'un globe (une sphère), et non à une marche sur un sol plat.

L'ancienne méthode (Projection) : Imaginez que vous marchez sur un globe. Vous faites un pas en ligne droite (comme un rayon laser). Si vous continuez à marcher droit, vous finirez par tomber du globe dans l'espace. Pour corriger cela, les anciennes méthodes disent : « Oh non, tu es tombé ! Tirons-toi simplement droit vers le bas pour te ramener à la surface. » C'est une correction maladroite et abrupte qui peut déformer votre direction.
La nouvelle méthode (Géodésique) : Les auteurs suggèrent qu'au lieu de marcher en ligne droite et de tomber, vous devriez marcher le long de la surface courbe du globe lui-même. En mathématiques, le chemin le plus court sur une surface courbe est appelé une géodésique (comme la façon dont les avions volent en arcs, et non en lignes droites, pour aller de New York à Londres).

GeoNorm remplace la méthode maladroite du « tirage vers le bas » par une méthode de « marche le long de la courbe » plus fluide. Il utilise un outil mathématique appelé application exponentielle pour garantir que le message reste sur le « globe » naturellement, en suivant la courbe sans jamais en tomber ou nécessiter une correction brutale.

L'astuce de la « Décroissance »

L'article introduit également une manière intelligente de gérer la « taille du pas » (la taille de l'enjambée que fait le robot).

Imaginez que vous faites une randonnée en montagne. Au pied de la montagne, vous pouvez faire de grandes enjambées confiantes. Mais à mesure que vous montez haut et que le terrain devient plus difficile, vous devriez faire des pas plus petits et plus prudents.
GeoNorm applique cette logique. Il commence par des mises à jour plus larges et réduit progressivement la taille des pas à mesure que le message traverse les couches profondes du réseau. Cela empêche le robot de trébucher ou de s'embrouiller près de la fin de la chaîne.

Qu'ont-ils découvert ?

Les auteurs ont testé cette nouvelle méthode sur différents « sentiers de randonnée » (des jeux de données comme Arxiv et Books3) et avec différentes tailles de robots (tailles de modèles allant de petites à énormes).

Meilleure performance : Le robot utilisant GeoNorm a systématiquement appris plus vite et a obtenu un meilleur « score » (taux d'erreur plus bas) que les robots utilisant les anciennes méthodes.
Stabilité : Les anciennes méthodes provoquaient parfois des « pics de perte » (des chutes soudaines de performance), surtout lorsque le robot était très profond ou que l'entraînement était long. GeoNorm était beaucoup plus fluide et n'a pas chuté.
Aucun coût supplémentaire : Le plus beau ? Cette nouvelle façon de marcher sur le globe ne demande pas au robot de porter un sac à dos plus lourd. Cela n'ajoute pas de mémoire supplémentaire et ne ralentit pas l'ordinateur ; cela change simplement la façon dont le robot se déplace.

En résumé

L'article soutient qu'au lieu de forcer les messages de l'IA à entrer dans une boîte (les anciennes méthodes de normalisation), nous devrions les laisser couler naturellement le long de la surface courbe qu'ils sont censés parcourir. En faisant cela, l'IA devient plus stable, apprend mieux, et n'a pas besoin de puissance de calcul supplémentaire pour y parvenir.

Résumé Technique : GeoNorm : Unifier Pre-Norm et Post-Norm par l'Optimisation Géodésique

Problématique

Le placement des couches de normalisation au sein des architectures Transformer — spécifiquement le choix entre Pre-Norm et Post-Norm — demeure une décision de conception critique influençant la stabilité de l'entraînement, la performance du modèle et le flux de gradient. Bien que le Pre-Norm soit devenu le choix prédominant dans les modèles de langage de grande taille (LLM) modernes en raison de sa stabilité, il introduit des gradients déséquilibrés où les couches inférieures reçoivent des mises à jour plus importantes que les couches supérieures. Inversement, le Post-Norm, conçu à l'origine pour faciliter l'entraînement de réseaux profonds, est sujet à l'instabilité de l'entraînement et aux pics de perte. Les solutions existantes comme DeepNorm et SandwichNorm améliorent la stabilité par le biais de l'initialisation des paramètres ou de couches de normalisation supplémentaires, mais manquent d'un cadre théorique unifié pour analyser ces mécanismes.

Méthodologie

Les auteurs proposent GeoNorm, une nouvelle méthode de normalisation fondée sur l'optimisation de variétés. L'intuition théorique centrale est de réinterpréter les opérations de mise à jour standard des Transformers ( $x + \text{FFN}(x)$ et $x + \text{Attention}(x)$ ) comme des étapes d'optimisation sur une sphère. Dans cette perspective :

Les plongements de jetons (token embeddings) agissent comme l'état initial sur une variété.
Les modules d'Attention et de FFN génèrent des directions de mise à jour (gradients estimés).
La normalisation est vue comme une projection de retour sur un ensemble de contraintes (la sphère).

La normalisation standard (Post-Norm) effectue une mise à jour non contrainte suivie d'une projection euclidienne de retour sur la sphère. Les auteurs soutiennent que cette projection rejette l'information géométrique et peut fausser les directions de mise à jour. Au lieu de cela, GeoNorm remplace l'étape de projection par une mise à jour géodésique utilisant la carte exponentielle.

Pour un point $x$ sur une sphère et un vecteur tangent $v$ (la direction de mise à jour projetée), la mise à jour est effectuée intrinsèquement le long de la géodésique :
$\text{exp}_x(v) = \cos\left(\frac{\|v\|}{\|x\|}\right)x + \|x\|\sin\left(\frac{\|v\|}{\|x\|}\right)\frac{v}{\|v\|}$

Cette formulation garantit que la représentation se déplace de manière fluide le long de la variété, préservant la géométrie intrinsèque de l'espace des caractéristiques. De plus, les auteurs introduisent un mécanisme de décroissance de la mise à jour par couche pour la taille du pas ( $\alpha_k$ ), analogue aux programmes de taux d'apprentissage. Ils évaluent trois stratégies de décroissance :

Harmonique : $\alpha_k = \alpha / k$
Racine carrée : $\alpha_k = \alpha / \sqrt{k}$
Linéaire : $\alpha_k = \alpha (T - k) / T$

L'article démontre également théoriquement que le Pre-Norm peut être interprété comme un cas particulier de GeoNorm avec des angles non adaptatifs et dépendants de la profondeur, unifiant ainsi les deux approches sous un cadre géométrique unique.

Contributions Clés

Cadre Théorique : Les auteurs fournissent une perspective théorique unifiée interprétant les couches Transformer comme des étapes d'optimisation itératives sur une variété sphérique, comblant le fossé entre Pre-Norm et Post-Norm.
Algorithme GeoNorm : Ils introduisent GeoNorm, qui remplace la normalisation standard basée sur la projection par des mises à jour géodésiques via la carte exponentielle. Cette méthode ne nécessite aucun paramètre entraînable supplémentaire et ajoute un surcoût de calcul négligeable.
Décroissance par Couche : Une proposition novatrice de décroissance de la mise à jour par couche pour les composants d'attention et de FFN afin de stabiliser la dynamique d'entraînement.
Validation Empirique : Des expériences approfondies sur diverses tailles de modèles (de 125M à 1,3B), des jeux de données (Arxiv, Books3, FinWeb-Edu) et des longueurs d'entraînement démontrent l'efficacité de la méthode.

Résultats Expérimentaux

L'article rapporte que GeoNorm surpasse systématiquement les méthodes de normalisation existantes (Pre-Norm, Post-Norm, DeepNorm, SandwichNorm) dans toutes les configurations testées :

Performance : Sur les jeux de données Arxiv et Books3 avec un modèle de 125M, GeoNorm a atteint la perte de validation la plus faible (1,8792 sur Arxiv ; 3,4040 sur Books3) par rapport à toutes les bases de référence.
Scalabilité : L'avantage de performance persiste et s'élargit à mesure que la taille du modèle augmente. Pour un modèle de 1,3B, GeoNorm a atteint une perte de 3,1759, surpassant la meilleure base de référence (Pre-Norm à 3,2067).
Stabilité : GeoNorm a démontré une stabilité d'entraînement supérieure, particulièrement lors de sessions d'entraînement longues (jusqu'à 4096 de longueur de séquence). Alors que le Post-Norm présentait des pics de perte et un effondrement de l'entraînement à des longueurs plus importantes, GeoNorm a maintenu une convergence stable.
Mécanisme de Décroissance : Parmi les stratégies de décroissance, la décroissance harmonique ( $\alpha/k$ ) a produit la meilleure performance, établissant de nouveaux records sur les jeux de données testés.

Signification et Revendications

L'article affirme que GeoNorm offre une intégration transparente dans les architectures Transformer standards, ne nécessitant aucune modification des blocs de base (Attention ou FFN) et n'introduisant aucun paramètre entraînable supplémentaire. Les auteurs soutiennent qu'en exploitant l'optimisation géodésique, GeoNorm permet aux représentations de se déplacer plus cohérentement le long de la variété sphérique, conduisant à une meilleure propagation de l'information et une plus grande stabilité de l'entraînement.

Ce travail se positionne comme une étape fondamentale pour comprendre les mécanismes de normalisation à travers le prisme de la géométrie riemannienne. Il suggère que le succès empirique du Pre-Norm peut être expliqué par sa décroissance implicite du pas, un mécanisme que GeoNorm rend explicite et adaptatif. Les auteurs concluent que cette vue unifiée fournit une base robuste pour les futures innovations dans la conception des architectures Transformer, particulièrement pour porter les modèles vers des profondeurs et des complexités accrues.