🤖 machine learning

The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks

Ce papier démontre que la normalisation par couches (LayerNorm) réduit la complexité bayésienne des réseaux de neurones d'un montant précis de $m/2$ en contraignant les données à un hyperplan affine, contrairement à la normalisation RMSNorm qui préserve cette complexité, une différence structurelle validée théoriquement et expérimentalement via le coefficient d'apprentissage local.

Auteurs originaux : Sungbae Chun

Publié 2026-03-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sungbae Chun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Titre : Le Coût Géométrique de la "Normalisation"

Imaginez que vous êtes un chef cuisinier (le réseau de neurones) et que vous devez préparer un plat complexe. Avant de commencer à cuisiner, vous devez préparer vos ingrédients. Dans le monde de l'intelligence artificielle, cette étape s'appelle la normalisation.

Les chercheurs de ce papier ont découvert que la façon dont vous préparez ces ingrédients change radicalement la "taille" de votre cerveau artificiel, même si vous ne l'avez pas encore entraîné. C'est comme si le simple fait de ranger vos légumes dans un tiroir plat ou de les mettre dans un bol rond changeait le nombre de mains dont vous auriez besoin pour cuisiner.

Les Deux Méthodes de Préparation : LayerNorm vs RMSNorm

Le papier compare deux méthodes populaires pour préparer les données : LayerNorm et RMSNorm.

LayerNorm (Le Tiroir Plat) :
- L'analogie : Imaginez que vous prenez tous vos ingrédients et que vous les forcez à s'aligner parfaitement sur une table plate. Vous les centrez tous autour d'un point zéro.
- Le résultat : En les forçant à rester sur cette table plate, vous leur enlevez une dimension de liberté. Ils ne peuvent plus bouger "vers le haut" ou "vers le bas" de la table, ils sont coincés sur le plan.
- La conséquence mathématique : Le papier prouve que cette contrainte géométrique réduit la "complexité" du cerveau artificiel qui suit. C'est comme si vous aviez perdu la moitié d'une main de cuisine. Le cerveau devient plus petit, plus simple, et a moins de paramètres à apprendre. C'est une réduction exacte et calculable.
RMSNorm (Le Bol Rond) :
- L'analogie : Imaginez que vous prenez vos ingrédients et que vous les placez à l'intérieur d'un grand bol sphérique. Ils sont tous à la même distance du centre, mais ils peuvent bouger librement dans toutes les directions de la sphère (haut, bas, gauche, droite, avant, arrière).
- Le résultat : Même s'ils sont dans un bol, ils peuvent toujours atteindre tous les coins de l'espace. Ils n'ont pas perdu de liberté de mouvement.
- La conséquence mathématique : Le cerveau artificiel qui suit garde toute sa taille et toute sa complexité. Il n'y a aucune perte de "mains" de cuisine.

La Règle d'Or : Plat vs Courbé

Le cœur de la découverte est une règle géométrique très simple, presque binaire :

Si la surface est parfaitement plate (comme un plan infini) : Le cerveau perd de la complexité. C'est comme si une partie de l'espace de travail devenait invisible pour lui.
Si la surface a la moindre courbure (même une toute petite bosse, comme une sphère ou une selle de cheval) : Le cerveau garde toute sa complexité. Dès qu'il y a une courbe, l'espace se "remplit" à nouveau.

C'est comme si vous essayiez de dessiner sur une feuille de papier parfaitement plate : vous ne pouvez pas dessiner en 3D. Mais dès que vous pliez légèrement le papier (une courbure), vous retrouvez la capacité de dessiner en 3D.

L'Effet "Contrebande" (Le Biais Déguisé)

Le papier parle aussi d'un cas spécial avec les données de type "Softmax" (souvent utilisées pour les choix, comme choisir la meilleure réponse dans un chatbot).

L'histoire : Ces données vivent sur une surface spéciale (un "simplexe") qui est comme un triangle flottant dans l'espace. Elles ne passent pas par le centre (0,0,0).
Le problème : Si vous utilisez un cerveau purement linéaire (sans "biais" ou sans ajustement), il ne voit pas la différence, et tout va bien.
La révélation : Mais si vous ajoutez un petit ajustement (un "biais explicite") au cerveau, soudainement, la géométrie de ce triangle devient un piège. Le cerveau pense qu'il a deux façons différentes de faire la même chose (une via l'ajustement, une via la géométrie du triangle). Cela crée une confusion qui réduit la complexité du cerveau, exactement comme avec le LayerNorm. C'est ce qu'ils appellent un "biais de contrebande" : une contrainte cachée qui se faufile dans le système.

Pourquoi est-ce important ?

Ce n'est pas de la magie, c'est de la géométrie : Avant d'entraîner le modèle, la simple façon dont vous normalisez les données détermine sa complexité réelle. C'est une propriété structurelle, pas un hasard.
Précision : Les chercheurs ont prouvé mathématiquement que LayerNorm réduit la complexité d'une quantité exacte (la moitié de la dimension de sortie), tandis que RMSNorm ne la réduit pas du tout.
Pourquoi RMSNorm est populaire : Si vous voulez un modèle qui garde toute sa puissance et sa capacité d'apprentissage (tous ses paramètres), RMSNorm est le choix sûr car il ne "casse" pas la géométrie des données.

En résumé

Imaginez que vous construisez une maison.

LayerNorm est comme construire la maison sur un terrain plat et rigide : vous gagnez de la stabilité, mais vous perdez de l'espace utilisable (la complexité du modèle diminue).
RMSNorm est comme construire sur un terrain vallonné mais flexible : vous gardez tout l'espace disponible, et le modèle reste aussi grand et complexe que prévu.

Ce papier nous dit que le choix de la "normalisation" n'est pas juste une question de goût ou de vitesse d'entraînement, c'est un choix fondamental sur la taille et la capacité de votre cerveau artificiel, déterminé par la forme géométrique des données que vous lui donnez.

1. Problématique

Les couches de normalisation, telles que LayerNorm et RMSNorm, sont souvent considérées comme interchangeables dans la conception des réseaux de neurones. Cependant, elles imposent des contraintes géométriques fondamentalement différentes sur les données de sortie.
Le problème central abordé par les auteurs est de quantifier l'impact de ces contraintes géométriques sur la complexité effective du modèle, mesurée par le Coefficient d'Apprentissage Local (LLC) dans le cadre de la Théorie de l'Apprentissage Singulier (Singular Learning Theory - SLT).
L'hypothèse est que la géométrie du manifold des données (la surface sur laquelle les données sont contraintes) détermine si des symétries continues apparaissent dans l'espace des paramètres, réduisant ainsi le nombre de paramètres effectifs (LLC) avant même le début de l'entraînement.

2. Méthodologie

Les auteurs utilisent une approche combinant théorie algébrique rigoureuse et validation expérimentale contrôlée :

Théorie (SLT et LLC) : Ils utilisent le LLC, une mesure de la complexité bayésienne d'un modèle. Le LLC est strictement inférieur au nombre de paramètres nominal lorsque la fonction de perte possède des symétries continues (directions dans l'espace des paramètres qui ne changent pas la perte).
Analyse Géométrique : Ils modélisent les opérations de normalisation comme des contraintes holonomes qui confinent les données sur des sous-variétés de $\mathbb{R}^d$ $R^{d}$ .
- LayerNorm : Projette les données sur un hyperplan linéaire passant par l'origine ( $\mathbf{1}^\top x = 0$ ), réduisant la dimension de l'enveloppe linéaire ( $d_s = d-1$ ).
- RMSNorm : Projette les données sur une sphère, qui conserve l'enveloppe linéaire complète ( $d_s = d$ ).
Expérimentation :
- Utilisation d'une architecture couche unique (Teacher-Student) avec une perte quadratique (MSE) pour isoler l'effet de la normalisation sans interférence des symétries d'échelle ($GL(r)$) des réseaux profonds.
- Estimation du LLC via l'algorithme SGLD (Stochastic Gradient Langevin Dynamics) avec le framework wrLLC.
- Tests systématiques sur des variétés de courbures variées (paraboloides, hyperboloïdes, plans plats) et des expériences de mise à l'échelle (variation de $m$ et $d$ ).

3. Contributions Clés

A. Seuil Géométrique pour la Réduction du LLC

Les auteurs prouvent que la réduction du LLC est binaire et dépend de la platitude affine du manifold des données :

Si les données sont confinées sur un hyperplan linéaire (platitude affine), le LLC de la matrice de poids suivante diminue exactement de $m/2$ (où $m$ est la dimension de sortie).
Si les données sont sur une variété à courbure non nulle (même infime), le LLC est préservé intégralement.
Théorème 1 : Pour une couche linéaire $W \in \mathbb{R}^{m \times d}$ , si les données sont sur un manifold $M$ de dimension d'enveloppe linéaire $d_s$ , la réduction est $\Delta\lambda = \frac{m(d - d_s)}{2}$ .

B. Distinction entre LayerNorm et RMSNorm

LayerNorm : En centrant les données (moyenne nulle), il force les données sur un hyperplan de dimension $d-1$ . Cela crée un espace de symétrie de dimension $m$ , entraînant une réduction du LLC de $m/2$ .
RMSNorm : En normalisant uniquement la norme (RMS) sans centrer, les données restent sur une sphère qui englobe tout l'espace $\mathbb{R}^d$ . Il n'y a pas de réduction de l'enveloppe linéaire, donc aucune réduction du LLC ( $\Delta\lambda = 0$ ).

C. Dualité Simplex-Biais (Smuggled Bias)

L'article identifie un phénomène de "biais smugglé" (dérobé) lié à la géométrie du simplexe (utilisé par Softmax) :

Les sorties Softmax satisfont $\sum x_i = 1$ , ce qui les place sur un hyperplan affine ne passant pas par l'origine.
Si la couche suivante est strictement linéaire ($Wx$), il n'y a pas de réduction du LLC car l'enveloppe linéaire reste pleine.
Si la couche suivante inclut un biais explicite ($Wx + b$), le biais "smugglé" ( $b_{smuggled} = \frac{1}{d}W\mathbf{1}$ ) devient indistinguable du biais explicite pour la fonction de perte. Cela active une symétrie de dimension $m$ et réduit le LLC de $m/2$ .

D. Transition de Phase à Échantillon Fini

Bien que la théorie prédise un seuil binaire (courbure vs platitude), les expériences montrent qu'à taille d'échantillon finie, la transition est lisse. La largeur de cette transition dépend de la proportion de la distribution de données qui "ressent" la courbure. Une courbure concentrée sur une petite zone de l'espace des données ne sera pas détectée par l'estimateur SGLD tant que l'amplitude n'est pas suffisante.

4. Résultats Expérimentaux

Validation de la réduction $m/2$ : Les expériences sur des couches uniques montrent que LayerNorm réduit le LLC de $m/2$ (ex: pour $m=4$ , $\Delta\lambda \approx 2.0$ ), confirmant la prédiction théorique. RMSNorm montre une réduction nulle.
Indépendance de la dimension d'entrée : La réduction du LLC ne dépend que de la dimension perdue ( $d-d_s$ ), pas de la dimension totale $d$ .
Courbure : Toutes les variétés courbes (paraboloides, hyperboloïdes, selles) maintiennent le LLC au niveau de la baseline gaussienne, tandis que l'hyperplan plat provoque la chute attendue.
Effet du Biais : L'expérience sur le simplexe confirme que sans biais explicite, $\Delta\lambda \approx 0$ , mais avec un biais, $\Delta\lambda \approx 2.0$ (pour $m=4$ ), validant la dualité Simplex-Biais.
Limites : Pour $m=10$ , l'estimateur SGLD montre une distribution bimodale, indiquant des difficultés de convergence pour des paramètres plus élevés, mais la tendance générale reste conforme à la théorie.

5. Signification et Implications

Coût Structurel de la Normalisation : Le papier établit que LayerNorm impose un "coût géométrique" réel en réduisant la capacité expressive effective (complexité bayésienne) du modèle, tandis que RMSNorm ne le fait pas. Cela remet en question l'idée qu'elles sont interchangeables d'un point de vue théorique de la complexité.
Compréhension des Symétries : L'étude distingue clairement les symétries induites par la géométrie des données (contraintes holonomes) des symétries inhérentes à l'architecture (comme les symétries d'échelle $GL(r)$).
Attention Sinks et Grokking : Les auteurs suggèrent que la réduction du LLC par LayerNorm pourrait biaiser les matrices de poids vers des solutions de rang inférieur, potentiellement liée à la formation de "tokens puits" (attention sinks) ou à l'accélération du phénomène de "grokking" (soudaine généralisation) en éliminant des degrés de liberté associés au mémorisation.
Outil de Mesure : La méthodologie wrLLC sur des architectures simples permet de mesurer précisément ces coûts géométriques, offrant un nouveau cadre pour analyser l'impact des opérations de normalisation.

En résumé, ce papier démontre que la géométrie des données, façonnée par les choix de normalisation, dicte directement la complexité bayésienne du modèle via des mécanismes de symétrie algébriques, avec des conséquences mesurables et quantifiables sur l'apprentissage.