The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks

Titel

De Geometrische Kosten van Normalisatie: Affiene Grenzen voor de Bayesiaanse Complexiteit van Neuronale Netwerken

1. Het Probleem

LayerNorm en RMSNorm worden in de diepe leer vaak als uitwisselbare ontwerpelementen behandeld. Echter, deze normalisatiemethoden leggen fundamenteel verschillende geometrische beperkingen op aan hun uitvoer, wat leidt tot een verschil in de effectieve complexiteit van het model.

• De kernvraag: Hoe beïnvloedt de geometrie van het datamanifold (de ruimte waarin de data ligt na normalisatie) de "Local Learning Coefficient" (LLC), een Bayesiaanse maatstaf voor de effectieve parametercount van een model?
• De observatie: LayerNorm centreert data rond het gemiddelde (nul), terwijl RMSNorm alleen de grootte (RMS) normaliseert. Het artikel onderzoekt of deze verschillen leiden tot een structurele vermindering van de vrijheidsgraden in de volgende gewichtsmatrix voordat training zelfs begint.

2. Methodologie

De auteurs gebruiken Singular Learning Theory (SLT) en met name de Local Learning Coefficient (LLC) om de complexiteit te kwantificeren.

• Theoretisch kader: Ze modelleren normalisatielagen als holonomische constraints die de data beperken tot een specifiek submanifold in $\mathbb{R}^d$.
• Symmetrieanalyse: Als de data op een laag-dimensionaal manifold ligt, worden de richtingen van de gewichtsmatrix $W$ die orthogonaal staan op dit manifold "onzichtbaar" voor de loss-functie. Dit creëert continue symmetrieën in de parameter ruimte, wat de LLC verlaagt.
• Experimenteel ontwerp:
  • Gebruik van een Teacher-Student setup met een enkele lineaire laag (geen diepe netwerken om andere symmetrieën zoals $GL(r)$ schaling te elimineren).
  • Training met MSE-loss tot convergentie.
  • Schatting van de LLC via Stochastic Gradient Langevin Dynamics (SGLD) met de wrLLC framework.
  • Systematische variatie van de input- en outputdimensies ($d$ en $m$) en de geometrie van het manifold (vlak vs. gekromd).

3. Belangrijkste Bijdragen

A. Een Geometrische Drempel voor LLC-Reductie

Het artikel bewijst dat de reductie in LLC afhangt van of het manifold affien plat is of niet:

• Vlakke manifolds: Als de data op een lineaire hyperplaat ligt (die door de oorsprong gaat), daalt de LLC precies met $m/2$ (waarbij $m$ de outputdimensie is).
• Gekromde manifolds: Elke niet-nul kromming (ongeacht teken of grootte) is voldoende om de volledige lineaire spanning te behouden, waardoor de LLC ongewijzigd blijft.
• Conclusie: De drempel is binair: ofwel is het manifold plat (LLC daalt), ofwel is het gekromd (LLC blijft gelijk).

B. Exacte Voorspellingen voor Normalisatielagen

• LayerNorm: Door het middelpunt te centreren ($1^\top x = 0$), projecteert het data op een hyperplaat met dimensie $d-1$. Dit resulteert in een structurele LLC-reductie van $m/2$.
• RMSNorm: Projecteert data op een sfeer ($||x|| = \sqrt{d}$). Een sfeer heeft een volledige lineaire span ($d$), dus er is geen verlies aan vrijheidsgraden. De LLC-reductie is 0.

C. Finite-Sample Fase-overgang

Hoewel de theorie een scherpe, binaire drempel voorspelt, tonen experimenten met eindige steekproeven een gladde overgang aan.

• De breedte van deze overgang hangt af van hoeveel van de data-distributie daadwerkelijk de kromming ervaart.
• Bij smalle, geconcentreerde krommingen (waar de meeste data "plat" blijft) ziet de SGLD-schatter het manifold als plat, zelfs als het theoretisch gekromd is. Bij brede krommingen wordt de LLC-reductie sneller hersteld.

D. Simplex-Bias Dualiteit (De "Smuggled Bias")

Het artikel analyseert de geometrie van Softmax-uitvoer (die op een simplex ligt, $1^\top x = 1$).

• In een strikt lineaire laag ($Wx$) is er geen reductie omdat de simplex niet door de oorsprong gaat (lineaire span is $d$).
• In een affiene laag ($Wx + b$) wordt echter een verborgen bias ("smuggled bias", $b_{smuggled} = \frac{1}{d}W\mathbf{1}$) gecreëerd die ononderscheidbaar is van de expliciete bias $b$. Dit activeert een symmetrie en veroorzaakt een LLC-reductie van $m/2$.

4. Resultaten

De experimentele resultaten bevestigen de theoretische voorspellingen:

1. LayerNorm vs. RMSNorm:
   • LayerNorm toont consistent een reductie van $\Delta\lambda \approx m/2$ (bijv. $m=4 \rightarrow \Delta\lambda \approx 2.0$).
   • RMSNorm toont geen significante reductie ($\Delta\lambda \approx 0$) over alle geteste dimensies.
2. Krommingstest:
   • Vlakke hyperplaten leidden tot een reductie van $\approx 2.1$ (theorie: 2.0).
   • Gekromde oppervlakken (paraboloïden, hyperboloïden, zadels) hielden de LLC dicht bij de onbeperkte Gaussische baseline ($\Delta\lambda \approx 0$).
3. Softmax Experiment:
   • Zonder bias: Geen reductie.
   • Met expliciete bias: Een reductie van $\Delta\lambda \approx 2.26$ (theorie: 2.0), wat de "smuggled bias" hypothese bevestigt.

5. Significantie en Implicaties

• Fundamenteel Inzicht: Normalisatie is niet slechts een stabiliserende techniek voor training; het legt een structurele, meetbare beperking op aan de Bayesiaanse complexiteit van het model. LayerNorm "verliest" effectief parameters, terwijl RMSNorm ze behoudt.
• Architecturale Keuzes: Dit verklaart mogelijk waarom RMSNorm populair is in grote modellen (zoals Llama): het behoudt de volledige expressiviteit van de gewichtsmatrices, terwijl LayerNorm de effectieve parametercount verlaagt.
• Attention Sinks: De auteurs speculeren dat de LLC-reductie in LayerNorm (vooral in $W_V$) structureel kan bijdragen aan het ontstaan van "attention sinks" (lage-rang oplossingen), hoewel dit experimenteel nog niet volledig is geverifieerd.
• Grokking: De vermindering van vrijheidsgraden door LayerNorm zou het vinden van generaliserende circuits tijdens training kunnen versnellen ten opzichte van RMSNorm.

Conclusie: De paper levert een wiskundig bewijs dat de keuze tussen LayerNorm en RMSNorm een fundamenteel verschil maakt in de geometrische complexiteit van het leerproces, bepaald door de affiene eigenschappen van het datamanifold.