🤖 machine learning

The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks

Die Arbeit zeigt, dass LayerNorm durch die Einschränkung der Daten auf eine affine Hyperebene die lokale Lernkoeffizienten-Komplexität der nachfolgenden Gewichtsmatrix um genau $m/2$ reduziert, während RMSNorm diese Komplexität aufgrund der sphärischen Projektion unverändert lässt.

Ursprüngliche Autoren: Sungbae Chun

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sungbae Chun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der geometrische Preis der Normalisierung: Warum LayerNorm und RMSNorm nicht gleich sind

Stell dir vor, du bist ein Architekt, der ein riesiges, komplexes Gebäude (ein neuronales Netzwerk) baut. In diesem Gebäude gibt es spezielle „Kontrollräume" (die Normalisierungsschichten wie LayerNorm und RMSNorm), durch die alle Daten fließen müssen, bevor sie weiterverarbeitet werden.

Die zentrale Frage dieses Papers ist: Verändern diese Kontrollräume die Anzahl der „Baupläne", die unser Gebäude haben kann?

Die Autoren haben herausgefunden, dass zwei sehr ähnliche Kontrollräume völlig unterschiedliche Auswirkungen haben – und zwar aus rein geometrischen Gründen.

1. Die zwei Arten von Kontrollräumen

Stell dir vor, die Daten sind wie eine Gruppe von Menschen, die durch einen Raum laufen.

LayerNorm (Der strenge Lehrer): Dieser Raum zwingt die Gruppe, sich so aufzustellen, dass ihr Durchschnitt genau in der Mitte steht. Wenn jemand zu weit links steht, muss er nach rechts rücken, damit die Mitte stimmt.
- Die Geometrie: Dadurch werden alle Menschen auf eine flache Ebene (eine Wand) gezwungen. Sie können sich nur noch auf dieser Wand bewegen, nicht mehr im ganzen Raum.
RMSNorm (Der flexible Coach): Dieser Raum erlaubt den Menschen, sich frei zu bewegen, solange sie einen bestimmten Abstand vom Zentrum einhalten (wie auf einer Kugeloberfläche). Sie müssen nicht in einer flachen Linie stehen, sondern können sich auf einer Kugel verteilen.
- Die Geometrie: Die Menschen können sich in alle Richtungen bewegen, solange sie auf der Kugel bleiben.

2. Das Geheimnis der „unsichtbaren Richtungen"

Nun kommt der nächste Schritt im Gebäude: Ein riesiges Gitter (die Gewichtsmatrix), das die Daten weiterverarbeitet. Dieses Gitter hat viele Stangen, die in verschiedene Richtungen zeigen.

Bei LayerNorm (Die flache Wand): Da die Daten nur auf einer flachen Wand liegen, sind alle Stangen des Gitters, die senkrecht zu dieser Wand zeigen, für die Daten unsichtbar. Die Daten „sehen" diese Stangen gar nicht.
- Die Folge: Diese unsichtbaren Stangen sind nutzlos. Sie sind wie Baupläne, die man wegwerfen kann, ohne dass das Gebäude instabil wird. Das System verliert also effektiv die Hälfte der Komplexität (genau gesagt: die Hälfte der Dimensionen der Ausgabe).
Bei RMSNorm (Die Kugel): Da die Daten auf einer Kugel liegen, können sie in alle Richtungen „schauen". Keine Stange des Gitters ist unsichtbar.
- Die Folge: Das System behält alle seine Baupläne und seine volle Komplexität bei.

Die einfache Regel: Wenn die Daten auf einer flachen Ebene gefangen sind (wie bei LayerNorm), wird das System „dümmer" (weniger komplex). Wenn sie auf einer gekrümmten Kugel sind (wie bei RMSNorm), bleibt es „klug" (voll komplex).

3. Der „Knick" vs. die „Kurve"

Die Autoren haben getestet, ob es einen fließenden Übergang gibt. Ist eine leicht gekrümmte Wand schon gut genug?

Die Entdeckung: Nein! Es ist ein binärer Schalter.
- Ist die Wand perfekt flach? -> Komplexität sinkt drastisch.
- Ist die Wand auch nur ein winziges bisschen gekrümmt? -> Komplexität bleibt voll erhalten.
- Es ist egal, ob die Krümmung nach oben oder unten zeigt oder wie stark sie ist. Schon ein winziger „Buckel" reicht aus, um die Komplexität zu retten.

4. Der „Schmuggler-Bias" (Ein kleiner Trick)

Das Paper untersucht auch eine spezielle Situation, die bei Softmax (einer häufigen Funktion in KI-Modellen) vorkommt. Hier liegen die Daten auf einer Ebene, die nicht durch den Nullpunkt geht (wie eine Schicht, die über dem Boden schwebt).

Ohne Bias: Wenn das nächste Bauteil keine eigene „Verschiebung" (Bias) hat, passiert nichts. Die Ebene ist zwar verschoben, aber das System sieht sie als volldimensional an.
Mit Bias: Wenn das Bauteil eine eigene Verschiebung erlaubt, passiert ein Trick: Die Verschiebung der Daten und die Verschiebung des Bauteils vermischen sich. Das System kann nicht mehr unterscheiden, was von wo kommt.
- Das Ergebnis: Genau wie bei LayerNorm verliert das System wieder die Hälfte seiner Komplexität. Die Daten haben einen „schmuggelnden Bias" mitgebracht, der das System verwirrt und ihm die Freiheit nimmt.

5. Warum ist das wichtig?

Bisher haben viele KI-Forscher LayerNorm und RMSNorm als austauschbar angesehen. Dieses Paper zeigt: Nein, sie sind fundamental unterschiedlich.

LayerNorm zwingt das System, weniger komplexe Lösungen zu finden. Das kann gut sein, um Overfitting (Auswendiglernen) zu verhindern, aber es schränkt auch die Ausdruckskraft ein.
RMSNorm lässt dem System mehr Freiheit.

Zusammenfassend:
Stell dir vor, du hast ein Werkzeugkasten voller Schraubenschlüssel.

LayerNorm nimmt dir einen Teil der Schlüssel weg, weil die Schrauben, die du drehen musst, nur in einer flachen Ebene liegen. Du brauchst weniger Schlüssel, aber du kannst auch weniger Dinge tun.
RMSNorm lässt dir alle Schlüssel, weil die Schrauben in alle Richtungen zeigen können.

Die Mathematik dahinter ist komplex (sie spricht von „Lokalen Lernkoeffizienten" und „Singular Learning Theory"), aber die Botschaft ist einfach: Die Form, in der wir Daten normalisieren, bestimmt direkt, wie viel „Gehirnleistung" dem nächsten Schritt zur Verfügung steht.

1. Problemstellung

LayerNorm und RMSNorm werden in der Praxis oft als austauschbare Designentscheidungen betrachtet. Die Autoren zeigen jedoch, dass diese Normalisierungsschichten fundamentale geometrische Unterschiede aufweisen, die sich direkt auf die Bayessche Komplexität (gemessen durch den Local Learning Coefficient, LLC) des nachfolgenden Gewichtsnetzwerks auswirken.

Das Kernproblem besteht darin, zu verstehen, wie Normalisierungsschichten die effektive Anzahl der Parameter eines neuronalen Netzwerks verändern, bevor das Training überhaupt beginnt. Während Normalisierung die Daten auf eine bestimmte geometrische Mannigfaltigkeit (Submanifold) in $\mathbb{R}^d$ einschränkt, ist unklar, unter welchen Bedingungen diese Einschränkung zu einer Reduktion der Lernkomplexität führt. Die Arbeit untersucht, ob diese Reduktion von der Krümmung der Mannigfaltigkeit oder von ihrer affinen Struktur abhängt.

2. Methodik

Die Arbeit kombiniert theoretische Beweise aus der Singulären Lerntheorie (Singular Learning Theory, SLT) mit kontrollierten empirischen Experimenten.

Theoretischer Rahmen:
- Nutzung des Local Learning Coefficient (LLC) als Maß für die effektive Komplexität eines Modells aus bayesscher Sicht.
- Analyse der Symmetrieräume: Wenn Daten auf einer Mannigfaltigkeit $M$ liegen, die einen linearen Spann $d_s < d$ hat, werden Richtungen der Gewichtsmatrix $W$ , die orthogonal zu diesem Spann stehen, für den Verlust „unsichtbar". Dies erzeugt kontinuierliche Symmetrien, die den LLC reduzieren.
- Herleitung einer exakten algebraischen Formel für die Reduktion des LLC basierend auf der Kodimension der Mannigfaltigkeit.
- Unterscheidung zwischen holonomen Zwangsbedingungen (die die Daten auf eine Fläche zwingen) und Lagrange-Symmetrien (Skalierungsinvarianzen).
Experimentelles Setup:
- Verwendung eines einlagigen Teacher-Student-Modells (Single Linear Layer), um die geometrischen Kosten der Normalisierung von anderen Degenerationsquellen (wie Skalierungsinvarianzen in tiefen Netzen) zu isolieren.
- Anwendung des wrLLC-Frameworks (Weight-reduced Local Learning Coefficient) zur Schätzung des LLC mittels SGLD (Stochastic Gradient Langevin Dynamics).
- Systematische Variation der Mannigfaltigkeitsgeometrie (flach vs. gekrümmt) und der Normalisierungsmethoden (LayerNorm, RMSNorm, Softmax).

3. Wichtige Beiträge

A. Geometrischer Schwellenwert für LLC-Reduktion

Die Autoren beweisen, dass die Reduktion des LLC nicht von der Krümmung (positiv/negativ) abhängt, sondern ausschließlich davon, ob die Mannigfaltigkeit affin flach ist.

Theorem 1: Für eine lineare Schicht $W \in \mathbb{R}^{m \times d}$ mit quadratischem Verlust führt eine Einschränkung der Eingabedaten auf eine Mannigfaltigkeit mit linearem Spann $d_s$ zu einer LLC-Reduktion von:
$\Delta \lambda = \frac{m(d - d_s)}{2}$
Ergebnis: Jede nicht-null Krümmung reicht aus, um den vollen linearen Spann ( $d_s = d$ ) zu erhalten und somit den LLC zu erhalten. Nur affin flache Mannigfaltigkeiten (wie Hyperebenen) führen zu einer Reduktion.

B. Exakte Vorhersagen für Normalisierungsschichten

LayerNorm: Führt eine Mittelwertzentrierung durch ( $\mathbf{1}^\top x = 0$ $1^{⊤} x = 0$ ). Die Daten liegen auf einer linearen Hyperebene durch den Ursprung mit $d_s = d-1$ $d_{s} = d - 1$ .
- Konsequenz: Reduktion des LLC um exakt $m/2$ (wobei $m$ die Ausgabedimension ist).
RMSNorm: Projiziert auf eine Hypersphäre ( $\|x\| = \sqrt{d}$ $∥ x ∥ = d$ ), die den Ursprung nicht enthält, aber den vollen linearen Spann $\mathbb{R}^d$ $R^{d}$ besitzt ( $d_s = d$ $d_{s} = d$ ).
- Konsequenz: Keine Reduktion des LLC ( $\Delta \lambda = 0$ ).

C. Finite-Sample-Phasenübergang

Experimentell zeigen die Autoren, dass der theoretisch scharfe (binäre) Schwellenwert bei endlichen Stichprobengrößen einen glatten Übergang aufweist.

Die Breite dieses Übergangs hängt davon ab, wie viel der Datenverteilung tatsächlich die Krümmung „erfährt".
Bei stark konzentrierter Krümmung (schmale „Bumps") bleibt der geschätzte LLC nahe am flachen Wert, bis die Krümmung eine kritische Amplitude überschreitet. Dies ist ein Artefakt des SGLD-Schätzers, nicht der zugrundeliegenden Geometrie.

D. Simplex-Bias-Dualität (Proposition 1)

Die Arbeit analysiert Softmax-Ausgaben, die auf dem Standard-Simplex liegen ( $\sum x_i = 1$ ).

In einer streng linearen Schicht ($Wx$) gibt es keine Reduktion, da der lineare Spann $d$ ist.
In einer affinen Schicht ($Wx + b$) entsteht eine „geschmuggelte Bias" ( $b_{smuggled} = \frac{1}{d}W\mathbf{1}$ ), die mit der expliziten Bias $b$ ununterscheidbar ist.
Ergebnis: Dies aktiviert einen $m$ -dimensionalen Symmetierraum und führt zu einer LLC-Reduktion von $m/2$ .

4. Ergebnisse

LayerNorm vs. RMSNorm: Experimente bestätigen, dass LayerNorm den LLC um $m/2$ reduziert (z. B. $\approx 2.0$ für $m=4$ ), während RMSNorm den LLC unverändert lässt.
Krümmungstest: Mannigfaltigkeiten mit positiver Krümmung (Paraboloid), negativer Krümmung (Sattelfläche) und Hyperboloiden zeigen alle einen LLC nahe dem unbeschränkten Gauß-Baseline-Wert. Nur die flache Hyperebene zeigt den signifikanten Abfall.
Skalierung: Die Reduktion skaliert linear mit der Ausgabedimension $m$ und ist unabhängig von der Eingabedimension $d$ .
Softmax-Experiment: Bei Verwendung von Simplex-Daten zeigt sich der LLC-Abfall nur, wenn eine explizite Bias-Schicht vorhanden ist, was die Theorie der „geschmuggelten Bias" bestätigt.

5. Bedeutung und Implikationen

Fundamentaler Unterschied zwischen Normalisierungen: Die Arbeit liefert den ersten quantitativen Beweis, dass LayerNorm und RMSNorm strukturell unterschiedliche Komplexitätskosten haben. LayerNorm reduziert die effektive Parametrierung, RMSNorm nicht.
Geometrie vor Training: Die Reduktion der Komplexität ist eine strukturelle Eigenschaft, die durch die Geometrie der Datenmannigfaltigkeit vor dem Training festgelegt wird, nicht durch den Trainingsverlauf.
Attention Sinks: Die Autoren spekulieren, dass die LLC-Reduktion bei LayerNorm (insbesondere in $W_V$ ) die Netzwerke strukturell zu niederrangigen Lösungen neigen lässt, was die Bildung von „Attention Sinks" begünstigen könnte (ein Phänomen, das in autoregressiven Modellen beobachtet wird).
Grokking-Dynamik: Die Reduktion der Freiheitsgrade durch LayerNorm könnte das Lernen von generalisierenden Mustern („Grokking") im Vergleich zu RMSNorm beschleunigen, da der Suchraum für die Generalisierung kleiner ist.
Methodischer Fortschritt: Die Arbeit demonstriert die Anwendbarkeit von SLT und wrLLC zur Isolierung spezifischer geometrischer Effekte in neuronalen Netzen, getrennt von anderen Symmetrien.

Zusammenfassend etabliert das Paper eine binäre geometrische Schwelle: Nur affin flache Mannigfaltigkeiten (wie durch LayerNorm erzeugt) führen zu einer signifikanten Reduktion der bayesschen Komplexität, während gekrümmte Mannigfaltigkeiten (wie durch RMSNorm oder Softmax ohne Bias) die volle Komplexität bewahren.