💬 NLP

GeoNorm: Unify Pre-Norm and Post-Norm with Geodesic Optimization

Dieses Paper führt GeoNorm ein, eine neuartige Normalisierungsmethode, die Pre-Norm- und Post-Norm-Ansätze vereinheitlicht, indem sie die Schichtausgaben als geodätische Updates auf einer Mannigfaltigkeit mit schichtweiser Dekay interpretiert und so konsistente Leistungsverbesserungen in Transformer-Modellen bei vernachlässigbarem Rechenaufwand erzielt.

Ursprüngliche Autoren: Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

Veröffentlicht 2026-01-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chuanyang Zheng, Jiankai Sun, Yihang Gao, Chi Wang, Yuehao Wang, Jing Xiong, Liliang Ren, Bo Peng, Qingmei Wang, Xiaoran Shang, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Schreiben einer Geschichte beizubringen. Um dies zu tun, verwendet der Roboter eine komplexe Maschine namens Transformer. In dieser Maschine gibt es viele Schichten von „Arbeitern“ (wie Attention-Arbeiter und Feed-Forward-Arbeiter), die Informationen entlang einer Kette weitergeben.

Jedes Mal, wenn ein Arbeiter eine Nachricht an den nächsten weitergibt, muss die Nachricht „normalisiert“ werden. Denken Sie an die Normalisierung als einen Lautstärkeregler oder ein Lineal. Es stellt sicher, dass die Nachricht nicht zu laut (zu groß) oder zu leise (zu klein) ist, bevor sie zum nächsten Schritt übergeht.

Lange Zeit hatten Ingenieure zwei Hauptwege, um diesen Lautstärkeregler einzustellen:

Post-Norm: Der Arbeiter erledigt seine Arbeit, fügt seine Nachricht zur Kette hinzu und dann prüft jemand die Lautstärke und passt sie an.
Pre-Norm: Jemand prüft die Lautstärke, bevor der Arbeiter beginnt, sodass der Arbeiter immer mit einer perfekt dimensionierten Nachricht startet.

Beide Methoden funktionieren, haben aber Mängel. Post-Norm kann manchmal dazu führen, dass die Lautstärke wild ansteigt (wie ein Rückkopplungsquietschen), während Pre-Norm dazu führen kann, dass die frühen Arbeiter im Vergleich zu den späteren zu laut schreien.

Die neue Idee: GeoNorm

Die Autoren dieser Arbeit, GeoNorm, sagen: „Warum prüfen wir die Lautstärke nur mit einem Lineal? Lassen Sie uns lieber über den Pfad nachdenken, den die Nachricht nimmt.“

Sie erkannten, dass die Art und Weise, wie sich diese Nachrichten bewegen, eher dem Gehen auf der Oberfläche eines Globus (einer Kugel) gleicht als dem Gehen auf einem flachen Boden.

Die alte Methode (Projektion): Stellen Sie sich vor, Sie gehen auf einem Globus spazieren. Sie machen einen Schritt in einer geraden Linie (wie ein Laserstrahl). Wenn Sie immer geradeaus weitergehen, fallen Sie schließlich vom Globus ab und geraten ins Weltall. Um dies zu beheben, sagt die alte Methode: „Oh nein, du bist gefallen! Lass uns dich einfach wieder gerade nach unten auf die Oberfläche ziehen.“ Dies ist eine unbeholfte, abrupte Korrektur, die Ihre Richtung verzerren kann.
Die neue Methode (Geodäte): Die Autoren schlagen vor, dass Sie anstatt in einer geraden Linie zu laufen und vom Globus zu fallen, stattdessen entlang der gekrümmten Oberfläche des Globus selbst gehen sollten. In der Mathematik wird der kürzeste Weg auf einer gekrümmten Oberfläche als Geodäte bezeichnet (so wie Flugzeuge in Bögen und nicht in geraden Linien fliegen, um von New York nach London zu gelangen).

GeoNorm ersetzt die unbeholfte „Zurückziehen“-Methode durch eine sanftere „Entlang der Kurve gehen“-Meth Methode. Es verwendet ein mathematisches Werkzeug namens Exponentialabbildung, um sicherzustellen, dass die Nachricht natürlich auf dem „Globus“ bleibt und der Kurve folgt, ohne jemals abzufallen oder eine erschütternde Korrektur zu benötigen.

Der „Decay“-Trick

Die Arbeit führt auch eine intelligente Art und Weise ein, um die „Schrittgröße“ (wie groß ein Schritt des Roboters ist) zu handhaben.

Stellen Sie sich vor, Sie wandern einen Berg hinauf. Am Fuß des Berges können Sie große, selbstbewusste Schritte machen. Aber je höher Sie kommen und je schwieriger das Gelände wird, desto kleinere, vorsichtigere Schritte sollten Sie machen.
GeoNorm wendet diese Logik an. Es beginnt mit größeren Updates und macht die Schritte allmählich kleiner, während die Nachricht durch die tieferen Schichten des Netzwerks wandert. Dies verhindert, dass der Roboter gegen Ende der Kette stolpert oder verwirrt wird.

Was haben sie herausgefunden?

Die Autoren haben diese neue Methode auf verschiedenen „Wanderwegen“ (Datensätze wie Arxiv und Books3) und mit verschiedenen Größen von Robotern (Modellgrößen von klein bis riesig) getestet.

Bessere Leistung: Der Roboter, der GeoNorm verwendet, hat konsistent schneller gelernt und am Ende eine bessere „Punktzahl“ (niedrigere Fehlerrate) erreicht als Roboter, die die alten Methoden verwendeten.
Stabilität: Die alten Methoden hatten manchmal „Loss-Spikes“ (plötzliche Leistungseinbrüche), besonders wenn der Roboter sehr tief war oder das Training lange dauerte. GeoNorm war viel glatter und hatte keine Abstürze.
Keine Zusatzkosten: Das Beste daran? Diese neue Art, auf dem Globus zu wandern, erfordert nicht, dass der Roboter einen schwereren Rucksack trägt. Es erhöht nicht den Speicherbedarf oder verlangsamt den Computer; es ändert lediglich, wie der Roboter sich bewegt.

Zusammenfassend

Die Arbeit argumentt, dass wir anstatt die KI-Nachrichten in eine Box zu zwingen (die alten Normalisierungsmethoden), sie natürlich entlang der gekrümmten Oberfläche fließen lassen sollten, auf der sie sich bewegen sollen. Indem wir dies tun, wird die KI stabiler, lernt besser und benötigt keine zusätzliche Rechenleistung, um dies zu erreichen.

Technisches Resümee: GeoNorm: Vereinigung von Pre-Norm und Post-Norm durch geodätische Optimierung

Problemstellung

Die Platzierung von Normalisierungsschichten innerhalb von Transformer-Architekturen – konkret die Wahl zwischen Pre-Norm und Post-Norm – bleibt eine kritische Designentscheidung, die den Trainingsstabilität, die Modellleistung und den Gradientenfluss beeinflusst. Während Pre-Norm aufgrund seiner Stabilität zur bevorzugten Wahl in modernen Large Language Models (LLMs) geworden ist, führt es zu imbalancierten Gradienten, bei denen untere Schichten größere Updates erhalten als obere. Im Gegensatz dazu ist Post-Norm, das ursprünglich für das Training tiefer Netzwerke konzipiert wurde, anfällig für Trainingsinstabilitäten und Loss-Spikes. Bestehende Lösungen wie DeepNorm und SandwichNorm verbessern die Stabilität durch Parameterinitialisierung oder zusätzliche Normalisierungsschichten, lassen jedoch einen einheitlichen theoretischen Rahmen zur Analyse dieser Mechanismen vermissen.

Methodik

Die Autoren schlagen GeoNorm vor, eine neuartige Normalisierungsmethode, die auf der Mannigfaltigkeitsoptimierung basiert. Die zentrale theoretische Erkenntnis besteht darin, die Standard-Transformer-Update-Operationen ( $x + \text{FFN}(x)$ und $x + \text{Attention}(x)$ ) als Optimierungsschritte auf einer Sphäre zu interpretieren. In dieser Sichtweise:

Token-Embeddings fungieren als Ausgangszustand auf einer Mannigfaltigkeit.
Attention- und FFN-Module generieren Update-Richtungen (geschätzte Gradienten).
Normalisierung wird als Projektion zurück auf eine Einschränkungsmenge (die Sphäre) betrachtet.

Standardmäßige Normalisierung (Post-Norm) führt ein unbeschränktes Update durch, gefolgt von einer euklidischen Projektion zurück auf die Sphäre. Die Autoren argumentieren, dass diese Projektion geometrische Informationen verwirft und Update-Richtungen verzerren kann. Stattdessen ersetzt GeoNorm den Projektionsschritt durch ein geodätisches Update unter Verwendung der Exponentialabbildung.

Für einen Punkt $x$ auf einer Sphäre und einen Tangentialvektor $v$ (die projektierte Update-Richtung) erfolgt das Update intrinsisch entlang der Geodäte:
$\text{exp}_x(v) = \cos\left(\frac{\|v\|}{\|x\|}\right)x + \|x\|\sin\left(\frac{\|v\|}{\|x\|}\right)\frac{v}{\|v\|}$

Diese Formulierung stellt sicher, dass sich die Repräsentation glatt entlang der Mannigfaltigkeit bewegt und die intrinsische Geometrie des Merkmalsraums bewahrt. Darüber hinaus führen die Autoren einen Mechanismus für den schichtweisen Update-Zerfall (layer-wise update decay) für die Schrittweite ( $\alpha_k$ ) ein, analog zu Lernraten-Schedules. Sie evaluieren drei Zerfallsstrategien:

Harmonisch: $\alpha_k = \alpha / k$
Quadratwurzel: $\alpha_k = \alpha / \sqrt{k}$
Linear: $\alpha_k = \alpha (T - k) / T$

Das Paper demonstriert zudem theoretisch, dass Pre-Norm als ein Spezialfall von GeoNorm mit nicht-adaptiven, tiefenabhängigen Winkeln interpretiert werden kann, wodurch beide Ansätze unter einem einheitlichen geometrischen Rahmen vereinigt werden.

Zentrale Beiträge

Theoretischer Rahmen: Die Autoren liefern eine einheitliche theoretische Perspektive, die Transformer-Schichten als iterative Optimierungsschritte auf einer sphärischen Mannigfaltigkeit interpretiert und so die Lücke zwischen Pre-Norm und Post-Norm schließt.
GeoNorm-Algorithmus: Sie führen GeoNorm ein, welches die standardmäßige projektionsbasierte Normalisierung durch geodätische Updates via Exponentialabbildung ersetzt. Diese Methode erfordert keine zusätzlichen trainierbaren Parameter und verursacht vernachlässigbare Rechenzusatzkosten.
Schichtweiser Zerfall: Ein neuartiger Vorschlag für den schichtweisen Update-Zerfall für Attention- und FFN-Komponenten zur Stabilisierung der Trainingsdynamik.
Empirische Validierung: Umfangreiche Experimente über variierende Modellgrößen (125M bis 1,3B), Datensätze (Arxiv, Books3, FinWeb-Edu) und Trainingslängen hinweg belegen die Wirksamkeit der Methode.

Experimentelle Ergebnisse

Das Paper berichtet, dass GeoNorm konsistent bestehende Normalisierungsmethoden (Pre-Norm, Post-Norm, DeepNorm, SandwichNorm) über alle getesteten Konfigurationen hinweg übertrifft:

Performance: Auf den Datensätzen Arxiv und Books3 erreichte das 125M-Modell mit GeoNorm den niedrigsten Validierungsverlust (1,8792 auf Arxiv; 3,4040 auf Books3) im Vergleich zu allen Baselines.
Skalierbarkeit: Der Leistungsvorteil bleibt bestehen und vergrößert sich mit zunehmender Modellgröße. Für ein 1,3B-Modell erreichte GeoNorm einen Verlust von 3,1759 und übertraf damit die beste Baseline (Pre-Norm mit 3,2067).
Stabilität: GeoNorm demonstrierte eine überlegene Trainingsstabilität, insbesondere bei langen Trainingsläufen (bis zu 4096 Sequenzlänge). Während Post-Norm bei längeren Längen Loss-Spikes und einen Trainingskollaps aufwies, behielt GeoNorm eine stabile Konvergenz bei.
Zerfallsmechanismus: Unter den Zerfallsstrategien lieferte der harmonische Zerfall ( $\alpha/k$ ) die beste Performance und setzte neue Benchmarks auf den getesteten Datensätzen.

Bedeutung und Behauptungen

Das Paper behauptet, dass GeoNorm eine nahtlose Integration in Standard-Transformer-Architekturen bietet, da keine Modifikationen an den Kernblöcken (Attention oder FFN) erforderlich sind und keine zusätzlichen trainierbaren Parameter eingeführt werden. Die Autoren betonen, dass GeoNorm durch die Nutzung geodätischer Optimierung es Repräsentationen ermöglicht, sich kohärenter entlang der sphärischen Mannigfaltigkeit zu bewegen, was zu einer verbesserten Informationspropagation und Trainingsstabilität führt.

Die Arbeit positioniert sich als ein grundlegender Schritt zum Verständnis von Normalisierungsmechanismen durch die Linse der Riemannschen Geometrie. Sie legt nahe, dass der empirische Erfolg von Pre-Norm durch dessen impliziten Schrittweiten-Zerfall erklärt werden kann – ein Mechanismus, den GeoNorm explizit und adaptiv macht. Die Autoren kommen zu dem Schluss, dass diese vereinheitlichte Sichtweise ein robustes Fundament für zukünftige Innovationen im Design von Transformer-Architekturen bietet, insbesondere für die Skalierung von Modellen auf größere Tiefen und Komplexitäten.