🤖 machine learning

Enjoy Your Layer Normalization with the Computational Efficiency of RMSNorm

Dieses Papier schlägt einen Rahmen vor, um Layer-Normalisierungsschichten (LN) in beliebigen tiefen neuronalen Netzwerken durch mathematisches Einbetten der Zentrieroperation in vorgeschaltete lineare Schichten in die effizientere RMSNorm zu identifizieren und umzuwandeln, wodurch eine exakte oder nahezu exakte Inferenzbeschleunigung von 2 % bis 12 % ohne Beeinträchtigung der Modellleistung erreicht wird.

Ursprüngliche Autoren: Yuxin Guo, Yihao Yue, Yunhao Ni, Yizhou Ruan, Jie Luo, Wenjun Wu, Lei Huang

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxin Guo, Yihao Yue, Yunhao Ni, Yizhou Ruan, Jie Luo, Wenjun Wu, Lei Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben ein sehr belebtes Restaurant (ein tiefes neuronales Netzwerk), in dem jedes Gericht (Datensample) perfekt zubereitet werden muss, bevor es zum Kunden gelangt.

In diesem Restaurant gibt es einen spezifischen Schritt namens Layer Normalization (LN). Denken Sie daran wie an einen Küchenchef, der jedes einzelne Gericht probiert, den durchschnittlichen Geschmack der gesamten Charge überprüft und dann jeden einzelnen Zutatenbestandteil anpasst, um sicherzustellen, dass der „durchschnittliche Geschmack" exakt null ist. Dies stellt sicher, dass das Essen ausgewogen und konsistent ist. Dieser Schritt des „Probierens und Anpas-sens" ist jedoch langsam. Es dauert Zeit, den durchschnittlichen Geschmack für jedes einzelne Gericht zu berechnen, was die gesamte Küche verlangsamt, insbesondere wenn Tausende von Bestellungen hereinkommen.

Um die Dinge zu beschleunigen, erfand jemand eine schnellere Methode namens RMSNorm. Dies ist wie ein Sous-Chef, der den Schritt des „Probierens auf durchschnittlichen Geschmack" komplett überspringt. Er überprüft lediglich das „Volumen" oder die „Intensität" der Zutaten und skaliert sie hoch oder herunter. Es ist viel schneller, weil er nicht die Mathematik betreiben muss, um den Durchschnitt zu finden. Aber es gibt einen Haken: Da er den Schritt des „Ausgleichens des Durchschnitts auf Null" überspringt, kann das Essen manchmal zu salzig oder zu fade werden (instabil), und der endgültige Geschmack ist möglicherweise nicht so gut wie der des ursprünglichen Chefs.

Die große Frage:
Können wir die Geschwindigkeit des schnellen Sous-Chefs (RMSNorm) erhalten, ohne die perfekte Balance des Küchenchefs (LN) zu verlieren?

Die Lösung des Papiers: „Faltbare" Rezepte
Die Autoren dieses Papiers sagen: Ja, aber nur, wenn die Küche auf eine bestimmte Weise eingerichtet ist.

Sie schlagen einen cleveren Trick namens „Folding" (Falten) vor.

Das Problem: Normalerweise können Sie den Küchenchef nicht einfach durch den Sous-Chef ersetzen, weil der Küchenchef eine spezifische Aufgabe erfüllt (Zentrieren der Daten), auf die der Rest der Küche angewiesen ist.
Der Trick: Die Autoren stellten fest, dass, wenn die Zutaten, die in den Chef hineingehen, bereits perfekt ausgeglichen sind (Durchschnitt null), der Chef den Teil des „Probierens und Anpas-sens" nicht durchführen muss. Er kann ihn einfach überspringen und stattdessen den Skalierungsteil (RMSNorm) durchführen.
Wie sie es tun: Sie fanden einen Weg, die Zutaten bevor sie den Chef erreichen, „vorzubleichen". Sie tun dies, indem sie das Rezept der vorherigen Kochstation (der linearen Schicht) leicht anpassen. Sie nennen dies Column-Based Weight Centering (CBWC) (Säulenbasierte Gewichts-Zentrierung).
- Stellen Sie sich vor, die vorherige Station ist ein Mixer. Die Autoren justieren den Mixer so, dass er automatisch Zutaten ausspuckt, die bereits perfekt ausgeglichen sind.
- Da die Zutaten bereits ausgeglichen sind, kann der Küchenchef (LN) durch den schnellen Sous-Chef (RMSNorm) ersetzt werden, ohne den endgültigen Geschmack des Gerichts zu verändern.

Die „Karte" (Zero-Mean Graph)
Nicht jede Küche ist gleich eingerichtet. Manche haben komplexe Pfade, bei denen Zutaten auf seltsame Weise gemischt, geteilt und wieder kombiniert werden.

Die Autoren erstellten eine Karte (ein Graph-Algorithmus), um das Layout der Küche zu betrachten.
Wenn die Karte zeigt, dass die Zutaten, die den Chef erreichen, von einer „geraden Linie" von Mixern stammen, die vorjustiert werden können, dann ist dieser Chef „faltbar".
Wenn der Pfad zu unordentlich ist (wie Zutaten, die so zusammengeklebt werden, dass das Gleichgewicht gebrochen wird), kann man ihn nicht falten.

Was sie fanden:

Geschwindigkeit: Durch die Anwendung dieser Methode auf beliebte KI-Modelle (wie GPT-2, BERT und andere) stellten sie fest, dass sie die Küche während der „Servier"-Phase (Inferenz) um 2 % bis 12 % schneller machen konnten.
Geschmack: Entscheidend ist, dass das Essen exakt gleich schmeckt. Die Kunden (Benutzer) merken keinen Unterschied in der Qualität.
Training: Sie testeten dies auch, während die Küche lernte (Training). Obwohl die perfekten „Falt"-Bedingungen nicht immer erfüllt sind, wenn die Küche chaotisch ist und lernt, funktionierte ihre Methode trotzdem fast so gut wie der langsame Küchenchef, war aber viel schneller.

Zusammenfassung:
Das Papier liefert einen Regelkatalog und ein Werkzeug, um zu identifizieren, welche Teile eines KI-Modells beschleunigt werden können, indem ein langsamer, sorgfältiger Normalisierungsschritt durch einen schnellen, einfachen ersetzt wird. Dies tun sie, indem sie den langsamen Teil mathematisch in die vorherigen Schritte „verstecken", wodurch sichergestellt wird, dass die KI schneller läuft, ohne ihre Intelligenz oder Genauigkeit zu verlieren. Es ist wie das Finden einer Abkürzung in einem Labyrinth, die zum selben Ziel führt, aber weniger Zeit zum Gehen benötigt.

Technische Zusammenfassung: Genießen Sie Ihre Layer Normalization mit der Recheneffizienz von RMSNorm

Problemstellung

Layer Normalization (LN) ist eine grundlegende Komponente moderner Deep-Learning-Architekturen, insbesondere von Transformern, wo sie das Training stabilisiert und die Optimierung verbessert. Während der Inferenz erfordert LN jedoch eine pro-Stichproben-Zentrierung (Subtraktion des Mittelwerts) und Skalierung, was im Vergleich zu normalisierungsfreien Alternativen einen nicht zu vernachlässigenden Rechenaufwand mit sich bringt.

RMSNorm wurde als effizientere Alternative vorgeschlagen, indem die Zentrierungsoperation entfernt und nur die Skalierung beibehalten wurde. Obwohl RMSNorm erhebliche Geschwindigkeitsvorteile bietet (in früheren Arbeiten berichtete Reduktionen der Laufzeit von 7 % bis 64 %), verwirft es die Zentrierungsoperation. Diese Entfernung kann zu weniger stabilen Ausgabebereichen und größeren Aktivierungsschwankungen führen und potenziell die mit der Zentrierung verbundenen Vorteile verwerfen, die in früheren Studien etabliert wurden (LeCun et al., 1990; Schraudolph, 1998; Ba et al., 2016). Frühere Versuche, LN und RMSNorm gleichzusetzen (z. B. Jiang et al., 2023), beschränkten sich auf spezifische Pre-Norm-Transformer-Strukturen, sodass die Frage offen bleibt, ob ein allgemeiner Rahmen für beliebige Deep Neural Networks (DNNs) existiert, um LN durch RMSNorm zu ersetzen, ohne die Modellfunktion oder Trainingsdynamik zu verändern.

Methodik

Der Artikel schlägt einen allgemeinen Rahmen vor, um zu bestimmen, ob eine LN-Schicht in einem beliebigen DNN durch RMSNorm ersetzt werden kann, während sowohl bei der Inferenz als auch beim Training eine mathematische Äquivalenz erhalten bleibt. Die Kernstrategie besteht darin, die Zentrierungsoperation von LN in vorgeschaltete lineare Schichten zu „folden" (einzubetten).

1. Spalten-zentrierte Bedingung (CCC) und Spaltenbasierte Gewichts-Zentrierung (CBWC)

Die Autoren analysieren zunächst den Fall, in dem LN unmittelbar auf eine lineare Schicht folgt. Sie stellen fest, dass, wenn der Ausgang der linearen Schicht über die Neuronen hinweg einen Mittelwert von Null aufweist, der Zentrierungsschritt in LN überflüssig wird.

Spalten-zentrierte Bedingung (CCC): Eine lineare Schicht erfüllt die CCC, wenn die Elemente in jeder Spalte ihrer Gewichtsmatrix zu Null summieren. Unter dieser Bedingung ist garantiert, dass der Ausgang der linearen Schicht für jeden Eingang einen Mittelwert von Null hat.
Spaltenbasierte Gewichts-Zentrierung (CBWC): Um die CCC während des Trainings durchzusetzen, ohne die Kapazität des Modells einzuschränken, führen die Autoren eine Reparameterisierungstechnik ein. Eine Proxy-Parametermatrix $W$ wird verwendet, die über eine Projektion in eine effektive Gewichtsmatrix $V$ transformiert wird: $V = (I - \frac{1}{m}\mathbf{1}_m\mathbf{1}_m^\top)W$ . Diese Transformation stellt sicher, dass die effektiven Gewichte die Null-Summen-Spaltenbedingung erfüllen, während die Optimierungsdynamik des ursprünglichen Modells erhalten bleibt.

Proposition: Ein Modell, das eine lineare Schicht mit CBWC gefolgt von RMSNorm verwendet, ist mathematisch äquivalent zu einem Modell, das dieselbe lineare Schicht (ohne Reparameterisierung) gefolgt von einer Standard-LN verwendet.

2. Verallgemeinerung auf beliebige DNNs: Foldable LNs

Der Rahmen wird auf beliebige Netzwerkstrukturen mittels einer graphenbasierten Analyse erweitert.

Foldable LN: Eine LN wird als „foldable" (faltbar) definiert, wenn ihr Eingang durch Bedingungen an vorgeschaltete Schichten garantiert einen Mittelwert von Null hat.
Null-Mittelwert-Graph: Die Autoren konstruieren einen gerichteten Graphen, der den Datenfluss zu einer LN darstellt. Durch Rückverfolgung von der LN aus identifizieren sie „Blattknoten" (vorgeschaltete Schichten).
- Wenn alle Blattknoten allgemeinen linearen Schichten entsprechen (einschließlich Faltungen und RNNs mit geteilten Gewichten) oder Schichten, die inhärent Null-Mittelwert-Ausgänge garantieren, ist die LN foldable.
- Skalare Operationen (z. B. Dropout im Inferenzmodus, Temperaturskalierung) erhalten die Null-Mittelwert-Eigenschaft und brechen die Foldability nicht.
- Residualverbindungen (Addition) erhalten die Foldability, wenn jeder Zweig individuell foldable ist.
- Nichtlineare Operationen (z. B. ReLU, Softmax) oder Verkettungen brechen die Null-Mittelwert-Eigenschaft im Allgemeinen und verhindern das Folding, es sei denn, es wird eine zusätzliche Zentrierung eingefügt.

3. Detektionsalgorithmus

Der Artikel stellt einen Algorithmus (Algorithmus 1) vor, der eine Vorwärtsdurchlauf des Berechnungsgraphen durchführt, um automatisch foldable LNs zu erkennen und die spezifischen vorgeschalteten allgemeinen linearen Schichten zu identifizieren, die CBWC erfordern. Dieser Prozess ist rechnerisch leichtgewichtig und erfordert nur einen einzigen Vorwärtsdurchlauf.

Hauptbeiträge

Allgemeiner Rahmen: Ein theoretischer Rahmen zur Bestimmung der Ersetzbarkeit von LN durch RMSNorm in beliebigen DNNs, der über die Einschränkungen früherer Arbeiten hinausgeht, die auf Pre-Norm-Transformer beschränkt waren.
Mathematische Äquivalenz: Die Einführung von CBWC, die das exakte Folding der LN-Zentrierungsoperation in vorgeschaltete Gewichte ermöglicht und sicherstellt, dass das CBWC+RMSNorm-Schema sowohl während des Trainings als auch der Inferenz identische Ausgaben und Gradienten wie das ursprüngliche LN-basierte Modell erzeugt.
Detektion foldabler LNs: Die Definition von „foldable LNs" und die Entwicklung eines graphenbasierten Detektionsalgorithmus, der identifiziert, welche LNs in einer gegebenen Architektur konvertiert werden können.
Praktische Erweiterung: Eine Diskussion zum Umgang mit Fällen, in denen exakte Folding-Bedingungen nicht erfüllt sind (z. B. aufgrund von Dropout während des Trainings), wobei vorgeschlagen wird, dass CBWC+RMSNorm auch dann wettbewerbsfähig mit herkömmlicher LN bleibt, wenn die exakte Äquivalenz teilweise gebrochen ist.

Experimentelle Ergebnisse

Die Autoren validierten ihre Methode über mehrere Architekturen (GPT-2, BERT, OPT, Phi, ViT, Swin-Tiny) und Aufgaben (Textklassifizierung, Übersetzung, Bildklassifizierung, Feinabstimmung).

Inferenz-Beschleunigung:
- Die Methode erzielt End-to-End-Inferenz-Geschwindigkeitssteigerungen von 2 % bis 12 % an repräsentativen Modellen (z. B. GPT-2, BERT, OPT), ohne die Modellvorhersagen zu ändern.
- Die Beschleunigung ist bei längeren Sequenzlängen ausgeprägter (bis zu 24,95 % Geschwindigkeitssteigerung für BERT bei 16.384 Tokens).
- Der Durchsatz steigt signifikant (z. B. +1.119 bis +3.385 Tokens/s auf A100-GPUs).
- Der Overhead des Folding-Algorithmus ist minimal (nach wenigen Inferenzschritten amortisiert) und erhöht nicht den Speicherverbrauch.
Trainings- und Feinabstimmung-Leistung:
- In Szenarien, in denen exakte Folding-Bedingungen gelten (z. B. Inferenz), ist die Methode identisch mit dem Baseline-Modell.
- In praktischen Trainingsszenarien, in denen Bedingungen wie Dropout die exakte Äquivalenz brechen, performt CBWC+RMSNorm konsistent zwischen Standard-LN und herkömmlichem RMSNorm.
- Bei der Bildklassifizierung (ImageNet-100 mit Swin-Tiny) erzielte die Methode die beste Testgenauigkeit und den besten Verlust unter den drei Varianten (LN, RMSNorm, CBWC+RMS).
- Bei Textgenerierungs- und Feinabstimmungsaufgaben (GPT-3 auf Alpaca) erzielte die Methode den besten Testverlust und die beste Perplexität bei gleichzeitigen Effizienzgewinnen.

Bedeutung und Behauptungen

Der Artikel behauptet, eine prinzipielle Methode zur Reduzierung der Rechenkosten von Layer Normalization bereitzustellen, während deren theoretische und praktische Vorteile so weit wie möglich erhalten bleiben.

Exakte Äquivalenz: Für „foldable" LNs bietet die Methode einen mathematisch exakten Ersatz, der den Einsatz von RMSNorm in Modellen ermöglicht, die ursprünglich mit LN trainiert wurden, ohne Nachtraining oder Leistungsverschlechterung.
Effizienz: Sie liefert messbare End-to-End-Inferenz-Geschwindigkeitssteigerungen (2 %–12 %) an weit verbreiteten Architekturen, was für den großflächigen Einsatz von Large Language Models (LLMs) und Vision-Language Models (VLMs) von erheblicher Bedeutung ist.
Robustheit: Selbst wenn exakte Folding-Bedingungen nicht vollständig erfüllt sind (z. B. während des Trainings mit Dropout), bleibt die Methode mit Standard-LN wettbewerbsfähig und bietet einen vorteilhaften Kompromiss zwischen Genauigkeit und Effizienz.
Allgemeingültigkeit: Im Gegensatz zu früheren Ansätzen gilt dieser Rahmen für beliebige DNNs, nicht nur für spezifische Transformer-Varianten, und umfasst einen Detektionsalgorithmus zur Automatisierung des Prozesses.

Die Autoren räumen ein, dass ihre Analyse repräsentative Architekturen abdeckt, aber nicht alle modernen großskaligen Modelle erschöpft. Sie stellen fest, dass die exakte Äquivalenz in Architekturen mit Modulen wie Dropout während des Trainings versagen kann, und schlagen vor, dass zukünftige Arbeiten Behandlungen für solche Module verfeinern könnten.