💬 NLP

Gated Normalization Removal and Scale Anchoring in Pre-Norm Transformers

Dieser Artikel stellt TaperNorm vor, einen gating-basierten Ansatz für Pre-Norm-Transformer, der innere Normalisierungsschichten schrittweise entfernt, um den Inferenz-Durchsatz zu verbessern, und zeigt, dass die abschließende Normalisierung primär dazu dient, die Skalierung der Pre-Logit-Repräsentationen zu verankern, eine Rolle, die durch eine Skalierung mit festem Zielwert ersetzt werden kann, um vollständig normfreie Modelle zu ermöglichen.

Ursprüngliche Autoren: Andrei Kanavalau, Carmen Amo Alonso, Sanjay Lall

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andrei Kanavalau, Carmen Amo Alonso, Sanjay Lall

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Transformer-Modell (das Gehirn hinter modernen KI-Chatbots) als eine riesige, mehrstöckige Fabrik vor. Jedes Mal, wenn ein Datenelement (ein Wort) durch die Fabrik wandert, passiert es mehrere Räume. In jedem einzelnen Raum befindet sich ein „Qualitätskontrollinspektor" (eine Normalisierungsschicht), der die Daten prüft, ihre Größe anpasst und sicherstellt, dass sie nicht zu wild oder zu klein werden, bevor sie in den nächsten Raum weiterwandern.

Seit Jahren glaubten Ingenieure, dass diese Inspektoren bei jedem Schritt, zu jeder Zeit, absolut notwendig seien. Doch dieser Artikel stellt eine einfache Frage: Müssen diese Inspektoren wirklich nach Abschluss des Trainings der Fabrik noch aktiv sein?

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Der „Verjüngungs"-Trick (Inspektoren zu Durchlässen machen)

Die Autoren entwickelten eine neue Methode namens TaperNorm. Stellen Sie sich dies wie einen Dimmer für die Qualitätskontrollinspektoren vor.

Während des Trainings: Zu Beginn arbeiten die Inspektoren hart und prüfen jedes Datenelement wie gewohnt.
Der Übergang: Wenn das Training abgeschlossen ist, „dimmen" die Autoren die Inspektoren langsam. Sie feuern sie nicht einfach; sie bringen ihnen bei, die Daten nicht mehr zu prüfen, sondern sie einfach mit einer einfachen, festen Regel (wie „mit 1,5 multiplizieren") passieren zu lassen.
Das Ergebnis: Am Ende sind die Inspektoren verschwunden. Sie wurden durch eine einfache, statische Tür ersetzt. Da die Tür nur eine feste Regel ist, kann die Fabrik sie in die Maschinen des nächsten Raums „einfalten". Das bedeutet, dass der Computer keine zusätzliche Mathematik mehr ausführen muss, um die Daten zu prüfen; er bewegt sie einfach weiter.

Warum ist das wichtig?
Der Artikel testete dies an einem kleinen Modell (TinyStories) und einem berühmten Modell (GPT-2). Sie stellten fest, dass das Entfernen dieser internen Inspektoren die Intelligenz des Modells kaum beeinträchtigte (nur ein winziger Leistungsabfall). Da jedoch die Inspektoren entfernt wurden, wurde die Fabrik schneller.

Der Geschwindigkeitsschub: Als sie testeten, wie schnell das Modell Text schreiben konnte, war es 1,18-mal schneller. Das ist wie ein Auto, das von 100 km/h auf 118 km/h beschleunigt, nur weil ein paar unnötige Geschwindigkeitsbremsen entfernt wurden.

2. Das „Anker"-Problem (Warum der letzte Inspektor bleiben muss)

Hier ist die interessanteste Entdeckung. Während sie die Inspektoren in der Mitte der Fabrik entfernen konnten, stellten sie fest, dass der letzte Inspektor (direkt bevor die KI ihre endgültige Antwort gibt) eine besondere, einzigartige Rolle spielt.

Die Analogie des Ankers:
Stellen Sie sich den letzten Gedanken der KI als einen Ballon vor, der im Wind schwebt.

Mit dem letzten Inspektor: Der Inspektor wirkt wie ein Anker. Er hält den Ballon auf einer bestimmten Höhe. Egal wie stark der Wind weht (die Mathematik, die versucht, die Antwort sicherer zu machen), der Ballon bleibt auf einem stabilen Niveau. Dies hält die KI stabil.
Ohne den letzten Inspektor: Wenn Sie diesen letzten Anker entfernen, darf der Ballon frei treiben. Die Mathematik der KI versucht natürlich, den Ballon höher und höher steigen zu lassen (die Antworten „sicherer" oder extremer zu machen), nur um ihren Fehlerwert zu senken. Dies wird „Logit-Chasing" genannt. Die KI wird instabil, weil sie ihre eigene Sicherheit ohne Grenze aufbläht.

Die Lösung:
Wenn Sie diesen letzten Inspektor entfernen müssen (um das Modell noch schneller zu machen), müssen Sie den Anker durch etwas anderes ersetzen. Die Autoren verwendeten einen „Fixed-Target Scale Loss" (Verlust mit festem Zielwert).

Die Metapher: Stellen Sie sich eine Leine vor, die den Ballon sanft auf eine bestimmte Höhe zurückzieht, wenn er versucht, zu hoch zu schweben oder zu tief zu sinken. Diese Leine wirkt als „virtueller Anker", verhindert, dass die KI verrückt spielt, und ermöglicht es ihnen, den letzten Inspektor sicher zu entfernen.

3. Das Fazit

Der Artikel kommt zu zwei Hauptergebnissen:

Interne Inspektoren sind optional: Sie können die KI mit Inspektoren trainieren und diese am Ende in einfache Durchlässe verwandeln. Dies macht die KI schneller (in ihren Tests bis zu 18 % schneller) mit fast keinem Verlust an Intelligenz.
Der letzte Inspektor ist besonders: Die letzte Prüfung ist entscheidend, weil sie verhindert, dass die KI „übermütig" und instabil wird. Wenn Sie ihn entfernen, müssen Sie eine „Leine" (eine spezifische mathematische Regel) hinzufügen, um die Sicherheit der KI im Zaum zu halten.

Kurz gesagt: Sie können die Mittelsmänner entfernen, um die KI schneller laufen zu lassen, aber Sie müssen beim allerletzten Schritt vorsichtig sein, sonst könnte die KI von ihrem eigenen Selbstvertrauen davongetragen werden.

Technische Zusammenfassung: Entfernung von Gate-Normalisierung und Verankerung der Skalierung in Pre-Norm-Transformern

Problemstellung

Normalisierungsschichten (z. B. LayerNorm, RMSNorm) sind Standardkomponenten in Transformer-Architekturen, die Aktivierungen stabilisieren und das Training tiefer Netzwerke ermöglichen. Diese Schichten führen jedoch pro-Beispiel-abhängige, nichtlineare Berechnungen ein, die während der Inferenz erheblichen Overhead verursachen. Es bleibt unklar, ob diese pro-Token-Statistiken während der gesamten Inferenzphase, insbesondere bei Pre-Norm-Transformern, strikt notwendig sind. Während frühere Arbeiten versucht haben, Normalisierung durch Initialisierungstricks oder sequenzielles Fine-Tuning zu entfernen, fehlt es an einem Verständnis der unterschiedlichen funktionalen Rollen interner versus finaler Normalisierungsschichten, speziell hinsichtlich ihrer Kontrolle der Skalierung der Pre-Logit-Repräsentation.

Methodik

Die Autoren schlagen TaperNorm vor, einen gate-basierten Ansatz zur Entfernung von Normalisierung, der für Pre-Norm-Transformer konzipiert ist. Diese Methode ermöglicht es dem Modell, während des Trainings von standardmäßiger Normalisierung zu gelernten, beispielunabhängigen linearen oder affinen Abbildungen überzugehen, wodurch Normalisierungsvorgänge während der Inferenz entfernt werden können.

Kernmechanismus: TaperNorm

TaperNorm interpoliert dynamisch zwischen einem normalisierten Zweig und einem festen Skalierungszweig unter Verwendung eines globalen Gates $g \in [0, 1]$ . Für einen Token-Vektor $h$ :
$\text{TaperNorm}(h; g) = g \cdot \frac{h}{r(h)} D\gamma + (1 - g) \cdot c \cdot h D\tilde{\gamma}$
Wobei:

$r(h)$ der RMSNorm-Skalierungsfaktor ist.
$D\gamma$ und $D\tilde{\gamma}$ lernbare diagonale Skalierungsmatrizen sind.
$c$ ein skalarer Wert pro Schicht ist.
$g$ ein globales Gate ist, das bei 1 beginnt (standardmäßige Normalisierung) und über das Training hinweg kosinusförmig auf 0 abklingt.

Trainingsverfahren:

Warmup: Das Gate $g$ wird auf 1 gehalten. Das Modell trainiert als standardmäßiger Pre-Norm-Transformer.
Kalibrierung: Am Ende des Warmups wird der Skalar $c$ berechnet, um die Least-Squares-Differenz zwischen dem normalisierten Zweig und dem Skalierungszweig zu minimieren, wodurch ein reibungsloser Übergang ohne Verteilungsverschiebung sichergestellt wird.
Tapering: Das Gate $g$ wird auf 0 abgeklungen. Die Parameter des Skalierungszweigs ( $\tilde{\gamma}$ ) bleiben trainierbar.
Inferenz-Faltung: Sobald $g=0$ , wird die TaperNorm-Schicht zu einer einfachen linearen/affinen Abbildung ( $c \cdot h D\tilde{\gamma}$ ). Dieser Vorgang kann mathematisch in benachbarte lineare Projektionen (z. B. QKV-Projektionen oder MLP-Gewichte) gefaltet werden, wodurch die explizite Normalisierungsvorgang aus dem Inferenzgraphen entfernt wird.

Analyse der Skalierungsverankerung

Die Arbeit identifiziert einen kritischen Unterschied zwischen internen und finalen Normalisierungsschichten:

Finale Normalisierung als Anker: Die finale Normalisierungsschicht wirkt als impliziter Skalierungsanker. Mathematisch ist sie 0-homogen, was bedeutet, dass sie die radiale Gradientenkomponente am Ausgang entfernt. Ohne diesen Anker kann die Minimierung der Kreuzentropie das Modell dazu bringen, die Logit-Magnituden unbegrenzt zu erhöhen („Logit-Jagd"), um den Verlust zu reduzieren, was zu Instabilität führt.
Explizite Alternative: Wenn die finale Normalisierung entfernt wird (in „All-Taper"-Einstellungen), führen die Autoren einen Fixed-Target-Scale-Verlust ( $L_{aux}$ ) ein. Dieser Hilfsverlust bestraft Abweichungen der Token-Skalen von einem festen Ziel $s_{tgt}$ und liefert eine explizite radiale Rückstellkraft, die der Logit-Jagd-Tendenz entgegenwirkt.

Zwei experimentelle Konfigurationen wurden getestet:

Internal-Taper: Interne Block-Normalisierer werden zu linearen Abbildungen getapered, aber die finale Normalisierung bleibt aktiv (impliziter Anker).
All-Taper: Alle Normalisierer, einschließlich des finalen, werden getapered. Dies erfordert den Fixed-Target-Scale-Verlust zur Aufrechterhaltung der Stabilität (expliziter Anker).

Hauptbeiträge

Gate-basierte Entfernung von Normalisierung: Eine Methode, um RMSNorm/LayerNorm-Module zu festen linearen/affinen Reskalierungen zu taperen, wodurch pro-Token-Statistiken während der Inferenz durch Gewichts-Faltung eliminiert werden können.
Theorie der Verankerung der Ausgangsskalierung: Eine Analyse, die zeigt, dass die primäre, distincte Rolle der finalen Normalisierungsschicht das Entfernen radialer Gradienten ist. Die Arbeit zeigt, dass ohne diesen Anker die Kreuzentropie zu unbegrenztem Logit-Wachstum führt und dass ein Fixed-Target-Scale-Verlust diese stabilisierende Rolle effektiv ersetzen kann.
Empirische Validierung: Experimente zum Pre-Training auf TinyStories und zum Fine-Tuning von GPT-2 zeigen, dass interne Normalisierung mit minimalen Erhöhungen des Validierungsverlusts entfernt werden kann. Der Ansatz erzielt bis zu 1,18× höheren Durchsatz bei der autoregressiven Decodierung mit KV-Cache nach dem Falten interner Skalierungen.

Ergebnisse

Pre-Training (TinyStories):
- Internal-Taper (+aux): Erzielte Validierungsverluste im Bereich von 0,7–1,5 % über dem Basiswert über alle Modellgrößen hinweg (1M bis 30M Parameter).
- All-Taper (+aux): Erzielte Verluste im Bereich von 0,8–1,8 % über dem Basiswert und zeigt, dass ein vollständig normfreies Modell mit expliziter Skalierungsverankerung machbar ist.
- Dynamik: Modelle ohne Skalierungsanker zeigten ein schnelles Wachstum der Logit-Magnituden („Logit-Jagd"). Der Fixed-Target-Scale-Verlust unterdrückte dieses Verhalten erfolgreich und passte die Gradientenmagnituden an den verankerten Basiswert an.
Inferenz-Durchsatz:
- Auf einer NVIDIA H100 erreichte die Konfiguration Internal-Taper (gefaltet) einen 1,15–1,18× höheren Tokens-pro-Sekunde-Durchsatz im Vergleich zum standardmäßigen RMSNorm-Basiswert. Die Konfiguration Internal-Taper (ungefaltet) (explizite Skalierungsvorgänge) erreichte eine 1,10–1,14× Beschleunigung.
Fine-Tuning (GPT-2):
- Die vorgeschlagenen Methoden Internal-TaperLN und All-TaperLN erzielten Kreuzentropie-Verluste, die mit dem „FakeLN"-Ansatz (Baroni et al., 2025) und standardmäßigen Vanilla-Modellen auf den Datensätzen OpenWebText und The Pile wettbewerbsfähig waren.
- Im Gegensatz zu sequenziellen Entfernungsmethoden verwendet TaperNorm ein globales Gate, um alle ausgewählten Schichten gleichzeitig zu entfernen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass interne und finale Normalisierungsschichten in Pre-Norm-Transformern unterschiedliche Rollen spielen. Während interne Normalisierer durch gelernte, beispielunabhängige lineare Abbildungen mit vernachlässigbarer Leistungsminderung ersetzt werden können, erfüllt die finale Normalisierungsschicht eine einzigartige Funktion als Ausgangs-Skalierungsanker.

Die Bedeutung dieser Arbeit liegt in:

Effizienz: Sie bietet einen praktischen Weg, rechenintensive Normalisierungsvorgänge aus dem Inferenzgraphen zu entfernen, was messbare Durchsatzgewinne (bis zu 1,18×) ohne Neutrainieren von Grund auf erzielt.
Theoretische Einsicht: Sie klärt, dass die Stabilität, die durch die finale Normalisierungsschicht bereitgestellt wird, weitgehend auf ihrem Entfernen radialer Gradienten beruht. Diese Einsicht ermöglicht das Design „vollständig normfreier" Modelle, indem der implizite Anker durch einen expliziten Fixed-Target-Scale-Verlust ersetzt wird.
Robustheit: Der Ansatz behält die Standard-Pre-Norm-Dynamik in der frühen Trainingsphase bei und geht erst später zu linearen Abbildungen über, was stabiler erscheint als Methoden, die versuchen, von Anfang an ohne Normalisierung zu trainieren.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und weisen darauf hin, dass die Experimente auf Modelle bis zu 30M Parametern und spezifische Hardware-Stacks beschränkt sind. Sie erkennen an, dass die Robustheit gegenüber Aktivierungs-Ausreißern in Milliarden-Parameter-Bereichen und die Anwendbarkeit auf andere Ziele als die Kreuzentropie offene Fragen für zukünftige Arbeiten bleiben.