🤖 machine learning

Learning Rate Transfer in Normalized Transformers

Dieser Beitrag stellt $\nu$ GPT vor, eine neuartige Parametrisierung des Normalized Transformer, die Ausrichtungsexponenten nutzt, um eine Lernratenübertragung über Modellbreite, -tiefe und Token-Horizont hinweg zu erreichen und damit eine wesentliche Einschränkung des ursprünglichen nGPT adressiert.

Ursprüngliche Autoren: Boris Shigida, Boris Hanin, Andrey Gromov

Veröffentlicht 2026-05-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Boris Shigida, Boris Hanin, Andrey Gromov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Bild: Das „Goldlöckchen"-Problem

Stellen Sie sich vor, Sie backen einen riesigen Kuchen (ein massives KI-Modell). Sie haben ein Rezept für einen kleinen Cupcake (ein winziges Modell). Sie wissen genau, wie viel Zucker und Hitze (Hyperparameter wie die Lernrate) für den Cupcake funktionieren.

Das Problem? Wenn Sie blindlings die Zutaten für einen größeren Kuchen verdoppeln, könnte er verbrennen oder roh bleiben. In der KI funktioniert es so: Wenn Forscher Modelle vergrößern (breiter oder tiefer), funktionieren die „perfekten" Einstellungen für das kleine Modell normalerweise nicht mehr für das große. Man muss von vorne beginnen und die neuen Einstellungen raten, was langsam und teuer ist.

Dieses Papier stellt eine neue Methode vor, um diese „Kuchen" (genannt nGPT-Modelle) zu backen, sodass die Einstellungen, die Sie für ein kleines Modell finden, perfekt für einen riesigen funktionieren, ohne dass man raten muss. Sie nennen dieses neue Rezept νGPT (ausgesprochen „nu-GPT").

Die Zutaten: Was ist nGPT?

Zunächst arbeiten die Autoren mit einer bestimmten Art von KI namens nGPT (Normalized Transformer).

Der alte Weg: Traditionelle KI-Modelle sind wie ein Auto mit einem sehr empfindlichen Motor. Wenn Sie zu stark auf das Gas drücken (hohe Lernrate), explodiert der Motor. Wenn Sie zu sanft drücken, kommt es nirgendwohin. Um es sicher zu halten, benötigen Sie eine „Bremse" namens Weight Decay (Gewichtsabfall) und müssen den Motor langsam „aufwärmen", bevor Sie schnell fahren.
Der nGPT-Weg: Das nGPT-Modell ist wie ein Auto mit einer selbststabilisierenden Federung. Es hält Geschwindigkeit und Balance von Natur aus im Griff. Deshalb braucht es keine „Bremsen" (Weight Decay) oder ein „Aufwärmen". Es trainiert schneller und ist effizienter.

Der Haken: Obwohl nGPT großartig ist, stellten die Autoren fest, dass sich seine „Geschwindigkeitseinstellungen" (Lernraten) immer noch nicht gut übertragen ließen. Wenn man die Geschwindigkeit für ein kleines nGPT abstimmt und dann versucht, dieselben Einstellungen für ein riesiges nGPT zu verwenden, performt das große Modell schlecht.

Die Lösung: Das νGPT-Rezept

Die Autoren haben νGPT entwickelt. Stellen Sie sich dies als eine neue Anleitung vor, wie man die Zutaten basierend auf der Größe des Kuchens skaliert.

Sie entdeckten drei spezifische Regeln, um die Einstellungen perfekt zu „übertragen":

1. Die Token-Horizont-Regel (Die „Distanz"-Regel)

Das Konzept: Stellen Sie sich vor, Sie trainieren einen Hund. Wenn Sie ihn nur 10 Minuten spazieren führen, können Sie schnell laufen. Wenn Sie planen, ihn 10 Stunden zu führen, müssen Sie langsamer beginnen, damit er sich nicht erschöpft.
Die Erkenntnis: Das Papier fand heraus, dass die Lernrate nicht so schnell sinken sollte, wie die Leute dachten, wenn die KI „länger läuft" (mehr Datentokens verarbeitet). Anstatt wie ein schwerer Stein zu fallen, sollte sie wie eine Feder herabschweben.
Die Mathematik: Sie fanden heraus, dass die Geschwindigkeit um die Kubikwurzel der gelaufenen Zeit sinken sollte (spezifisch die $1/3$ -Potenz), nicht um die Quadratwurzel ( $1/2$ ), wie andere Theorien nahelegten.

2. Die Breiten-Regel (Die „Teamgröße"-Regel)

Das Konzept: Stellen Sie sich einen Chor vor. Wenn Sie die Anzahl der Sänger verdoppeln (Breite), wird der Sound lauter. Wenn Sie die Lautstärke des Dirigenten (Lernrate) nicht anpassen, könnte der Chor zu laut werden und verzerrt klingen oder zu leise, um gehört zu werden.
Die Erkenntnis: Die Autoren stellten fest, dass bei diesen spezifischen Modellen die „Stimmen" (Aktivierungen) und die „Sänger" (Gewichte) nicht perfekt übereinstimmen. Sie sind nur teilweise abgestimmt.
Die Korrektur: Sie passten die Lernrate für die verborgenen Teile des Modells so an, dass sie um einen bestimmten Betrag ( $3/4$ -Potenz) sinkt, wenn das Modell breiter wird. Dies unterscheidet sich von früheren Theorien (wie $\mu$ P), die davon ausgingen, dass Stimmen und Sänger perfekt abgestimmt sind. Indem sie annahmen, dass sie nur teilweise abgestimmt sind, fanden sie eine „goldene Mitte", die besser funktioniert.

3. Die Tiefen-Regel (Die „Schicht"-Regel)

Das Konzept: Stellen Sie sich ein Staffellauf vor. Wenn Sie mehr Läufer (Schichten) zum Team hinzufügen, wird der Stab dann schneller oder langsamer übergeben?
Die Erkenntnis: Überraschenderweise muss für diese spezifische Modellart die Lernrate für die verborgenen Schichten nicht viel ändern, wenn Sie mehr Schichten hinzufügen. Das Modell ist von Natur aus stabil. Allerdings stellten sie fest, dass die „Start"-Einstellungen (Initialisierung) für die allererste und die allerletzte Schicht eine winzige Anpassung benötigen, um den Lauf reibungslos zu halten.

Die Ergebnisse: Warum es wichtig ist

Die Autoren testeten dieses neue νGPT-Rezept gegen das alte.

Der alte Weg (nGPT): Als sie das Modell vergrößerten, war die Performanzkurve chaotisch. Die „beste" Lernrate für ein kleines Modell war die „schlechteste" für ein großes Modell.
Der neue Weg (νGPT): Als sie das Modell vergrößerten, war die Performanzkurve perfekt. Die Lernrate, die für das kleine Modell funktionierte, funktionierte auch für das große Modell, und das größere Modell performte genauso gut (oder sogar etwas besser) als wenn sie es von Grund auf neu abgestimmt hätten.

Zusammenfassende Analogie

Stellen Sie sich die Lernrate als den Lautstärkeregler an einem Radio vor.

Alte Theorie: „Wenn Sie einen größeren Lautsprecher kaufen (breiteres Modell), müssen Sie den Lautstärkeregler um die Hälfte herunterdrehen."
Die Entdeckung des Papiers: „Tatsächlich müssen Sie, wegen der Funktionsweise dieses spezifischen Lautsprechers, den Lautstärkeregler nur um einen bestimmten, berechneten Betrag herunterdrehen (die $3/4$ -Regel), um den perfekten Klang zu erhalten. Wenn Sie diese Regel befolgen, können Sie einen Lautsprecher kaufen, der 100-mal größer ist, und dieselbe Lautstärkeeinstellung wird perfekt klingen."

Was sie NICHT behauptet haben

Sie haben nicht behauptet, dass dies KI intelligenter macht oder ihr ermöglicht, neue Dinge zu tun (wie Krankheiten zu heilen).
Sie haben nicht behauptet, dass dies für jeden KI-Modelltyp funktioniert (es ist spezifisch für Normalized Transformers/nGPT).
Sie haben nicht behauptet, dass dies die Notwendigkeit des Abstimmens vollständig eliminiert; es bedeutet nur, dass Sie ein kleines Modell abstimmen können und darauf vertrauen können, dass es für ein großes Modell funktioniert.

Kurz gesagt: Das Papier bietet einen mathematischen „Übersetzungsleitfaden", der es Ingenieuren ermöglicht, die Einstellungen von einer kleinen, schnellen KI zu nehmen und sie mit Zuversicht auf eine massive KI anzuwenden, wodurch Zeit und Rechenleistung gespart werden.

1. Problemstellung

Das Paper adressiert die Herausforderung des Hyperparameter-Transfers (HP) bei Normalized Transformers (nGPT), einer Variante der Transformer-Architektur, die von Loshchilov et al. (2025) eingeführt wurde.

Kontext: nGPT erzielt erhebliche Trainingsbeschleunigungen und eliminiert die Notwendigkeit von Weight Decay und Learning-Rate-Warmup durch eine umfassende Normalisierung von Gewichten und Aktivierungen (unter Verwendung von $\ell_2$ -Normen anstelle von LayerNorm/RMSNorm).
Das Problem: Obwohl nGPT Hyperparameter besitzt, die mit der Modellgröße skalieren, stellen die Autoren fest, dass es keinen Learning-Rate-Transfer über die Modellbreite (Dimension), Tiefe (Anzahl der Schichten) und Token-Horizont (Trainingsiterationen) hinweg aufweist.
Einschränkungen bestehender Methoden: Standard-Transfer-Techniken wie $\mu$ P (Maximal Update Parametrization) beruhen auf spezifischen theoretischen Annahmen bezüglich der Ausrichtung von Gewichten und Aktivierungen (insbesondere, dass sie in bestimmten Weise vollständig ausgerichtet oder nicht ausgerichtet sind). Die Autoren stellen fest, dass diese Annahmen für nGPT nicht gelten, was zu suboptimaler Leistung beim Hochskalieren führt.

2. Methodik

Die Autoren schlagen eine neue Parametrisierung namens $\nu$ GPT (nu-GPT) vor. Ihr Ansatz kombiniert numerische Experimente mit einem fundierten theoretischen Rahmenwerk basierend auf Ausrichtungsexponenten (Everett et al., 2024).

A. Theoretischer Rahmen: Ausrichtungsexponenten

Anstatt die Regime „vollständige Ausrichtung" ( $\alpha=1$ ) oder „keine Ausrichtung" ( $\alpha=1/2$ ) anzunehmen, die in $\mu$ P verwendet werden, messen die Autoren empirisch die Ausrichtungsexponenten ( $\alpha, \omega, \nu$ ), die beschreiben, wie Gewichtsaktualisierungen und Aktivierungen relativ zur Modelldimension $d_{model}$ skalieren.

Sie definieren Exponenten dafür, wie sich die Änderung eines Matrix-Vektor-Produkts skaliert: $\|\Delta W h\| \sim d^{\alpha} \|\Delta W\| \|h\|$ .
Wichtige Erkenntnis: In nGPT wird das Regime der „mittleren Ausrichtung" beobachtet, wobei $\max\{\alpha, \nu\} \approx 3/4$ gilt. Dies widerspricht der $\mu$ P-Annahme von $\max\{\alpha, \nu\} = 1$ (vollständige Ausrichtung) oder $1/2$ (keine Ausrichtung).

B. Die $\nu$ GPT-Parametrisierung

Basierend auf der Hypothese der „mittleren Ausrichtung" ( $\max\{\alpha, \nu\} = 3/4$ ) und empirischen Skalierungsgesetzen leiten die Autoren spezifische Skalierungsregeln für Learning Rates ( $\eta$ ) und Initialisierungsparameter ab. Seien $m_{width}$ , $m_{depth}$ und $m_{data}$ die Multiplikatoren für Breite, Tiefe und Tokenanzahl relativ zu einem Basismodell.

Wichtige Skalierungsregeln in $\nu$ GPT:

Globale Learning Rate: Skaliert als $m_{data}^{-1/3}$ . Dies korrigiert den Token-Horizont und unterscheidet sich von dem $m_{data}^{-1/2}$ , das von einigen früheren SDE-basierten Theorien vorgeschlagen wurde.
Embedding-Gewichte ( $\eta_{input}$ ): Skaliert als $m_{width}^{-1/2}$ .
Hidden-/Unembedding-Gewichte ( $\eta_{hidden}, \eta_{output}$ ): Skaliert als $m_{width}^{-3/4}$ . Dies ist die kritische Abweichung von $\mu$ P (das je nach Variante $m_{width}^{-1}$ oder $m_{width}^{-1/2}$ verwendet).
Tiefenkorrekturen:
- Die trainierbaren Skalierungsvektoren $\alpha_{A, init}$ und $\alpha_{M, init}$ werden mit $m_{depth}^{-1}$ skaliert.
- Im Gegensatz zu „Depth- $\mu$ P" (das Hidden-Learning-Rates mit $m_{depth}^{-1/2}$ skaliert), stellt $\nu$ GPT fest, dass Hidden-Learning-Rates in nGPT nicht mit der Tiefe skaliert werden sollten, da die trainierbaren Skalierer die Tiefenstabilität natürlich handhaben.
Initialisierungskonstanten: Feste Konstanten (z. B. 0,03) werden für Skalierungsparameter ( $\alpha_{scale}$ ) verwendet, anstatt mit $d_{model}^{-1/2}$ zu skalieren.

3. Hauptbeiträge

Identifikation des $\mu$ P-Versagens in nGPT: Es wurde gezeigt, dass die Standard- $\mu$ P-Annahmen bezüglich der Gewichts-Aktivierungs-Ausrichtung für normalisierte Architekturen ungültig sind, was zu einem schlechten Learning-Rate-Transfer führt.
Vorschlag von $\nu$ GPT: Einführung einer neuen Parametrisierung, die gezielt das in nGPT beobachtete Regime der „mittleren Ausrichtung" ( $\approx 3/4$ ) anspricht.
Token-Horizont-Skalierung: Es wurde festgestellt, dass die optimale Learning Rate in nGPT mit der Tokenanzahl als $T^{-1/3}$ skaliert, was frühere theoretische Vorhersagen von $T^{-1/2}$ verfeinert.
Tiefentransfer-Erkenntnis: Es wurde gezeigt, dass für normalisierte Modelle mit trainierbaren Skalierern eine explizite Tiefenskalierung der Hidden-Learning-Rate unnötig und potenziell schädlich ist; stattdessen reicht das Skalieren der Initialisierung der Skalierer aus.

4. Experimentelle Ergebnisse

Die Autoren validierten $\nu$ GPT am FineWeb-Edu-Datensatz unter Verwendung des OLMo 2-Tokenizers.

Breitentransfer:
- Baseline nGPT: Zeigte keinen Learning-Rate-Transfer; die Leistung verschlechterte sich mit zunehmender Breite.
- $\mu$ P-artige Korrekturen: Zeigten eine leichte Verschiebung der optimalen Learning Rates.
- $\nu$ GPT: Erzielte einen perfekten Learning-Rate-Transfer über die Breite hinweg (von 0,26 Mrd. auf 3,22 Mrd. Parameter) ohne Verlust im Validierungsfehler im Vergleich zur abgestimmten Baseline.
Tiefentransfer:
- Die Baseline nGPT zeigte einen akzeptablen Tiefentransfer, wurde jedoch bei extremen Tiefen instabil.
- $\nu$ GPT behielt Stabilität und Leistung über Tiefen hinweg bei (8 bis 128 Schichten) und zeigte eine geringere Empfindlichkeit gegenüber Learning-Rate-Entscheidungen bei großen Tiefen.
Token-Horizont-Transfer:
- Experimente bestätigten das Skalierungsgesetz $T^{-1/3}$ für die optimale Learning Rate mit zunehmender Anzahl der Trainingsiterationen.
Verifikation der Ausrichtungsexponenten:
- Empirische Messungen bestätigten, dass $\omega_{hidden} = \omega_{output} = 1/2$ und $\max\{\alpha, \nu\} \approx 0,75$ (mittlere Ausrichtung) gilt, was die theoretische Basis von $\nu$ GPT validiert.

5. Bedeutung

Praktische Auswirkungen: $\nu$ GPT ermöglicht es Forschern, großskalige Normalized Transformers zu trainieren, indem sie einfach Hyperparameter an kleinen Modellen abstimmen und diese direkt auf massive Skalen übertragen, was erhebliche Rechenressourcen spart.
Theoretischer Fortschritt: Das Paper stellt die Universalität von $\mu$ P in Frage und zeigt, dass unterschiedliche architektonische Entscheidungen (insbesondere Normalisierungsschemata) unterschiedliche Ausrichtungsannahmen und Skalierungsgesetze erfordern.
Effizienz: Durch die Beseitigung der Notwendigkeit von Weight Decay und Warmup bei gleichzeitiger Ermöglichung einer robusten Skalierung bietet $\nu$ GPT eine straffere und effizientere Trainingspipeline für foundation models der nächsten Generation.

Zusammenfassend bietet das Paper eine rigorose, empirisch fundierte Lösung für das Skalierungsproblem bei normalisierten Transformern und ersetzt den „Einheitsansatz" von $\mu$ P durch eine maßgeschneiderte Parametrisierung ( $\nu$ GPT), die die einzigartigen Dynamiken normalisierter Architekturen respektiert.