🤖 machine learning

Learning Rate Transfer in Normalized Transformers

Dit artikel introduceert $\nu$ GPT, een nieuwe parameterisering van de genormaliseerde Transformer die uitlijningsexponenten benut om leersnelheidstransfer over modelbreedte, -diepte en tokenhorizon te realiseren, waarmee een belangrijke beperking van de oorspronkelijke nGPT wordt aangepakt.

Oorspronkelijke auteurs: Boris Shigida, Boris Hanin, Andrey Gromov

Gepubliceerd 2026-05-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Boris Shigida, Boris Hanin, Andrey Gromov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Goudelock"-probleem

Stel je voor dat je een gigantische taart bakt (een enorm AI-model). Je hebt een recept voor een kleine cupcake (een klein model). Je weet precies hoeveel suiker en hitte (hyperparameters zoals het leertempo) werken voor de cupcake.

Het probleem? Als je blindelings de ingrediënten verdubbelt voor een grotere taart, kan deze verbranden of rauw blijven. In AI, wanneer onderzoekers modellen groter maken (breder of dieper), stoppen de "perfecte" instellingen voor het kleine model meestal met werken voor het grote model. Je moet dan opnieuw beginnen en de nieuwe instellingen raden, wat traag en duur is.

Dit artikel introduceert een nieuwe manier om deze "taarten" te bakken (genaamd nGPT-modellen) zodat de instellingen die je voor een klein model vindt, perfect werken voor een gigantisch model zonder extra giswerk. Ze noemen dit nieuwe recept νGPT (uitgesproken als "nu-GPT").

De Ingrediënten: Wat is nGPT?

Ten eerste werken de auteurs met een specifiek type AI genaamd nGPT (Normalized Transformer).

De Oude Manier: Traditionele AI-modellen zijn als een auto met een zeer gevoelige motor. Als je te hard op het gas trapt (hoog leertempo), springt de motor eruit. Als je te zacht trapt, komt hij nergens. Om het veilig te houden, heb je een "rem" nodig genaamd weight decay en moet je de motor langzaam "opwarmen" voordat je hard gaat rijden.
De nGPT Manier: Het nGPT-model is als een auto met een zelfstabiliserende ophanging. Het houdt van nature zijn snelheid en balans in toom. Hierdoor heeft het geen "remmen" (weight decay) of "opwarmen" nodig. Het traint sneller en is efficiënter.

De Haken en Ogen: Hoewel nGPT geweldig is, ontdekten de auteurs dat zijn "snelheidsinstellingen" (leertempo's) nog steeds niet goed overdraagbaar waren. Als je de snelheid voor een klein nGPT afstelde en vervolgens probeerde diezelfde instellingen te gebruiken voor een enorm nGPT, zou het grote model slecht presteren.

De Oplossing: Het νGPT Recept

De auteurs creëerden νGPT. Denk hierbij aan een nieuwe set instructies over hoe je je ingrediënten moet schalen op basis van de grootte van de taart.

Ze ontdekten drie specifieke regels om de instellingen perfect "overdraagbaar" te maken:

1. De Token Horizon Regel (De "Afstand"-regel)

Het Concept: Stel je voor dat je een hond traint. Als je hem maar 10 minuten wandelt, kun je hard rennen. Als je van plan bent hem 10 uur te wandelen, moet je langzamer beginnen zodat hij niet uitgeput raakt.
De Bevinding: Het artikel vond dat naarmate de AI "langer wandelt" (meer data-tokens verwerkt), het leertempo niet zo snel moet dalen als mensen dachten. In plaats van te dalen als een zware steen, moet het dalen als een veer die naar beneden drijft.
De Wiskunde: Ze vonden dat de snelheid moet afnemen met de derdemachtswortel van de tijd die gewandeld is (specifiek, de macht $1/3$ ), niet met de vierkantswortel ( $1/2$ ) zoals andere theorieën suggereerden.

2. De Breedte Regel (De "Teamgrootte"-regel)

Het Concept: Stel je een koor voor. Als je het aantal zangers (breedte) verdubbelt, wordt het geluid luider. Als je het volume van de dirigent (leertempo) niet aanpast, kan het koor te luid worden en vervormen, of te zacht om te horen.
De Bevinding: De auteurs realiseerden zich dat bij deze specifieke modellen de "stemmen" (activaties) en de "zangers" (gewichten) niet perfect op elkaar aansluiten. Ze zijn gedeeltelijk op elkaar afgestemd.
De Oplossing: Ze pasten het leertempo voor de verborgen delen van het model aan om met een specifiek bedrag af te nemen ( $3/4$ macht) naarmate het model breder wordt. Dit verschilt van eerdere theorieën (zoals $\mu$ P) die aannamen dat de stemmen en zangers perfect op elkaar waren afgestemd. Door aan te nemen dat ze slechts gedeeltelijk op elkaar zijn afgestemd, vonden ze een "sweet spot" die beter werkt.

3. De Diepte Regel (De "Laag"-regel)

Het Concept: Stel je een estafette voor. Als je meer renners (lagen) aan het team toevoegt, gaat de stok dan sneller of langzamer over?
De Bevinding: Verrassend genoeg hoeft voor dit specifieke type model het leertempo voor de verborgen lagen niet veel te veranderen naarmate je meer lagen toevoegt. Het model is van nature stabiel. Ze vonden echter wel dat de "startinstellingen" (initialisatie) voor de allereerste en de laatste laag een kleine aanpassing nodig hebben om de race soepel te houden.

De Resultaten: Waarom het Belangrijk Is

De auteurs testten dit nieuwe νGPT-recept tegen het oude.

De Oude Manier (nGPT): Toen ze het model groter maakten, was de prestatiecurve rommelig. Het "beste" leertempo voor een klein model was het "slechtste" voor een groot model.
De Nieuwe Manier (νGPT): Toen ze het model groter maakten, was de prestatiecurve perfect. Het leertempo dat werkte voor het kleine model, werkte ook voor het grote model, en het grotere model presteerde even goed (of iets beter) dan als ze het vanaf nul hadden afgesteld.

Samenvattende Analogie

Denk aan het leertempo als de volumeknop op een radio.

Oude Theorie: "Als je een grotere luidspreker koopt (breder model), moet je de volumeknop halveren."
De Ontdekking van het Artikel: "Eigenlijk moet je, vanwege hoe deze specifieke luidspreker werkt, de volumeknop alleen met een specifiek, berekend bedrag verlagen (de $3/4$ -regel) om het perfecte geluid te krijgen. Als je deze regel volgt, kun je een luidspreker kopen die 100 keer groter is, en zal dezelfde volumestelling perfect klinken."

Wat Ze NIET Beweerden

Ze hebben niet gezegd dat dit AI slimmer maakt of in staat stelt nieuwe dingen te doen (zoals ziekten genezen).
Ze hebben niet gezegd dat dit werkt voor elk type AI-model (het is specifiek voor Normalized Transformers/nGPT).
Ze hebben niet beweerd dat dit de noodzaak voor afstelling volledig elimineert; het betekent alleen dat je een klein model kunt afstellen en erop kunt vertrouwen dat het voor een groot model zal werken.

Kortom: Het artikel biedt een wiskundige "vertaalgids" die ingenieurs in staat stelt de instellingen van een klein, snel AI-model met vertrouwen toe te passen op een enorm AI-model, waardoor tijd en rekenkracht worden bespaard.

1. Probleemstelling

Het paper adresseert de uitdaging van hyperparameter-overdracht (HP-transfer) in Normalized Transformers (nGPT), een variant van de Transformer-architectuur geïntroduceerd door Loshchilov et al. (2025).

Context: nGPT bereikt aanzienlijke versnellingen in het trainingsproces en elimineert de noodzaak voor gewichtsverval (weight decay) en learning rate warmup door extensief normalisatie van gewichten en activaties (met behulp van $\ell_2$ -normen in plaats van LayerNorm/RMSNorm).
Het Probleem: Hoewel nGPT hyperparameters heeft die schalen met de modelgrootte, observeren de auteurs dat het faalt in het vertonen van learning rate-overdracht over modelbreedte (dimensie), diepte (aantal lagen) en tokenhorizon (trainingsiteraties).
Beperkingen van Bestaande Methoden: Standaard overdrachtstechnieken zoals $\mu$ P (Maximal Update Parametrization) vertrouwen op specifieke theoretische aannames over de uitlijning van gewichten en activaties (specifiek, dat ze op bepaalde manieren volledig uitgelijnd of niet-uitgelijnd zijn). De auteurs vinden dat deze aannames niet opgaan voor nGPT, wat leidt tot suboptimale prestaties bij opschaling.

2. Methodologie

De auteurs stellen een nieuwe parametrisatie voor genaamd $\nu$ GPT (nu-GPT). Hun aanpak combineert numerieke experimenten met een principiële theoretisch kader gebaseerd op uitlijningsexponenten (Everett et al., 2024).

A. Theoretisch Kader: Uitlijningsexponenten

In plaats van de "volledige uitlijning" ( $\alpha=1$ ) of "geen uitlijning" ( $\alpha=1/2$ ) regimes aan te nemen die worden gebruikt in $\mu$ P, meten de auteurs empirisch de uitlijningsexponenten ( $\alpha, \omega, \nu$ ) die beschrijven hoe gewichtsupdates en activaties schalen ten opzichte van de modeldimensie $d_{model}$ .

Ze definiëren exponenten voor hoe de verandering in een matrix-vectorproduct schaalt: $\|\Delta W h\| \sim d^{\alpha} \|\Delta W\| \|h\|$ .
Belangrijkste Bevinding: In nGPT wordt het "midden-uitlijning" regime waargenomen, waarbij $\max\{\alpha, \nu\} \approx 3/4$ . Dit staat in contrast met de $\mu$ P-aanname van $\max\{\alpha, \nu\} = 1$ (volledige uitlijning) of $1/2$ (geen uitlijning).

B. De $\nu$ GPT Parametrisatie

Gebaseerd op de "midden-uitlijning" hypothese ( $\max\{\alpha, \nu\} = 3/4$ ) en empirische schaalwetten, leiden de auteurs specifieke schaalregels af voor learning rates ( $\eta$ ) en initialisatieparameters. Laat $m_{width}$ , $m_{depth}$ en $m_{data}$ de vermenigvuldigers zijn voor breedte, diepte en tokenaantal ten opzichte van een basismodel.

Belangrijkste Schaalregels in $\nu$ GPT:

Globale Learning Rate: Schaalt als $m_{data}^{-1/3}$ . Dit corrigeert voor de tokenhorizon, en verschilt van de $m_{data}^{-1/2}$ die wordt gesuggereerd door sommige eerdere op SDE gebaseerde theorieën.
Embedding Gewichten ( $\eta_{input}$ ): Schaalt als $m_{width}^{-1/2}$ .
Verborgen/Unembedding Gewichten ( $\eta_{hidden}, \eta_{output}$ ): Schaalt als $m_{width}^{-3/4}$ . Dit is de kritieke afwijking van $\mu$ P (dat $m_{width}^{-1}$ of $m_{width}^{-1/2}$ gebruikt, afhankelijk van de variant).
Dieptecorrecties:
- De trainbare herschaalvectoren $\alpha_{A, init}$ en $\alpha_{M, init}$ worden geschaald met $m_{depth}^{-1}$ .
- In tegenstelling tot "Depth- $\mu$ P" (dat verborgen learning rates schaalt met $m_{depth}^{-1/2}$ ), vindt $\nu$ GPT dat verborgen learning rates niet geschaald moeten worden met diepte in nGPT, aangezien de trainbare herschalers de dieptestabiliteit op natuurlijke wijze afhandelen.
Initialisatieconstanten: Vaste constanten (bijv. 0.03) worden gebruikt voor schaalparameters ( $\alpha_{scale}$ ) in plaats van te schalen met $d_{model}^{-1/2}$ .

3. Belangrijkste Bijdragen

Identificatie van $\mu$ P Falen in nGPT: Aangetoond dat standaard $\mu$ P-aannames met betrekking tot gewicht-activatie uitlijning ongeldig zijn voor genormaliseerde architecturen, wat leidt tot slechte learning rate-overdracht.
Voorstel van $\nu$ GPT: Geïntroduceerd een nieuwe parametrisatie die expliciet gericht is op het "midden-uitlijning" regime ( $\approx 3/4$ ) dat in nGPT wordt waargenomen.
Tokenhorizon Schaling: Gevestigd dat de optimale learning rate in nGPT schaalt met het tokenaantal als $T^{-1/3}$ , wat eerdere theoretische voorspellingen van $T^{-1/2}$ verfijnt.
Diepte-overdracht Inzicht: Aangetoond dat voor genormaliseerde modellen met trainbare herschalers, expliciete diepteschaal van de verborgen learning rate onnodig en potentieel schadelijk is; in plaats daarvan is het schalen van de initialisatie van de herschalers voldoende.

4. Experimentele Resultaten

De auteurs hebben $\nu$ GPT gevalideerd op het FineWeb-Edu dataset met de OLMo 2 tokenizer.

Breedte-overdracht:
- Basis nGPT: Toonde geen learning rate-overdracht; prestaties verslechterden naarmate de breedte toenam.
- $\mu$ P-achtige correcties: Toonde een lichte drift in optimale learning rates.
- $\nu$ GPT: Bereikte perfecte learning rate-overdracht over breedte (van 0,26B tot 3,22B parameters) zonder verlies in validatieverlies ten opzichte van de afgestemde basis.
Diepte-overdracht:
- Basis nGPT toonde een fatsoenlijke diepte-overdracht maar werd instabiel bij extreme dieptes.
- $\nu$ GPT behield stabiliteit en prestaties over dieptes (8 tot 128 lagen), met een lagere gevoeligheid voor learning rate-keuzes bij grote dieptes.
Tokenhorizon-overdracht:
- Experimenten bevestigden de $T^{-1/3}$ schaalwet voor de optimale learning rate naarmate het aantal trainingsiteraties toenam.
Verificatie van Uitlijningsexponenten:
- Empirische metingen bevestigden dat $\omega_{hidden} = \omega_{output} = 1/2$ en $\max\{\alpha, \nu\} \approx 0.75$ (midden-uitlijning), wat de theoretische basis van $\nu$ GPT valideert.

5. Betekenis

Praktische Impact: $\nu$ GPT stelt onderzoekers in staat om grootschalige Normalized Transformers te trainen door simpelweg hyperparameters op kleine modellen af te stemmen en deze direct over te dragen naar massale schalen, wat aanzienlijke rekenkracht bespaart.
Theoretische Vooruitgang: Het paper daagt de universaliteit van $\mu$ P uit en demonstreert dat verschillende architecturale keuzes (specifiek normalisatieschema's) verschillende uitlijningsaannames en schaalwetten vereisen.
Efficiëntie: Door de noodzaak voor gewichtsverval en warmup te verwijderen terwijl robuuste schaling mogelijk wordt, biedt $\nu$ GPT een gestroomlijnd en efficiënter trainingsproces voor foundation modellen van de volgende generatie.

Samenvattend biedt het paper een rigoureuze, empirisch onderbouwde oplossing voor het schalingsprobleem in genormaliseerde transformers, waarbij de "one-size-fits-all" $\mu$ P-aanpak wordt vervangen door een op maat gemaakte parametrisatie ( $\nu$ GPT) die rekening houdt met de unieke dynamiek van genormaliseerde architecturen.