Technische Samenvatting: Kwantificering van Hyperparameter-overdracht en het Belang van de Leerfrequentie van de Embeddinglaag

Probleemstelling

Het trainen van grote taalmodellen (LLM's) vereist uitgebreide hyperparameter-tuning, wat computationeel onhaalbaar wordt naarmate de modelgrootte oploopt tot biljoenen parameters. Hyperparameter-overdracht lost dit op door optimale hyperparameters te vinden op kleine schaal en deze te extrapoleren naar grotere schalen met behulp van schalingswetten of structurele parametrisaties.

Er bestaan twee primaire benaderingen:

1. Functionele Schalingswetten: Het aanpassen van curves om te voorspellen hoe optimale hyperparameters (bijv. leerfrequentie $\eta$) schalen met de modelgrootte. Hoewel effectief, missen deze vaak generaliseerbaarheid buiten hun aangepaste domein en vereisen ze kostbare zoekopdrachten om robuuste functionele vormen af te leiden.
2. Structurele Parametrisatie: Het ontwerpen van modellen zodat trainingsdynamica invariant blijven over schalen. Maximal Update Parameterization ($\mu$P) is een prominent voorbeeld, afgeleid onder de aanname dat activaties en hun updates breedte-onafhankelijk moeten zijn. Empirisch maakt $\mu$P hoogwaardige leerfrequentie-overdracht mogelijk, waardoor practitioners optimale leerfrequenties van kleine proxy-modellen kunnen gebruiken voor grotere modellen.

Er blijven echter significante gaten bestaan in het begrijpen waarom $\mu$P in de praktijk zo goed werkt. Theoretische afleidingen van $\mu$P rusten op aannames die vaak niet opgaan bij real-world training (bijv. limieten van oneindige breedte, volledige uitlijning tussen gewichten en activaties, vaste datasetgroottes en vaste trainingsstappen). Ondanks deze theoretische mismatches presteert $\mu$P consequent beter dan Standaard Parametrisatie (SP). Dit artikel streeft ernaar de kwaliteit van hyperparameter-overdracht te kwantificeren en de specifieke mechanismen te isoleren die het succes van $\mu$P drijven.

Methodologie

1. Een Kwantitatief Kader voor Hyperparameter-overdracht

De auteurs stellen een kader voor om overdrachtkwaliteit rigoureus te evalueren met drie onderscheiden metrieken, verder gaand dan eenvoudige prestatievergelijkingen:

• Verlies Voorspelbaarheid Fout ($E$): Meet hoe goed het verlieslandschap past bij een voorgestelde schalingsansatz. Een lage $E$ geeft aan dat het verlies voorspelbaar is en extrapolatie betrouwbaar. Een hoge $E$ suggereert complexe landschappen, instabiliteiten of fase-overgangen die extrapolatie onbetrouwbaar maken.
• Overdracht Robuustheid Exponent ($\kappa$): Kwantificeert de gevoeligheid van het verlies voor fouten in de geëxtrapoleerde leerfrequentie naarmate het model schaalt. Gedefinieerd als $\kappa = \alpha - 2\beta + \gamma$ (afgeleid van schalingswetten voor verlies, leerfrequentie en Hessian-kromming), impliceert een negatieve $\kappa$ dat het landschap afvlakt met breedte, waardoor extrapolatiefouten worden gedempt. Een positieve $\kappa$ impliceert dat het landschap scherper wordt, waardoor fouten worden versterkt.
• Asymptotische Verliesdegradatie ($R(\infty)$): Meet het gat tussen de irreduceerbare verlieswaarde van een specifieke parametrisatie en het beste mogelijke verlies dat haalbaar is over alle parametrisaties bij oneindige schaal. Dit vat samen of een overdracht-vriendelijke parametrisatie absolute prestaties opoffert.

2. Experimentele Opstelling

• Modellen: GPT-stijl decoder-only Transformers getraind op het FineWeb-Edu dataset.
• Optimizer: AdamW met een Warmup-Stable-Decay (WSD) schema.
• Schaling: Breedte (embeddingdimensie) geschaald van $n=128$ tot $n=2048$.
• Regimes: Experimenten uitgevoerd in zowel fixed-step (10.000 stappen) als compute-optimal (vaste tokens-per-parameter) instellingen.
• Ablatiestrategie: De auteurs drukken zowel SP als $\mu$P uit in een gemeenschappelijke wiskundige vorm (Tabel 1) en identificeren vier kernverschillen:
  1. Schalings van de leerfrequentie van de embeddinglaag ($\Theta(1/n)$ in SP versus $\Theta(1)$ in $\mu$P).
  2. Variantie van initialisatie van de laatste laag ($\Theta(1/n)$ in SP versus $\Theta(1/n^2)$ in $\mu$P).
  3. Schalings van de leerfrequentie van LayerNorm ($\Theta(1/n)$ in SP versus $\Theta(1)$ in $\mu$P).
  4. Attention-schaling ($1/\sqrt{d}$ in SP versus $1/d$ in $\mu$P).

De auteurs voeren systematische ablaties uit, waarbij ze SP aanpassen om $\mu$P één verandering per keer te benaderen (en vice versa) om de primaire drijver van overdrachtkwaliteit te isoleren.

Belangrijkste Resultaten

1. De Primairheid van de Leerfrequentie van de Embeddinglaag

De centrale bevinding is dat de leerfrequentie van de embeddinglaag de overweldigende factor is die $\mu$P onderscheidt van SP.

• SP + Embedding: Wanneer SP wordt aangepast om een $\Theta(1)$ leerfrequentie te gebruiken voor de embeddinglaag (terwijl andere lagen bij SP-schaling blijven), worden zijn overdrachtsmetrieken ($E$, $\kappa$, $R(\infty)$) bijna identiek aan die van $\mu$P.
• $\mu$P - Embedding: Omgekeerd introduceert het verlagen van de leerfrequentie van de embeddinglaag in $\mu$P naar $\Theta(1/n)$ (overeenkomend met SP) opnieuw de trainingsinstabiliteiten en hoge voorspelbaarheidsfout ($E$) die kenmerkend zijn voor SP.
• Mechanisme: In SP fungeert de leerfrequentie van de embeddinglaag als een bottleneck. Omdat de embeddinglaag een breedte-onafhankelijke lookup uitvoert (in tegenstelling tot verborgen lagen die over breedte sommeren), is een $\Theta(1/n)$ leerfrequentie te klein, wat leidt tot langzaam leren en trainingsinstabiliteiten, vooral vroeg in de training. Het maximaliseren van deze frequentie naar $\Theta(1)$ stabiliseert de dynamica.

2. Secundaire Factoren

• Attention-schaling: Het veranderen van attention-schaling ($1/\sqrt{d} \to 1/d$) heeft een subtiel maar negatief effect op robuustheid ($\kappa$) als het niet gepaard gaat met andere veranderingen, waardoor overdracht broos wordt.
• LayerNorm: Het verhogen van de LayerNorm-leerfrequentie in SP destabiliseert training, terwijl het verlagen ervan in $\mu$P een verwaarloosbaar effect heeft, wat suggereert dat LayerNorm-parameters langzaam getraind kunnen worden zonder overdracht te schaden.
• Initialisatie van de Laatste Laag: Verschillen in variantie van initialisatie van de laatste laag hebben een verwaarloosbare impact op overdrachtsmetrieken, waarschijnlijk gemitigeerd door leerfrequentie-warmup.

3. Gewichtsverval en Compute-Optimale Training

• Fixed-Step Instelling: Gewichtsverval verbetert verliesvoorspelbaarheid ($E$) door het landschap te regulariseren, maar degradeert consequent de asymptotische prestaties ($R(\infty)$).
• Compute-Optimale Instelling: In het regime met vaste tokens-per-parameter (waar trainingsstappen schalen als $n^2$) leidt de standaard conventie voor gewichtsverval ($\eta \cdot \lambda = \Theta(1)$) tot gedegradeerde robuustheid ($\kappa$). De auteurs suggereren dat de geschikte schaling voor gewichtsverval in dit regime mogelijk $\eta \cdot \lambda = \Theta(1/n^2)$ moet zijn, hoewel dit een open vraag blijft voor toekomstig werk.

4. Generaliseerbaarheid

Experimenten op CNN's getraind op CIFAR-100 bevestigen dat het belang van de input-gerichte laag (analoog aan de embeddinglaag) verder reikt dan Transformers. Het trainen van de eerste laag met een $\Theta(1)$ leerfrequentie in SP herstelt overdrachtkwaliteit vergelijkbaar met $\mu$P.

Betekenis en Claims

Het artikel claimt het eerste kwantitatieve kader te bieden voor het evalueren van hyperparameter-overdracht, waarbij onderscheid wordt gemaakt tussen voorspelbaarheid, robuustheid en absolute prestaties.

De primaire betekenis van het werk is de ontmythologisering van $\mu$P. De auteurs demonstreren dat de volledige set van $\mu$P-voorwaarden overbodig is voor het bereiken van hoogwaardige leerfrequentie-overdracht. In plaats daarvan is de "magie" van $\mu$P in de context van AdamW-training grotendeels toe te schrijven aan één, intuïtieve aanpassing: het maximaliseren van de leerfrequentie van de embeddinglaag.

Deze bevinding heeft directe praktische implicaties:

• Practitioners die Standaard Parametrisatie (SP) gebruiken, kunnen overdrachtprestaties bereiken die vergelijkbaar zijn met $\mu$P door simpelweg de leerfrequentie van de embeddinglaag te corrigeren, zonder dat ze het volledige $\mu$P-kader hoeven over te nemen.
• Het identificeert een eerder over het hoofd gezien bron van trainingsinstabiliteit: het bottlenecken van de leerfrequentie van de embeddinglaag.
• Het benadrukt dat theoretische afleidingen van $\mu$P, hoewel wiskundig elegant, mogelijk rusten op aannames (zoals volledige uitlijning) die niet strikt noodzakelijk zijn voor de waargenomen empirische voordelen.

De auteurs blijven bescheiden over de reikwijdte, en merken op dat hun experimenten beperkt zijn tot decoder-only Transformers met AdamW en een specifiek dataset. Ze erkennen dat de geschikte schaling voor gewichtsverval in compute-optimale regimes en het gedrag onder andere optimizers (zoals SGD of Muon) verder onderzoek vereisen.