Technische Samenvatting: Door Optimizer Geïnduceerde Spectrale Schaalwetten

Probleemstelling

Klassieke schaalwetten voor grote taalmodellen (LLM's) hebben voorspelbare machtwet-relaties vastgesteld tussen validatieverlies en middelen zoals modelgrootte, datavolume en rekenkracht. Deze kaders behandelen de optimizer echter doorgaans als een vast trainingsdetail, ervan uitgaande dat deze alleen de convergentiesnelheid beïnvloedt of fungeert als een multiplicatief efficiëntiefactor. Dit artikel daagt die aanname uit en postuleert dat de optimizer een fundamentele as van representatieschaling is. Specifiek onderzoeken de auteurs hoe effectief verschillende optimizers een toename in de breedte van Feed-Forward Netwerken (FFN) omzetten in benutte spectrale capaciteit — de effectieve dimensionaliteit van de latente ruimte. Ze stellen de vraag of een gelijkblijvend validatieverlies een gelijkblijvende interne representatiegeometrie impliceert, of dat verschillende optimizers dezelfde architecturale capaciteit realiseren via fundamenteel verschillende spectrale structuren.

Methodologie

De studie hanteert een spectrale analysekader dat is gecentreerd rond de eigenspectra van FFN-representaties binnen Transformer-architecturen.

• Spectrale Metrieken: De auteurs maken gebruik van de Rényi effectieve-rank-familie om spectrale spreiding te kwantificeren. Ze baseren hun analyse op twee primaire metrieken:
  • Zachte Rank ($R_1$): Komt overeen met $\alpha=1$ (Shannon-entropie), meet entropie-gewogen spectrale spreiding en vangt diffuse capaciteit op.
  • Harde Rank ($R_2$): Komt overeen met $\alpha=2$ (participatieverhouding), meet concentratie-gevoelige effectieve dimensionaliteit en vangt capaciteit van dominante modi op.
  • Harde-Zachte Asymmetrie ($\Delta_{1,2}$): Gedefinieerd als $\log R_1 - \log R_2$, kwantificeert deze metriek de kloof tussen diffuse en dominante capaciteit.
• Experimentele Opstelling: Experimenten werden uitgevoerd op GPT-stijl decoder-only Transformers (160M en 350M parameters) getraind op het FineWeb-Edu-dataset. De FFN-verborgen dimensie ($D$) werd gevarieerd om schaalwetten vast te stellen ($R(D) \propto D^\beta$).
• Optimizer-Vergelijking: De studie vergelijkt standaard AdamW met matrix-bewuste optimizers (Muon, NorMuon) en rank-beperkte varianten (Dion met variërende rank-factoren $r$).
• Stratificatie: Om de Zipf-verdeling van taaldata aan te pakken, werden FFN-representaties gestratificeerd op tokenfrequentie in HEAD (frequent), MID en TAIL (zeldzaam) regimes.
• Architecturale Controles: De auteurs vergelijken door optimizers geïnduceerde verschuivingen met architecturale ingrepen, specifiek het verhogen van de per-head attention-rank (door het aantal heads te verminderen) en het verwijderen van Rotary Positional Embeddings (RoPE).

Belangrijkste Resultaten

1. Optimizer-Afhankelijke Spectrale Schaalwetten

Dezelfde Transformer-architectuur vertoont opvallend verschillende spectrale schaalwetten, afhankelijk van de optimizer.

• Harde-Rank Schaling: AdamW vertoont een zwakke harde-rank schaling ($\beta_{hard} \approx 0,29$ tot $0,44$), met name voor zeldzame (TAIL) tokens. Daarentegen bereikt Muon bijna lineaire schaling ($\beta_{hard} \approx 1,02$) in dezelfde regimes. Dit vertegenwoordigt een 2,3$\times$ toename in de schalingsexponent.
• Harde-Zachte Asymmetrie: AdamW vertoont een grote positieve asymmetrie ($\Delta_{1,2} \approx 0,37$), wat aangeeft dat toegevoegde FFN-breedte de diffuse spectrale massa uitbreidt in plaats van dominante representatierichtingen. Muon en NorMuon verminderen deze asymmetrie tot bijna nul ($\Delta_{1,2} \approx 0,14$), wat betekent dat toegevoegde breedte efficiënt wordt omgezet in capaciteit van dominante modi.

2. Gelijkblijvend Verlies $\neq$ Gelijkblijvende Geometrie

Het artikel demonstreert dat validatieverlies een ontoereikende proxy is voor representatiestructuur.

• Uitgebreide Training: Het trainen van AdamW voor uitgebreide stappen (12K versus 6K) stelde het in staat de perplexiteit van een Dion (1/16) variant te benaderen. De spectrale geometrie bleef echter verschillend: de harde-rank schaling van AdamW verdween bijna ($\beta_{hard} \to 0,03$), terwijl Dion robuuste machtwet-schaling behield.
• Leersnelheid: Het doorlopen van leersnelheden bevestigde dat de spectrale kloof tussen AdamW en Muon geen hyperparameter-artefact is; de laagste harde-rank exponent van Muon overtrof consistent de hoogste van AdamW gedurende de hele reeks.

3. Frequentie- en Rank-Afhankelijkheden

• Tokenfrequentie: Het optimizer-effect is het meest uitgesproken in MID en TAIL tokenregimes. AdamW heeft moeite om harde capaciteit te schalen voor zeldzame tokens, terwijl Muon lineair schaalt.
• Update Rank: Met Dion isoleerden de auteurs het effect van update-rank. Het verminderen van de rank-factie ($r$) van $1/2$ naar $1/16$ veroorzaakte een daling van de harde-rank schaling van $\beta \approx 0,88$ naar $\beta \approx 0,40$ (naderend naar AdamW-niveaus), terwijl zachte-rank schaling geleidelijker degradeerde. Dit geeft aan dat update-rank fungeert als een regelaar voor het omzetten van breedte in capaciteit van dominante modi.

4. Dominantie boven Architecturale Ingrepen

Door optimizers geïnduceerde spectrale verschuivingen overstijgen of herschikken vaak de effecten van architecturale veranderingen:

• Attention Rank: Het verhogen van de per-head attention-rank (door het aantal heads te verminderen) resulteerde in kleinere spectrale schalingsverschuivingen dan het wisselen van optimizers in 28 van de 30 frequentie/metriek-regimes.
• Positieve Encoding: Het verwijderen van RoPE leidde tot een optimizer-afhankelijke herverdeling. Voor Muon verhoogde NoPE de harde-rank schaling voor HEAD, maar verlaagde het de schaling voor MID/TAIL; voor NorMuon verlaagde het de schaling in alle regimes. Dit toont aan dat architecturale signalen worden uitgedrukt via de geometrie van de optimizer.

Betekenis en Beweringen

Het artikel betoogt dat optimalisatie moet worden behandeld als een eersteklas as van representatieschaling, naast modelgrootte, data en rekenkracht.

• Co-Design van Architectuur en Optimizer: De gerealiseerde spectrale capaciteit is een eigenschap van het architectuur-optimizer-paar, niet van de architectuur alleen. Architecturale ingrepen (zoals het veranderen van attention-rank of positieve encodingen) induceren geen vaste, optimizer-onafhankelijke verschuivingen; hun effecten worden bemiddeld door de geometrie van de optimizer.
• Representatiestructuur: De keuze van optimizer bepaalt hoe modelcapaciteit is gestructureerd over eigenmodi en wordt toegewezen over tokenfrequentie-regimes. Het is niet louter een efficiëntieknop voor convergentiesnelheid.
• Beperkingen: De auteurs merken op dat deze bevindingen zijn vastgesteld binnen een gecontroleerd empirisch regime (GPT-stijl modellen tot 350M parameters). Hoewel de resultaten van 350M de patronen van 160M repliceren, is verdere validatie op frontier-schalen (1B+) nodig. Bovendien kwantificeren spectrale ranks hoewel ze capaciteitsbenutting meten, het gedrag van downstream taken niet volledig.

Concluderend motiveert de studie een verschuiving naar co-design van optimizer en architectuur, wat suggereert dat toekomstige schaalwetten rekening moeten houden met de impliciete inductieve bias van de optimizer als een primaire determinant van hoe modelcapaciteit wordt gerealiseerd.