📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

Dit artikel toont aan dat de schalingsexponent in neurale schalingswetten geen vaste constante is, maar systematisch afhankelijk is van de optimizer, waarbij gepreconditioneerde methoden aanzienlijk steilere prestatiewinsten opleveren dan standaard gradiëntafstijging, met name onder spectrale omstandigheden die kenmerkend zijn voor natuurlijke taal.

Oorspronkelijke auteurs: Vansh Ramani, Shourya Vir Jain

Gepubliceerd 2026-05-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vansh Ramani, Shourya Vir Jain

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het Gaat Niet Alleen om Grootte, Maar om Hoe Je Leert

Stel je voor dat je probeert een enorme hoeveelheid informatie te leren (zoals het lezen van elk boek in een bibliotheek). In de wereld van Kunstmatige Intelligentie (AI) hebben we een regel die een Scaling Law (Schaalwet) wordt genoemd. Deze regel zegt: "Als je je AI-brein groter maakt (meer neuronen toevoegt), wordt het slimmer, maar de mate van verbetering volgt een specifieke, voorspelbare curve."

Lange tijd dachten wetenschappers dat deze curve vastlag. Ze geloofden dat als je de grootte van de AI verdubbelde, je een specifieke, onveranderlijke hoeveelheid verbetering zou krijgen, ongeacht welk hulpmiddel je gebruikte om het te leren.

Dit artikel zegt: "Eigenlijk verandert het hulpmiddel dat je gebruikt om de AI te leren, de curve."

Het "hulpmiddel" heet een optimizer. Denk aan de optimizer als de leraar of de studiemethode. Het artikel betoogt dat sommige leraren zo veel beter zijn in het organiseren van het leerproces dat ze de AI niet alleen sneller leren; ze veranderen eigenlijk de fundamentele wiskunde van hoeveel de AI verbetert naarmate het groter wordt.

De Analogie: De Bibliotheek en de Bibliothecaris

Om de bevindingen van het artikel te begrijpen, laten we een analogie gebruiken van een Bibliotheek en een Bibliothecaris.

1. De Bibliotheek (De Data)

Stel je voor dat de data die de AI moet leren een bibliotheek is.

De "Steile" Bibliotheek: De meeste boeken gaan over één populair onderwerp (zoals "Hoe brood te bakken"), en zeer weinig boeken gaan over obscure onderwerpen (zoals "18e-eeuwse moskwekerij"). In de echte wereld is dit zoals taal: een paar woorden worden constant gebruikt, en miljoenen worden zelden gebruikt. Dit heet een steil spectrum.
De "Vlakke" Bibliotheek: Elk onderwerp heeft precies hetzelfde aantal boeken. Dit is zeldzaam in de natuur, maar makkelijk voor te stellen.

2. De Student (Het AI-Model)

De AI is een student die deze boeken probeert te lezen om een toets te halen. De student heeft een beperkte hoeveelheid tijd (rekenkracht) en een beperkt geheugen (modelgrootte).

3. De Leraren (De Optimizers)

Hier wordt het artikel interessant. De auteurs testten verschillende "leraren" (optimizers) om te zien hoe ze de student helpen leren.

Leraar A (Standaard Gradient Descent / GD): Deze leraar is als een student die de bibliotheek in volgorde leest. Ze lezen eerst de populaire "brood"-boeken omdat ze makkelijk te vinden zijn. Tegen de tijd dat ze bij de "moskwekerij"-boeken komen, is de tijd op.
- Resultaat: Ze worden goed in brood, maar verschrikkelijk in mos. Naarmate de bibliotheek groter wordt, blijven ze vastzitten in de populaire dingen en negeren ze de rest. Hun verbeteringscurve vlakt snel af.
Leraar B (Preconditioned Optimizers zoals Muon/Full NG): Deze leraar is een genie in organisatie. Ze beseffen dat zelfs als de "mos"-boeken zeldzaam zijn, ze nog steeds belangrijk zijn. Ze gebruiken een speciale kaart (een preconditioner) om de "mos"-boeken net zo makkelijk bereikbaar te maken als de "brood"-boeken. Ze dwingen de student om alles evenredig te leren.
- Resultaat: De student leert een beetje van alles. Omdat ze geen tijd verspillen aan alleen de populaire dingen, worden ze veel slimmer naarmate de bibliotheek groeit.

De Belangrijkste Ontdekking: De "Magische Vermenigvuldiger"

Het artikel voerde computerexperimenten uit (met behulp van een vereenvoudigd wiskundig model genaamd "random-feature regression") om precies te meten hoeveel slimmer de studenten werden.

Ze ontdekten dat wanneer de bibliotheek een steil spectrum heeft (zoals menselijke taal, waar een paar dingen zeer gewoon zijn en veel dingen zeldzaam):

Leraar A (Standaard) botst tegen een muur. De student stopt na een bepaalde grootte met veel verbetering.
Leraar B (Geavanceerd) blijft klimmen. De student wordt met elke stap in omvang aanzienlijk slimmer.

Het "Magische" Getal:
Het artikel mat een getal genaamd $\alpha$ (alfa). Dit getal vertegenwoordigt de "verbeteringssnelheid".

Voor de standaard leraar was $\alpha$ laag (ongeveer 0,12).
Voor de geavanceerde leraar was $\alpha$ veel hoger (ongeveer 0,31).

Waarom is dit belangrijk?
Omdat deze getallen exponenten zijn, creëert een klein verschil na verloop van tijd een enorm gat.

Als je de grootte van de AI verdubbelt met de standaard leraar, krijg je een kleine boost.
Als je de grootte verdubbelt met de geavanceerde leraar, krijg je een 2,6 keer grotere boost.
Als je blijft verdubbelen, loopt de geavanceerde leraar steeds verder voorop. Het is als samengestelde rente: het voordeel groeit met elke stap.

De Haken: Het Hangt Af van de Bibliotheek

Het artikel vond ook een cruciale voorwaarde: Dit voordeel treedt alleen op als de bibliotheek "steil" is.

Als de bibliotheek steil is (zoals echte taal): Is de geavanceerde leraar een game-changer. Ze corrigeren het onbalans en laten de AI efficiënt leren.
Als de bibliotheek vlak is (alles is gelijk): Doet de standaard leraar al een goede job omdat er geen onbalans is om te corrigeren. De geavanceerde leraar biedt hier niet veel extra hulp.

Wat Met Echte AI? (De "Open Vraag")

De auteurs zijn voorzichtig om te zeggen dat hun resultaten komen uit een vereenvoudigd wiskundig model, niet uit een echte, gigantische AI zoals die vandaag de dag door Google of OpenAI wordt gebruikt.

Ze erkennen een conflict in de echte wereld:

Sommige recente studies zeggen dat geavanceerde leraren (zoals Muon) geweldig zijn op kleine schaal, maar dat hun voordeel verdwijnt naarmate de AI enorm wordt.
Dit artikel suggereert dat in hun vereenvoudigde model het voordeel blijft groeien.

De Conclusie:
Het artikel stelt voor dat het "verdwijnende voordeel" dat in het echt wordt gezien, misschien gebeurt omdat echte AI zelf kenmerken leert (wat de structuur van de bibliotheek verandert), terwijl hun model ervan uitgaat dat de bibliotheek hetzelfde blijft.

Samenvatting voor het Algemeen Publiek

De Mythe: "Grotere AI wordt altijd op een vast tempo slimmer."
De Realiteit: De snelheid waarmee AI slimmer wordt, hangt sterk af van het wiskundige hulpmiddel (optimizer) dat wordt gebruikt om het te trainen.
De Ontdekking: Geavanceerde hulpmiddelen kunnen fungeren als een "spectrale equalizer". Ze voorkomen dat de AI zeldzame maar belangrijke informatie negeert, waardoor het veel efficiënter kan leren naarmate het groeit.
De Voorwaarde: Deze superkracht werkt het beste wanneer de data "ongebalanceerd" is (zoals menselijke taal). Als de data perfect gebalanceerd is, helpen de chique hulpmiddelen niet veel.
De Toekomst: We moeten dit testen op echte, gigantische AI-modellen om te zien of de "magische vermenigvuldiger" standhoudt of verdwijnt naarmate de modellen massaal worden.

Kortom: Het kiezen van de juiste leraar zorgt niet alleen voor snellere leerresultaten; het verandert het plafond van hoe slim de student kan worden.

Technische Samenvatting: Over de Optimizer-afhankelijkheid van Neural Scaling Laws

Probleemstelling
Neural scaling laws stellen dat de testfout $L$ afneemt volgens een machtswet met de modelgrootte $N$ ( $L(N) \propto N^{-\alpha}$ ), waarbij de exponent $\alpha$ traditioneel wordt behandeld als een vaste constante die wordt bepaald door de architectuur en de data-distributie. Deze aanname vormt de basis voor strategieën voor computertoewijzing bij frontier-modellen. Echter, recente empirische resultaten over second-order optimizers (zoals Muon, SOAP, Shampoo) leveren tegenstrijdige bewijzen: sommige suggereren aanzienlijke computerversnellingen ten opzichte van AdamW, terwijl andere aangeven dat deze winsten afnemen naarmate de modelgrootte toeneemt. Dit artikel onderzoekt een fundamentele vraag: verbeteren geavanceerde optimizers slechts de constante factor van de scaling law, of veranderen ze de scaling-exponent $\alpha$ zelf fundamenteel? Als $\alpha$ verschuift, zijn de implicaties voor scaling-voorspellingen ingrijpend, omdat exponentiële veranderingen zich vermenigvuldigen bij elke verdubbeling van de modelgrootte, terwijl verbeteringen in de constante factor dat niet doen.

Methodologie
De auteurs onderzoeken deze vraag binnen het random-feature regression framework (Maloney et al., 2022; Bordelon et al., 2024). Deze theoretische setting isoleert de interactie tussen de spectrale structuur van data, optimizer-preconditioning en modelcapaciteit door feature-weights vast te leggen en uitsluitend de lineaire weights van de bovenste laag te trainen.

Experimentele Opstelling: De studie simuleert regressietaken met inputs getrokken uit een Gaussische verdeling met machtswet-eigenwaarden $\lambda_i \propto i^{-(1+s)}$ , waarbij $s$ de spectrale exponent is. Natuurlijke taaldata wordt gekenmerkt door $s \approx 0,8\text{--}1,2$ .
Optimizer-varianten: Vijf optimizers worden geïmplementeerd als gradient-preconditioners:
1. GD: Baseline (Identiteit-preconditioner).
2. Diagonal: Proxy voor AdamW ( $P = \text{diag}(F^\top F)^{-1/2}$ ).
3. Full NG: Proxy voor Shampoo/K-FAC ( $P = (F^\top F)^{-1}$ ).
4. Sign-GD: Een negatieve controle met sign-updates.
5. Matrix-Sign: Proxy voor Muon ( $P = (F^\top F)^{-1/2}$ ), die singuliere waarden equaliseert.
Protocol: Experimenten doorlopen zes spectrale condities ( $s \in [0,25, 2,0]$ ) en acht modelgroottes ( $N \in [25, 5000]$ ). Scaling-exponenten $\alpha$ worden gefit via Ordinary Least Squares (OLS) op log-log-plots van fout versus modelgrootte voor $N \ge 200$ .

Belangrijkste Bijdragen

Systematische Meting: Het artikel biedt de eerste systematische meting van $\alpha$ als gezamenlijke functie van optimizer-type en spectrale afname van data over vijf preconditioner-varianten.
Mechanistische Uitleg: Het biedt een spectrale heuristiek (Propositie 1) die uitlegt dat gepreconditioneerde optimizers leer-snelheden per modus equaliseren. Waar Gradient Descent (GD) "te veel uitgeeft" aan hoog-variatie modi en "te weinig" aan laag-variatie modi, redden preconditioners onderbediende modi, waardoor de effectieve capaciteit die bij een gegeven $N$ wordt benut, toeneemt.
Spectrale Diagnose: De auteurs stellen een diagnose-regel voor: het voordeel van preconditioning hangt af van de spectrale steilte $s$ . Het voordeel is verwaarloosbaar voor vlakke spectra ( $s < 0,3$ ) maar groeit aanzienlijk naarmate $s$ toeneemt.
Falsifieerbare Voorspelling: Het artikel voorspelt dat training op kunstmatig gespectraal afgevlakte data (bijvoorbeeld via whitening) het voordeel van geavanceerde optimizers zoals Muon zou moeten laten krimpen of verdwijnen.

Resultaten

Optimizer-afhankelijkheid van $\alpha$ : Gepreconditioneerde optimizers leveren consistent steilere scaling (grotere $\alpha$ ) op dan GD. De volgorde is over het algemeen $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ .
Spectrale Afhankelijkheid: De kloof $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ neemt toe met de spectrale exponent $s$ $s$ .
- Bij $s \approx 1,0$ (karakteristiek voor natuurlijke taal) bereikt Full Natural Gradient $\alpha \approx 0,31$ versus $\alpha \approx 0,12$ voor GD, wat een $2,6\times$ grotere gefitte exponent vertegenwoordigt.
- Bij $s \approx 0,5$ lopen de curves bijna parallel en neemt het voordeel af.
- Bij $s \approx 2,0$ stort de exponent van GD samen tot bijna nul ( $\alpha \approx 0,01$ ), terwijl gepreconditioneerde optimizers op een elegante manier degraderen ( $\alpha \approx 0,20$ ).
Computevermenigvuldigers: Door de $\alpha$ -verschuiving te vertalen naar een effectieve computervermenigvuldiger, voorspelt het random-feature model een aanzienlijk parameter-equivalent voordeel voor sterke preconditioners bij $s \approx 1,0$ . Dit sluit qua richting aan bij recente empirische rapporten van $\sim 1,4\times$ computerversnellingen voor Muon ten opzichte van AdamW op gematigde schalen (Chen et al., 2025).

Betekenis en Claims
Het artikel betoogt dat scaling-law-voorspellingen rekening moeten houden met de keuze van de optimizer. Als gepreconditioneerde optimizers de exponent $\alpha$ veranderen, kunnen voorspellingen die zijn gekalibreerd onder AdamW de returns van scaling voor modellen die zijn getraind met geavanceerde optimizers aanzienlijk onderschatten.

Echter, de auteurs handhaven een bescheiden standpunt met betrekking tot de overdracht van deze bevindingen naar grote LLM's:

Beperkingen: Het random-feature model opereert in een "lazy" regime (vaste features) en laat diepte, attention en tokenisatie buiten beschouwing.
Schalen-Afname: Het artikel erkent tegenstrijdige bewijzen (Wen et al., 2025) die suggereren dat het voordeel van Muon/SOAP kan afnemen bij zeer grote schalen (bijvoorbeeld 1,2B parameters). De auteurs stellen dat deze afname kan worden veroorzaakt door eindige- $N$ effecten, dat feature learning de spectrale onevenwichtigheid op natuurlijke wijze vermindert, of veranderingen in het effectieve data-spectrum op schaal.
Conclusie: De primaire bijdrage is het vaststellen dat de scaling-exponent geen vaste constante is van het architectuur/data-paar, maar systematisch afhankelijk is van de interactie van de optimizer met het dataspectrum. Het artikel roept op tot validatie op echte modellen om te bepalen of deze exponent-verschuiving aanhoudt of afneemt in het "rijke" regime van feature learning.