🤖 machine learning

When to use what Schatten- $p$ norm in deep learning?

Dit artikel lost conflicterende observaties over Schatten- $p$ norm-optimizers op door aan te tonen dat hoewel Schatten- $\infty$ methoden zoals Muon uitblinken in hoogdimensionale instellingen, kleinere Schatten- $p$ geometrieën daadwerkelijk optimaal zijn in laagdimensionale regimes zoals Chinchilla-scaling, een bevinding die wordt ondersteund door nieuwe ruisbestendige acceleratieresultaten voor $p>2$ die ook het gebrek aan een warmup-vereiste van Muon en de voorkeur voor grote batches verklaren.

Oorspronkelijke auteurs: Thomas Pethick

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thomas Pethick

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Welke "Liniaal" Moeten We Gebruiken?

Stel je voor dat je probeert het laagste punt te vinden in een uitgestrekte, mistige vallei (dit is het AI-model dat probeert te leren). Om dit te doen, heb je een "liniaal" nodig om te meten hoe steil de grond is en om te beslissen in welke richting je een stap zet.

In de wereld van deep learning zijn er verschillende soorten linialen, die Schatten-p normen worden genoemd.

Schatten-2 (Euclidisch): Dit is de standaard, rechte liniaal die we meestal gebruiken (zoals de optimizer genaamd Adam).
Schatten-∞ (De "Muon"-liniaal): Dit is een speciale, stijve liniaal die alleen geeft om de enkele steilste klif in het landschap. Onlangs werd een methode genaamd Muon (die deze liniaal gebruikt) erg populair omdat het in sommige tests ongelooflijk snel leek te gaan.
Schatten-p (De "Goldilocks"-linialen): Dit zijn linialen die er tussenin zitten; ze meten de helling op een manier die noch te zacht, noch te stijf is.

De Verwarring:
Mensen waren aan het discussiëren over welke liniaal het beste is.

Sommigen zeiden: "Muon (Schatten-∞) is geweldig! Het is de snelste!"
Anderen zeiden: "Nee, Muon is overschat. Standaard methoden werken beter wanneer we trainen op enorme hoeveelheden data."

Het Antwoord van het Paper:
De auteur, Thomas Pethick, zegt: "Jullie hebben allebei gelijk, maar jullie kijken naar verschillende groottes van de vallei."

De beste liniaal hangt volledig af van de grootte van het probleem in verhouding tot de hoeveelheid data die je hebt.

De Twee Regimes: Kleine Bassins versus Grote Oceanen

Het paper verdeelt de wereld in twee hoofdscenario's:

1. Het "Laag-Dimensionale" Regime (Het Kleine Bassin)

Wat het is: Dit gebeurt wanneer je een relatief klein model hebt of een korte trainingsronde doet (zoals de "speedruns" op kleine games die in het paper worden genoemd). Het aantal stappen dat je zet (data) is veel groter dan de complexiteit van het model.
De Analogie: Stel je voor dat je door een kleine, goed verlichte tuin loopt. Je kunt het hele pad zien.
De Beste Liniaal: In dit scenario is de Schatten-∞ liniaal (Muon) eigenlijk niet de beste. Verrassend genoeg is een kleinere p-liniaal (dichter bij de standaard Euclidische liniaal) sneller.
Waarom? Omdat je in een kleine tuin niet hypergeconcentreerd hoeft te zijn op één enkele steile klif. Je hebt een gladdere, meer gebalanceerde aanpak nodig om snel te versnellen. Het paper bewijst dat het gebruik van een "zachtere" liniaal je hier een snelheidssprong geeft.

2. Het "Hoog-Dimensionale" Regime (De Grote Oceaan)

Wat het is: Dit zijn de enorme trainingsruns die worden gebruikt voor gigantische AI-modellen (zoals LLM's), waarbij het model ongelooflijk complex is en de data enorm is.
De Analogie: Stel je voor dat je door een enorme, donkere oceaan navigeert met duizenden eilanden. Je kunt de hele kaart niet zien.
De Beste Liniaal: Hier blinkt de Schatten-∞ liniaal (Muon) uit. Hij is ontworpen om de specifieke "ruwheid" van deze enorme, complexe landschappen aan te kunnen.
De Haken en Oorzaken: Om Muon te laten werken in deze grote oceaan, heb je een enorme batch size nodig (het tegelijkertijd bekijken van een zeer brede doorsnede van de oceaan). Als je probeert Muon te gebruiken met een kleine batch size in dit regime, faalt het.

Het Geheim van de "Batch Size"

Een van de belangrijkste bevindingen van het paper gaat over de Batch Size (hoeveel voorbeelden de AI bekijkt voordat hij een stap zet).

De Regel: Het paper leidt een wiskundige regel af die laat zien dat wanneer je van liniaal verandert (van $p=2$ naar $p=\infty$ ), de ideale batch size ook moet veranderen.
De Metafoor: Denk aan de liniaal als een boot.
- Een kleine boot (Standaard Liniaal) kan navigeren met een kleine bemanning (kleine batch size).
- Een enorm cruiseschip (Muon/Schatten-∞) heeft een enorme bemanning nodig (massieve batch size) om stabiel te blijven en snel te bewegen. Als je probeert een cruiseschip te varen met slechts twee mensen, zal het alleen maar rondjes draaien.
De Inzicht: Dit verklaart waarom Muon geweldig werkt voor "speedruns" (waarbij mensen enorme batches gebruiken op kleine modellen) maar moeite heeft in sommige grootschalige benchmarks (waar de batch size misschien niet genoeg is opgeschaald voor de specifieke geometrie).

Waarom Hebben We "Warmups" Nodig?

Je hebt misschien gehoord dat sommige AI-trainers een "warmup" nodig hebben (langzaam beginnen en dan versnellen).

De Bevinding van het Paper: De Schatten-∞ liniaal (Muon) is zo robuust dat hij geen warmup nodig heeft. Hij kan direct op volle snelheid starten.
Het Contrast: Als je een kleinere $p$ -liniaal gebruikt in het laag-dimensionale regime, profiteer je wel van een warmup-fase om de acceleratie op gang te krijgen.

De "Chinchilla" Connectie

Het paper koppelt dit aan een beroemde regel in AI genaamd Chinchilla scaling, die zegt: "Naarmate je meer data krijgt, moet je je model groter maken."

De Twist: Het paper betoogt dat we, zelfs met Chinchilla scaling, vaak nog steeds in het "Laag-Dimensionale Regime" (de kleine tuin) zitten.
Het Resultaat: Omdat we vaak in dit "kleine tuin"-regime zitten, kan het gebruik van de standaard Muon (Schatten-∞) eigenlijk minder efficiënt zijn dan het gebruik van een optimizer met een eindige $p$ -norm (zoals HTMuon of Soft-Muon). Dit verklaart waarom nieuwere methoden die "zachtere" linialen gebruiken, Muon in sommige grootschalige tests beginnen te verslaan.

Samenvatting: Hoe Kies Je Jouw Liniaal

Het paper concludeert met een eenvoudige gids:

Als je in een "Laag-Dimensionaal" regime bent (kleine modellen, of wanneer de hoeveelheid data enorm groot is in verhouding tot het model):
- Gebruik niet automatisch de extreme Schatten-∞ (Muon).
- Overweeg om een eindige Schatten- $p$ norm te gebruiken (een "zachtere" liniaal). Het versnelt sneller en gaat beter om met ruis.
- Opmerking: Je wilt misschien zelfs van liniaal wisselen tijdens het trainen! Begin met een "harde" liniaal en stap later over op een "zachtere" een.
Als je in een "Hoog-Dimensionaal" regime bent (enorme complexiteit):
- De Schatten-∞ (Muon) is waarschijnlijk de juiste keuze, MAAR je moet wel een zeer grote batch size gebruiken om het te laten werken.

De Kernboodschap: Er is niet één "beste" optimizer. Het beste gereedschap hangt af van de grootte van het probleem en de hoeveelheid data die je hebt. De verwarring in de community bestond omdat mensen de tools testten in verschillende "regimes" zonder zich daarvan bewust te zijn.

Technische Samenvatting: "Wanneer welke Schatten- $p$ norm gebruiken in deep learning?"

Probleemstelling

Schatten- $\infty$ -gebaseerde optimizers, zoals Muon, hebben veelbelovende empirische prestaties laten zien in specifieke deep learning-omgevingen, met name bij korte trainingsruns of grote batchgroottes. Er bestaan echter tegenstrijdige observaties met betrekking tot hun algemene bruikbaarheid. Hoewel ze uitblinken in bepaalde regimes (bijv. CIFAR-10 speedruns), presteren ze niet consistent beter dan standaardmethoden zoals Adam of SGD in grootschalige trainingsscenario's met uitgebreide token-budgetten. Bovelijk hebben recente varianten die gebruikmaken van eindige Schatten- $p$ normen (bijv. HTMuon, Soft-Muon) competitieve of superieure resultaten laten zien, wat de noodzaak van het exclusief gebruiken van de Schatten- $\infty$ norm uitdaagt.

De kernvraag die wordt behandeld is: Welke Schatten- $p$ norm moet een optimizer gebruiken, en onder welke trainingsregimes is deze optimaal? Bestaande theoretische kaders, specifiek het SODA-framework (Schedule-free Optimistic Dual Averaging), waren niet in staat om de analyse van $p$ -norm geometrieën voor $p > 2$ onder stochastische ruis te uitvoeren, waardoor het mechanisme achter het succes van Muon en de beperkingen ervan theoretisch onverklaard bleven.

Methodologie

De paper breidt het SODA-framework (Pethick et al., 2026) uit, dat moderne optimizer-componenten zoals optimistic dual averaging, Nesterov momentum en weight decay verenigt. De auteurs generaliseren de analyse van SODA naar $p$ -uniform convexe referentiefuncties voor $p \ge 2$ , waarbij zowel vector $\ell_p$ als matrix Schatten- $p$ geometrieën worden behandeld.

Belangrijke methodologische componenten zijn:

Algoritmisch sjabloon: De analyse maakt gebruik van een primal-dual update regel waarbij de duale kaart wordt gedefinieerd door de gradiënt van de Fenchel-conjugaat van een referentiefunctie $h(x) = \frac{1}{p}\|x - z_0\|_p^p$ $h (x) = \frac{1}{p} ∥ x - z_{0} ∥_{p}^{p}$ .
- Voor $p=2$ herstelt dit de Euclidische geometrie.
- Voor $p \to \infty$ herstelt het de linear minimization oracle (LMO) die wordt gebruikt door Muon ( $UV^\top$ ).
- Voor eindige $p > 2$ komt dit overeen met methoden zoals HTMuon en Soft-Muon.
Ruisveronderstellingen: De analyse incorporeert heavy-tailed noise aannames, specifiek waarbij gradiënten voldoen aan een $r$ -moment conditie ( $r \in (, 2]$ ). Dit maakt de afleiding van convergentiesnelheden mogelijk die afhangen van de duale exponent $q = p/(p-1)$ .
Regime-analyse: De auteurs leiden oracle complexiteit bounds af onder twee verschillende regimes:
- Deterministisch: Waarbij ruis verwaarloosbaar is.
- Stochastisch: Waarbij ruis aanwezig is en batchgroottes worden geschaald om variantie te beheersen.
Scaling Laws: De theoretische bounds worden toegepast op moderne deep learning scaling regels (bijv. Chinchilla), waarbij het totale token budget $N$ wordt gerelateerd aan de effectieve dimensie $d$ van modelmatrices.

Belangrijkste Bijdragen

1. Ruis-robuuste Acceleratie voor Willekeurige $p$

De auteurs bewijzen dat SODA versnelde convergentiesnelheden bereikt voor optimalisatie over $p$ -norm geometrieën, terwijl het robuust blijft tegen stochastische ruis. Ze stellen een dimensievrije rate vast:
$O\left( \frac{L_p R_p^2}{n^{1+2/p}} + \frac{\sigma_q R_p}{n^{1/p}} \right)$
Dit resultaat onthult een fundamentele verbinding tussen de keuze van de geometrie $p$ en de zwaarte van de ruis-staarten (via de duale exponent $q$ ). Dit wordt gepresenteerd als de eerste ruis-robuuste acceleratie resultaat voor willekeurige $p$ -norm geometrieën.

2. Batch Size Scaling Rules

Door de oracle complexiteit te analyseren onder gebonden variantie ( $r=2$ ), leidt de paper een norm-afhankelijke batch size scaling regel af. Voor een vast totaal oracle budget $N$ , schaalt de optimale batch size $B_p$ als:
$B_p \asymp N^{2(p-1)/(3p-2)}$

Voor $p=2$ (Euclidisch), $B_2 \asymp N^{1/2}$ .
Voor $p \to \infty$ (Schatten- $\infty$ ), $B_\infty \asymp N^{2/3}$ .
Dit verklaart waarom Schatten- $\infty$ methoden zoals Muon empirisch grotere batchgroottes vereisen om hun voordelen te realiseren.

3. Regime-afhankelijke Optimaliteit

De paper lost het conflict over de bruikbaarheid van Muon op door aan te tonen dat de optimale keuze van $p$ regime-afhankelijk is, bepaald door de relatie tussen de effectieve dimensie $d$ en het oracle budget $N$ :

Hoog-dimensionaal Regime ( $N \lesssim d$ ): Het afstemmen van de geometrie op de probleem-smoothness is gunstig. Als de functie smooth is in de Schatten- $\infty$ norm, is het gebruik van $p \to \infty$ optimaal.
Laag-dimensionaal Regime ( $N \gtrsim d$ ): Kleinere waarden van $p$ $p$ zijn geprefereerd.
- In deterministische settings biedt $p=2$ (Euclidisch) sterkere acceleratie.
- In stochastische settings met heavy-tailed noise is de kleinste toelaatbare geometrie $p = r/(r-1)$ optimaal vanwege een betere afstemming met de ruis-aannames.

4. Implicaties voor Scaling Laws

De auteurs verbinden deze theoretische regimes met moderne scaling laws (bijv. Chinchilla). Onder typische scaling recepten waarbij de modelgrootte lineair schaalt met tokens ( $N$ ), groeit de effectieve rang van gewichtsmatrices als $d \propto N^{1/3}$ . Bijgevolg is $N \gg d$ , wat standaard grootschalige training stevig in het laag-dimensionale regime plaatst.

Conclusie: In dit regime is een kleinere $p$ (finite Schatten- $p$ ) theoretisch te prefereren boven Schatten- $\infty$ . Dit biedt een theoretische verklaring voor waarom het voordeel van Muon afneemt bij schaal en waarom finite- $p$ optimizers (HTMuon, Soft-Muon) sterke uitdagers worden.

Resultaten en Betekenis

De paper claimt het schijnbare conflict in de empirische prestaties van Schatten- $\infty$ optimizers op te lossen. De significantie van het werk ligt in:

Theoretische Unificatie: Het bieden van een enkel framework (SODA) dat het gedrag van Muon, Soft-Muon en Euclidische optimizers verklaart door de lens van $p$ -norm geometrie.
Verklaren van Empirische Fenomenen:
- Warmup: De analyse legt uit waarom Schatten- $\infty$ methoden geen stepsize warmup vereisen (de effectieve stepsize neemt af als $k^{-1}$ ), terwijl kleinere $p$ geometrieën een warmup-achtig stadium vertonen.
- Batch Size: Het kwantificeert de noodzaak van grote batches voor Schatten- $\infty$ methoden en biedt een scaling rule voor willekeurige $p$ .
- Scaling: Het biedt een theoretische basis voor de observatie dat Schatten- $\infty$ methoden mogelijk niet zo goed schalen als verwacht onder Chinchilla-achtige recepten, wat suggereert dat de "laag-dimensionale" aard van moderne LLM-training de voorkeur geeft aan finite $p$ .
Praktische Begeleiding: De resultaten suggereren een potentiële switching strategie waarbij $p$ tijdens de training kan worden aangepast (beginnen nabij $\infty$ en overschakelen naar een finite $p$ naarmate het budget $N$ de dimensie $d$ overstijgt), wat aansluit bij recente empirische schema's zoals Soft-Muon.

De auteurs behouden een bescheiden toon en merken op dat hun analyse steunt op worst-case norm conversies en dat scherpere, probleem-afhankelijke relaties de grenzen tussen regimes zouden kunnen verfijnen. Zij laten de praktische exploratie van dynamische $p$ -switching over aan toekomstig onderzoek.