🤖 machine learning

Why Muon Outperforms Adam: A Curvature Perspective

Dit artikel으로 toont aan dat Muon Adam overtreft bij het trainen van grote taalmodellen door een grotere eenstapsverliesafname te bereiken, primair door een lagere Normalized Directional Sharpness (NDS) krommingsstraf, een geometrisch voordeel dat wordt versterkt door data-imbalans en wordt in stand gehouden door verminderde kromming binnen de lagen.

Oorspronkelijke auteurs: Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het laagste punt probeert te vinden in een uitgestrekt, mistig bergmassief. Dit is hoe het trainen van een gigantisch AI-model (zoals een Large Language Model) is: de "berg" is de foutmarge, en het "laagste punt" is het perfecte, meest nauwkeurige model. Om daar te komen, heb je een optimizer nodig—een gids die vertelt welke kant je op moet stappen.

Lama lang was Adam de standaard gids. Onlangs is er een nieuwe gids genaamd Muon gearriveerd en is hij twee keer zo snel bij de voet van de berg gekomen. Maar waarom? Dit artikel fungeert als een detective die, met behulp van een "krommingperspectief" (kijken naar de vorm van het terrein), het mysterie oplost.

Hier is het verhaal van hun bevindingen, eenvoudig uitgelegd:

1. De twee gidsen nemen dezelfde stapgrootte, maar Muon is vloeiender

Stel je voor dat jij en een vriend een heuvel af wandelen. Jullie besluiten allebei een stap van exact dezelfde lengte te zetten.

De eerste stap (de duw): Zowel jij als je vriend duwen met dezelfde kracht naar voren. In wiskundige termen noemt het artikel dit de "first-order gain". Deze zijn gelijk.
De hobbel (de krommingsstraf): De grond is niet perfect vlak; hij is hobbelig. Als je te hard in een hobbelige richting stapt, stuiter je een beetje terug omhoog, wat energie verspilt.
- Adam heeft de neiging om in de "hobbeligste" delen van het terrein te stappen. Het raakt een hoge hobbel, stuitert terug en verliest daardoor een deel van de voorwaartse vooruitgang.
- Muon is slimmer. Het kijkt naar de vorm van de grond en stuurt de stap naar de gladdere, vlakkere paden. Het zet nog steeds een stap van dezelfde lengte, maar het raakt een veel kleinere hobbel.

Het resultaat: Omdat Muon minder hobbelige delen raakt (een kleinere "krommingsstraf"), legt Muon in een enkele stap eigenlijk een grotere afstand af de heuvel af naar beneden dan Adam doet, ook al duwen ze met dezelfde initiële kracht.

2. Het geheime wapen: "Normalized Directional Sharpness" (NDS)

Het artikel introduceert de chique term NDS, wat in essentie meet "hoe scherp de grond is in de richting waarin je loopt."

De bevinding: Muon en Adam nemen stappen van dezelfde grootte (dezelfde "update norm"), maar de stappen van Muon zijn altijd in richtingen waar de grond minder scherp is.
De analogie: Stel je voor dat je door een veld met hoog, scherp maïs staat te lopen.
- Adam loopt recht door de dikste, scherpste stengels. Het wordt gesneden (hoge NDS), en de maïs duwt terug tegen het.
- Muon gebruikt een speciale kompas om de openingen tussen de maïs te vinden. Het loopt dezelfde afstand af, maar de maïs is veel minder dicht (lage NDS). Het glijdt erdoorheen met minder weerstand.

3. Waarom vindt Muon de openingen beter? (Data-imbalans)

Het artikel ontdekte dat het terrein hobbeliger wordt wanneer de data imbalans vertoont.

Het scenario: Stel je een bibliotheek voor waar 90% van de boeken over "katten" gaat, en slechts 10% over "honden". Dit is een imbalans in de dataset.
Het effect: In deze ongebalanceerde bibliotheken wordt de grond extreem grillig en vol met scherpe pieken.
De winnaar: Adam blijft echt steken in de "katten"-pieken. Muon is echter veel beter in het navigeren door deze grillige, ongelijkmatige landschappen. Hoe groter de imbalans in de data, hoe groter het gat tussen de gladde route van Muon en de hobbelige route van Adam.

4. Waar vindt de magie plaats? (Binnen de lagen)

AI-modellen zijn gebouwd als een stapel lagen (zoals een meerlaagse taart). Het artikel keek naar de vraag of het voordeel van Muon voortkwam uit de hele taart of slechts uit specifieke plakken.

De ontdekking: Naarmate de training vordert, verschuift het voordeel van Muon. Het stopt met zich zorgen over hoe de lagen met elkaar interageren (cross-layer) en focust zich volledig op het maken van de stappen vloeiend binnen elke individuele laag (within-layer).
De analogie: Denk aan een estafette. Aan het begin maakt iedereen zich zorgen over het overhandigen van de wandelstok tussen de hardlopers (cross-layer). Maar naarmate de race intenser wordt, beseft Muon dat het geheim van snelheid is om simpelweg het eigen traject perfect vloeiend te rennen (within-layer), waarbij de ruis van de andere hardlopers wordt genegeerd.

5. Het theoretische bewijs: De "Equalizer"

Ten slotte bouwden de auteurs een eenvoudig wiskundig model (een "gestileerd kwadratisch probleem") om te bewijzen waarom dit werkt.

Het probleem: Stel je voor dat de berg een paar zeer steile, scherpe kliffen heeft (hoge kromming) en een enorm gebied met zachte hellingen (lage kromming).
Adams fout: Omdat de "kliffen" zo steil zijn, wordt Adam naar hen toe getrokken. Het verspilt al zijn energie aan het proberen af te dalen langs de steile kliffen, maar omdat ze zo scherp zijn, stuitert het wild alle kanten op.
Muons strategie: Muon gebruikt een "spectrale normalisatie"-truc. Stel je voor dat het een magische equalizer heeft die het dwingt om evenveel energie te besteden aan de steile kliffen als aan de zachte hellingen.
De uitkomst: Door niet overmatig te focussen op de gevaarlijke kliffen, vermijdt Muon het wilde stuiteren. Het verdeelt de energie gelijkmatig, waardoor het een gestage, efficiënte voortgang naar beneden kan maken die Adam niet kan evenaren.

Samenvatting

Muon verslaat Adam niet omdat het grotere stappen zet of harder duwt, maar omdat het een betere navigator is. Het vermijdt de "scherpe" delen van het wiskundige landschap die ervoor zorgen dat de AI terugstuitert. Door het pad gladder te maken, vooral wanneer de data rommelig of ongebalanceerd is, bereikt het de voet van de berg (het beste model) veel sneller.

Technische Samenvatting: Waarom Muon Adam overtreft: Een Curvatuurperspectief

Probleemstelling

Muon is een zeer efficiënte optimizer geworden voor het pretrainen van Large Language Models (LLM's), waarbij het een ongeveer 2 $\times$ snellere trainingsconvergentie vertoont vergeleken met de standaard Adam-optimizer over diverse modelmaten heen. Hoewel recente werken dit voordeel hebben toegeschreven aan mechanismen zoals associatief geheugen en de 'long-tailedness' van data, blijft de lokale geometrische bron van de superioriteit van Muon onduidelijk. Dit artikel adresseert twee primaire vragen:

Welke specifieke eigenschap van het optimalisatielandschap ondersteunt het voordeel van Muon ten opzichte van Adam?
Hoe beïnvloeden pretraining-factoren, specifiek de distributie van trainingsdata en de modelstructuur, deze eigenschap?

Methodologie

De auteurs maken gebruik van een combinatie van empirische analyse op LLM-trainingspaden en theoretische analyse op gestileerde kwadratische optimalisatieproblemen.

Empirische Analyse:

Tweede-orde Taylor-decompositie: De auteurs analyseren de eenstapige verliesafname ( $\Delta D$ ) door deze te decomponeren in een eerste-orde winst (gradiënt-alignment) en een tweede-orde curvatuurstraf met behulp van een Taylor-expansie: $\Delta D \approx \langle G, Z \rangle - \frac{1}{2}\langle Z, H[Z] \rangle$ .
Metriekdefinitie: Om het effect van de update-richting te isoleren van de update-schaal, introduceren ze Normalized Directional Sharpness (NDS), gedefinieerd als $SF(W; Z) = \langle Z, H[Z] \rangle / \|Z\|_F^2$ . Dit maakt het mogelijk om de curvatuurstraf te factoriseren in de update-norm en NDS.
Experimentele Opzet: Experimenten worden uitgevoerd op een 124M-parameter NanoGPT-model getraind op de FineWeb-dataset. Vergelijkingen tussen Muon en Adam worden gemaakt bij gelijke validatieverliesniveaus om eerlijkheid te garanderen.
Data en Structuur Variaties:
- Data-imbalans: Synthetische data wordt gegenereerd met behulp van een Zipf-Probabilistic Context-Free Grammar (PCFG) met gecontroleerde imbalansniveaus (Zipf-exponent $s$ ) om het effect van heavy-tailed distributies te testen.
- Laag-decompositie: De NDS wordt gedecomposeerd in within-layer (diagonale Hessiaanse blokken) en cross-layer (off-diagonal interacties) bijdragen om te begrijpen hoe verschillende modelcomponenten bijdragen aan het curvatuurvoordeel.

Theoretische Analyse:

Gestileerd Kwadratisch Model: De auteurs construeren een kwadratisch optimalisatieprobleem dat de kenmerken van het LLM-landschap weerspiegelt, gebaseerd op vier empirisch geverifieerde aannames:
1. Lage Kronecker-rang: De Hessiaan laat een lage-rang Kronecker-benadering toe.
2. Simultane Diagonalisatie: De Kronecker-factoren delen gemeenschappelijke orthogonale eigenbasissen.
3. Curvatuur-heterogeniteit: Het Hessiaanse spectrum vertoont sterke heterogeniteit (long-tailed distributie van eigenwaarden).
4. Gradiënt-alignment: Gradiënten aligneren sterk met hoog-curvatuur eigenrichtingen.
Vergelijking: Theoretische bewijzen vergelijken Muon (spectraal genormaliseerde updates) met Gradient Descent (GD). Er wordt opgemerkt dat Adam zich in deze specifieke gestileerde setting vergelijkbaar gedraagt als GD, waardoor de auteurs zich kunnen concentreren op het contrast tussen spectrale normalisatie en gradiënt-gebaseerde updates.

Belangrijkste Bijdragen en Resultaten

1. De Bron van Muon's Voordeel: Verminderde Curvatuurstraf
De analyse onthult dat Muon een grotere eenstapige verliesafname bereikt dan Adam, primair omdat het een aanzienlijk kleinere tweede-orde curvatuurstraf incasseert, en niet omdat het een grotere eerste-orde gradiëntwinst behaalt.

Observatie 1: Bij gelijke validatieverliezen vertonen Muon en Adam vergelijkbare eerste-orde afnames, maar de curvatuurstraf van Muon is substantieel lager.

2. Het Mechanisme: Lagere Normalized Directional Sharpness (NDS)
De verminderde curvatuurstraf wordt gedreven door de update-richting van Muon in plaats van de stapgrootte.

Observatie 2: Muon en Adam hebben vergelijkbare update-normen ( $\|Z\|_F$ ). Echter, Muon vertoont een opvallend lagere NDS (ongeveer 1.76 $\times$ lager dan Adam gemiddeld). Dit geeft aan dat de spectrale normalisatie van Muon de updates stuurt naar richtingen met een lagere lokale curvatuur.

3. De Rol van Data-imbalans
Het NDS-voordeel van Muon wordt versterkt door data-imbalans.

Observatie 3: Met behulp van Zipf-PCFG data laten de auteurs zien dat naarmate de dataset imbalanter wordt (hogere Zipf-exponent $s$ ), de NDS voor beide optimizers toeneemt, maar de kloof tussen Adam en Muon significant groter wordt (een stijging van 1.8 $\times$ van $s=0$ naar $s=1$ ). Muon is robuuster tegen de toegenomen sharpness die door heavy-tailed data wordt geïnduceerd.

4. De Rol van Modelstructuur
Het curvatuurvoordeel verschuift gedurende de training.

Observatie 4: Hoewel zowel de within-layer als de cross-layer NDS-componenten lager zijn voor Muon, wordt de within-layer component steeds dominanter in het voordeel van Muon tijdens de middelste en late stadia van de training. De cross-layer bijdrage van Muon daalt snel, terwijl Adam een stabiele balans tussen within- en cross-layer sharpness behoudt.

5. Theoretische Rechtvaardiging
Het artikel bewijst dat op kwadratische problemen met heterogene curvatuur en gradiënt-alignment naar hoog-curvatuur modi:

Muon een kleinere gemiddelde NDS bereikt dan GD omdat de spectrale normalisatie de update-energie verdeelt over curvatuur-groepen, terwijl GD de energie concentreert op hoog-curvatuur modi.
Wanneer de curvatuur-heterogeniteit voldoende sterk is, bereikt Muon een lager lokaal kwadratisch verlies dan GD na hetzelfde aantal stappen.

Betekenis en Claims

Het artikel claimt de "eerste stap" te zetten naar het ontrafelen van de superioriteit van Muon vanuit een lokaal curvatuurperspectief. De centrale conclusie is dat de efficiëntie van Muon voortkomt uit het vermogen om spectraal genormaliseerde updates uit te voeren die inherent een lagere directionele sharpness bezitten, waardoor de tweede-orde kosten van optimalisatiestappen worden geminimaliseerd.

De auteurs positioneren dit werk expliciet als complementair aan bestaande "geheugen-gecentreerde" verklaringen (bijv. Wang et al., 2025b), en bieden een onderscheidend geometrisch mechanisme: bij dezelfde iteratie betaalt Muon een lagere directionele sharpness-straf dan Adam. Het werk is bescheiden van omvang, richt zich op causale LLM's en identificeert een lokaal mechanisme in plaats van het claimen van globale convergentiegaranties of toepasbaarheid op alle modelklassen (zoals diffusiemodellen), wat aan toekomstig onderzoek wordt overgelaten.