🤖 machine learning

Why Muon Outperforms Adam: A Curvature Perspective

Diese Arbeit zeigt, dass Muon Adam beim Training von großen Sprachmodellen übertrifft, indem es eine größere einstufige Verlustverringerung erzielt, primär durch einen geringeren Normalized Directional Sharpness (NDS)-Krümmungsstrafwert, einen geometrischen Vorteil, der durch Datenimbalance verstärkt und durch reduzierte Krümmung innerhalb der Schichten aufrechterhalten wird.

Ursprüngliche Autoren: Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einer riesigen, nebligen Gebirgskette zu finden. Das ist das, was das Training eines riesigen KI-Modells (wie eines Large Language Model) bedeutet: Der „Berg“ ist die Fehlerrate, und der „tiefste Punkt“ ist das perfekte, präziseste Modell. Um dorthin zu gelangen, benötigen Sie einen Optimierer – einen Führer, der Ihnen sagt, in welche Richtung Sie den Schritt setzen sollen.

Lange Zeit war Adam der Standard-Führer. Vor kurzem ist ein neuer Führer namens Muon angekommen und hat angefangen, doppelt so schnell zum Fuße des Berges zu gelangen. Aber warum? Dieses Paper agiert wie ein Detektiv, der eine „Krümmungsperspektive“ (den Blick auf die Form des Geländes) nutzt, um das Rätsel zu lösen.

Hier ist die Geschichte ihrer Erkenntnisse, einfach erklärt:

1. Die beiden Führer machen die gleiche Schrittweite, aber Muon ist geschmeidiger

Stellen Sie sich vor, Sie und ein Freund wandern einen Hügel hinunter. Sie beide entscheiden euch, eine exakt gleich lange Schrittweite zu nehmen.

Der erste Schritt (Der Schub): Sowohl Sie als auch Ihr Freund drücken mit der gleichen Kraft nach vorne. In mathematischen Begriffen nennt das Paper dies den „First-Order Gain“. Diese sind gleich groß.
Der Hügel (Die Krümmungsstrafe): Der Boden ist nicht perfekt flach; er ist hügelig. Wenn Sie zu hart in eine hügelige Richtung treten, prallen Sie ein wenig zurück, was Energie verschwendet.
- Adam neigt dazu, in die „hügeligsten“ Teile des Geländes zu treten. Es trifft auf einen hohen Hügel, prallt zurück und verliert dabei einen Teil seines Vorwärtsfortschritts.
- Muon ist klüger. Es betrachtet die Form des Bodens und steuert seinen Schritt in Richtung der glatteren, flacheren Pfade. Es macht immer noch einen Schritt der gleichen Länge, aber es trifft auf einen viel kleineren Hügel.

Das Ergebnis: Da Muon weniger Hügel trifft (eine kleinere „Krümmungsstrafe“), legt es in einem einzigen Schritt tatsächlich weiter den Hügel hinunter als Adam, obwohl beide mit der gleichen Anfangskraft gedrückt haben.

2. Die Geheimwaffe: „Normalized Directional Sharpness“ (NDS)

Das Paper führt den schicken Begriff NDS ein, der im Wesentlichen misst, „wie scharf der Boden in der Richtung ist, in der man gerade geht“.

Die Erkenntung: Muon und Adam machen Schritte der gleichen Größe (gleiche „Update Norm“), aber Muons Schritte liegen immer in Richtungen, in denen der Boden weniger scharf ist.
Die Analogie: Stellen Sie sich vor, Sie gehen durch ein Feld mit hohem, scharfem Mais.
- Adam geht direkt durch die dicksten, schärfsten Halme. Es wird aufgeschnitten (hohes NDS), und der Mais drückt dagegen zurück.
- Muon benutzt einen speziellen Kompass, um die Lücken zwischen dem Mais zu finden. Es geht die gleiche Distanz, aber der Mais ist viel weniger dicht (niedriges NDS). Es gleitet mit weniger Widerstand hindurch.

3. Warum findet Muon die Lücken besser? (Daten-Imbalance)

Das Paper entdeckte, dass das „Gelände“ hügeliger wird, wenn die Daten unausgewogen sind.

Das Szenario: Stellen Sie sich eine Bibliothek vor, in der 90 % der Bücher über „Katzen“ und nur 10 % über „Hunde“ sind. Dies ist ein unausgewogener Datensatz.
Der Effekt: In diesen unausgewogenen Bibliotheken wird der Boden extrem zerklüftet und voller scharfer Spitzen.
Der Gewinner: Adam bleibt richtig in den „Katzen-Spitzen“ stecken. Muon hingegen ist viel besser darin, diese zerklüfteten, unebenen Landschaften zu navigieren. Je unausgewogener die Daten sind, desto größer ist die Lücke zwischen Muons glattem Pfad und Adams hügeligem Pfad.

4. Wo findet die Magie statt? (Innerhalb der Schichten)

KI-Modelle sind wie ein Stapel von Schichten aufgebaut (wie ein mehrschichtiger Kuchen). Das Paper untersuchte, ob der Vorteil von Muon aus dem gesamten Kuchen oder nur aus bestimmten Scheiben stammt.

Die Entdeckung: Während des Trainings verschiebt sich der Vorteil von Muon. Es hört auf, sich darum zu sorgen, wie die Schichten miteinander interagieren (Cross-Layer), und konzentriert sich statlich ganz darauf, die Schritte innerhalb jeder einzelnen Schicht (Within-Layer) glatt zu gestalten.
Die Analogie: Denken Sie an ein Staffellauf-Rennen. Zu Beginn macht sich jeder Sorgen darüber, den Staffelstab zwischen den Läufern zu übergeben (Cross-Layer). Aber während das Rennen an Fahrt aufnimmt, erkennt Muon, dass das Geheimnis der Geschwindigkeit darin besteht, einfach seinen eigenen Abschnitt perfekt glatt zu laufen (Within-Layer) und den Lärm der anderen Läufer zu ignorieren.

5. Der theoretische Beweis: Der „Equalizer“

Schließlich bauten die Autoren ein einfaches mathematisches Modell (ein „stilisiertes quadratisches Problem“) auf, um zu beweisen, warum dies funktioniert.

Das Problem: Stellen Sie sich vor, der Berg hat einige sehr steile, scharfe Klippen (hohe Krümmung) und ein riesiges Gebiet mit sanften Hängen (niedrige Krümmung).
Adams Fehler: Da die „Klippen“ so steil sind, wird Adam von ihnen angezogen. Es verschwendet all seine Energie damit, die steilen Klippen hinunterzuklettern, aber da sie so scharf sind, prallt es wild umher.
Muons Strategie: Muon nutzt einen Trick der „Spektralnormierung“. Stellen Sie sich vor, es besitzt einen magischen Equalizer, der es dazu zwingt, die gleiche Menge an Energie auf die steilen Klippen wie auf die sanften Hänge zu verwenden.
Das Ergebnis: Indem es sich nicht übermäßig auf die gefährlichen Klippen konzentriert, vermeidet Muon das wilde Abprallen. Es verteilt seine Energie gleichmäßig, was es ihm ermöglicht, stetige, effiziente Fortschritte den Berg hinunter zu machen, die Adam nicht erreichen kann.

Zusammenfassung

Muon schlägt Adam nicht deshalb, weil es größere Schritte macht oder stärker drückt, sondern weil es ein besserer Navigator ist. Es vermeidet die „scharfen“ Teile der mathematischen Landschaft, die dazu führen, dass die KI zurückprallt. Indem es seinen Pfad glättet, insbesondere wenn die Daten chaotisch oder unausgewogen sind, erreicht es den Fuß des Berges (das beste Modell) viel schneller.

Technisches Resümee: Warum Muon Adam übertrifft: Eine Krümmungsperspektive

Problemstellung

Muon hat sich als hocheffizienter Optimierer für das Pretraining von Large Language Models (LLMs) etabliert und zeigt über verschiedene Modellskalen hinweg eine etwa 2-mal schnellere Trainingskonvergenz im Vergleich zum Standard-Adam-Optimierer. Während jüngere Arbeiten diesen Vorteil auf Mechanismen wie assoziatives Gedächtnis und die Long-Tailedness von Daten zurückgeführt haben, bleibt die lokale geometrische Ursache von Muons Überlegenheit unklar. Diese Arbeit adresset zwei primäre Fragen:

Welche spezifische Eigenschaft der Optimierungslandschaft unterstützt den Vorteil von Muon gegenüber Adam?
Wie beeinflussen Pretraining-Faktoren, insbesondere die Verteilung der Trainingsdaten und die Modellstruktur, diese Eigenschaft?

Methodik

Die Autoren verwenden eine Kombination aus empirischer Analyse von LLM-Trainingsverläufen und theoretischer Analyse auf stilisierten quadratischen Optimierungsproblemen.

Empirische Analyse:

Zweite-Ordnung-Taylor-Zerlegung: Die Autoren analysieren die einstufige Verlustabnahme ( $\Delta D$ ), indem sie sie in einen ersten Ordnungsgewinn (Gradienten-Alignment) und eine zweite Ordnung Krümmungsstrafe mittels einer Taylor-Entwicklung zerlegen: $\Delta D \approx \langle G, Z \rangle - \frac{1}{2}\langle Z, H[Z] \rangle$ .
Metrik-Definition: Um den Effekt der Update-Richtung vom Update-Maßstab zu isolenieren, führen sie die Normalisierte Richtungs-Schärfe (Normalized Directional Sharpness, NDS) ein, definiert als $SF(W; Z) = \langle Z, H[Z] \rangle / \|Z\|_F^2$ . Dies ermöglicht es, die Krümmungsstrafe in die Update-Norm und die NDS zu faktorisieren.
Experimentelles Setup: Die Experimente werden an einem 124M-Parameter NanoGPT-Modell durchgeführt, das auf dem FineWeb-Datensatz trainiert wurde. Vergleiche zwischen Muon und Adam werden bei übereinstimmenden Validierungsverlusten durchgeführt, um Fairness zu gewährleisten.
Daten- und Strukturvariationen:
- Datenimbalance: Synthetische Daten werden unter Verwendung einer Zipf-probabilistischen kontextfreien Grammatik (PCFG) mit kontrollierten Imbalance-Levels (Zipf-Exponent $s$ ) generiert, um den Effekt von Heavy-Tailed-Verteilungen zu testen.
- Layer-Dekomposition: Die NDS wird in Within-Layer- (diagonale Hessian-Blöcke) und Cross-Layer-Beiträge (Off-Diagonal-Interaktionen) zerlegt, um zu verstehen, wie verschiedene Modellkomponenten zum Krümmungsvorteil beitragen.

Theoretische Analyse:

Stilisierte quadratische Modelle: Die Autoren konstruieren ein quadratisches Optimierungsproblem, das die Charakteristika von LLM-Landschaften widerspiegelt, basierend auf vier empirisch verifizierten Annahmen:
1. Geringe Kronecker-Rankness: Der Hessian lässt eine Low-Rank-Kronecker-Approximation zu.
2. Simultane Diagonalisierung: Die Kronecker-Faktoren teilen gemeinsame orthogonale Eigenbasen.
3. Krümmungs-Heterogenität: Das Hessian-Spektrum weist eine starke Heterogenität auf (Long-Tailed-Verteilung der Eigenwerte).
4. Gradienten-Alignment: Gradienten richten sich stark auf hochkrümmte Eigenrichtungen aus.
Vergleich: Theoretische Beweise vergleichen Muon (spektral normalisierte Updates) mit Gradient Descent (GD). Es wird angemerkt, dass sich Adam in diesem spezifischen stilisierten Setting ähnlich wie GD verhält, was es den Autoren ermöglicht, sich auf den Kontrast zwischen spektraler Normalisierung und gradientenbasierten Updates zu konzentrieren.

Zentrale Beiträge und Ergebnisse

1. Die Quelle von Muons Vorteil: Reduzierte Krümmungsstrafe
Die Analyse zeigt, dass Muon eine größere einstufige Verlustabnahme als Adam erreicht, primatär weil es eine signifikant geringere zweite Ordnung Krümmungsstrafe erfährt, nicht weil es einen größeren ersten Ordnung Gradientengewinn erzielt.

Beobachtung 1: Bei übereinstimmenden Validierungsverlusten zeigen Muon und Adam vergleichbare erste Ordnung Abnahmen, aber Muons Krümmungsstrafe ist wesentlich niedriger.

2. Der Mechanismus: Niedrigere Normalisierte Richtungs-Schärfe (NDS)
Die reduzierte Krümmungsstrafe wird durch die Update-Richtung von Muon getrieben und nicht durch dessen Schrittweite.

Beobachtung 2: Muon und Adam haben vergleichbare Update-Normen ( $\|Z\|_F$ ). Jedoch weist Muon eine deutlich niedrigere NDS auf (im Durchschnitt etwa 1,76 $\times$ niedriger als Adam). Dies deutet darauf hin, dass Muons spektrale Normalisierung die Updates in Richtungen mit geringerer lokaler Krümmung steuert.

3. Die Rolle der Datenimbalance
Der NDS-Vorteil von Muon wird durch Datenimbalance verstärkt.

Beobachtung 3: Unter Verwendung von Zipf-PCFG-Daten zeigen die Autoren, dass mit zunehmender Datenimbalance (höherer Zipf-Exponent $s$ ) die NDS für beide Optimierer steigt, die Lücke zwischen Adam und Muon jedoch signifikant größer wird (Steigerung um das 1,8-fache von $s=0$ bis $s=1$ ). Muon ist robuster gegenüber der durch Heavy-Tailed-Daten induzierten Schärfe.

4. Die Rolle der Modellstruktur
Der Krümmungsvorteil verschiebt sich im Verlauf des Trainings.

Beobachtung 4: Während sowohl die Within-Layer- als auch die Cross-Layer-NDS-Komponenten für Muon niedriger sind, wird die Within-Layer-Komponente in der mittleren und späten Phase des Trainings zunehmend dominant für den Vorteil von Muon. Muons Cross-Layer-Beitrag sinkt rapide, während Adam ein stabiles Gleichgewicht zwischen Within- und Cross-Layer-Schärfe beibehält.

5. Theoretische Rechtfertigung
Das Paper beweist, dass auf quadratischen Problemen mit heterogener Krümmung und Gradienten-Alignment zu Hochkrümmungs-Modi:

Muon eine kleinere durchschnittliche NDS als GD erreicht, da seine spektrale Normalisierung die Update-Energie über Krümmungsgruppen hinweg ausbalanciert, während GD die Energie auf Hochkrümmungs-Modi konzentriert.
Wenn die Krümmungs-Heterogenität ausreichend stark ist, erreicht Muon nach der gleichen Anzahl an Schritten einen geringeren lokalen quadratischen Verlust als GD.

Signifikanz und Ansprüche

Das Paper beansprucht, den „ersten Schritt“ zur Entmystifizierung von Muons Überlegenheit aus einer lokalen Krümmungsperspektive zu vollziehen. Die zentrale Schlussfolgerung ist, dass die Effizienz von Muon aus seiner Fähigkeit resultiert, spektral normalisierte Updates durchzuführen, die inhärent eine geringere Richtungs-Schärfe besitzen, wodurch die zweite Ordnung Kosten der Optimierungsschritte minimiert werden.

Die Autoren positionieren diese Arbeit explizit als komplementär zu bestehenden „gedächtniszentrierten“ Erklärungen (z. B. Wang et al., 2025b) und bieten einen distinkten geometrischen Mechanismus an: Beim gleichen Iterationsschritt zahlt Muon eine geringere Richtungs-Schärfe-Strafe als Adam. Die Arbeit ist in ihrem Umfang bescheiden, konzentriert sich auf kausale LLMs und identifiziert einen lokalen Mechanismus, anstatt globale Konvergenzgarantien oder die Anwendbarkeit auf alle Modellklassen (wie z. B. Diffusionsmodelle) zu beanspruchen, welche der zukünftigen Arbeit vorbehalten bleiben.