🤖 machine learning

MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training

Das Papier stellt MONA vor, einen neuartigen Optimierer, der Nesterov-artige Beschleunigung in das Muon-Framework integriert, um scharfe lokale Minima zu verlassen und einen state-of-the-art-Konvergenzverlauf sowie Downstream-Leistung über Sprachmodelle von 1 bis 68 Milliarden Parametern hinweg zu erreichen.

Ursprüngliche Autoren: Jiacheng Li, Jianchao Tan, Hongtao Xu, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiacheng Li, Jianchao Tan, Hongtao Xu, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, superschlauen Roboter beizubringen, menschliche Sprache zu sprechen. Um dies zu tun, müssen Sie Millionen winziger Knöpfe in seinem Gehirn justieren. Der Prozess, die perfekten Einstellungen für diese Knöpfe zu finden, wird „Training" genannt, und das Werkzeug, das Sie verwenden, um diese Knöpfe zu drehen, heißt Optimierer.

Lange Zeit war das Standardwerkzeug für diese Aufgabe AdamW. Es ist zuverlässig, wie ein stetiger, vorsichtiger Wanderer, der kleine Schritte macht und ständig die Karte überprüft. Vor kurzem traf ein neues Werkzeug namens Muon ein. Muon ist wie ein Wanderer, der das gesamte Gebirge auf einen Blick betrachtet und Gruppen von Knöpfen als eine einzige Einheit behandelt. Dies macht Muon schneller und effizienter, doch es hat immer noch einen Mangel: Es kann in einem „scharfen Tal" stecken bleiben.

Das Problem: Die Falle des scharfen Tals

Stellen Sie sich die Landschaft des Lernprozesses des Roboters als hügeliges Gelände vor.

Flache Täler sind gute Orte, um sich niederzulassen; sie bedeuten, dass der Roboter eine stabile, allgemeine Lösung gefunden hat, die in vielen Situationen gut funktioniert.
Scharfe Täler sind enge, tiefe Gruben. Wenn der Roboter in eines fällt, mag es so scheinen, als hätte er den tiefsten Punkt gefunden, aber tatsächlich steckt er an einer sehr spezifischen, zerbrechlichen Stelle fest. Wenn Sie ihn leicht anstoßen, fällt er aus seiner „perfekten" Position heraus und performt schlecht.

Sowohl AdamW als auch Muon können versehentlich in diese scharfen Täler fallen und dort stecken bleiben. Ihnen fehlt eine Möglichkeit, die Form des Bodens im Voraus zu „fühlen", um zu wissen, ob eine Stelle zu scharf ist.

Die Lösung: MONA (Muon mit Nesterov-Beschleunigung)

Die Autoren dieses Papers haben ein neues Werkzeug namens MONA entwickelt. Stellen Sie sich MONA als Muon mit einem Paar Sonarbrillen vor.

So funktioniert es anhand einer einfachen Analogie:

Der alte Weg (Muon): Muon betrachtet die Steigung genau dort, wo es steht, und bewegt sich bergab. Es ist großartig darin, effizient voranzukommen, weiß aber nicht, ob der Boden vor ihm eine sanfte Steigung oder ein Klippenrand ist.
Der neue Weg (MONA): Bevor Muon einen Schritt macht, betrachtet MONA, wie sich die Steigung von dem letzten Schritt zum aktuellen geändert hat.
- Wenn sich die Steigung sehr plötzlich geändert hat (wie das Aufprallen auf eine scharfe Klippe), weiß MONA: „Wow, das ist ein scharfes Tal! Lassen Sie uns stärker drücken, um hierheraus zu springen."
- Wenn sich die Steigung sehr langsam geändert hat (ein sanftes, flaches Tal), sagt MONA: „Das sieht sicher aus. Lassen Sie uns hier niederlassen."

MONA fügt der Mathematik einen speziellen „Beschleunigungsterm" hinzu. Es berechnet den Unterschied zwischen der aktuellen Richtung und der vorherigen Richtung. Dieser Unterschied wirkt wie ein Sensor, der die „Schärfe" des Geländes erkennt. Ist das Gelände scharf, drückt es den Roboter aus der Grube. Ist es flach, lässt es den Roboter ruhen.

Was haben sie herausgefunden?

Die Forscher testeten dieses neue Werkzeug an drei verschiedenen Größen von Sprachmodellen (klein, mittel und riesig), die von 1 Milliarde bis 68 Milliarden Parametern reichten. Sie trainierten sie mit massiven Textmengen (bis zu 1 Billion Wörter).

Besseres Training: In jedem Test half MONA den Modellen, schneller zu lernen und einen besseren Endzustand zu erreichen als sowohl der alte Standard (AdamW) als auch das neuere Muon.
Intelligentere Roboter: Die mit MONA trainierten Modelle waren besser bei allgemeinen Aufgaben, Matheproblemen und beim Schreiben von Code. Zum Beispiel erzielte MONA bei einem 68-Milliarden-Parameter-Modell die besten Ergebnisse in Benchmarks für Mathematik und Programmierung.
Feinabstimmung: Selbst nach dem initialen Training, als sie den Modellen zusätzliches, spezifisches Training gaben (wie das spezifische Beibringen des Codierens), schnitten die Modelle, die mit MONA starteten, besser ab als diejenigen, die mit Muon starteten.

Praktisch umsetzbar (MONA-Lite)

Die Autoren stellten auch fest, dass das Hinzufügen dieses „Sonar"-Systems etwas mehr Computerspeicher benötigt. Um dies zu beheben, schufen sie eine leichtere Version namens MONA-Lite.

Sie verwendeten einen Trick, um die Speicherdaten zu komprimieren (wie den Wechsel von hochauflösendem Video zu Standardauflösung) und eine Methode, um die Steigungsänderungen on-the-fly zu berechnen, ohne zusätzliche Dateien zu speichern.
Dies reduzierte den zusätzlichen Speicherbedarf um etwa 75 %, was es auch auf Computern mit begrenztem Speicher einfach nutzbar macht, ohne die Vorteile zu verlieren.

Zusammenfassung

Kurz gesagt ist MONA ein Upgrade für den Muon-Optimierer. Es behält die Geschwindigkeit und Effizienz von Muon bei, fügt jedoch einen „Krümmungssensor" hinzu, der der KI hilft, während des Lernens nicht in schlechten, scharfen Stellen stecken zu bleiben. Dies führt zu intelligenteren, leistungsfähigeren Sprachmodellen, die besser in Mathematik, Programmierung und allgemeiner Schlussfolgerung sind, gleichzeitig aber effizient genug sind, um auf Standardhardware zu laufen.

Technische Zusammenfassung: MONA – Muon-Optimierer mit Nesterov-Beschleunigung

1. Problemstellung

Das Training großer Sprachmodelle (LLMs) erfordert zunehmend Optimierer mit überlegener Stichprobeneffizienz. Während AdamW seit über einem Jahrzehnt der Standard ist, sind neuere Alternativen wie Muon entstanden. Muon verbessert Methoden erster Ordnung, indem Gewichtsmatrizen als einzelne geometrische Einheiten behandelt und eine Matrix-Orthogonalisierung (via Newton-Schulz-Iteration) auf den Momentum-Puffer angewendet wird. Dieser Ansatz entspricht dem steilsten Abstieg unter der Spektralnorm und bietet bei großskaligem Mixture-of-Experts (MoE)-Training eine etwa $2\times$ höhere Recheneffizienz gegenüber AdamW.

Allerdings teilt Muon eine fundamentale Einschränkung mit allen Gradientenmethoden erster Ordnung: Es fehlen explizite Mechanismen, um die Verlustlandschaft über lokale Gradienteninformationen hinaus zu erkunden. Folglich kann Muon in scharfen lokalen Minima stecken bleiben, insbesondere in Szenarien mit großen Batch-Größen. Scharfe Minima sind mit schlechter Generalisierung verbunden, während flachere Minima tendenziell bessere Downstream-Leistung erzielen. Zwar führte der ALTO-Optimierer einen Beschleunigungsterm ein, der auf dem exponentiellen gleitenden Durchschnitt (EMA) von Gradientendifferenzen basiert, um scharfe Minima zu verlassen, doch sein Design als allgemeiner Adapter für Adam und LAMB stellt Integrationsherausforderungen an Muons hochgradig nichtlinearen Orthogonalisierungsprozess.

2. Methodik: MONA

Die Autoren schlagen MONA (Muon Optimizer with Nesterov Acceleration) vor, der einen krümmungsbewussten Beschleunigungsterm nahtlos direkt in Muons Orthogonalisierungsrahmen integriert.

Kernalgorithmus

MONA modifiziert die Standard-Muon-Pipeline, indem ein Beschleunigungsterm vor der Momentum-Akkumulation und Orthogonalisierung eingeführt wird. Der Aktualisierungsprozess für einen Matrixparameter $W$ an der Iteration $k$ verläuft wie folgt:

Berechnung der Gradientendifferenz: Berechnung der Differenz zwischen dem aktuellen stochastischen Gradienten $G_k$ und dem vorherigen Gradienten $G_{k-1}$ :
$D_k = G_k - G_{k-1}$
Aktualisierung des Beschleunigungspuffers: Führung eines exponentiellen gleitenden Durchschnitts dieser Differenzen:
$A_k = \beta_a A_{k-1} + (1 - \beta_a) D_k$
Hierbei steuert $\beta_a$ das Gedächtnis der Beschleunigung.
Krümmungsbewusster Gradient: Konstruktion eines augmentierten Gradienten $\tilde{G}_k$ durch Hinzufügen des skalierten Beschleunigungsterms zum rohen Gradienten:
$\tilde{G}_k = G_k + \alpha A_k$
Der Koeffizient $\alpha$ skaliert die Beschleunigung. Die theoretische Motivation legt nahe, dass $G_k - G_{k-1}$ $H_k(\theta_k - \theta_{k-1})$ approximiert, wobei $H_k$ die Hesse-Matrix ist. Somit zeigt der Term weg von scharfen Minima (wo Gradientenänderungen groß sind) und bleibt in flachen Regionen klein.
Muon-Orthogonalisierung: Der augmentierte Gradient wird in die Standard-Muon-Schritte für Momentum und Orthogonalisierung eingespeist:
$M_k = \mu M_{k-1} + \tilde{G}_k$
$O_k = \text{Newton-Schulz}(M_k)$
$W_{k+1} = W_k - \eta (\gamma O_k + \lambda W_k)$

Begründung des Designs

Die Anwendung des Beschleunigungsterms vor der Orthogonalisierung ist entscheidend. Würde er danach angewendet, würde dies die orthogonale Struktur stören, auf die Muon für die Spektralnorm-Regularisierung angewiesen ist. Durch die Transformation des rohen Gradienten zuerst in eine krümmungsbewusste Richtung erfasst der Momentum-Puffer diese angereicherten Richtungen, die anschließend durch die Standard-Pipeline von Muon verarbeitet werden.

Für vektorwertige Parameter (z. B. Embeddings, Biases) verwendet MONA standardmäßig AdamW und hält sich an die bestehenden Konventionen von Muon.

3. Theoretische Analyse

Die Arbeit liefert eine Konvergenzanalyse für MONA unter Standardannahmen (L-Glättung, unverzerrte Gradienten mit begrenzter Varianz und erwartete Richtungsalignment).

Konvergenzrate: Die Autoren beweisen, dass MONA in nicht-konvexen Settings eine Konvergenzrate von $O(K^{-1/2})$ erreicht, was den asymptotischen Raten von SGD und AdamW entspricht. Der Beschleunigungsterm beeinflusst die Konstanten in der Schranke, nicht jedoch die asymptotische Rate.
Verlassen scharfer Minima: Die Analyse formalisiert, wie der Beschleunigungsterm selektiv scharfe Minima widersteht. In der Nähe eines stationären Punktes ist die erwartete Beschleunigung $E[A_k]$ proportional zur Hesse-gewichteten Summe vergangener Richtungen. Für Richtungen mit großen Eigenwerten (scharfe Minima) ist die Beschleunigungsgröße groß und drückt den Optimierer weg. Für kleine Eigenwerte (flache Richtungen) ist die Beschleunigung klein und ermöglicht eine stabile Konvergenz. Dieser Mechanismus bewahrt Muons Spektralnorm-Regularisierung und fügt gleichzeitig Krümmungsbewusstsein hinzu.

4. Empirische Ergebnisse

MONA wurde über drei Skalen von MoE-Pretraining-Modellen (1B, 6B und 68B Parameter) sowie eine Phase des überwachten Fine-Tunings (SFT) evaluiert.

Pretraining-Leistung

Modelle: MOE-1B-A0d2B (400B Tokens), MOE-6B-A0d5B (1,2T Tokens) und MOE-68B-A3B (700B Tokens).
Metriken: Die Validierungsverluste wurden über die Domänen Code, mathematisches Reasoning, allgemeines Englisch und chinesische akademische Texte hinweg überwacht.
Ergebnisse: MONA erzielte konsistent niedrigere Validierungsverluste als sowohl Muon als auch AdamW über alle drei Modelldimensionen und alle Domänen hinweg. Die Leistungslücke war insbesondere beim größeren 68B-Modell deutlich, wo MONA eine stabilere Konvergenz demonstrierte.

Downstream-Benchmarks (MOE-68B-A3B)

Das mit MONA trainierte 68B-Modell wurde auf einer umfassenden Suite von Benchmarks evaluiert:

Allgemeine Fähigkeiten: MONA erzielte die höchste Durchschnittspunktzahl (0,4557) auf Benchmarks einschließlich MMLU, MMLU-Pro, CMMLU, CEVAL und BBH und übertraf dabei Muon (0,4478) und AdamW (0,4382).
Mathematisches Reasoning & Code-Generierung: MONA zeigte überlegene Leistung auf GSM8K, GPQA und verschiedenen Code-Generierungs-Benchmarks (HumanEval+, MBPP+, BigCodeBench, LiveCodeBench). Bemerkenswert ist, dass MONA signifikante Gewinne bei Aufgaben lieferte, die übertragbare Code-Repräsentationen erfordern.
Überwachtes Fine-Tuning (SFT): Als der mit MONA vortrainierte Checkpoint auf Code-Daten SFT unterzogen wurde, hielt er im Vergleich zur mit Muon vortrainierten Baseline während des gesamten Prozesses einen niedrigeren Trainingsverlust. Nach-SFT-Evaluierungen auf der BigCode-Suite bestätigten, dass mit MONA initialisierte Modelle bei 6 von 7 Aufgaben höhere Punktzahlen erzielten als mit Muon initialisierte Modelle.

Effizienz und Bereitstellung

Um den Speicher-Overhead durch das Speichern des vorherigen Gradienten ( $G_{k-1}$ ) und des Beschleunigungspuffers ( $A_k$ ) zu adressieren, stellten die Autoren MONA-Lite vor:

Quantisierung: Speicherung von Hilfszuständen in bfloat16 (BF16) anstelle von float32.
Streaming-Berechnung: Berechnung von Gradientendifferenzen in-place, um die Notwendigkeit eines dedizierten $G_{k-1}$ -Puffers zu eliminieren.
Ergebnis: Diese Strategien reduzieren den zusätzlichen Speicher-Overhead um etwa 75 %, ohne die Trainingsqualität zu beeinträchtigen. Eine Analyse des Rechenaufwands zeigte, dass MONA auf Ebene des Optimierer-Schritts nur etwa 1 % langsamer ist, ohne praktischen Unterschied in der End-to-End-Iterationzeit im Vergleich zu Muon.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MONA erfolgreich die Lücke zwischen Muons geometrischer Effizienz und dem Bedarf an krümmungsbewusster Beschleunigung schließt. Seine primäre Bedeutung liegt in:

Algorithmische Integration: Demonstration, dass Beschleunigungsterme in Matrix-Orthogonalisierungsrahmen integriert werden können, ohne deren geometrische Eigenschaften zu stören.
Skalierbarkeit: Validierung der Methode über eine breite Palette von Modelldimensionen (1B bis 68B Parameter) und Token-Anzahlen (bis zu 1 Billion Tokens), wobei konsistente Verbesserungen gegenüber AdamW und Muon gezeigt werden.
Generalisierung: Bereitstellung empirischer Belege dafür, dass das Verlassen scharfer Minima während des Pretrainings zu einer besseren Generalisierung in Downstream-Aufgaben führt, insbesondere bei komplexem Reasoning und Code-Generierung.
Praktikabilität: Angebot einer speichereffizienten Variante (MONA-Lite), die den Optimierer für ressourcenbeschränkte Umgebungen praktikabel macht.

Die Autoren schließen, dass MONA einen State-of-the-Art-Optimierer für großskaliges LLM-Training darstellt, der überlegene Konvergenz und Downstream-Leistung erreicht, während die Recheneffizienz des Muon-Rahmens erhalten bleibt.