🤖 machine learning

Muon $^p$ : Muon with Fractional Spectral Powers

Das Papier stellt Muon $^p$ vor, einen neuartigen Optimierer, der zwischen Muon und Gradientenabstieg interpoliert, indem er fraktionale Spektralpotenzen auf die Singulärwerte des Gradienten anwendet, effiziente bivariate Rekurrenzen zur Approximation dieser Updates nutzt und eine verbesserte Leistung beim Fine-Tuning von Modellen in der Größenordnung von Milliarden Parametern demonstriert, während wertvolle Informationen des Singulärspektrums bewahrt werden.

Ursprüngliche Autoren: Yihe Dong, Will Sawin

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yihe Dong, Will Sawin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem riesigen, superintelligenten Roboter (einem neuronalen Netzwerk) bei, wie man spricht, Code schreibt oder mathematische Probleme löst. Um ihn zu lehren, müssen Sie ihm Beispiele zeigen und seine Fehler korrigieren. Der „Optimizer“ ist die Methode des Lehrers, um zu entscheiden, wie das Gehirn des Roboters nach jedem Fehler angepasst werden soll.

Das Problem: Der „Alles-oder-Nichts“-Lehrer (Muon)

Vor kurzem wurde eine populäre Lehrmethode namens Muon berühmt. So funktioniert sie:

Stellen Sie sich vor, die Fehler des Roboters kommen in verschiedenen „Richtungen“ oder „Frequenzen“. Einige Richtungen sind sehr laut und offensichtlich (dominante Modi), während andere leise Flüstern sind (kleine Singulärwerte).

Alte Lehrer (wie der Standard-Gradientenabstieg) würden Korrekturen in die lauten Richtungen schreien und die leisen Richtungen ignorieren.
Muon entschied sich für einen „flachen“ Lehrer. Es betrachtete alle Richtungen und sagte: „Lass uns sie alle exakt gleich behandeln!“ Es glättete die Lautstärke jeder Korrektur, sodass das leise Flüstern die gleiche Aufmerksamkeit erhielt wie die lauten Schreie.

Der Haken: Während dies beim Aufbau eines Roboters von Grund auf (Pretraining) großartig ist, wirft es eine entscheidende Information weg: wie stark eine bestimmte Richtung tatsächlich ist. Manchmal sind die lauten Richtungen diejenigen, die wirklich wichtig sind, und das Abflachen der Lautstärke ist so, als würde man die Lautstärke einer Sirene herunterdrehen, nur weil man ein Flüstern hören möchte.

Die Lösung: Der „Genau-richtig“-Lehrer (Muonp)

Die Autoren dieses Papers haben Muonp eingeführt. Denken Sie an Muonp als einen Lehrer, der die „Goldlöckchen“-Zone findet.

Anstatt die Lautstärke komplett zu glätten (wie Muon) oder die ursprüngliche Lautstärke beizubehalten (wie Standard-Lehrer), dreht Muonp die Lautstärke nur ein kleines bisschen leiser. Es verwendet einen mathematischen „Dimmer“ (dargestellt durch eine Zahl namens p), um etwas von der ursprünglichen Stärke der lauten Richtungen beizubehalten und gleichzeitig den leisen Richtungen einen Schub zu geben.

Wenn p = 0 ist: Ist es das ursprüngliche Muon (totale Glättung).
Wenn p = 1 ist: Ist es der Standard-Lehrer (keine Änderung).
Wenn p irgendwo dazwischen liegt (wie 1/3): Ist es Muonp. Es behält die „Form“ der Korrekturen bei, glättet sie aber ab.

Der schwierige Teil: Der magische mathematische Trick

Sie denken vielleicht: „Okay, dreh einfach die Lautstärke ein bisschen runter.“ Aber in der Welt riesiger Matrizen (des Robotergehirns) ist diese Mathematik unglaublich schwer. Normalerweise müssen Sie das Gehirn auseinandernehmen, jeden einzelnen Teil messen und dann wieder zusammensetzen, um die Lautstärke dieser Richtungen zu ändern. Das ist langsam und teuer.

Die Autoren bewiesen, dass man dieses „Lautstärkedimmen“ nicht mit einem einfachen, einstufigen Rezept durchführen kann. Man benötigt ein komplexeres, zweistufiges Rezept, das die ursprüngliche Gehirnstruktur beibehält, während es die Lautstärke anpasst.

Sie erfanden ein neues, schnelles Rezept (unter Verwendung von „bivariaten Polynom-Rekurrenzen“), das wie eine magische Abkürzung funktioniert. Es ermöglicht dem Computer, diese „gedimmten“ Korrekturen unter Verwendung von Standard-Matrizenmultiplikation zu berechnen – derselben schnellen Mathematik, für die Computerchips (GPUs) bereits gebaut sind. Das bedeutet, Muonp ist genauso schnell wie Muon, aber intelligenter.

Was sie herausfanden: Es kommt auf den Job an

Das Paper testete diesen neuen Lehrer an Modellen im Milliarden-Maßstab und fand eine faszinierende Spaltung in der Leistung:

Beim Aufbau eines neuen Gehirns (Pretraining):
Wenn Sie einen Roboter von Grund auf aufbauen, ist der „flache“ Lehrer (Muon) tatsächlich besser. Sie wollen jede mögliche Richtung gleichermaßen erkunden, um ein starkes Fundament zu bauen. Muonp, das die alten „lauten“ Richtungen beibehält, war hier etwas schlechter.
Beim Finetuning eines Experten (Finetuning):
Wenn Sie einen Roboter, der bereits intelligent ist, eine spezifische neue Fähigkeit beibringen (wie Codieren oder Mathematik), ist Muonp der Gewinner.
- Warum? Zu diesem Zeitpunkt beherrscht der Roboter bereits die Grundlagen. Die „lauten“ Richtungen sind diejenigen, die für die neue Aufgabe wichtig sind. Muonp behält den Fokus auf diesen wichtigen Richtungen bei, während es gleichzeitig auch den leisen hilft.
- Ergebnisse: Bei Aufgaben wie mathematischem Denken, Codieren und Sprachverständnis machte Muonp den Roboter intelligenter, schneller und genauer als sowohl das alte Muon als auch Standard-Lehrer.

Die „Curriculum“-Idee

Die Autoren probierten auch einen cleveren Trick aus: Sie nutzten den „flachen“ Lehrer (Muon) für den Großteil des Trainings und wechselten dann für die allerletzten Schritte zum „Dimmer“-Lehrer (Muonp). Dies funktionierte erstaunlich gut. Es ist, als würde man einem Schüler die Grundlagen mit einem breiten Pinsel beibringen und dann für die letzten Details zu einem feinen Federhalter wechseln.

Zusammenfassung

Muonp ist eine intelligentere, flexiblere Version des populären Muon-Optimizers. Es erzwingt nicht, dass alle Lernrichtungen gleich sind; stattdessen passt es deren Wichtigkeit behutsam an.

Die Mathematik: Es nutzt eine clevere, schnelle Abkürzung, um diese Anpassungen zu berechnen, ohne den Computer zu verlangsamen.
Das Ergebnis: Es ist das beste Werkzeug für das Finetuning großer KI-Modelle und hilft ihnen, spezifische Fähigkeiten wie Codieren und Mathematik besser zu meistern als zuvor. Wenn es jedoch darum geht, von Grund auf zu trainieren, bleibt das ursprüngliche „flache“ Muon der Champion.

Technisches Resümee: Muonp – Muon mit fraktionalen Spektralpotenzen

Problemstellung

Der Muon-Optimizer hat sich als leistungsstarkes Werkzeug für das Training tiefer neuronaler Netze, insbesondere großer Sprachmodelle (LLMs), etabliert. Er arbeitet, indem er die Gradientenmatrix $G = USV^\top$ durch deren Polarfaktor $UV^\top$ ersetzt, was das Spektrum der Singulärwerte effektiv abflacht. Dieses „Spektral-Flattening“ fördert ein ausgewogenes Lernen über die singulären Richtungen hinweg und verhindert, dass dominante Moden die Trainings-Updates monopolisieren.

Die Autoren identifizieren jedoch eine kritische Einschränkung im Ansatz von Muon: Die vollständige Abflachung verwirft alle Informationen über die Singulärwerte. Während diese Uniformität während des Pretrainings für eine breite Merkmalsentdeckung vorteilhaft ist, kann sie für Adaptionsaufgaben (wie das Fine-Tuning) suboptimal sein, bei denen die Magnitude der Singulärwerte kodiert, welche residuellen Richtungen am wertvollsten für Änderungen sind. Die zentrale Frage, die sich diese Arbeit stellt, lautet: Können wir die spektralen Vorteile von Muon auf Matrizenebene bewahren und gleichzeitig die für eine effektive Adaptation notwendige Magnitudenstruktur beibehalten?

Methodik

Theoretische Formulierung: Muonp

Die Autoren führen Muonp ein, eine Verallgemeinerung des Muon-Optimizers, der Gewichte unter Verwendung von fraktionalen Spektralpotenzen aktualisiert:
$\text{Update} \propto US^pV^\top$
wobei $p \in (0, 1)$ eine rationale Zahl ist.

Geometrische Interpretation: Die Autoren beweisen (Theorem 2.1), dass diese Update-Regel der Methode des steilsten Abstiegs unter der Schatten- $q$ -Norm entspricht, wobei $q = 1 + 1/p$ .
Interpolation:
- $p = 0$ : Entspricht dem Standard-Muon ( $UV^\top$ ), was die Uniformität maximiert.
- $p = 1$ : Entspricht dem Standard-Gradientenabstieg ( $USV^\top = G$ ).
- $0 < p < 1$ : Interpoliert zwischen beiden und behält teilweise Magnitudeninformationen bei.

Algorithmische Herausforderung und Lösung

Die direkte Berechnung von $US^pV^\top$ erfordert eine Singulärwertzerlegung (SVD), was für große Modelle rechentechnisch prohibitiv ist. Die Autoren adressieren die Herausforderung, diese Approximation ohne explizite SVD zu berechnen:

Unmöglichkeit der univariaten Iteration: Die Autoren beweisen (Lemma 2.2), dass keine feste univariate Polynom-Iteration $S_{n+1} = f(S_n)$ zu $S^p$ für beliebige rationale $p$ konvergieren kann. Im Gegensatz zum Polarfaktor ( $p=0$ ) erfordern fraktionale Potenzen, dass der Algorithmus die ursprüngliche Matrix „erinnert“.
Bivariate Polynom-Rekursion: Um dies zu lösen, leiten die Autoren niedriggradige, ungerade bivariate Rekursionen her. Der Algorithmus berechnet iterativ Matrizen $G_n = US_nV^\top$ $G_{n} = U S_{n} V^{⊤}$ , wobei die Singulärwerte via $S_{n+1} = f(S_n, S)$ $S_{n + 1} = f (S_{n}, S)$ evolvieren.
- Theorem 2.3 zeigt, dass der Term $Uf(S_n, S)V^\top$ für jedes ungerade bivariate Polynom $f(x, y)$ allein durch Matrixmultiplikationen und Transpositionen berechnet werden kann, wodurch die Rechenstruktur von Muon erhalten bleibt.
- Theorem 2.4 etabliert die Existenz solcher Polynome, die für jedes rationale $p \in (0, 1)$ gegen $S^p$ konvergieren.
Explizite Konstruktion: Das Paper liefert explizite Formeln für diese Polynome (z. B. $f(x, y) = x + c(y - x^3)$ für $p=1/3$ ). Die Koeffizienten werden so gewählt, dass $S^p$ ein attraktiver Fixpunkt ist.

Implementierungsdetails

Komplexität: Die Rechenkomplexität bleibt $O(\omega k N)$ , wobei $\omega$ die Komplexität der Matrixmultiplikation, $k$ die Anzahl der Multiplikationen pro Schritt (abhängig vom Polynomgrad) und $N$ die Anzahl der Iterationen ist. Muonp unterscheidet sich von Muon nur durch einen konstanten Faktor in der Anzahl der Matrixmultiplikationen.
Stabilität: Die Methode ist numerisch stabil, wenn sie in bfloat16 implementiert wird, was sie für moderne Hardware geeignet macht.
Curriculum-Kompatibilität: Da Muon ( $p=0$ ) ein Spezialfall von Muonp ist, erfordert das Wechseln zwischen ihnen während des Trainings (z. B. Pretraining mit Muon und Fine-Tuning mit Muonp) keinen Reset des Zustands, sondern lediglich eine Änderung der Polynom-Approximation.

Zentrale Beiträge

Muonp-Optimizer: Einführung eines generalisierten Optimizers, der $US^pV^\top$ für beliebig rationale $p \in (0, 1)$ ohne explizite SVD berechnet.
Theoretische Grenzen: Beweis, dass fraktionale Spektralpotenzen nicht über feste univariate Polynom-Iterationen berechnet werden können, was eine neuartige bivariate Herangehensweise erforderlich macht.
Konstruktiver Algorithmus: Ableitung niedriggradiger ungerader bivariate Rekursionen, die fraktionale Potenzen approximieren und dabei die rein auf Matrixmultiplikationen basierende Struktur von Muon beibehalten.
Empirische Validierung: Nachweis, dass Muonp in Fine-Tuning-Szenarien die Genauigkeit bei mathematischem Denken, Coding und Downstream-Aufgaben signifikant gegenüber Muon und AdamW verbessert.
Analyse der spektralen Geometrie: Erkenntnis, dass die optimale spektrale Geometrie regimespezifisch ist: Uniformere Updates ( $p=0$ ) begünstigen das Pretraining, während partielle Erhaltung ( $0 < p < 1$ ) das Fine-Tuning begünstigt.

Experimentelle Ergebnisse

Fine-Tuning-Performance

Muonp zeigt konsistente Verbesserungen gegenüber Muon und AdamW beim Fine-Tuning von Llama3-1B und Llama3-3B Modellen:

Mathematisches & Code-Reasoning: Auf GSM8K, Numina und OpenCodeInstruct verbessert Muonp die pass@8 Genauigkeit und reduziert den Loss im Vergleich zu Muon.
Perplexity: Muonp erreicht eine niedrigere Validierungs-Perplexity auf den Datensätzen Fineweb und Pile of Law.
Downstream-Aufgaben: Muonp liefert höhere Genauigkeiten über eine Reihe von Reasoning-Benchmarks (PIQA, Winogrande, LAMBADA, etc.) hinweg im Vergleich zu sowohl Muon als auch AdamW.
Optimizer-Mismatch: Selbst wenn mit Muon vortrainiert wurde (passender Optimizer), übertrifft Muonp das Standard-Muon während des Fine-Tunings, was darauf hindeutet, dass der Gewinn fundamental zur spektralen Geometrie gehört und nicht nur zur Konsistenz des Optimizers.

Pretraining vs. Fine-Tuning Dichotomie

Das Paper offenbart eine deutliche Leistungsdichotomie basierend auf der Trainingsphase:

Pretraining: Muon ( $p=0$ ) übertrifft Muonp. Die Autoren argumentieren, dass das Pretraining von „Isotropisierung“ profitiert, um breite Merkmale zu entdecken und zu verhindern, dass dominante Richtungen die Updates monopolisieren.
Fine-Tuning: Muonp ( $0 < p < 1$ ) übertrifft Muon. In diesem Regime besitzt das Modell eine geringe intrinsische Dimension, und die Beibehaltung der Singulärwert-Information hilft dabei, die Adaptation auf die relevantesten residuellen Richtungen zu fokussieren.
Curriculum-Experimente: Das Wechseln von Muon zu Muonp in den letzten Schritten des Pretrainings (ein Curriculum) führt zu unmittelbaren Loss-Reduktionen, was die Hypothese validiert, dass eine Erhöhung von $p$ die effektive Lernrate für kleinere Singulärrichtungen adaptiert.

Laufzeit

Muonp behält eine vergleichbare Laufzeit wie Muon bei. Beispielsweise ist Muonp mit $p=1/3$ (kubische Rekursion) etwas schneller als Muon (welches in einigen Implementierungen eine quintische Rekursion für $p=0$ verwendet), mit Schrittzeiten von etwa 100–120 ms auf H100 GPUs.

Bedeutung und Ansprüche

Das Paper positioniert Muonp als eine fundierte Generalisierung des Muon-Optimizers. Die primäre Bedeutung liegt in:

Überbrückung der Lücke: Es bietet einen systematischen Weg, um zwischen der Uniformität von Muon und der Magnituden-Sensitivität des Gradientenabstiegs zu interpolieren und löst den Trade-off zwischen „Spektral-Flattening“ und „Magnituden-Erhaltung“.
Regimespezifische Optimierung: Es liefert den Beweis, dass die „beste“ spektrale Geometrie nicht universell ist; Pretraining erfordert vollständige Abflachung, während Fine-Tuning eine partielle Abflachung benötigt.
Praktische Effizienz: Es erzielt diese theoretischen Vorteile ohne den Kostenaufwand einer SVD und behält die hardwarefreundliche, rein auf Matrixmultiplikationen basierende Struktur bei, die für die Skalierung auf Milliarden-Parameter-Modelle essenziell ist.
Zukünftige Richtungen: Die Autoren schlagen vor, dass die automatische Auswahl des optimalen $p$ für spezifische Aufgaben und die Integration von Muonp in Pretraining-Curricula vielversprechende Wege für die zukünftige Forschung sind.

Die Arbeit kommt zu dem Schluss, dass die Bewahrung des Singulärspektrums signifikante Gewinne in Adaptationsszenarien bringen kann, und Muonp bietet einen recheneffizienten, fundierten Mechanismus, um dies zu erreichen.