🤖 machine learning

Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence

Dieser Artikel liefert eine prinzipielle geometrische Erklärung für die überlegene Stabilität und Konvergenz des Muon-Optimierers, indem er nachweist, dass sein Orthogonalisierungsmechanismus eine spektrale Flächung erreicht, welche die Stabilitätsbeschränkung vom größten zum durchschnittlichen Gradienten-Singulärwert verschiebt und den effektiven Konvergenzfaktor unter einem Kronecker-faktorierten Krümmungsmodell verbessert.

Ursprüngliche Autoren: Tien-Phat Nguyen, Truong Nguyen, Minh-Phuc Truong, Tuc Nguyen, James Bailey, Trung Le

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tien-Phat Nguyen, Truong Nguyen, Minh-Phuc Truong, Tuc Nguyen, James Bailey, Trung Le

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen schweren, unregelmäßig geformten Felsbrocken einen Hügel hinauszuschieben. Dieser Felsbrocken repräsentiert den „Verlust" (den Fehler) beim Training eines Computerhirns (eines neuronalen Netzwerks). Ihr Ziel ist es, den Felsbrocken so schnell wie möglich ins Tal (die perfekte Lösung) zu bringen.

Lange Zeit war der Standardweg, dies zu tun, SGD (Stochastic Gradient Descent). Denken Sie an SGD als ein Team von Menschen, das den Felsbrocken schiebt. Sie betrachten die Steigung und schieben in die Richtung, die am steilsten erscheint. Der Felsbrocken ist jedoch seltsam geformt: Er hat eine Seite, die unglaublich rutschig und steil ist, während die anderen Seiten sanft sind.

Das Problem mit dem alten Weg (SGD):
Weil der Felsbrocken auf einer Seite so rutschig ist, muss das Team sehr vorsichtig schieben. Wenn sie zu kräftig schieben, rutschen sie unkontrolliert die falsche Seite hinunter und bringen die gesamte Operation zum Absturz. Das bedeutet, sie müssen winzige, vorsichtige Schritte machen, was die Reise sehr langsam macht.

Der neue Held: Muon
Die Arbeit stellt eine neue Methode namens Muon vor. Anstatt nur zu schieben, agiert Muon wie ein magischer Mechaniker, der den Felsbrocken vor jedem Schubs umgestalten kann.

So funktioniert Muon, unter Verwendung der Kernkonzepte der Arbeit:

1. Spektrale Glättung: Der „Nivellierungs"-Trick

Die Arbeit nennt Muons geheime Waffe „Spektrale Glättung".

Die Analogie: Stellen Sie sich vor, der Felsbrocken hat eine „spitzige" Seite (eine sehr steile, gefährliche Richtung) und „flache" Seiten. In mathematischen Begriffen werden diese „singuläre Werte" genannt. Die spitzige Seite ist das Problem, weil sie das Team zwingt, sehr langsam zu gehen.
Was Muon tut: Muon verwendet ein mathematisches Werkzeug (Newton-Schulz-Iterationen), um die spitzige Seite zu „glätten". Es ändert nicht die Richtung, in die das Team gehen muss; es macht lediglich die steile Steigung weniger steil und die flachen Steigungen etwas steiler. Es verwandelt einen gezackten, unebenen Felsen in eine glatte, runde Kugel.
Das Ergebnis: Da der Felsen nun rund und ausgeglichen ist, kann das Team viel kräftiger schieben, ohne wegzurutschen. Sie können massive Schritte (große Lernraten) machen, die bei der alten Methode sofort zum Absturz geführt hätten.

2. Warum es schneller ist: Der „Durchschnitt" versus das „Schlimmste"

Die Arbeit beweist zwei Hauptpunkte, warum dies funktioniert:

Die Geschwindigkeitsbegrenzung:
- SGD wird durch den schlimmsten Teil des Felsbrockens begrenzt (die steilste Spitze). Wenn die Spitze 100-mal steiler ist als der Rest, muss das Team mit 1/100 der Geschwindigkeit gehen.
- Muon wird durch die durchschnittliche Steilheit begrenzt. Indem Muon die Spitze glättet, ignoriert es das „Worst-Case"-Szenario und konzentriert sich auf den Durchschnitt. Dies ermöglicht dem Team, mit einer Geschwindigkeit zu gehen, die ihrem wahren Potenzial viel näher kommt.
Die Konvergenz (Ankommen am Boden):
- Die Arbeit zeigt, dass Muon nicht nur größere Schritte macht, sondern bessere Schritte. Es fungiert als „Vorbedingung", was eine elegante Art zu sagen ist, dass es das Gelände so anpasst, dass jeder Schritt den Felsbrocken effizienter näher zum Ziel bringt.
- Selbst wenn Sie sowohl das alte Team (SGD) als auch das neue Team (Muon) zwingen, exakt mit derselben Geschwindigkeit zu gehen, gewinnt Muon das Rennen und erreicht den Talboden schneller, weil sein Pfad direkter und weniger wackelig ist.

3. Die Experimente: Der Beweis, dass es funktioniert

Die Autoren testeten dies an einer Standardaufgabe der Computer Vision (Erkennung von Bildern von Katzen, Hunden usw. aus dem CIFAR-10-Datensatz).

Der „Tauch"-Test: Sie versuchten, den Felsbrocken mit sehr hoher Geschwindigkeit zu schieben. Das alte Team (SGD) fiel sofort von der Klippe (divergierte) und das Training scheiterte. Das neue Team (Muon) ging weiterhin glatt weiter und erreichte das Ziel.
Der „Rennen"-Test: Als sie beide Teams zwangen, mit derselben moderaten Geschwindigkeit zu gehen, gewann Muon immer noch das Rennen und erreichte hohe Genauigkeitswerte mehrere „Runden" (Epochen) vor dem alten Team.

4. Eine neue Erkenntnis über „Normalisierung"

Die Arbeit entdeckte auch, warum ein gängiges Werkzeug namens „Batch Normalization" hilft.

Die Entdeckung: Die Autoren erkannten, dass Batch Normalization funktioniert, weil es die Eingabedaten auf natürliche Weise „glättet", ähnlich wie Muon den Felsbrocken behandelt.
Die neue Idee: Sie schlugen eine neue Regel für die Gestaltung dieser Werkzeuge vor: Balancieren Sie nicht nur die Zahlen, sondern balancieren Sie die „Form" der Daten. Wenn Sie sicherstellen können, dass die Eingabedaten keine „super-steile" Richtung haben, können Sie das Computerhirn viel schneller und mit größeren Schritten trainieren. Sie testeten eine neue Methode namens „FrobNorm", die genau dies tut, und stellten fest, dass sie Training mit unglaublich hohen Geschwindigkeiten ermöglicht, bei denen andere Methoden versagten.

Zusammenfassung

Kurz gesagt ist Muon eine intelligentere Art, KI zu trainieren. Es nimmt die unordentliche, unebene Landschaft des Problems und „glättet" sie vor jedem Schritt. Dies verhindert, dass das Training an den steilen, gefährlichen Hängen stecken bleibt, und ermöglicht es der KI, schneller zu lernen, größere Schritte zu machen und die Lösung zuverlässiger zu erreichen als frühere Methoden.

Technische Zusammenfassung: Spektrale Flattening ist alles, was Muon braucht

Problemstellung

Das Training moderner neuronaler Netze beinhaltet die Optimierung über hochgradig nicht-konvexe Landschaften, die durch flache Regionen, scharfe Richtungen und Sattelpunkte gekennzeichnet sind. Die Wahl des Optimierers ist entscheidend für Stabilität und Effizienz. Während koordinatenweise adaptive Methoden wie Adam und AdamW die Robustheit verbessert haben, adressieren sie die geometrischen Herausforderungen, die durch matrixwertige Parameter entstehen, nicht vollständig. Kürzlich hat sich Muon als leistungsstarke Alternative herauskristallisiert, die den Momentum-Puffer vor den Updates orthogonalisiert, was größere Lernraten und schnellere Konvergenz ermöglicht. Die theoretischen Mechanismen, die erklären, warum Muon im Hinblick auf maximale stabile Schrittweiten und Konvergenzraten den Standard-Gradientenabstieg (SGD) übertrifft, bleiben jedoch noch wenig erforscht. Insbesondere hat die bestehende Theorie nicht quantitativ erklärt, wie Orthogonalisierung die Engstelle der Lernrate oder die effektive Konditionszahl des Optimierungsproblems verändert.

Methodik

Die Arbeit liefert eine theoretische Analyse von Muon, indem sie ihre Update-Regel als Form von spektraler Flattening formuliert. Die Autoren entwickeln zwei primäre theoretische Ergebnisse und validieren diese experimentell:

Theoretischer Rahmen:
- Muon-Definition: Muon aktualisiert die Gewichte $W$ , indem es den Gradienten $G_t$ berechnet und anschließend Newton–Schulz-Iterationen anwendet, um den polaren Faktor $O_t \approx (G_t G_t^\top)^{-1/2} G_t = UV^\top$ zu approximieren. Diese Operation erhält die Singulärvektoren des Gradienten, ersetzt jedoch die Singulärwerte durch Einsen.
- Hessische Approximation: Die Analyse nutzt ein kronecker-faktorisches Krümmungsmodell (K-FAC), das die Hessische Matrix als $H \approx X^\top X \otimes G_t G_t^\top$ approximiert, wobei $X$ Eingabe-Aktivierungen und $G_t$ den Gradienten darstellt.
- Analyse der Lernrate: Die Autoren leiten exakte Ein-Schritt-Abstiegsschwellenwerte sowohl für SGD als auch für Muon ab. Sie vergleichen die maximale stabile Lernrate ( $\eta_{max}$ ) für beide Optimierer und zeigen, dass SGD durch den größten Singulärwert des Gradienten ( $\sigma_{max}$ ) begrenzt ist, während die Stabilität von Muon vom durchschnittlichen Singulärwert ( $\frac{1}{m}\sum \sigma_i$ ) bestimmt wird.
- Konvergenzanalyse: Muon wird als vorkonditionierte Gradientenmethode mit dem Vorkonditionierer $P = I_n \otimes (G_t G_t^\top)^{-1/2}$ neu formuliert. Unter Polyak–Łojasiewicz (PL)-Bedingungen und relativer Glattheit analysieren die Autoren den Konvergenzfaktor. Sie beweisen, dass das effektive Konditionsverhältnis für Muon ( $\tilde{\alpha}/\tilde{\beta}$ ) strikt besser ist als das von SGD ( $\alpha/\beta$ ), wenn die Gradientenkovarianz anisotrop ist, und zwar speziell um einen Faktor, der mit der spektralen Streuung des Gradienten zusammenhängt.
Experimentelles Design:
- Aufbau: Experimente wurden auf CIFAR-10 unter Verwendung von CifarNet durchgeführt. Um den Effekt des Optimierers auf matrixwertige Parameter zu isolieren, wurde eine Dual-Optimizer-Strategie angewendet: Faltungskerne wurden durch den Ziel-Optimizer (Muon oder SGD) aktualisiert, während Bias-Terme und andere Parameter einen festen Referenz-Optimizer verwendeten.
- Stabilitätstests: Lernraten-Sweeps wurden ohne Batch-Normalisierung (BN) durchgeführt, um die inhärente Stabilität zu beobachten.
- Konvergenztests: Beide Optimierer wurden mit identischen Lernraten (und separat mit ihren jeweiligen besten Raten) ausgeführt, um die Konvergenzgeschwindigkeit und die Konvergenzverhältnisse pro Schritt ( $r_t$ ) zu messen.
- Normalisierungsprinzip: Ein neues Normalisierungsschema, FrobNorm (Normalisierung durch die Frobenius-Norm), wurde vorgeschlagen und getestet, um die theoretische Behauptung zu verifizieren, dass die Reduzierung der spektralen Skala der Eingaben ( $\lambda_{max}(X^\top X)$ ) höhere Lernraten ermöglicht.

Hauptbeiträge

Ableitung der maximalen Lernrate: Die Arbeit beweist, dass die maximale stabile Schrittweite von Muon mit dem durchschnittlichen Singulärwert des Gradienten skaliert und nicht mit dem größten.
- Für SGD: $\eta_{max} \propto \frac{2}{\lambda_{max}(H)} \approx \frac{2}{\lambda_{max}(X^\top X) \sigma_{max}(G)}$ .
- Für Muon: $\eta_{max} \propto \frac{2}{\lambda_{max}(H)} \frac{\sum \sigma_i}{m} \approx \frac{2}{\lambda_{max}(X^\top X) \sigma_{max}(G)} \frac{\sum \sigma_i}{m \sigma_{max}(G)}$ .
- Dies zeigt, dass spektrale Flattening verhindert, dass eine einzelne dominante Singulärrichtung die Schrittweitenbeschränkung diktiert, was Muon erlaubt, deutlich größere Lernraten zu tolerieren.
Beschleunigung der Konvergenzrate: Die Autoren zeigen, dass Muon als Vorkonditionierer wirkt, der das effektive Konditionsverhältnis verbessert.
- Unter K-FAC ist der Konvergenzfaktor für Muon $1 - \frac{\tilde{\alpha}}{\tilde{\beta}}$ , wobei $\frac{\tilde{\alpha}}{\tilde{\beta}} = \frac{\alpha}{\beta} \sqrt{\frac{\lambda_{min}(G_t G_t^\top)}{\lambda_{max}(G_t G_t^\top)}}$ .
- Da $\frac{\lambda_{min}}{\lambda_{max}} < 1$ ist, ist der Term $\sqrt{\dots}$ kleiner als 1, aber die Herleitung zeigt, dass $\frac{\tilde{\alpha}}{\tilde{\beta}} > \frac{\alpha}{\beta}$ im Kontext des vorkonditionierten Systems gilt, was zu einer strikt schnelleren linearen Konvergenzrate führt, wenn die Gradientenkovarianz schlecht konditioniert ist.
Neues Normalisierungsprinzip: Die Analyse zeigt, dass die maximale stabile Lernrate umgekehrt proportional zu $\lambda_{max}(X^\top X)$ ist. Die Autoren schlagen vor, dass Normalisierungsschichten darauf abzielen sollten, diese spektrale Skala zu reduzieren. Sie validieren dies mit FrobNorm und zeigen, dass es das Training bei hohen Lernraten (z. B. 0,25) ermöglicht, wo das Standardtraining versagt, insbesondere für SGD.

Experimentelle Ergebnisse

Stabilität: In Abwesenheit von Batch-Normalisierung divergierte SGD innerhalb der ersten wenigen Iterationen bei Lernraten, bei denen Muon stabil blieb und den Verlust weiter verringerte. Muon zeigte ein kontrolliertes Wachstum der Parameter- und Gradientennormen, während SGD eine katastrophale Explosion aufwies.
Konvergenzgeschwindigkeit: Bei identischen Lernraten (z. B. $\eta=0,05$ ) erreichte Muon Genauigkeitsmeilensteine (70 %–91 %) mehrere Epochen früher als SGD. Das empirische Konvergenzverhältnis $r_t$ war für Muon konsistent niedriger, was die theoretische Vorhersage einer schnelleren linearen Rate bestätigt.
Auswirkung der Normalisierung: Die Anwendung von FrobNorm ermöglichte beiden Optimierern das stabile Training bei hohen Lernraten (0,25 für CifarNet, 0,2 für einen GPT-2-artigen Transformer) und validierte die Hypothese, dass die Kontrolle der spektralen Skala der Schichteingaben ein allgemeines Prinzip zur Ermöglichung größerer Schrittweiten ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine prinzipielle, geometrische Erklärung für den empirischen Erfolg von Muon zu liefern. Sie geht davon aus, dass der Vorteil von Muon nicht bloß eine Heuristik ist, sondern eine direkte Konsequenz der spektralen Flattening, die:

Die Lernratenbeschränkung von dem größten Singulärwert entkoppelt und größere Schrittweiten ermöglicht.
Als einseitiger Vorkonditionierer wirkt, der die effektive Konditionszahl der Optimierungslandschaft verbessert und zu einer schnelleren Konvergenz führt.

Die Autoren erkennen Einschränkungen an und stellen fest, dass ihre theoretische Analyse deterministische Full-Batch-Szenarien und exakte polare Faktoren voraussetzt, während praktische Implementierungen stochastische Gradienten, endliche Newton–Schulz-Iterationen und Momentum verwenden. Sie geben an, dass die Erweiterung dieser Ergebnisse auf stochastische Szenarien und Architekturen größerer Skala eine wichtige Richtung für zukünftige Arbeiten bleibt. Die Arbeit schließt, dass diese Ergebnisse helfen, die empirische Leistung von Muon in ein präziseres theoretisches Verständnis zu überführen, was potenziell die Gestaltung zukünftiger Optimierer und Normalisierungsstrategien leiten kann.