🤖 machine learning

Muon learns balanced solutions in matrix factorization without slow saddle-to-saddle dynamics

Diese Arbeit zeigt auf, dass der Muon-Optimizer die Matrixfaktorisierung beschleunigt, indem er langsame Sattelpunkt-zu-Sattelpunkt-Dynamiken vermeidet, ein stabiles Training mit hohen Lernraten ermöglicht und durch distinkte Erhaltungsgrößen sowie schnelle Gewichtsähnlichkeit ausgewogene Lösungen erreicht.

Ursprüngliche Autoren: Mark Rhee, Jamie Simon, Dhruva Karkada

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mark Rhee, Jamie Simon, Dhruva Karkada

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Eine neue Art, einer Maschine etwas beizubringen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein komplexes Bild (das „Ziel“) nachzubilden, indem Sie zwei einfachere, transparente Kunststofffolien (die „Gewichte“) kombinieren. Die Aufgabe des Roboters besteht darin, diese Folien so lange hin und her zu schieben, bis das Bild, das sie erzeugen, perfekt mit dem Ziel übereinstimmt. Dies wird als Matrixfaktorisierung bezeichnet.

Normalerweise bringen wir Robotern eine Methode namens Gradientenabstieg bei. Stellen Sie sich den Gradientenabstieg wie einen Wanderer vor, der versucht, den Boden eines Tals in dichtem Nebel zu finden. Der Wanderer macht kleine Schritte bergab. Wenn das Tal ein flaches, hügeliges Plateau (einen „Sattel“) hat, bleibt der Wanderer stecken und schleicht langsam von einem Hügel zum nächsten. Das ist langsam, besonders wenn das Tal lang und schmal ist.

Dieses Paper stellt einen neuen Optimierer namens Muon vor. Anstatt eines Wanderers, der im Nebel herumschleicht, ist Muon wie ein Magnetschwebebahn-Zug. Es ist ihm egal, wie uneben oder eng die Gleise sind. Er gleitet sanft und schnell an das Ziel.

Drei Superkräfte von Muon

Die Autoren fanden heraus, dass sich Muon in drei wesentlichen Punkten sehr anders als die Standardmethode verhält:

1. Kein „Steckenbleiben in der Mitte“ mehr (Das Sattel-Problem)

Der alte Weg (Gradientenabstieg): Stellen Sie sich vor, der Roboter beginnt mit winzigen, fast unsichtbaren Folien. Um das große Bild zu lernen, muss er die Folien Schicht für Schicht aufbauen. Er lernt zuerst die großen, offensichtlichen Teile des Bildes und bleibt dann für eine lange Zeit stecken, bevor er die kleineren Details lernen kann. Es ist, als würde man versuchen, eine Badewanne mit einem Teelöffel zu füllen; man füllt erst den Boden, dann den nächsten Zentimeter, dann den nächsten. Das dauert ewig.
Der Muon-Weg: Muon wartet nicht. Es lernt alle Teile des Bildes mit der gleichen Geschwindigkeit. Es ist, als würde man Wasser aus einem Schlauch gießen; die ganze Wanne füllt sich gleichmäßig. Die kleineren Details werden genauso schnell gelernt wie die großen, wodurch die langen, langweiligen Wartezeiten übersprungen werden.

2. Das „Tempolimit“ existiert nicht

Der alte Weg: Bei der alten Methode gilt: Wenn Sie dem Roboter sagen, er solle zu schnell fahren (eine hohe „Lernrate“), wird ihm schwindelig und er stürzt ab. Das Tempolimit wird durch die „Schärfe“ oder Komplexität des Problems bestimmt. Wenn das Problem schwierig ist, müssen Sie sehr langsam fahren.
Der Muon-Weg: Muon ist wie ein Auto mit adaptiver Federung. Egal wie holprig die Straße ist, Muon hält die Räder auf dem Boden. Sie können es mit hohen Geschwindigkeiten fahren, ohne dass es abstürzt. Das bedeutet, dass Sie das Training sehr schnell starten und erst ganz am Ende langsamer werden können, um das Ergebnis fein abzustimmen.

3. Der „Perfekte Balance“-Tanz

Der alte Weg: Während der Roboter lernt, versuchen die beiden Kunststofffolien (die Gewichte), in ihrer Größe perfekt ausbalanciert zu bleiben. Wenn eine zu groß wird, muss die andere schrumpfen, um dies auszugleichen. Dies erzeugt eine spezifische, gekrümmte Bahn (wie eine Hyperbel), der der Roboter folgen muss.
Der Muon-Weg: Muon hat eine andere Regel für die Balance. Es hält die Quadratwurzel der Größe im Gleichgewicht. Dies verändert die Bahn, die der Roboter nimmt, von einer gekrümmten Rutsche zu einer geraden, parallelen Autobahn. Er bewegt sich auf einer geraden Linie auf die Lösung zu, was viel effizienter ist.

Das Geheimnis der „Ausrichtung“

Bevor der Roboter schnell anfangen kann, müssen die beiden Kunststofffolien korrekt auf das Bild ausgerichtet sein. Das Paper zeigt, dass Muon diese Folien spontan und sehr schnell ausrichtet, selbst wenn man mit zufälligen, chaotischen Folien beginnt.

Die Autoren haben genau berechnet, wie schnell dies geschieht. Sie fanden heraus, dass, wenn die Folien leicht falsch ausgerichtet sind, Muon die Ausrichtung so schnell korrigiert, dass es fast wie Magie wirkt. Tatsächlich entdeckten sie einen „Cheat-Code“ (einen speziellen Lernraten-Zeitplan), mit dem man die Folien in nur zwei Schritten perfekt ausrichten kann.

Der „Cheat-Code“ (Die angespitzte Lernrate)

Das Paper endet mit einem praktischen Trick. Normalerweise müssen Sie die Geschwindigkeit des Roboters langsam steigern. Aber da Muon so stabil ist, können Sie dies tun:

Schritt 1: Geben Sie ihm einen winzigen Stoß, um die Folien perfekt auszurichten.
Schritt 2: Geben Sie ihm einen riesigen, massiven Schub, um die Folien in die richtige Position zu rammen und mit dem Ausfüllen der Details zu beginnen.
Schritt 3: Nehmen Sie langsam den Fuß vom Gas, um den Job zu vollenden.

Dies ermöglicht es dem Roboter, in Rekordzeit eine nahezu perfekte Lösung zu erreichen.

Zusammenfassung

Kurz gesagt: Dieses Paper beweist, dass Muon eine intelligentere Art ist, Maschinen bei bestimmten Arten von Problemen zu trainieren. Es vermeidet die langsamen, stolpernden Schritte traditioneller Methoden, bewältigt hohe Geschwindigkeiten, ohne abzustürzen, und richtet seine internen Teile fast augenblicklich aus. Es verwandelt eine langsame, mühsame Wanderung in eine Hochgeschwindigkeitsfahrt auf einer glatten Strecke.

Technische Zusammenfassung: Muon lernt balancierte Lösungen in der Matrixfaktorisierung ohne langsame Saddle-to-Saddle-Dynamik

Problemstellung
Die Arbeit untersucht die Lernmechanismen des Muon-Optimierers im Kontext der Matrixfaktorisierung, definiert als Minimierung von $L(P, Q) = \frac{1}{2}\|M^* - PQ^\top\|_F^2$ . Die Matrixfaktorisierung dient als minimales Modell zur Untersuchung nichtlinearer Parameterdynamiken und Repräsentationslernens, wobei sie Verhaltensweisen aufweist, die für das Deep Learning relevant sind, wie etwa Low-Rank-Bias und Repräsentationsausrichtung. Die Autoren vergleichen insbesondere Muon mit dem Standard-Gradientenabstieg (GD), um zu verstehen, wie die einzigartige Update-Regel von Muon den Trajektorienverlauf der Optimierung verändert, insbesondere im Hinblick auf die Konvergenzgeschwindigkeit, Stabilität und die Art der aus einer kleinen zufälligen Initialisierung gefundenen Lösungen.

Methodik
Die Studie konzentriert sich auf die Muon-Update-Regel, welche den Gradienten vor der Anwendung der Lernrate orthogonalisiert. Für eine Gewichtstabelle $W$ ist das Update $\Delta W = -\eta \cdot \widehat{\nabla_W L}$ , wobei $\widehat{G} = UV^\top$ die Polardekomposition (Orthogonalisierung) des Gradienten $G=USV^\top$ ist. Dies stellt sicher, dass alle Updates (semi-)orthogonale Matrizen sind, die mit $\eta$ skaliert werden.

Die Autoren analysieren die Dynamik durch drei Linsen:

Skalare Reduktion: Unter der Annahme, dass die Gewichte ausgerichtet sind, entkoppelt sich das Problem in unabhängige skalare Probleme, bei denen der Residuum $r = m^* - pq$ das Update bestimmt.
Ausrichtungsdynamik (Alignment Dynamics): Die Autoren leiten theoretische Raten dafür ab, wie die Singulärvektoren von $P$ und $Q$ zueinander (interne Ausrichtung) und mit der Zielmatrix $M^*$ (Ziel-Ausrichtung) unter verschiedenen Parameterregimen (unterparametrisiert, exakt parametrisiert und überparametrisiert) ausgerichtet werden.
Konservierte Größen: Das Paper identifiziert spezifische Matrizengrößen, die während des Flusses von Muon gegenüber GD konserviert werden.

Wesentliche Beiträge und Ergebnisse

1. Vermeidung langsamer Saddle-to-Saddle-Dynamik
Der Standard-Gradientenabstieg zeigt ausgehend von einer kleinen Initialisierung eine „Saddle-to-Saddle“-Dynamik. Singulärwerte wachsen multiplikativ, was bedeutet, dass kleinere Moden langsamer wachsen als größere. Der Optimierer verweilt nahe an Low-Rank-Sattelpunkten und lernt Moden sequenziell (stufenweises Lernen).
Im Gegensatz dazu weist Muon eine additive Dynamik auf. Sob sobald eine Ausrichtung erfolgt ist, wachsen alle Singulärwerte der Gewichtstabellen mit einer einheitlichen Rate ( $\eta$ pro Schritt), unabhängig von ihrer aktuellen Größe. Folglich konvergieren kleinere Moden vor größeren, und der Optimierer lernt alle Top-Moden von $M^*$ simultan ohne Zwischen-Sattelpunkte.

2. Stabilität jenseits kritischer Lernraten
Der Gradientenabstieg ist durch eine kritische Lernraten-Schwelle beschränkt, die durch die lokale Verlust-Schärfe (speziell $2/\lambda_{\max}(\nabla^2 L)$ ) bestimmt wird. Ein Überschreiten führt zur Divergenz, und die Konvergenzrate ist durch die Konditionszahl des Problems begrenzt.
Muon bleibt selbst dann stabil, wenn die Lernrate diese kritische Schwelle überschreitet. Da das Ausmaß des Updates durch den Orthogonalisierungsschritt fixiert ist, können die Iterationen nicht divergieren. Stattdessen schreitet die Optimierung bei großen Lernraten schnell zur Lösungsmanigfaltigkeit voran und oszilliert dort. Dies entkoppelt die Lernrate von der Konditionszahl und ermöglicht eine schnelle Konvergenz mittels exponentieller (geometrischer) Lernraten-Annealing.

3. Distinkte konservierte Größen und balancierte Lösungen
Beide Optimierer finden „balancierte Lösungen“ (wobei $P^\top P = Q^\top Q$ ) aus einer verschwindenden Initialisierung, aber sie konservieren unterschiedliche Größen:

Gradientenfluss: Konserviert die Matrizengröße $\Delta_2 = P^\top P - Q^\top Q$ . Die Flusslinien im Parameterraum sind hyperbolisch.
Muon-Fluss: Konserviert die Matrizengröße $\Delta_1 = \sqrt{P^\top P} - \sqrt{Q^\top Q}$ . Die Flusslinien sind affin (parallele Strahlen).
Die Autoren leiten her, dass der Muon-Fluss durch einen Hamiltonschen Operator $H(P, Q) = \text{Tr}(\Delta_1) = \|P\|_* - \|Q\|_*$ (die Differenz der Nuklearsnormen) erzeugt wird. Diese Erhaltungsgröße stellt sicher, dass die Gewichte, wenn sie balanciert starten, balanciert bleiben, was zur balancierten Lösung führt.

4. Ausrichtungsdynamik und Raten
Das Paper leitet Ausrichtungsraten für die Phase der „stillen Ausrichtung“ (Silent Alignment) ab (in der Singulärvektoren ausgerichtet werden, während der Verlust flach ist):

Unterparametrisiert ( $d < n$ ): Interne Ausrichtung ist trivial; die Ziel-Ausrichtung zerfällt polynomiell als $(t/\alpha_{\text{eff}})^{-2(1-s^{-1})}$ , wobei $s$ die relative Spektrallücke ist.
Überparametrisiert ( $d > n$ ): Ziel-Ausrichtung ist trivial; die interne Fehlausrichtung zerfällt schnell als $(t/\alpha_{\text{eff}})^{-4}$ .
Allgemein: Die Ausrichtung erfolgt früher bei kleineren Initialisierungsskalen. Die Autoren zeigen, dass diese theoretischen Raten die empirische Ausrichtung in allgemeinen Settings vorhersagen.

5. Spiked Learning Rate Schedule
Unter Nutzung des Verständnisses der Ausrichtungsdynamik konstruieren die Autoren einen spezifischen Lernraten-Plan, der eine nahezu perfekte Ausrichtung in genau zwei Optimierungsschritten erreicht (für $d \ge n$ ):

Schritt 1: Setze $\eta^{(0)} = \alpha$ (Initialisierungsskala), um $P$ mit $Q$ auszurichten.
Schritt 2: Setze einen großen Spike $\eta^{(1)} \gg \eta^{(0)}$ , um $P$ gleichzeitig mit $M^*$ auszurichten und die Gewichte zur Lösungsmanigfaltigkeit zu treiben.
Annealing: Geometrische Annehlung der Lernrate, um lineare Konvergenz zu erreichen.
Dieser Plan zeigt, dass theoretische Erkenntnisse über den Fluss in praktische Optimierungsstrategien übersetzt werden können, wenngleich die Autoren anmerken, dass dies ein Proof-of-Concept für spezifische Regime ist.

Bedeutung und Ansprüche
Das Paper behauptet, dass Muon die Optimierungslandschaft der Matrixfaktorisierung fundamental verändert, indem es multiplikative, sattelbelastete Dynamiken durch ein uniformes, additives Wachstum ersetzt. Dies erlaubt es Muon:

Alle Moden der Zielmatrix mit der gleichen Rate zu lernen, wodurch das langsame, sequentielle Lernen von GD vermieden wird.
Stabil mit Lernraten zu operieren, die weit über den kritischen Schwellenwerten liegen, die GD einschränken, wodurch die Lernrate von der Konditionszahl des Problems befreit wird.
Balancierte Lösungen über eine distinkte Erhaltungsgröße ( $\sqrt{P^\top P} - \sqrt{Q^\top Q}$ ) zu erreichen, die die Gewichtsausgewogenheit aufrechterhält, ohne die hyperbolische Geometrie von GD zu benötigen.

Die Autoren betonen, dass ihre Analyse auf unmodifizierten spektralen Gradientenabstieg beschränkt ist (unter Ignorieren von Momentum, Weight Decay und Newton-Schulz-Iterationen) und auf einfacher Matrixfaktorisierung basiert, aber das mechanistische Verständnis von Ausrichtung und uniformem Wachstum die Grundlage für das Verständnis von Muons Erfolg in größeren, komplexeren Modellen bildet. Die Arbeit dient als theoretische Erklärung dafür, warum Muon das Training in schlecht konditionierten oder heterogenen spektralen Settings beschleunigt.