🤖 machine learning

Convergence Bound and Critical Batch Size of Muon Optimizer

Diese Arbeit liefert theoretische Konvergenzbeweise für den Muon-Optimizer in verschiedenen Settings, zeigt auf, dass Weight Decay die Begrenzung von Parameter- und Gradientennormen gewährleistet, ohne dass Annahmen über beschränkte Gradienten erforderlich sind, und leitet eine von Hyperparametern abhängige untere Schranke für die kritische Batchgröße ab, welche die Effizienz des Trainings steuert.

Ursprüngliche Autoren: Naoki Sato, Hiroki Naganuma, Hideaki Iiduka

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Naoki Sato, Hiroki Naganuma, Hideaki Iiduka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, komplexen Roboter (einem neuronalen Netz) beizubringen, Katzen auf Fotos zu erkennen oder Geschichten zu schreiben. Um dies zu tun, benötigen Sie einen „Coach“ (einen Optimizer), der dem Roboter sagt, wie er seine internen Einstellungen anpassen muss, um besser zu werden. Lange Zeit war der Standard-Coach AdamW, ein sehr zuverlässiger Trainer. Aber vor kurzem ist ein neuer Coach namens Muon angekommen, und er zeigt unglaubliche Ergebnisse in der Praxis.

Dieser Bericht ist wie ein Detektivbericht, der versucht zu erklären, warum Muon so gut ist, und uns ein Regelwerk gibt, wie wir ihn am effizientesten nutzen können. Hier ist die Aufschlüsselung in einfachen Worten:

1. Die Kernidee: Die Form sehen, nicht nur die Liste

Die meisten Coaches behandeln das Gehirn des Roboters wie eine riesige, unordentliche Liste von Zahlen. Sie schauen sich die Fehler an und sagen: „Bewege diese Zahl nach oben, bewege jene nach unten.“

Muon ist anders. Es betrachtet das Gehirn des Roboters als eine Sammlung von Formen (Matrizen).

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein zerknittertes Blatt Papier glattzustreichen.
- Alte Coaches (AdamW): Sie versuchen, es glattzustreichen, indem sie einzelne Punkte auf dem Papier wahllos drücken. Das funktioniert, ist aber etwas chaotisch.
- Muon: Es betrachtet das gesamte Blatt Papier. Es erkennt, dass das Papier eine spezifische „Falte“ oder Struktur hat. Anstatt nur zu drücken, führt es ein spezielles Manöver durch (die sogenannte Orthogonalisierung), um das Papier perfekt entlang seiner natürlichen Linien zu glätten. Es findet die „sauberste“ Richtung für die Bewegung und ignoriert dabei, wie laut oder verrauscht das Fehlersignal ist.

2. Das Geheimnis der „Stabilität“: Das Bremspedal

Das Paper entdeckte eine entscheidende Regel für die Verwendung von Muon mit einer Funktion namens Weight Decay (welches wie eine Bremse wirkt, um den Roboter vor dem Ausbrechen zu bewahren).

Die Entdeckung: Es gibt eine strikte Beziehung zwischen der Intensität, mit der Sie den Roboter drücken (die Learning Rate), und der Intensität, mit mit der Sie die Bremse betätigen (Weight Decay).
Die Regel: Wenn Sie zu stark drücken, ohne genug zu bremsen, gerät der Roboter außer Kontrolle. Das Paper beweist mathematisch, dass der „Druck“ niemals die Kapazität der „Bremse“ übersteigen darf. Speziell muss die Learning Rate kleiner als 1 / Weight Decay sein.
Das Ergebnis: Wenn Sie dieser Regel folgen, bleiben die Einstellungen des Roboters innerhalb sicherer, vorhersehbarer Grenzen. Er explodiert nicht und dreht nicht durch. Dies ist ein riesiger Vorteil, denn es bedeutet, dass man nicht voraussetzen muss, dass die Fehler klein sind; die Mathematik garantiert, dass der Roboter von selbst stabil bleibt.

3. Die „Sweet Spot“ Batch Size (Die kritische Batch Size)

Wenn man diese Roboter trainiert, kann man ihnen ein Foto nach dem anderen zeigen oder einen ganzen Stapel Fotos auf einmal (einen Batch).

Das Problem: Wenn man zu wenige Fotos zeigt, lernt der Roboter langsam. Wenn man zu viele zeigt, ist der Computer zwar mit der Verarbeitung des Stapels beschäftigt, aber der Roboter lernt nicht wesentlich schneller. Es gibt einen „Goldlöckchen-Punkt“, an dem man das meiste Lernen für den geringsten Computeraufwand erhält. Dies wird als Critical Batch Size bezeichnet.
Muons Geheimrezept: Das Paper hat eine Formel für diesen „Goldlöckchen-Punkt“ für Muon abgeleitet.
- Der Momentum-Faktor: Muon verwendet eine „Momentum“-Einstellung (wie ein schweres Schwungrad, das den Roboter in die gleiche Richtung weiterbewegt). Das Paper fand heraus, dass, wenn man das Momentum erhöht (das Schwungrad schwerer macht), die „Goldlöckchen“-Batch Size kleiner wird. Man kann kleinere Batches verwenden und trotzdem effizient sein.
- Der Brems-Faktor: Wenn man eine stärkere Bremse verwendet (Weight Decay), wird die „Goldlöckchen“-Batch Size größer. Man muss dem Roboter mehr Fotos auf einmal zeigen, um die beste Effizienz zu erreichen.

4. Warum das wichtig ist (Der „Rank“-Vorteil)

Das Paper erklärt, dass Muon deshalb effizient ist, weil es versteht, dass das Gehirn des Roboters eigentlich gar nicht so kompliziert ist, wie es aussieht.

Die Analogie: Stellen Sie sich ein 100x100 Raster aus Lichtern vor (10.000 Lichter). Meistens leuchten nur wenige Lichtmuster tatsächlich auf. Der Rest ist nur Rauschen.
Muons Vorteil: Muon erkennt, dass die „echten“ Informationen „low-rank“ sind (einfache Muster). Es ignoriert das Rauschen. Dadurch benötigt es keine massiven Batch Sizes, um die richtige Richtung zu finden. Es kann im Vergleich zu anderen Methoden effektiv mit kleineren Batches lernen, was Zeit und Energie spart.

Zusammenfassung der Ergebnisse

Es funktioniert: Es wurde mathematisch bewiesen, dass Muon in vier verschiedenen Szenarien konvergiert (mit/ohne Momentum, mit/ohne Weight Decay).
Es ist stabil: Die Verwendung von Weight Decay mit der richtigen Learning Rate garantiert, dass der Roboter nicht durchdreht, selbst ohne die Annahme, dass die Fehler klein sind.
Es ist effizient: Das Paper liefert Ihnen eine Formel, um die perfekte Batch Size zu finden.
- Hohes Momentum = Sie können kleinere Batches verwenden.
- Hohes Weight Decay = Sie sollten größere Batches verwenden.
Realitätscheck: Die Autoren haben dies bei der Bilderkennung (Katzen/Hunde) und bei Sprachmodellen (Text schreiben) getestet. Die Experimente bestätigten, dass die Mathematik der Realität entspricht: Muon ist schneller und effizienter als der alte Standard, AdamW, besonders wenn man die Batch Size gemäß ihren neuen Regeln abstimmt.

Kurz gesagt: Dieses Paper nimmt einen „Black-Box“-Optimizer, der in der Praxis gut funktionierte, öffnet ihn auf, erklärt die Mechanik, beweist dessen Sicherheit und sagt Ihnen genau, wie Sie ihn für maximale Geschwindigkeit abstimmen können.

Technisches Resümee: Konvergenzschranke und kritische Batch-Größe des Muon-Optimierers

Problemstellung

Obwohl der Muon-Optimierer eine starke empirische Leistung als potenzieller Nachfolger von Standard-Optimierern wie AdamW gezeigt hat, bleibt seine theoretische Fundierung unterentwickelt. In der bestehenden Literatur mangelt es an formalen Konvergenzbeweisen für Muon, insbesondere in praktischen Szenarien mit Nesterov-Momentum und Weight Decay. Diese Arbeit zielt darauf ab, diese Lücken zu schließen, indem sie eine rigorose Konvergenzanalyse liefert und eine untere Schranke für die kritische Batch-Größe (die Batch-Größe, die die stochastische First-Order-Oracle (SFO)-Komplexität des Trainings minimiert) herleitet.

Methodik

Die Autoren führen eine theoretische Analyse von Muon über vier praktische Konfigurationen hinweg durch:

Ohne Nesterov-Momentum und ohne Weight Decay.
Mit Nesterov-Momentum und ohne Weight Decay.
Ohne Nesterov-Momentum und mit Weight Decay.
Mit Nesterov-Momentum und mit Weight Decay.

Theoretischer Rahmen:

Konvergenzanalyse: Die Autoren leiten obere Schranken für die durchschnittliche erwartete Nuklearnorm des Gradienten ab, $\frac{1}{T}\sum_{t=0}^{T-1} \mathbb{E}[\|\nabla f(W_t)\|_*]$ . Sie nutzen Standardannahmen der $L$ -Glattheit und der beschränkten Gradientenvarianz. Eine zentrale Innovation ist die Analyse der Suchrichtung von Muon, die durch die Orthogonalisierung einer Momentum-Matrix $C_t$ gewonnen wird. Die Autoren berücksichtigen dabei den Rang der Momentum-Fehlermatrix ( $r_1$ ) und der Suchrichtung ( $r_2$ ), anstatt der vollen Parameterdimension.
Newton-Schulz-Approximation: Da Muon in der Praxis die Orthogonalisierung mittels der Newton-Schulz-Iteration anstatt einer exakten SVD approximiert, analysieren die Autoren den Einfluss dieses Approximationsfehlers ( $\delta(k)$ ) auf die Konvergenz und zeigen, dass dieser nur einen vernachlässigbaren Term einführt.
Ableitung der kritischen Batch-Größe (CBS): Die Autoren modellieren die Anzahl der Trainingsschritte $T$ , die erforderlich sind, um eine Zielpräzision $\epsilon$ zu erreichen, als Funktion der Batch-Größe $b$ . Durch Minimierung der SFO-Komplexität ( $T \times b$ ) leiten sie eine untere Schranke für die kritische Batch-Größe $b^*$ ab.

Experimentelle Validierung:
Die theoretischen Vorhersagen werden durch eine zweistufige Strategie validiert:

Kontrollierte Full-Muon-Experimente: Eine synthetische Teacher-Student-Aufgabe, bei der Muon alle Parameter aktualisiert und somit strikt den theoretischen Annahmen entspricht.
Praktische Hybrid-Experimente: Training von ResNet-18/VGG-16 auf CIFAR-Datensätzen und Llama3.1 (320M) auf dem C4-Korpus. In diesen Einstellungen wird Muon auf matrizengestützte Parameter angewendet, während AdamW den Rest übernimmt, was dem Standard-Deployment entspricht.

Zentrale Beiträge

1. Konvergenzbeweise für vier Varianten

Die Arbeit etabliert Konvergenzgarantien für alle vier Muon-Varianten. Die abgeleiteten oberen Schranken für die durchschnittliche erwartete Gradientennorm sind der Größenordnung:
$O\left(\frac{1}{\eta T} + \sqrt{\frac{(1-\beta)r_1}{b}} + \bar{r}\eta\right)$
(mit leichten Variationen für Nesterov- und Weight-Decay-Terme).

Signifikanz: Im Gegensatz zu vektorbasierten Optimierern, bei denen die Varianz mit der vollen Anzahl der Parameter skaliert, skaliert die Bindung von Muon mit dem Rang $r_1$ der Momentum-Fehlermatrix. Empirische Belege deuten darauf hin, dass $r_1 \ll n$ in überparametrisierten Regimen gilt, was eine engere theoretische Schranke impliziert.
Nuklearnorm: Die Analyse verwendet die Nuklearnorm, was ein strengeres Kriterium darstellt als die Frobeniusnorm, die in vielen vektorbasierten Analysen verwendet wird. Dies deutet darauf hin, dass Muon die intrinsische Matrixstruktur der neuronalen Netzwerkparameter respektiert.

2. Rolle von Weight Decay und Stabilität

Die Autoren beweisen, dass die Einbeziehung von Weight Decay die fast-sichere Beschränktheit sowohl der Parameternormen ( $\|W_t\|_F$ ) als auch der Gradientennormen ( $\|\nabla f(W_t)\|_F$ ) gewährleistet, ohne sich auf die restriktive Annahme beschränkter Gradienten verlassen zu müssen.

Stabilitätsbedingung: Sie leiten eine notwendige Bedingung für die Stabilität ab: Die Lernrate $\eta$ und der Weight-Decay-Koeffizient $\lambda$ müssen die Bedingung $\eta \leq 1/\lambda$ erfüllen. Experimentelle Ergebnisse bestätigen, dass das Training instabil wird, wenn $\eta$ diesen Schwellenwert überschreitet.
Implizite Regularisierung: Obwohl Weight Decay die asymptotische Konvergenzratenordnung nicht verbessert, bietet es implizite Regularisierung durch die Begrenzung der Normen, was seine überlegene empirische Leistung erklärt.

3. Untere Schranke der kritischen Batch-Größe (CBS)

Die Arbeit leitet eine untere Schranke für die kritische Batch-Größe $b^*$ ab und zeigt deren Abhängigkeit von Hyperparametern:
$b^*_{\text{Muon}} > \frac{9(1-\beta)(1+\sqrt{2\beta})^2 r_1 \sigma^2}{(1-\lambda)^2 \epsilon^2}$

Abhängigkeit von Hyperparametern: Die Formel verdeutlicht, dass:
- Momentum ( $\beta$ ): Wenn $\beta \to 1$ , geht der Term $(1-\beta)$ gegen Null, was darauf hindeutet, dass die kritische Batch-Größe sinkt.
- Weight Decay ( $\lambda$ ): Der Faktor $1/(1-\lambda)^2$ zeigt an, dass eine Erhöhung des Weight Decays die kritische Batch-Größe erhöht.
- Rang ( $r_1$ ): Die Schranke skaliert mit dem Rang des Momentum-Fehlers, was die CBS mit der Low-Rank-Struktur der Gradienten verknüpft.
Qualitative Skalierung: Die Autoren betonen, dass die Formel ein qualitatives Skalierungsgesetz und keine absolute Vorhersage liefert, da sie von problemspezifischen Konstanten ( $\sigma^2, r_1, \epsilon$ ) abhängt. Das Verhältnis der CBS zwischen verschiedenen Muon-Varianten hängt jedoch nur von $\beta$ und $\lambda$ ab.

Ergebnisse

Theoretische Erkenntnisse:

Die Konvergenzrate entspricht Standard-nicht-konvexen SGD-Typen ( $O(T^{-1/4}$ unter spezifischen Hyperparameter-Schedules), jedoch mit einem engeren Varianzterm aufgrund der Rangabhängigkeit.
Der Fehler der Newton-Schulz-Approximation hat einen begrenzten Einfluss auf die Konvergenz und nimmt exponentiell mit der Anzahl der Iterationen ab.

Empirische Erkenntnisse:

Stabilität: Experimente mit ResNet-18/CIFAR-10 validieren die Stabilitätsbedingung $\eta \leq 1/\lambda$ . Gradientennormen und Trainingsverlust werden nahe dieser Grenze minimiert.
Konvergenzgeschwindigkeit: Muon mit Nesterov-Momentum und Weight Decay erreicht konsistent die schnellste Abnahme von Loss und Gradientennorm im Vergleich zu AdamW, Momentum SGD und anderen Muon-Varianten.
Validierung der kritischen Batch-Größe (CBS):
- Hyperparameter-Effekte: Experimente bestätigen, dass das Hinzufügen von Nesterov-Momentum die CBS zu größeren Werten verschiebt, und dass eine Erhöhung des Weight Decays die CBS weiter erhöht. Beispielsweise führte eine Erhöhung von $\lambda$ von 0 auf 0,5 zu einer Verschiebung der CBS von $\approx 1024$ auf $\geq 4096$ , was der vorhergesagten $1/(1-\lambda)^2$ -Skalierung (Verhältnis von 4,0) entspricht.
- Rang-Skalierung: Die Variation der Modellbreite zeigte, dass der effektive Rang $r_1$ mit der Breite skaliert und das Produkt $r_1 \cdot \sigma^2$ relativ konstant bleibt, was erklärt, warum die empirischen CBS-Werte trotz der theoretischen Rangabhängigkeit weitgehend flach blieben.
- Effizienz: Muon benötigt im Allgemeinen weniger Schritte und eine geringere SFO-Komplexität als AdamW, insbesondere bei kleinen bis moderaten Batch-Größen.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste rigorose Konvergenzanalyse von Muon zu liefern, die gleichzeitig Nesterov-Momentum und Weight Decay berücksichtigt und damit eine Lücke im theoretischen Verständnis dieses aufstrebenden Optimierers schließt.

Theoretische Einsicht: Es zeigt, dass Weight Decay nicht nur ein Werkzeug zur Regularisierung ist, sondern ein Mechanismus, der Beschränktheit und Stabilität gewährleistet und somit die Notwendigkeit von Annahmen über beschränkte Gradienten eliminiert.
Praktische Orientierung: Die abgeleitete CBS-Unterschranke bietet Praktikern eine handlungsrelevante Orientierung. Sie klärt, wie die Abstimmung von $\beta$ und $\lambda$ die optimale Batch-Größe qualitativ beeinflusst, und legt nahe, dass hoch-momentum-basierte Konfigurationen effizient mit kleineren Batches trainiert werden können, während ein höheres Weight Decay größere Batches erfordert, um die Effizienz aufrechtzuerhalten.
Validierung: Die Arbeit schließt die Lücke zwischen Theorie und Praxis, indem sie diese Vorhersagen über Vision- und Language-Modeling-Workloads hinweg validiert und bestätigt, dass die theoretischen Skalierungsgesetze selbst in hybriden Optimierungsszenarien gelten, in denen Muon nur auf matrizengestützte Parameter angewendet wird.

Die Autoren merken bescheiden an, dass ihre Analyse eines einzelnen Matrix-Typs die Schicht-Heterogenität nicht explizit modelliert, argumentieren jedoch, dass die hohe Korrelation der Gradientenrauschskalen über die Schichten hinweg die Generalisierbarkeit ihrer Ergebnisse unterstützt. Sie räumen zudem ein, dass Muon in ihren Experimenten Shampoo übertrifft, die Ableitung analoger Schranken für Shampoo jedoch ein offenes Problem bleibt.