🤖 machine learning

Denoise First, Orthogonalize Later: Understanding Momentum in Muon via Spectral Filtering

Diese Arbeit zeigt theoretisch auf, dass der Impuls im Muon-Optimizer als Spektralfilter fungiert, um Gradientenrauschen zu unterdrücken und die Spektrallücke zu vergrößern, wodurch der Orthogonalisierungsschritt stabilisiert und die Signalausrichtung verbessert wird, eine Erkenntnis, die durch Experimente beim Training großer Sprachmodelle gestützt wird.

Ursprüngliche Autoren: Xianliang Li, Zihan Zhang, Weiyang Liu, Han Bao

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xianliang Li, Zihan Zhang, Weiyang Liu, Han Bao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Radio in einem Sturm abstimmen

Stellen Sie sich vor, Sie versuchen, ein Radio abzustimmen, um ein bestimmtes Lied (das Signal) zu hören, während Sie durch ein schweres Gewitter (das Rauschen) fahren. Das Radio ist Ihr KI-Modell, und das Lied ist die richtige Richtung, die es lernen muss, um intelligenter zu werden.

In der modernen KI-Trainingsphase verwenden wir ein Werkzeug namens Muon, um dem Radio zu helfen, schneller und besser abzustimmen. Muon hat zwei Hauptschritte:

Momentum (Impuls): Das Glätten des statischen Rauschens.
Orthogonalisierung: Das perfekte Ausrichten der Antenne.

Lange Zeit wussten Forscher, dass Muon hervorragend funktioniert, aber sie wussten nicht, warum der Schritt der „Glättung“ (Momentum) so wichtig war oder warum die Reihenfolge der Operationen entscheidend ist. Diese Arbeit löst dieses Rätsel.

Die zentrale Entdeckung: Man muss zuerst das Signal reinigen (Denoise) und dann die Antenne ausrichten (Orthogonalize). Wenn man versucht, die Antenne auszurichten, während sie noch von statischem Rauschen bedeckt ist, wird man sie in die falsche Richtung lenken.

Die drei Wege, das Radio abzustimmen

Die Autoren testeten drei verschiedene Arten, das Radiosignal (den Gradienten) zu handhaben, um zu sehen, welche am besten funktioniert:

Die „Erst Reinigen“-Methode (Pre-polar / Der Weg von Muon):
- Vorgehensweise: Man nimmt das verrauschte Signal, jagt es durch einen Filter, um das statische Rauschen zu glätten (Momentum), und dann richtet man die Antenne aus (Orthogonalisierung).
- Ergebnis: Beste Leistung. Die Antenne zeigt exakt auf das Lied.
Die „Erst Ausrichten“-Methode (Post-polar):
- Vorgehensweise: Man versucht, die Antenne sofort auf das verrauschte Signal auszurichten, und versucht danach erst, es zu glätten (Momentum).
- Ergebnis: Schlechte Leistung. Da man die Antenne zuerst auf das statische Rauschen ausgerichtet hat, hilft das spätere Glätten nicht mehr dabei, die Tatsache zu korrigieren, dass die Antenne in die falsche Richtung zeigt.
Die „Ohne Filter“-Meth Methode (Nur Polar):
- Vorgehensweise: Man richtet die Antenne einfach auf das rohe, verrauschte Signal aus, ohne jegliche Glättung.
- Ergebnis: Schlechteste Leistung. Die Antenne ist zittrig und verwirrt durch den Sturm.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine gerade Linie auf ein Blatt Papier zu zeichnen, während jemand den Tisch schüttelt (Rauschen).

Muon (Erst Reinigen): Sie warten, bis der Tisch aufhört zu wackeln (Glättung), und dann zeichnen Sie Ihre gerade Linie.
Post-polar (Erst Ausrichten): Sie versuchen, eine gerade Linie zu zeichnen, während der Tisch wackelt, und versuchen erst danach, das Papier zu „glätten“. Die Linie ist bereits krumm; das Glätten des Papiers korrigiert die krumme Linie nicht.

Warum funktioniert „Erst Reinigen“? (Der Spektralfilter)

Die Arbeit erklärt, dass Momentum wie ein Spektralfilter wirkt. Denken Sie an das Signal als einen tiefen, stetigen Bass-Ton (die Wahrheit) und das Rauschen als hohe, chaotische Quietschgeräusche.

Das Problem: Wenn man auf die Rohdaten schaut, sind die Quietschgeräusche so laut, dass sie den Bass übertönen. Wenn man versucht, die „Richtung“ der Musik sofort zu finden, könnte man denken, die Quietschgeräusche seien das Lied.
Die Lösung: Momentum wirkt wie ein Tiefpassfilter. Es mittelt die schnellen, chaotischen Quietschgeräusche (Rauschen) über die Zeit heraus, lässt aber den stetigen, tiefen Bass-Ton (das Signal) intakt.
Das Ergebnis: Sobald das Rauschen herausgefiltert ist, wird die „Richtung“ der Musik sehr klar. Die Lücke zwischen dem lauten Bass (Signal) und den leisen Quietschgeräuschen (Rauschen) wird riesig. Dies macht es dem nächsten Schritt (Orthogonalisierung) sehr leicht, sich auf die richtige Richtung festzukommen.

Die „Spektrallücke“ (Spectral Gap)

Die Autoren beweisen mathematisch, dass die Verwendung von Momentum vor der Ausrichtung eine Spektrallücke erzeugt.

Stellen Sie sich vor, das Signal und das Rauschen sind zwei verschiedene Lichtfarben, die vermischt sind.
Ohne Momentum sind die Farben matschig und schwer zu trennen.
Mit Momentum verblasst das Rauschen und lässt die Signalfarbe hell und deutlich hervortreten.
Diese „Lücke“ macht den finalen Ausrichtungsschritt viel zuverlässiger. Es ist wie die Suche nach der Nadel im Heuhaufen: Wenn man zuerst den ganzen Heu (Rauschen) entfernt, ist es einfach, die Nadel (Signal) zu finden.

Was die Experimente zeigten

Die Autoren haben nicht nur Mathematik betrieben; sie haben dies an echten KI-Modellen (wie NanoGPT und LLaMA) getestet.

Sie fanden heraus, dass die „Erst Reinigen“-Methode (Muon) konsistent besser abschnitt als die anderen Methoden.
Sie visualisierten die Daten und sahen, dass mit zunehmender „Glättung“ (Momentum) das Rauschen verschwand und das Signal klarer wurde – genau wie ihre Theorie es vorhersagte.
Sie bestätigten, dass die KI verwirrt wird und langsamer lernt, wenn man versucht, die Antenne vor der Glättung auszurichten.

Das Fazit

Die Arbeit schließt mit einer einfachen Designregel für zukünftige KI-Optimierer: Zuerst entrauschen (Denoise), dann orthogonalisieren (Orthogonalize).

Wenn Sie ein System bauen, das eine klare Richtung in einer verrauschten Welt finden muss, versuchen Sie nicht, perfekte Entscheidungen zu treffen, während die Welt chaotisch ist. Glätten Sie zuerst das Chaos, um die Wahrheit zu finden, und dann treffen Sie Ihre Entscheidung. In der Welt des KI-Trainings bedeutet dies, den Momentum-Puffer das Rauschen säubern zu lassen, bevor man versucht, die Aktualisierung zu orthogonalisieren (auszurichten).

Technische Zusammenfassung: „Denoise First, Orthogonalize Later: Understanding Momentum in Muon via Spectral Filtering“

Problemstellung
Der Muon-Optimizer hat kürzlich eine starke empirische Performance beim Training großer Sprachmodelle (LLMs) gezeigt, indem er eine Momentum-Matrix mittels einer Newton–Schulz-Iteration näherungsweise orthogonalisiert. Die theoretische Rolle des Momentyums innerhalb von Muon bleibt jedoch unklar. Bestehende Analysen untersuchen entweder das Momentum isoliert, um Spektralupdates zu untersuchen, oder behalten es bei, ohne dessen empirischen Nutzen zu erklären. Zudem deutet die theoretische Literatur zu Muon oft darauf hin, dass schweres Momentum die Konvergenzraten verschlechtern oder keinen Nutzen bieten könnte, was den praktischen Beobachtungen widerspricht, wonach Momentum essenziell ist. Darüber hinaus fehlt trotz der Tatsache, dass die „Pre-polar“-Variante in der Praxis deutlich besser abschneidet als die „Post-polar“-Variante, eine rigorose Erklärung für die spezifische Reihenfolge der Operationen – also die Anwendung des Momentyums vor der Orthogonalisierung (Pre-polar) gegenüber der Orthogonalisierung vor dem Momentum (Post-polar).

Methodik
Die Autoren schlagen ein strukturiertes Signal-plus-Perturbation-Gradientenmodell vor, um Muon zu analysieren. Sie nehmen an, dass sich der Gradient $G_t$ zum Iterationsschritt $t$ in eine kohärente, niedrigdimensionale Signal-Komponente $G^{\text{sig}}_t$ und eine Perturbation $\Xi_t$ mit beschränktem Varianzmaß und Mittelwert Null (BVMZOS) zerlegt.

Der zentrale theoretische Beitrag besteht in der Analyse des Momentum-Buffers $M_t = \beta M_{t-1} + (1-\beta)G_t$ als Spektralfilter. Die Autoren untersuchen drei Pipeline-Varianten für das Gewichtsupdate $\Delta W_t$ :

Pre-polar (Standard-Muon): $\Delta W_t \propto O(M_t)$ , wobei zuerst das Momentum angewendet wird, gefolgt vom Polar-Faktor $O(\cdot)$ .
Post-polar (Orthogonal-SGDM): $\Delta W_t \propto \tilde{M}_t$ , wobei der Polar-Faktor zuerst auf den Rohgradienten angewendet wird und danach das Momentum akkumuliert wird.
Polar-only: $\Delta W_t \propto O(G_t)$ , eine Baseline ohne Momentum.

Die Analyse stützt sich auf die effektive Fenstergröße $T = 1/(1-\beta)$ und nutzt Werkzeuge der Zufallsmatrixtheorie, einschließlich Wedins $\sin \Theta$ -Theorem für Störungen singulärer Subräume, um zu quantifizieren, wie das Momentum die Singulärwerte und Subräume der Gradientenmatrix beeinflusst.

Zentrale Beiträge

Momentum als Spektralfilter (Theorem 1 & Korollar 1):
Die Autoren beweisen, dass Momentum unter ihrem Gradientenmodell als Tiefpassfilter wirkt, der die Perturbation (Rauschen) unterdrückt, während es das kohärente Signal bewahrt. Speziell wenn die effektive Fenstergröße $T$ steigt, nehmen die Singulärwerte im Tail (dominiert durch Rauschen) mit einer Rate von $O(T^{-1/4})$ ab, während die führenden Singulärwerte (Signal) von Null verschieden bleiben. Dies erzeugt eine vergrößerte Spektrallücke zwischen den Signal- und Rauschkomponenten. Folglich richten sich die Top- $r$ Singulärsubräume des Momentum-Buffers $M_t$ zuverlässiger an den wahren Signal-Subräumen aus als die Subräume des Rohgradienten.
Nicht-Kommutativität und Pipeline-Reihenfolge (Theorem 2):
Das Paper stellt fest, dass Momentum und Orthogonalisierung nicht kommutieren.
- Dominanz von Pre-polar: Wenn das Momentum zuerst angewendet wird, entstört es den Gradientenstrom, was es dem nachfolgenden Polar-Faktor ermöglicht, auf einer Matrix zu operieren, deren singuläre Subraumstruktur stabilisiert ist. Die Autoren beweisen, dass Pre-polar eine höhere erwartete Signal-Ausrichtung erreicht als sowohl die Post-polar- als auch die Polar-only-Baselines.
- Versagen von Alternativen: Bei Post-polar „löscht“ die vorab durchgeführte Orthogonalisierung des verrauschten Gradienten die Amplitudendifferenz zwischen Signal- und Rauschrichtungen aus. Der Polar-Faktor ersetzt alle Singulärwerte durch Einsen, wodurch es unmöglich wird, zwischen Signal und Rauschen in den nachfolgenden Momentum-Schritten zu unterscheiden. Theoretisch scheitern die Post-polar- und Polar-only-Pipelines daran, die Signalrichtung effektiv wiederherzustellen, insbesondere in Regimen mit niedrigem Signal-Rausch-Verhältnis (SNR).
Quantitative Trennung bei niedrigem SNR (Theorem 3):
In einem Rank-1-Spiked-Gaussian-Modell mit niedrigem SNR zeigen die Autoren, dass die Signal-Ausrichtung der Polar-only-Pipeline gegen Null geht, wenn die Matrizendimension $m \to \infty$ läuft. Im Gegensatz dazu kann die Pre-polar-Pipeline das Zielsignal weiterhin rekonstruieren, sofern das Momentum-Fenster $T$ ausreichend groß ist.

Ergebnisse
Die theoretischen Erkenntnisse werden durch umfangreiche Experimente validiert:

Visualisierung der Spektrallücke: Durch stationäre Sonden auf NanoGPT demonstrieren die Autoren, dass eine Erhöhung des Momentum-Koeffizienten $\beta$ die Lücke zwischen den führenden und den Tail-Singulärwerten des Momentum-Buffers vergrößert, was konsistent mit Theorem 1 ist.
Subraum-Zuverlässigkeit: Empirische Messungen der Subraum-Ausrichtungsfehler zeigen, dass die Abweichung zwischen den Singulärsubräumen des Momentum-Buffers und den wahren Signal-Subräumen sinkt, wenn $T$ steigt, was Korollar 1 validiert.
Pipeline-Vergleich: Über synthetische Modelle, CIFAR-10 und das Training von NanoGPT/LLaMA 350M hinweg übertrifft die Pre-polar-Pipeline konsistent die Post-polar- und Polar-only-Varianten hinsichtlich der Signal-Ausrichtung und des Validierungsverlusts. Bemerkenswert ist, dass die Performance von Post-polar unabhängig von $\beta$ flach bleibt, was die theoretische Vorhersage bestätigt, dass eine Orthogonalisierung vor der Mittelung die durch Rauschen verlorenen Signalrichtungen nicht wiederherstellen kann.
End-to-End Training: Bei LLM-Pretraining-Aufgaben (NanoGPT und LLaMA 350M) erreicht die Pre-polar-Pipeline (Standard-Muon) einen geringeren Validierungsverlust im Vergleich zu den anderen Varianten, was die Behauptung stützt, dass Momentum eine essenzielle Komponente für die Signalrekonstruktion ist und nicht bloß ein Beschleunigungs-Trick.

Bedeutung
Das Paper liefert die erste theoretische Rechtfertigung dafür, warum Muon Momentum benötigt und warum die Reihenfolge der Operationen (Entstörung vor der Orthogonalisierung) entscheidend ist. Es definiert Momentum in matrixbasierten Optimierern nicht nur als Beschleunigungsmechanismus um, sondern als Spektralfilter, der die singulären Subräume gegen Rauschen stabilisiert. Das Leitprin Prinzip „Denoise first, then orthogonalize“ bietet eine Gestaltungsregel für zukünftige matrix-bewusste Optimierer, die nichtlineare spektrale Schritte verwenden, und legt nahe, dass die Trennung von Signal und Rauschen der Anwendung jeglicher Spektralnormierung oder Orthogonalisierung vorausgehen muss. Die Autoren merken an, dass ihre Theorie zwar die Vorteile von Momentum in Muon erklärt, aber auch die Grenzen aktueller theoretischer Schranken aufzeigt, die diese Vorteile nicht vorhersagen können, was auf eine Lücke zwischen der Standard-Optimierungstheorie und dem praktischen Verhalten von Spektral-Optimierern hindeutet.