💻 computer science

AMUSE: Anytime Muon with Stable Gradient Evaluation

Das Papier stellt AMUSE vor, einen neuen Optimierer, der Muons schnellen Bulk-Fortschritt mit Schedule-Free-Averaging kombiniert, um das Training zu stabilisieren und die Notwendigkeit von Lernratenplänen zu eliminieren, wodurch eine überlegene Leistung bei visuellen und sprachlichen Aufgaben erreicht wird.

Ursprüngliche Autoren: Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: KI-Training ist wie das Wandern auf einem Berg

Stellen Sie sich vor, Sie versuchen, einem Computer (einem neuronalen Netzwerk) beizubringen, eine Fähigkeit zu erlernen, wie etwa das Erkennen von Katzen oder das Schreiben von Geschichten. Um dies zu tun, muss der Computer einen riesigen, komplexen Berg voller Fehler hinabsteigen, um ganz unten anzukommen (die perfekte Lösung).

Die Form dieses Berges ist tückisch. Es ist nicht nur eine sanfte Abfahrt.

Der Fluss: Es gibt einen breiten, flachen, sanften Talboden, auf dem Sie schnell gehen und große Fortschritte machen können. Hier findet das eigentliche Lernen statt.
Die Talwände: An den Seiten dieses Tals ist der Boden unglaublich steil und felsig. Wenn Sie zu weit in Richtung der Wände treten, prallen Sie wild hin und her, verschwenden Energie und kommen nicht voran.

Das Problem mit aktuellen Methoden

Lange Zeit war der Standardweg, diesen Berg zu wandern (unter Verwendung eines Optimierers namens AdamW), wie ein Wanderer, der eine strikte Karte benötigt. Die Karte sagt ihm genau, wie schnell er gehen soll und wann er verlangsamen muss. Wenn der Wanderer die Karte ignoriert, verirrt er sich.

Vor kurzem tauchten zwei neue Wanderstrategien auf:

Schedule-Free (SF): Dies ist wie ein Wanderer, der keine Karte benötigt. Er geht einfach weiter, schaut aber gelegentlich zurück, wo er gewesen ist, um auf dem flachen Talboden zu bleiben. Er ist sehr stabil, aber manchmal etwas langsam beim Start.
Muon: Dies ist ein neuer, superschneller Wanderer. Er hat einen speziellen Trick: Er "richtet" seine Schritte so aus, dass er nicht an den steilen Wänden hängen bleibt. Er sprintet unglaublich schnell den Fluss hinab. Allerdings, da er so schnell und aggressiv ist, prallt er manchmal von den Talwänden ab, was dazu führt, dass er wackelt und an Stabilität verliert.

Die Lösung: AMUSE

Die Autoren dieses Papers stellten fest, dass Muon schnell, aber wackelig ist, während Schedule-Free stabil, aber manchmal langsam ist. Sie wollten das Beste aus beiden Welten kombinieren.

Sie schufen AMUSE (Anytime Muon with Stable gradient Evaluation).

Die Analogie: Der "intelligente Interpolations"-Wanderer

Stellen Sie sich vor, Sie fahren mit einem Auto eine kurvige Straße (den Fluss) hinunter.

Muon ist wie das Fahren mit einem Sportwagen bei 160 km/h. Sie kommen schnell an, aber wenn Sie über eine Unebenheit (eine steile Wand) fahren, könnten Sie die Kontrolle verlieren.
Schedule-Free ist wie das Fahren mit einem schweren LKW bei 65 km/h. Sie sind sehr stabil, aber Sie brauchen lange, um irgendwohin zu kommen.

AMUSE ist wie ein intelligenter Fahrer, der seinen Fahrstil je nach Tageszeit ändert:

Früh in der Reise (Der Start): Der Fahrer ist im Sportwagen-Modus. Er fährt schnell (wie Muon), um schnell in Bewegung zu kommen und Strecke zu machen. Er ist bereit, ein paar Risiken einzugehen, um schneller zu sein.
Später in der Reise (Das Ende): Wenn sie sich dem Ziel nähern, schaltet der Fahrer langsam in den "LKW-Modus". Er beginnt, mehr auf den durchschnittlichen Pfad zu achten, den sie bisher genommen haben, und glättet seine Kurven. Dies verhindert, dass sie von den Wänden abprallen, und hält sie perfekt auf dem flachen Flussbett.

Wie AMUSE funktioniert (Die technische Magie)

Das Paper erklärt dies mit einem "zeitvariierenden Koeffizienten" (eine ausgefallene Bezeichnung für einen Regler, der sich im Laufe der Zeit ändert).

Der Regler ( $\beta_t$ ): Am Anfang ist der Regler so eingestellt, dass er sich auf den "schnellen" Pfad konzentriert. Während das Training fortschreitet, dreht sich der Regler langsam, um sich auf den "stabilen" Pfad zu konzentrieren.
Das Ergebnis: AMUSE erhält die Geschwindigkeit von Muon am Anfang und die Stabilität von Schedule-Free am Ende. Es benötigt keine vorab geschriebene Karte (Lernraten-Plan), die ihm sagt, wann es verlangsamen soll; es findet das selbst heraus.

Was das Paper herausfand

Die Autoren testeten diese neue Methode auf vielen verschiedenen "Bergen" (Aufgaben):

Bilderkennung: Computern beibringen, Bilder zu identifizieren (wie Katzen, Hunde oder handschriftliche Zahlen).
Large Language Models: KI zu trainieren, um Text zu schreiben und zu verstehen (wie die Modelle hinter Chatbots).

Die Ergebnisse:

Schneller: AMUSE erreichte die gleichen hochwertigen Ergebnisse wie die anderen Methoden, aber in weniger Schritten. Zum Beispiel erreichte es bei einer Aufgabe mit Large Language Models das Ziel 1,5-mal schneller als die nächstbeste Methode.
Stabil: Es wackelte nicht oder stürzte ab, wie Muon es manchmal tut.
Anytime (Jederzeit): Sie können das Training jederzeit stoppen, und das Modell wird sich in einem guten Zustand befinden. Sie müssen nicht auf einen bestimmten "Ende des Trainings"-Moment warten, um ein gutes Ergebnis zu erhalten.

Zusammenfassung

Das Paper stellt AMUSE vor, ein neues Werkzeug zum Trainieren von KI. Es behebt die Instabilität des schnellen, aber wackeligen Muon-Optimierers, indem es die Stabilisierungstricks von Schedule-Free-Optimierung übernimmt.

Stellen Sie es sich als einen Wanderer vor, der weiß, wann er sprinten und wann er stetig gehen muss, um sicherzustellen, dass er schneller und ohne vom Rand zu fallen, den Berg hinunterkommt. Das Paper behauptet, dass dies bei Bild- und Textaufgaben besser funktioniert als aktuelle Standardmethoden und keine komplexe Planung erfordert, um es zu steuern.

Technischer Zusammenfassung: AMUSE (Anytime Muon mit stabiler Gradientenbewertung)

Problemstellung

Die moderne Optimierung im Deep Learning stützt sich typischerweise auf den AdamW-Optimierer in Kombination mit vorgegebenen Lernratenplänen (z. B. kosinusförmiger Abfall). Jüngste Fortschritte haben diese Komponenten einzeln in Frage gestellt: Die Schedule-Free (SF)-Optimierung entfernt explizite Pläne, indem sie Gradienten an interpolierten Punkten zwischen aktuellen und gemittelten Iterierten bewertet, während Muon die Geometrie der Aktualisierungen für matrixwertige Parameter durch Orthogonalisierung des Moments verbessert.

Trotz des empirischen Erfolgs von Muon beim Vortraining großer Sprachmodelle (LLM) ist der zugrunde liegende Mechanismus nicht vollständig verstanden. Der Artikel identifiziert eine spezifische Instabilität in Muon: Während seine Orthogonalisierung den Fortschritt entlang „flacher" Richtungen (der „Fluss" der Verlustlandschaft) beschleunigt, verstärkt sie unbeabsichtigt Rauschen in „steilen" Richtungen hoher Krümmung (die „Talwände"), was zu oszillierenden Trajektorien führt. Umgekehrt stabilisieren Schedule-Free-Methoden Trajektorien, indem sie diese nahe am Fluss halten, ihnen fehlt jedoch möglicherweise der schnelle Bulk-Fortschritt, den Muons Orthogonalisierung bietet. Das Kernproblem besteht darin, einen Optimierer zu entwerfen, der Muons schnelle Konvergenz mit der Stabilität von Schedule-Free-Mittelung kombiniert, ohne manuelle Lernratenpläne zu erfordern.

Methodik: AMUSE

Die Autoren schlagen AMUSE (Anytime Muon with Stable gradient Evaluation) vor, das Muons orthogonalisierte Matrixaktualisierungen mit dem Schedule-Free-Rahmenwerk unter Verwendung eines zeitvariierenden Interpolationskoeffizienten integriert.

Theoretische Grundlage: Fluss-Tal-Landschaft

Die Analyse basiert auf der Perspektive der Fluss-Tal-Verlustlandschaft:

Der Fluss: Ein hochdimensionaler, niedrig gekrümmter Bulk-Unterraum, in dem nützlicher Trainingsfortschritt stattfindet.
Die Talwände: Ein niedrigdimensionaler, hoch gekrümmter dominanter Unterraum, der Oszillationen verursacht.
Muons Mechanismus: Die Orthogonalisierung der Momentmatrix erhöht die relative Bulk-Komponente der Aktualisierungen und beschleunigt so den Fortschritt entlang des Flusses. Sie verhindert jedoch auch, dass dominante Komponenten abklingen, wodurch kleines Rauschen in dominanten Richtungen zu Oszillationen über die Talwände hinweg verstärkt wird.
Schedule-Free-Mechanismus: Die Bewertung von Gradienten an einer gemittelten Trajektorie (näher am Fluss) filtert hoch gekrümmte Schwankungen vor dem Aktualisierungsschritt heraus.

Algorithmus-Design

AMUSE verwendet einen zeitvariierenden Interpolationskoeffizienten $\beta_t$ , um den Punkt $Y_t$ zur Gradientenbewertung zwischen der schnellen Basisequenz $Z_t$ (Muon-Aktualisierungen) und der stabilen gemittelten Sequenz $X_t$ zu bestimmen:
$Y_t = (1 - \beta_t)Z_t + \beta_t X_t$

Der Plan für $\beta_t$ ist so gestaltet, dass er frühe Anpassung und Stabilität in späteren Phasen ausbalanciert:

Warmup-Phase ( $t \le T_0$ ): $\beta_t$ ist auf einen kleinen Wert $\beta_1$ festgelegt. Dies ermöglicht dem Optimierer, Gradienten nahe der schnellen Muon-Sequenz ( $Z_t$ ) zu bewerten, um eine schnelle initiale Anpassung zu erreichen.
Nach dem Warmup ( $t > T_0$ ): $\beta_t$ steigt gemäß folgender Formel allmählich gegen 1 an:
$\beta_t = 1 - \left( \frac{T_0 - 1}{t - 1} \right)^\rho (1 - \beta_1)$
Hier steuert $\rho \in [0, 1]$ die Verschiebungsrate. Mit steigendem $\beta_t$ verschiebt sich der Punkt der Gradientenbewertung hin zur gemittelten Sequenz $X_t$ . Dies unterdrückt die hoch gekrümmten (dominanten) Komponenten des Gradienten, bevor sie Muons Orthogonalisierung unterzogen werden, und stabilisiert dadurch die Trajektorie.

Entscheidend ist, dass dieser Plan unabhängig vom gesamten Trainingshorizont ist, was Anytime-Training ermöglicht (das Training kann an jedem Punkt ohne Leistungsverschlechterung gestoppt werden). AMUSE erfordert keinen Lernratenabfall-Plan.

Hauptbeiträge

Geometrische Analyse von Muon: Der Artikel liefert eine geometrische Erklärung für Muons Effizienz und Instabilität. Er zeigt, dass Orthogonalisierung bulk-orientierte Aktualisierungen fördert (beschleunigt Flussfortschritt), aber Rauschen in dominanten Richtungen verstärkt (verursacht Talwand-Oszillationen).
Stabilisierung durch Interpolation: Die Autoren zeigen, dass die Bewertung von Gradienten näher an der gemittelten Trajektorie (via Schedule-Free) dominante Komponenten vor der Orthogonalisierung reduziert und so Oszillationen abschwächt.
AMUSE-Algorithmus: Ein neuartiger Optimierer, der den Punkt der Gradientenbewertung dynamisch von der schnellen Muon-Trajektorie zur stabilen gemittelten Trajektorie verschiebt. Dies kombiniert die schnelle Konvergenz von Muon mit der Stabilität von Schedule-Free-Methoden.
Unterstützung für Anytime-Training: Durch die Verwendung eines zeitvariierenden Plans, der unabhängig von der Gesamtzahl der Schritte ist, und durch den Verzicht auf Lernratenabfall unterstützt AMUSE flexible Trainingshorizonte.

Experimentelle Ergebnisse

AMUSE wurde über diverse Benchmarks hinweg evaluiert, darunter Bildklassifizierung (CIFAR-10/100, SVHN, ImageNet-1k), Bildsegmentierung (ISIC 2018) und LLM-Vortraining (124M, 720M und 1B-Parameter-Llama-artige Modelle auf FineWeb).

Performance-Iteration-Pareto-Grenze: AMUSE übertrifft (Schedule-Free) AdamW und Muon bei allen Aufgaben konsistent.
Effizienzgewinne:
- Beim 720M LLM-Vortraining erreicht AMUSE Muons Endleistung mit 1,51 $\times$ weniger Schritten.
- Auf ImageNet mit ResNet-50 erzielt es die gleiche Leistung mit 1,12 $\times$ weniger Schritten.
- Auf ImageNet beim Feinabstimmen von ViT sind 3,08 $\times$ weniger Schritte erforderlich.
Stabilität: Im Gegensatz zu normalem Muon, das erheblich von nachgelagertem exponentiellem Gewichts-Mittelwert (EWA) oder Lernratenabfall profitiert, behält AMUSE während des gesamten Trainings eine stabile Trajektorie bei und zeigt minimale Verbesserungen, wenn diese nachgelagerten Techniken angewendet werden.
Skalierbarkeit: AMUSE skaliert effektiv auf große Batch-Größen (bis zu 2048) und große Modellgrößen (1B Parameter), wo andere Schedule-Free-Varianten manchmal Schwierigkeiten haben.

Bedeutung und Behauptungen

Der Artikel behauptet, dass AMUSE einen prinzipiellen Ansatz zum Optimierer-Design darstellt, der aus einem systematischen Verständnis der Trainingsdynamik und der Geometrie der Verlustlandschaft abgeleitet ist. Indem AMUSE den Kompromiss zwischen schnellem Bulk-Fortschritt und Talwand-Stabilität explizit adressiert, erzielt es überlegene Leistung ohne die Notwendigkeit manueller Lernratenplanung.

Die Autoren vermerken bescheiden, dass AMUSE zwar bestehende Optimierer übertrifft, aber im Vergleich zu normalem Muon einen leichten Speicher-Overhead verursacht (eine zusätzliche Zustandskopie für die Basisequenz $Z_t$ ), obwohl es mit AdamW und Schedule-Free AdamW vergleichbar bleibt. Sie schlagen vor, dass zukünftige Arbeiten darauf fokussieren könnten, ähnliche Stabilität und Leistung ohne diese zusätzlichen Speicherkosten zu erreichen. Der Artikel betont, dass die „Fluss-Tal"-Perspektive einen robusten Rahmen für die Entwicklung von Optimierern bietet, die sowohl effizient als auch stabil sind.