🤖 machine learning

Can Muon Fine-tune Adam-Pretrained Models?

Dieser Artikel untersucht die durch den Wechsel von Adam zu Muon für das Fine-Tuning vortrainierter Modelle verursachte Leistungsverschlechterung und zeigt, dass die daraus resultierende Optimierer-Inkompatibilität das gelernte Wissen stört und durch Einschränkung der Update-Stärke mittels Methoden wie LoRA effektiv gemildert werden kann.

Ursprüngliche Autoren: Xingyu Qu, Peigeng Huang, Samuel Horvath

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xingyu Qu, Peigeng Huang, Samuel Horvath

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „falsche Werkzeug" für den Job

Stellen Sie sich einen hochqualifizierten Handwerker (das KI-Modell) vor, der jahrelang ein Handwerk erlernt hat, indem er eine bestimmte Werkzeugsammlung nutzte: einen Hammer und einen Meißel (dies ist der Adam-Optimierer). Er hat eine wunderschöne, komplexe Skulptur (das vortrainierte Modell) geschaffen, die sprechen, schreiben und reasoning kann.

Nun trifft ein neues, schnelleres und effizienteres Werkzeug ein: ein Laser-Schneider (dies ist der Muon-Optimierer). Die Autoren des Papers wollten herausfinden, ob sie diesen Laserschneider nutzen können, um die vom Handwerker mit dem Hammer geschaffene Skulptur zu fine-tunen (kleine Anpassungen vorzunehmen).

Die Entdeckung: Als sie versuchten, den Laserschneider auf die mit dem Hammer gefertigte Skulptur anzuwenden, waren die Ergebnisse schrecklich. Die Skulptur begann zu reißen, ihre Form zu verlieren oder schlechter zu performen als zuvor.

Warum? Das Paper erklärt, dass der Hammer und der Laserschneider „anders denken".

Der Hammer (Adam) baut Strukturen auf Basis individueller, winziger Anpassungen (wie das Abmeißeln eines einzelnen Holzspans nach dem anderen).
Der Laser (Muon) baut Strukturen, indem er den gesamten Block betrachtet und die gesamte Oberfläche auf einmal glättet.

Wenn man versucht, den Laser auf eine Struktur anzuwenden, die vom Hammer gebaut wurde, kollidieren die „glatten" Anpassungen des Lasers mit der „gehauenen" Textur der ursprünglichen Arbeit. Dieser Konflikt wird als Optimierer-Mismatch bezeichnet. Er stört das Wissen, das das Modell bereits gelernt hat, und führt dazu, dass es Dinge „vergisst" oder schlecht performt.

Die Lösung: Die „Haftnotiz"-Methode (LoRA)

Die Autoren fragten: Gibt es einen Weg, den Laserschneider zu nutzen, ohne die mit dem Hammer gebaute Skulptur zu zerstören?

Sie fanden die Antwort in einer Technik namens LoRA (Low-Rank Adaptation).

Die Analogie:
Anstatt direkt in die ursprüngliche Steinskulptur zu schnitzen (Full Fine-Tuning), stellen Sie sich vor, Sie nehmen ein Stück klaren, flexiblen Kunststoffs (LoRA) und kleben es über die Skulptur.

Sie lassen die ursprüngliche Steinskulptur genau so, wie sie ist (eingefroren).
Sie schnitzen Ihre neuen Anpassungen nur in die Kunststoffplatte.
Der Laserschneider (Muon) arbeitet auf der Kunststoffplatte.

Warum das funktioniert:
Weil der Laserschneider nur die neue Kunststoffplatte berührt, muss er nicht gegen die alte, vom Hammer gehauene Textur des darunterliegenden Steins ankämpfen. Die Kunststoffplatte ist flexibel genug, um sich an den Stil des Lasers anzupassen, ohne das Fundament zu zerstören.

Das Paper zeigt, dass bei der Anwendung dieser „Kunststoffplatten"-Methode (LoRA) mit dem Laserschneider (Muon) die Ergebnisse genauso gut waren oder manchmal sogar besser als bei der Verwendung des Hammers (Adam). Das Mismatch-Problem verschwand.

Wichtige Erkenntnisse in einfacher Sprache

Der Mismatch ist real: Wenn Sie ein Modell nehmen, das mit Adam trainiert wurde, und versuchen, es direkt mit Muon zu fine-tunen, wird es schlechter. Es ist, als würde man versuchen, ein Auto mit einem Lenkrad zu fahren, das für ein anderes Auto designed wurde; das Auto lässt sich nicht gut lenken.
Die „Kunststoffplatte" behebt es: Durch die Verwendung von LoRA (die Kunststoffplatte) kann Muon mit Adam trainierte Modelle effektiv fine-tunen. Die Leistungslücke zwischen den beiden Methoden verschwindet.
Weniger ist mehr: Das Paper fand heraus, dass je mehr Sie versuchen, das ursprüngliche Modell zu ändern (Full Fine-Tuning), desto mehr schadet der Mismatch. Je weniger Sie ändern (eine dünne Kunststoffplatte/LoRA verwenden), desto besser funktioniert der Laserschneider.
Weniger Vergessen: Als der Laserschneider versuchte, direkt in den Stein zu schnitzen (Full Fine-Tuning), „vergaß" das Modell sein ursprüngliches Wissen (wie Mathematik oder gesunden Menschenverstand). Bei der Verwendung der Kunststoffplatte (LoRA) erinnerte sich das Modell viel besser an seine ursprünglichen Fähigkeiten.
Effizienz: Muon ist bereits bekannt dafür, während der initialen Trainingsphase schneller zu sein und weniger Speicher zu verbrauchen als Adam. Dieses Paper beweist, dass es auch für Fine-Tuning verwendet werden kann, wenn Sie die LoRA-Methode anwenden, was noch mehr Speicher spart, da Sie weniger „State"-Variablen speichern müssen.

Das Fazit

Sie müssen nicht alle Modelle wegwerfen, die mit dem „Hammer" (Adam) trainiert wurden. Sie können immer noch den schnelleren, effizienteren „Laser" (Muon) nutzen, um sie zu verbessern, müssen aber behutsam vorgehen. Anstatt zu versuchen, das gesamte Modell neu zu formen, fügen Sie einfach eine kleine, flexible Schicht oben drauf (LoRA). Dies ermöglicht es dem neuen Werkzeug zu arbeiten, ohne die alte Arbeit zu zerstören.

Technische Zusammenfassung: Kann Muon Adam-vortrainierte Modelle feinabstimmen?

Problemstellung

Muon (MomentUm Orthogonalized by Newton-Schulz) hat sich als hocheffizienter Optimierer für das Vortraining großer Sprachmodelle (LLMs) etabliert und bietet eine Rechenleistungseffizienz von etwa dem 2-fachen gegenüber Adam sowie einen reduzierten Speicherbedarf durch die Eliminierung der Schätzung der zweiten Momenten. Seine praktische Anwendung auf die Feinabstimmung bleibt jedoch begrenzt. Das Haupthindernis ist das Problem des Optimierer-Mismatches: Die meisten öffentlich verfügbaren Open-Modelle wurden mit Adam vortrainiert, und ein naiver Wechsel zu Muon für die Feinabstimmung führt zu einer verschlechterten Leistung. Umgekehrt liefert die Verwendung von Adam zur Feinabstimmung von Muon-vortrainierten Modellen ebenfalls suboptimale Ergebnisse. Diese Inkompatibilität schränkt die Adoption von Muon im dominierenden Paradigma der Feinabstimmung trotz seiner Erfolge beim Vortraining erheblich ein.

Methodik und Analyse

Die Autoren untersuchen dieses Mismatch durch kontrollierte Experimente und theoretische Analyse, wobei sie sich auf die unterschiedlichen impliziten Verzerrungen von Adam und Muon konzentrieren.

Charakterisierung der impliziten Verzerrung:
- Adam nutzt eine elementweise Vorbedingung basierend auf ersten und zweiten Momenten und konvergiert zu Lösungen, die den Max-Norm-Margin ( $\|W\|_{\max}$ ) maximieren.
- Muon wendet eine Matrix-Ebenen-Vorbedingung via Newton-Schulz-Orthogonalisierung an und konvergiert zu Lösungen, die den Spektral-Norm-Margin ( $\|W\|_2$ ) maximieren.
- Eine theoretische Analyse an einem vereinfachten linearen Regressionsproblem zeigt, dass diese Optimierer zu grundlegend unterschiedlichen Lösungen konvergieren ( $W^*_{\max}$ vs. $W^*_2$ ). Empirisch weisen Muon-getrainierte Gewichte einen höheren stabilen Rang und eine gleichmäßigere Verteilung der singulären Werte auf als Adam-getrainierte Gewichte.
Mechanismus der Verschlechterung:
- Das Mismatch stört das vortrainierte Wissen. Wenn ein Optimierer mit einer anderen impliziten Verzerrung angewendet wird, zwingt er die Modellgewichte in eine strukturelle Richtung, die mit der Vortrainingsphase unvereinbar ist.
- Experimente zeigen, dass eine mismatchende Feinabstimmung die Empfindlichkeit gegenüber der Update-Stärke erhöht. Stärkere Updates verursachen eine größere Störung der vortrainierten Struktur, was zu höherer Perplexität und schwerwiegenderem katastrophalem Vergessen führt.
Vorgeschlagene Minderung: LoRA:
- Die Autoren hypothesieren, dass die Einschränkung des Ausmaßes der Updates dieses Mismatch mildern kann. Sie setzen Low-Rank Adaptation (LoRA) ein, bei der die vortrainierten Gewichte ( $W_0$ ) eingefroren werden und Updates auf einen niedrigrangigen Unterraum beschränkt werden ( $\Delta W = BA$ ).
- Dieser Ansatz begrenzt die Magnitude der Gewichtsänderungen und verhindert, dass der Optimierer die vortrainierte Struktur aggressiv verändert. Die theoretische Analyse legt nahe, dass die „Mismatch-Inflation" (die Lücke zwischen gematchter und mismatchender Leistung) durch den LoRA-Rang $r$ begrenzt ist und verschwindet, wenn $r \to 1$ .

Hauptbeiträge

Reproduktion und Analyse: Der Artikel reproduziert das Phänomen des Optimierer-Mismatches in zugänglichen Maßstäben (NanoChat, 561M Parameter) und verknüpft es mit den unterschiedlichen impliziten Verzerrungen (Max-Norm vs. Spektral-Norm) von Adam und Muon.
LoRA als Lösung: Die Autoren zeigen, dass LoRA das Mismatch effektiv mildert. Durch die Einschränkung der Updates ermöglicht LoRA Muon, Adam-vortrainierte Modelle feinabzustimmen, mit einer Leistung, die mit LoRA-Adam vergleichbar ist oder diese übertrifft.
Umfassende Validierung: Die Ergebnisse wurden validiert über:
- Natural Language Understanding (NLU): GLUE-Benchmark mit T5-Base.
- Natural Language Generation (NLG): Instruktionsfeinabstimmung von Llama 2-7B/13B in den Bereichen Mathematik, Code und gesunder Menschenverstand.
- Computer Vision: Feinabstimmung von CLIP ViT-B/32 auf sechs Bildklassifizierungsaufgaben.
Rang- und Vergessensstudien:
- Rang-Empfindlichkeit: Der Vorteil von LoRA-Muon ist bei niedrigen bis moderaten Rängen am ausgeprägtesten. Mit steigendem Rang (in Richtung vollständiger Feinabstimmung) tritt das Mismatch wieder auf, und die Leistung verschlechtert sich im Vergleich zu Adam.
- Katastrophales Vergessen: Eine vollständige Feinabstimmung mit Muon an Adam-vortrainierten Modellen führt zu einem schwerwiegenderen Vergessen des vortrainierten Wissens als Adam. LoRA reduziert dieses Vergessen erheblich und erhält die vortrainierte Struktur.
LoRA-Varianten: Die Studie bewertet bestehende LoRA-Varianten (z. B. rsLoRA, PiSSA, LoRA-One). Sie stellt fest, dass Varianten, die LoRA-Updates näher an die vollständige Feinabstimmung bringen (wie PiSSA), Muon nicht notwendigerweise nutzen und das Mismatch sogar verschärfen können, was auf die Notwendigkeit Muon-spezifischer Anpassungen hindeutet.

Ergebnisse

Reduktion der Leistungslücke: Bei vollständiger Feinabstimmung bleibt Muon auf Adam-vortrainierten Modellen Adam gegenüber konsistent unterlegen (z. B. +0,009 bis +0,023 Perplexitätslücke auf WikiText-2). Unter LoRA schrumpft diese Lücke erheblich (um 39 % für Muon-vortrainierte und 78 % für Adam-vortrainierte Modelle).
Überlegenheit bei LoRA: Über NLU-, NLG- und Vision-Aufgaben hinweg erreicht LoRA-Muon die Leistung von LoRA-Adam oder übertrifft sie. Beispielsweise erzielte LoRA-Muon-PE auf der GLUE-Benchmark die höchste durchschnittliche Genauigkeit (89,20 %) und übertraf sowohl LoRA-Adam (88,93 %) als auch Full-Adam (89,14 %).
Effizienz: Obwohl Muon aufgrund der Newton-Schulz-Iteration einen moderaten Overhead pro Schritt verursacht (1,1–1,2-fach langsamer als Adam in LoRA-Einstellungen), bleibt seine Speichereffizienz (nur ein Momentum-Puffer statt zwei für Adam) ein praktischer Vorteil und spart etwa 50 % des Optimierer-Zustandsspeichers.

Bedeutung und Behauptungen

Der Artikel beansprucht, die erste tiefgehende Analyse des Optimierer-Mismatch-Problems zwischen Adam und Muon zu liefern. Seine primäre Bedeutung liegt in der Ermöglichung der praktischen Nutzung von Muon für die Feinabstimmung des riesigen Ökosystems von Adam-vortrainierten Modellen.

Die Autoren kommen zu folgenden Schlussfolgerungen:

Optimierer-Mismatch ist strukturell: Es entsteht durch konfliktäre implizite Verzerrungen, die das vortrainierte Wissen stören, wenn die Update-Stärke nicht eingeschränkt ist.
Eingeschränkte Updates sind der Schlüssel: Techniken wie LoRA, die die Magnitude der Gewichtsänderungen begrenzen, neutralisieren dieses Mismatch effektiv.
Praktische Empfehlung: Praktiker können Muon als Drop-in-Ersatz für Adam bei der LoRA-Feinabstimmung verwenden, um Speichereffizienz und wettbewerbsfähige Leistung zu erzielen, ohne die bei vollständiger Feinabstimmung beobachteten Mismatch-Strafen in Kauf nehmen zu müssen.

Der Artikel vermerkt bescheiden, dass LoRA zwar das Problem mildert, aber bestehende, für Adam optimierte LoRA-Varianten nicht automatisch auf Muon übertragbar sind, was zukünftige Arbeiten zur Entwicklung Muon-spezifischer Anpassungen erfordert. Zudem bleibt die theoretische Charakterisierung des Mismatch eine offene Frage.