🤖 machine learning

Approximate Muon with low-rank adapters

Dieses Paper führt sMuon ein, eine effiziente Methode, die den Muon-Optimizer für das Low-Rank Parameter-Efficient Fine-Tuning durch Linearisierung der Zielfunktion und Lösung mittels Kleinster-Quadrate-Schätzung approximiert und dadurch die Leistungsvorteile von Muon in Szenarien wie SFT und ReLoRA-Pretraining ermöglicht, in denen es zuvor mit LoRA inkompatibel war.

Ursprüngliche Autoren: Ben Anson, Conor Houghton, Edward Milsom

Veröffentlicht 2026-08-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Ben Anson, Conor Houghton, Edward Milsom

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, superintelligenten Roboter eine neue Fähigkeit beizubringen, wie zum Beispiel das Schreiben von Poesie oder das Lösen von Matheaufgaben. Sie wollen nicht das gesamte Gehirn des Roboters von Grund auf neu trainieren, denn das dauert ewig und kostet ein Vermögen. Stattdessen möchten Sie ein kleines, leichtgewichtiges „Trainingsmodul“ an sein bestehendes Gehirn anbringen. Dies wird als Parameter-Efficient Fine-Tuning (PEFT) bezeichnet. Stellen Sie es sich wie das Aufsetzen eines spezialisierten Headsets auf einen universell einsetzbaren Roboter vor; das Headset lehrt ihn den neuen Trick, ohne die Hardware des Roboters im Kern zu verändern.

Eine populäre Art, diese Headsets zu bauen, ist LoRA (Low-Rank Adaptation). Es ist, als würde man das Headset aus zwei dünnen, flachen Blättern Papier bauen, die, wenn man sie stapelt, die Form der neuen Fähigkeit ergeben. Um den Roboter zu lehren, benötigen wir einen Optimizer – einen mathematischen Coach, der dem Headset sagt, wie es seine Form anpassen muss, um besser zu werden. Der gängigste Coach ist AdamW, aber es gibt einen neueren, leistungsfähigeren Coach namens Muon. Muon ist berühmt dafür, unglaublich effizient beim Pretraining zu sein (also beim Lehren der allerersten Lektionen des Roboters von Grund auf). Es arbeitet, indem es sicherstellt, dass die Aktualisierungen des Robotergehirns auf eine perfekt ausbalancierte, „orthogonale“ Weise erfolgen, wie eine Tänzerin, die perfekt auf einem Bein dreht, ohne zu wackeln.

Es gibt jedoch ein Problem. Wenn man versucht, Muon zu nutzen, um das kleine LoRA-Headset zu trainieren, bricht die Mathematik zusammen. Muon möchte die gesamte Schicht des Robotergehirns ausbalancieren, aber das LoRA-Headset ist nur ein winziger, niedrigrangiger Ausschnitt dieser Schicht. Es ist, als würde man versuchen, mit einem Dirigentenstab einen einzelnen Geiger anzuweisen, damit es für das ganze Orchester Sinn ergibt; die Geometrie passt einfach nicht zusammen. Der übliche Umweg besteht darin, das Orchester zu ignorieren und einfach nur den Geiger anzuweisen, auf sich selbst allein zu drehen, aber das verpasst die Magie von Muon. Diese Arbeit fragt: Können wir einen Weg finden, damit Muon mit diesen kleinen Headsets funktioniert, ohne die Mathematik zu brechen oder alles zu verlangsamen?

Die Autoren, Ben Anson, Conor Houghton und Edward Milsom, sagen: Ja. Sie führen eine neue Methode namens sMuon (small Muon) ein. Anstatt das Unmögliche zu erzwingen, nutzen sie einen cleveren mathematischen Trick: Sie „linearisieren“ das Problem. Stellen Sie sich vor, Sie versuchen, auf einem Seil zu balancieren, während Sie einen riesigen, wackeligen Regenschirm halten. Anstatt zu versuchen, den ganzen Regenschirm auf einmal zu balancieren, tun Sie so, als wäre der Regenschirm für einen kurzen Moment nur ein gerader Stock, berechnen den perfekten Schritt und passen sich dann an. Durch dies zu tun, finden sie den bestmöglichen Weg, das LoRA-Headset zu aktualisieren, der den perfekten Muon-Tanz approximiert.

Die Arbeit zeigt, dass diese neue sMuon-Methode überraschend gut funktioniert. Als sie sMuon auf verschiedenen Sprachmodellen testeten, schnitt sMuon oft besser ab als der Standard-AdamW-Coach und andere Muon-Versuche. Besonders beeindruckend war es, wenn es auf einem bereits mit Muon vortrainierten Roboter (genannt Moonlight) verwendet wurde, wo sMuoan in sechs von elf verschiedenen Aufgaben die Spitzenwerte erreichte. In einem Pretraining-Experiment lieferte sich sMuon einen Gleichstand mit den besten Ergebnissen bei der Senkung der Fehlerrate, erreichte diese aber etwa 30 % schneller als ein Rivale namens Riemannian.

Entscheidend ist, dass die Autoren zeigen, dass ihre Methode nicht nur eine theoretische Idee ist, sondern auch praktisch. Während andere fortgeschrittene Methoden schwere, langsame Berechnungen erfordern (wie das Zerlegen und Wiederzusammenbauen komplexer Matrizen), basiert sMuon fast ausschließlich auf einfachen Matrixmultiplikationen – jener Art von Mathematik, für die moderne Computerchips gebaut sind, um mit Lichtgeschwindigkeit zu arbeiten. Das bedeutet, dass sMuon schnell genug ist, um in echtem Training eingesetzt zu werden, ohne den Prozess zu verlangsamen. Die Arbeit legt nahe, dass, indem wir die Geometrie der gesamten Schicht respektieren, anstatt die LoRA-Teile als separate, unzusammenhängende Stücke zu behandeln, wir einen signifikanten Leistungsschub bei sehr geringen Zusatzkosten erhalten können. Es ist eine Erinnerung daran, dass der beste Weg, einem riesigen Roboter einen neuen Trick beizubringen, manchmal darin besteht, ihm einen kleinen, klugen und mathematisch eleganten Anstoß zu geben.

=== TECHNISCHE ZUSAMMENFASSUNG ===

Technische Zusammenfassung: Approximation von Muon mit Low-Rank Adaptern (sMuon)

Problemstellung

Der Muon-Optimizer hat durch die Orthogonalisierung der Gewichtsaktualisierungen in jeder Schicht eine überlegene Performance beim Pretraining großer Sprachmodelle (LLMs) gezeigt, indem er die Singulärwerte effektiv angleicht. Dieses Verhalten entspricht dem steilsten Abstieg unter der Spektralnorm und kontrolliert die Worst-Case-Änderung einer Schicht als linearen Operator anstatt als flachen Vektor. Dennoch wird Muon selten für das Parameter-Effiziente Fine-Tuning (PEFT) eingesetzt, insbesondere im Kontext von Low-Rank Adaptation (LoRA).

Das grundlegende mathematische Hindernis besteht darin, dass Muon die Orthogonalisierung des Abstiegsschritts für die gesamte Gewichtsschicht erfordert. Im LoRA-Szenario, in dem die Gewichtsaktualisierung auf eine Low-Rank-Parametrisierung $\Delta W = BA$ (mit $B \in \mathbb{R}^{d_1 \times r}$ und $A \in \mathbb{R}^{r \times d_2}$ ) beschränkt ist, ist es mathematisch unmöglich, allgemein Aktualisierungen $\delta B$ und $\delta A$ zu finden, sodass die resultierende $\delta \Delta W$ exakt der vollen, orthogonalisierten Gradientenanforderung von Muon entspricht.

Bestehende Umgehungsstrategien umfassen:

Per-factor Muon: Die separate Orthogonalisierung von $B$ und $A$ , was die Geometrie der vollen Schicht ignoriert.
LoRA-Muon: Eine Lockerung des Ziels unter Verwendung der Dreiecksungleichung.
Riemannion: Die Formulierung des Problems als Riemannsche Optimierung auf einer Low-Rank-Mannigfaltigkeit, was teure trunkierte Singularwertzerlegungen (SVDs) während des Retraction-Schritts erfordert, was zu einem erheblichen Rechenaufwand führt.

Methodik

Die Autoren schlagen sMuon (small Muon) vor, eine Methode, die die Lösung eines relaxierten Muon-Ziels im Low-Rank-Kontext approximiert. Der Ansatz stützt sich auf Linearisierung und Least-Squares-Optimierung, um den optimalen Abstiegsschritt zu finden.

1. Linearisierung und Least-Squares-Formulierung

Das Ziel ist es, Aktualisierungen $\delta B, \delta A$ zu finden, so dass die implizierte Aktualisierung $\delta \Delta W \approx \delta B A + B \delta A$ die ideale Muon-Schrittweite $\delta \Delta W^* = -\eta \cdot \text{msign}(G_{\Delta W})$ approximiert, wobei $\text{msign}(X) = UV^\top$ der Polarfaktor der SVD ist.

Da der ideale Schritt im Allgemeinen Full-Rank ist und nicht exakt durch Low-Rank-Faktoren realisiert werden kann, linearisieren die Autoren das Problem, indem sie Terme zweiter Ordnung ( $\delta B \delta A$ ) vernachlässigen und ein Least-Squares-Problem lösen:
$(\delta B^*, \delta A^*) = \arg \min_{\delta B, \delta A} \| \delta \Delta W^* - (\delta B A + B \delta A) \|_F^2$
Dies liefert eine Closed-Form-Lösung unter Verwendung der Moore-Penrose-Pseudoinversen ( $B^\dagger, A^\dagger$ ). Entscheidend ist, dass die Autoren zeigen, dass die optimale Aktualisierung hinsichtlich der Faktoren $(\delta B, \delta A)$ nicht eindeutig ist, die resultierende Änderung der vollen Schicht $\delta \Delta W$ jedoch eindeutig ist.

2. Effiziente Matmul-basierte Berechnung

Eine direkte Implementierung der Closed-Form-Lösung würde die Orthogonalisierung einer großen $d_1 \times d_2$ Matrix erfordern, was rechentechnisch prohibitiv wäre. Um dies zu adressieren, leiten die Autoren eine effiziente Formulierung (Algorithmus 2) ab, die eine explizite Large-Matrix-Orthogonalisierung vermeidet:

Low-Rank Gradient: Anstatt den vollen Gradienten $G_{\Delta W}$ zu verwenden, nutzen sie eine Low-Rank-Projektion $H = P_B G_{\Delta W} + (I-P_B)G_{\Delta W} P_A$ , die für das Optimierungsziel erstordnung-äquivalent ist.
Dimensionsreduktion: Sie nutzen die Identität $\text{msign}(H) = U \text{msign}(U^\top H V) V^\top$ , wobei $U$ und $V$ Orthonormalbasen sind, die die Spalten- und Zeilenräume von $H$ aufspannen. Da $H$ einen Rang von höchstens $2r$ hat, reduziert dies die teure $d_1 \times d_2$ Orthogonalisierung auf eine $2r \times 2r$ Orthogonalisierung.
Implementierung: Der gesamte Algorithmus basiert ausschließlich auf Matrixmultiplikationen, Matrix-Inversen-Quadratwurzeln und Polarzerlegungen kleiner $r \times r$ oder $2r \times 2r$ Matrizen. Dies vermeidet den Overhead von QR- und SVD-Zerlegungen, die bei Riemannion erforderlich sind.

3. Algorithmische Details

Der sMuon-Optimizer beinhaltet:

Split Weight Decay: Um die Dynamik des Full-Parameter-Trainings zu replizieren, wird Weight Decay über einen Skalierungsfaktor $s = \sqrt{1-\lambda\eta}$ auf die Faktoren $A$ und $B$ vor dem Gradienten-Update angewendet.
Momentum Transport: Um Parameterinvarianz zu gewährleisten (d. h. der Optimizer verhält sich konsistent, unabhängig von der spezifischen Faktorisierung $B, A$ ), werden Momentum-Buffer in jedem Schritt auf die aktuellen Faktoreräume projiziert.

Kernbeiträge

Ableitung von sMuon: Eine Closed-Form-Methode zum Training von LoRA-Adaptern mit Muon durch die Anwendung einer Erstordnung-Approximation des spektralnorm-regularisierten steilsten Abstieg-Ziels.
Effiziente Implementierung: Ein "Matmul-only"-Algorithmus, der recheneffizient für moderne Hardware ist, indem er teure Zerlegungen vermeidet. Er bietet eine vergleichbare Geschwindigkeit wie Per-factor Muon und LoRA-Muon und ist signifikant schneller als Riemannion, insbesondere bei größeren LoRA-Rängen.
Empirische Evaluierung: Umfangreiche Experimente mit vier Basismodellen (einschließlich eines mit Muon vortrainierten und drei mit AdamW vortrainierten Modellen) und elf Benchmarks (Commonsense und Coding).

Ergebnisse

Das Paper berichtet folgende Erkenntnisse:

Performance: sMuon schneidet in SFT-Benchmarks vorteilhaft ab. Obwohl die Ergebnisse modellabhängig sind, erreichte sMuon die beste Genauigkeit in sechs von elf Aufgaben beim Fine-Tuning des Moonlight-16B-A3B Modells (welches mit Muon vortrainiert wurde). Es übertrifft AdamW und Per-factor Muon im Allgemeinen.
ReLoRA Pretraining: In einem Pretraining-Szenario unter Verwendung von ReLoRA (periodisches Verschmelzen und Erneuern von Adaptern) erreichte sMuon den niedrigsten finalen Validierungsverlust, wobei es mit Riemannion gleichzieht, aber etwa 30 % schneller ist.
Spektrale Eigenschaften: Die empirische Analyse der Gewichtsupdatenspektren zeigt, dass sMuon ein gleichmäßigeres Spektrum beibehält (näher am idealen Muon-Verhalten) als Per-factor Muon und LoRA-Muon.
Effizienz: Tabelle 4 zeigt, dass sMuon zwar etwas langsamer als AdamW ist, aber signifikant schneller als Riemannion. Für einen Rang von $r=64$ verursacht Riemannion einen Overhead von ca. 33 % bei der Schrittzeit, während sMuon nur ca. 0,8 % hinzufügt.

Bedeutung und Ansprüche

Das Paper behauptet, dass sMuon eine prinzipielle, speichereffiziente und rechentechnisch handhabbare Methode bietet, um Muon-Optimierung auf Low-Rank-Adapter anzuwenden. Indem es die Geometrie der vollen Schicht respektiert, anstatt LoRA-Faktoren als unabhängige Matrizen zu behandeln, erreicht sMuon moderate Leistungssteigerungen, insbesondere wenn das Basismodell ebenfalls mit Muon vortrainiert wurde. Die Autoren betonen, dass ihre Methode die "teuren Mannigfaltigkeitsbeschränkungen" der Riemannschen Optimierung vermeidet, ohne die Performance zu opfern, was Muon-basiertes Fine-Tuning für praktische Anwendungen zugänglicher macht.

Die Autoren bleiben bescheiden und merken an, dass die Ergebnisse "modell- und evaluierungsabhängig" sind und der primäre Beitrag eine saubere, effiziente Approximation ist, die die Lücke zwischen dem theoretischen Nutzen von Muon und den praktischen Einschränkungen von PEFT schließt.