🤖 machine learning

Muon as a Residual Connection

Dieses Paper schlägt eine mechanistische Interpretation des Muon-Optimierers als implizite Residualverbindung vor, die unmittelbare Gradiententreue zugunsten einer verbesserten Repräsentationserhaltung für nachgeschaltete Schichten opfert und somit eine konzeptionelle Erklärung für dessen Effektivität sowie eine neue Designperspektive für das Abwägen zwischen lokalem Abstieg und der Nutzbarkeit für nachgeschaltete Schichten bietet.

Ursprüngliche Autoren: Hao Huang

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Muon ist eine „verborgene Abkürzung“

Stellen Sie sich vor, Sie versuchen, einem Team von Arbeitern (einem neuronalen Netz) beizubringen, ein komplexes Puzzle zu lösen. Normalerweise sagen Sie jedem Arbeiter genau, was er tun soll, basierend auf dem unmittelbaren Fehler, den er gemacht hat. So arbeiten Standard-Optimierer: Sie konzentrieren sich darauf, den aktuellen Fehler so schnell wie möglich zu beheben.

Die Arbeit stellt einen neuen Optimierer namens Muon vor. Obwohl Muon wie ein einfacher mathematischer Trick aussieht (er erzwingt, dass die Updates der Arbeiter „orthogonal“, also im rechten Winkel zu ihrem aktuellen Pfad stehen), schlagen die Autoren einen neuen Weg vor, um zu verstehen, warum er so gut funktioniert.

Sie argumentieren, dass Muon wie eine verborgene „Residual Connection“ (Residuelle Verbindung) wirkt.

In der Deep-Learning-Welt ist eine „Residual Connection“ wie ein Förderband, das die ursprünglichen Rohzutaten vom Anfang der Küche bis ganz zum Ende trägt, wobei das Hacken und Mischen überspringt. Dies hilft dem letzten Chef (der letzten Schicht), die ursprünglichen Zutaten zu sehen und zu entscheiden, wie er sie verwenden kann, anstatt sich nur auf die zerkleinerte Version verlassen zu müssen.

Die Autoren behaupten, dass Muon dies implizit tut. Es fügt dem Netzwerk kein physisches Förderband hinzu. Stattdessen verändert es durch die Art und Weise, wie es die Gewichte aktualisiert, natürlich die „Form“ der Information, sodass spätere Schichten diese immer noch leicht nutzen können, selbst wenn die aktuelle Schicht ihren eigenen Fehler nicht perfekt behoben hat.

Der Kompromiss: Geschwindigkeit vs. Nutzbarkeit

Um Muon zu verstehen, muss man einen Kompromiss zwischen zwei Zielen betrachten:

Gradient Fidelity (Das „Jetzt“-Ziel): Den Fehler der aktuellen Schicht so schnell wie möglich beheben.
Representation Preservation (Das „Später“-Ziel): Sicherstellen, dass die Information, die an die nächste Schicht weitergegeben wird, immer noch leicht zu verstehen und nutzbar ist.

Die Analogie des Bildhauers:
Stellen Sie sich einen Bildhauer (den Optimierer) vor, der versucht, eine Statue zu schnitzen.

Standard-Optimierer (SGD): Der Bildhauer meißelt genau dort in den Stein, wo der Fehler liegt. Er bringt die Form des aktuellen Abschnitts sehr schnell perfekt auf den Punkt. Er könnte jedoch versehentlich den Stein so bearbeiten, dass es für den nächsten Bildhauer schwierig wird, das nächste Stück anzusetzen.
Muon: Der Bildhauer nimmt einen etwas anderen Meißelpfad. Er bringt den aktuellen Abschnitt vielleicht nicht so schnell perfekt hin wie der erste Bildhauer. Er bearbeitet den Stein jedoch so, dass eine glatte, flache Oberfläche für den nächsten Bildhauer entsteht, an der er sich festhalten kann.

Die Behauptung der Arbeit:
Muon ist bereit, bei der Behebung des Fehlers der aktuellen Schicht etwas langsamer zu sein (Opferung der „Gradient Fidelity“), wenn dies bedeutet, dass das Ergebnis für die nächste Schicht viel einfacher zu verarbeiten ist (Verbesserung der „Representation Preservation“).

Die Experimente: Der Zwei-Phasen-Test

Die Autoren testeten diese Idee mit einem einfachen, kontrollierten Experiment mit zwei mathematischen Schichten (wie zwei Arbeitern in einer Reihe).

Phase 1: Der lokale Test
Sie baten den ersten Arbeiter, ein bestimmtes Muster zu lernen.

Ergebnis: Der Standard-Optimierer (SGD) lernte das Muster schneller und genauer als Muon. Muon war hier „langsamer“.
Erkenntnis: Muon opferte in der Tat die unmittelbare Geschwindigkeit bei der lokalen Aufgabe.

Phase 2: Der Downstream-Test
Sie frierten die Ausgabe des ersten Arbeiters ein und baten einen zweiten Arbeiter, zu lernen, wie er diese Ausgabe in ein finales Ziel verwandelt.

Ergebnis: Obwohl der erste Arbeiter (trainiert durch Muon) bei seiner spezifischen Aufgabe etwas weniger präzise war, lernte der zweite Arbeiter die endgültige Aufgabe viel schneller als wenn der erste Arbeiter durch SGD trainiert worden wäre.
Erkenntnis: Die „unperfekte“ Ausgabe des durch Muon trainierten Arbeiters war für den nächsten Arbeiter tatsächlich leichter zu nutzen.

Das „Tau“-Schema (Der Realwelt-Test)
Sie testeten auch, was passiert, wenn beide Arbeiter gleichzeitig lernen (End-to-End-Training).

Ergebnis: Obwohl Muon langsamer darin war, die Fehler des ersten Arbeiters im Moment zu beheben, schloss das gesamte System das Puzzle insgesamt schneller ab.
Warum? Die von Muon geschaffene „verborgene Abkürzung“ ermöglichte es dem zweiten Arbeiter, dem ersten Arbeiter später zu helfen. Es entstand eine Feedbackschleife, in der eine besser konditionierte Downstream-Schicht die Arbeit der Upstream-Schicht erleichterte.

Das „Warum“: Die Form der Daten

Warum macht Muon die Daten leichter nutzbar?

Die Arbeit erklärt, dass Muon dazu neigt, das „Spektrum“ (die Verteilung der Wichtigkeit) der Daten flacher zu machen.

Die Analogie eines flachen Tisches gegenüber einem felsigen Hügel:

Standard-Optimierer: Erzeugt möglicherweise eine Repräsentation, die wie ein steiler, felsiger Hügel aussieht. Er ist an der Spitze sehr präzise, aber wenn man versucht, einen Ball (Daten) den Hügel hinunterzurollen, bleibt er stecken oder springt unvorhersehbar.
Muon: Erzeugt eine Repräsentation, die wie ein flacher, glatter Tisch aussieht. Er ist vielleicht nicht der „steilste“ Pfad nach unten, aber ein Ball kann glatt und vorhersehbar darüber rollen.

Weil der „Tisch“ flacher ist, muss die nächste Schicht (der nächste Arbeiter) nicht darum kämpfen, die Daten zu verarbeiten. Sie können den Ball einfach direkt zur Ziellinie rollen lassen.

Zusammenfassung

Die Arbeit kommt zu dem Schluss, dass Muon nicht nur eine mathematische Kuriosität ist, sondern ein Mechanismus, der wie eine implizite Residual Connection wirkt.

Es fügt keinen neuen Draht in das Netzwerk ein.
Es ändert den Pfad, den das Netzwerk beim Lernen nimmt.
Das Ergebnis: Es akzeptiert eine kleine Verzögerung bei der Behebung des aktuellen Problems, um sicherzustellen, dass die Lösung für den nächsten Teil des Systems „benutzerfreundlich“ ist.

Kurz gesagt: Muon lehrt das Netzwerk, ein guter Teamplayer zu sein, nicht nur ein schneller Einzelkämpfer. Es opfert ein kleines bisschen unmittelbare Geschwindigkeit, um sicherzustellen, dass die nächste Person in der Reihe ihre Arbeit leicht erledigen kann, was letztendlich das gesamte Team schneller ans Ziel bringt.

Technisches Resümee: Muon als Residualverbindung

Problemstellung

Muon hat sich als äußerst effektiver Optimierer für das Training großer neuronaler Netze erwiesen, wobei es über Architekturen hinweg – von CNNs bis hin zu Large Language Models (LLMs) – State-of-the-Art-Leistungen erzielt. Trotz seines empirischen Erfolgs stützen sich bestehende Erklärungen für die Effektivität von Muon auf vielfältige und komplexe mathematische Frameworks, darunter spektrale Norm-Steepest-Descent, nicht-euklidische Trust-Region-Optimierung, Frank–Wolfe-Methoden auf Spektralnorm-Bällen, Long-Tail-Learning und Krümmungsanalysen.

Das vorliegende Paper adressiert das Bedürfnis nach einer intuitiveren, mechanistischen Erklärung, die keine umfangreiche mathematische Ausbildung erfordert. Konkret wird untersucht, warum Muon gut funktioniert, indem die Optimierungsdynamik im Hinblick auf die Nutzbarkeit der Repräsentation für nachgeschaltete Schichten (Downstream-Layer) statt lediglich auf die unmittelbare Gradiententreue oder lokale Verlustreduktion umgedeutet wird.

Methodik

Die Autoren schlagen eine neuartige Interpretation vor: Muon fungiert als implizite Residualverbindung.

Theoretischer Rahmen

Orthogonalisierung als Residualität: In Standard-Residual-Netzwerken ist das Update explizit: $x_{l+1} = x_l + \text{Block}(x_l)$ , oder im Gewichtsraum: $W \leftarrow W + I$ (oder eine orthogonale Matrix $R$ ). Muon ersetzt das Standard-Update $W \leftarrow W + \Delta W$ durch ein orthogonalisiertes Update $W \leftarrow W + \text{Orth}(\Delta W)$ .
Der Trade-off: Das Paper postuliert einen Kompromiss zwischen Gradiententreue (nahe am Rohgradienten bleiben für unmittelbare Verlustreduktion) und Repräsentationserhaltung (Aufrechterhaltung einer Repräsentationsstruktur, die für nachgeschaltete Schichten leicht nutzbar ist). Die Orthogonalisierung des Updates opfert etwas unmittelbare Gradiententreue, injiziert aber implizit eine residualähnliche Transformation, welche die Nutzbarkeit der vorgelagerten Repräsentation bewahrt.

Experimentelle Validierung

Um diese Hypothese zu testen, führten die Autoren kontrollierte Experimente mit linearen Modellen durch, um die Komplexität nichtlinearer tiefer Netzwerke zu vermeiden und den Mechanismus isoliert zu untersuchen.

Zwei-Phasen-Lineares Experiment:
- Phase 1 (Lokale Optimierung): Ein zweischichtiges lineares Netzwerk ( $\hat{y} = W_2 W_1 x$ $\overset{y}{^} = W_{2} W_{1} x$ ) wird trainiert, um eine Zieltransformation $A$ $A$ abzubilden. $W_2$ $W_{2}$ ist eingefroren, und $W_1$ $W_{1}$ wird auf ein lokales Ziel $W_1^*$ $W_{1}^{*}$ optimiert.
  - Hypothese: SGD sollte hier besser abschneiden als Muon, da SGD der Richtung des steilsten Abstiegs für das lokale Ziel folgt, während Muon das Update orthogonalisiert.
- Phase 2 (Downstream-Adaption): Das durch $W_1$ $W_{1}$ gelernte Gewicht wird eingefroren, und $W_2$ $W_{2}$ wird neu initialisiert und mittels SGD optimiert, um $\|W_2 W_1 - A\|_F$ $∥ W_{2} W_{1} - A ∥_{F}$ zu minimieren.
  - Hypothese: Wenn der Effekt von Muons „impliziter Residualverbindung“ anhält, sollte das durch Muon gelernte $W_1$ leichter für $W_2$ anzupassen sein, obwohl es in Phase 1 weiter vom lokalen Ziel entfernt ist.
$\tau$ -Schedule-Experiment:
- Um ein End-to-End-Training zu simulieren, führten die Autoren ein Schema ein, bei dem Schichten in alternierenden Segmenten der Länge $\tau$ aktualisiert werden (z. B. $\tau$ Schritte auf $W_1$ , dann $\tau$ Schritte auf $W_2$ ).
- Dieses Setup ermöglicht die Beobachtung, wie der „lokale Preis“ von Muon (während der $W_1$ -Updates) mit dem „Downstream-Nutzen“ (während der $W_2$ -Updates) in einem kontinuierlichen Trainingszyklus interagiert.

Zentrale Ergebnisse

Zwei-Phasen-Lineares Experiment

Phase 1: Wie vorhergesagt, erreichte SGD einen geringeren lokalen Rekonstruktionsfehler ($0,0312$) im Vergleich zu Muon ($0,0447$) nach 600 Schritten, was die Opferung der Gradiententreue durch Muon bestätigt.
Phase 2: Bei der Optimierung von $W_2$ mit dem eingefrorenen $W_1$ benötigte das Modell, das in Phase 1 mit Muon trainiert wurde, weniger Schritte (13.321), um den Ziel-Fehlerschwellenwert zu erreichen, als das mit SGD trainierte Modell (13.436 Schritte).
Interpretation: Die durch Muon gelernte Repräsentation war zwar suboptimal für das lokale Ziel, besaß aber ein „flacheres“ Singularspektrum (höhere spektrale Flachheit), was zu einem besser konditionierten Problem für die nachgeschaltete Schicht führte.

$\tau$ -Schedule-Experimente

Muon erreichte konsistent schneller den Ziel-Kompositionsverlust als SGD über alle getesteten Schedules hinweg, einschließlich voll gemeinsamer Updates ( $\tau=0$ ) und alternierender Updates ( $\tau > 0$ ).
Dynamik-Analyse:
- Während der „blauen Segmente“ (Update nur von $W_1$ ) reduzierte SGD den Verlust oft anfangs schneller, was den Preis der Gradiententreue widerspiegelt.
- Während der „roten Segmente“ (Update nur von $W_2$ ) ermöglichte die durch Muon trainierte Trajektorie eine schnellere Konvergenz.
- Entscheidend war, dass das verbesserte $W_2$ in der Muon-Trajektorie nachfolgende $W_1$ -Subprobleme erleichterte, wodurch eine Feedbackschleife entstand, die die anfängliche lokale Verlangsamung kompensierte.

Wichtigste Beiträge

Mechanistische Interpretation: Das Paper liefert eine einfache, intuitive Erklärung für den Erfolg von Muon: Es fungiert als implizite Residualverbindung. Es balanciert den unmittelbaren Bedarf an Gradientenabstieg mit dem langfristigen Bedarf an Repräsentationserhaltung.
Neues Design-Paradigma: Es verschiebt das Paradigma des Optimizer-Designs weg von der Bewertung von Updates allein nach lokalem Verlustrückgang hin zur Berücksichtigung dessen, wie Updates Repräsentationen für nachgeschaltete Schichten formen.
Empirische Evidenz: Durch kontrollierte lineare Experimente zeigen die Autoren, dass das Opfern der lokalen Optimierungsgeschwindigkeit eine schnellere End-to-End-Konvergenz bewirken kann, indem die Konditionszahl des nachgeschalteten Optimierungsproblems verbessert wird.

Bedeutung und Behauptungen

Das Paper behauptet, dass diese Interpretation bestehende Erklärungen (spektral, Krümmung, Trust-Region) ergänzt, anstatt sie zu ersetzen. Durch die Rahmung von Muon als implizite Residualverbindung legen die Autoren nahe, dass:

Optimierer zwischen lokalen und Downstream-Zielen abwägen sollten: Ein effektiver Optimierer muss nicht nur anhand des unmittelbaren Verlustrückgangs auf einem schichtweisen Teilproblem beurteilt werden.
Der Kontext entscheidend ist: Die Vorteile eines Muon-ähnlichen Verhaltens (Opferung der lokalen Treue zugunsten der Downstream-Nutzbarkeit) sind besonders wertvoll, wenn nachgeschaltete Schichten über ausreichende Kapazität und Trainingszeit verfügen, um besser konditionierte Repräsentationen auszuschöpfen, insbesondere in tiefen Ketten zusammengesetzter Transformationen.
Zukünftige Richtungen: Diese Perspektive legt adaptive Optimizer-Designs nahe, welche die Stärke der Orthogonalisierung oder der spektralen Abflachung basierend auf den Schichtspektren, der Konditionierung oder dem Downstream-Fortschritt steuern.

Die Autoren wahren einen bescheidenen Ton und räumen ein, dass ihre Experimente bewusst kontrolliert und linear sind. Sie behaupten nicht, diesen Mechanismus in allen modernen nichtlinearen Netzwerken bewiesen zu haben, argumentieren jedoch, dass er einen plausiblen und intuitiven Mechanismus für die beobachteten empirischen Vorteile von Muon darstellt.