🤖 machine learning

Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning

Das Papier schlägt Muon-OGD vor, ein kontinuierliches Lernframework für große Sprachmodelle, das katastrophales Vergessen durch die Integration einer Muon-artigen Spektralnorm-Geometrie mit orthogonaler Gradientenprojektion mildert und dadurch den Stabilitäts-Plastizitäts-Trade-off verbessert sowie bestehende auf euklidischer Norm basierende Methoden auf diversen Benchmarks übertrifft.

Ursprüngliche Autoren: Binghang Lu, Zheyuan Deng, Runyu Zhang, Bing Hu, Yunhan Zhao, Yuan Tian, Changhong Mou, Guang Lin, Xiaomin Li

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Binghang Lu, Zheyuan Deng, Runyu Zhang, Bing Hu, Yunhan Zhao, Yuan Tian, Changhong Mou, Guang Lin, Xiaomin Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der "Schwamm"-Effekt

Stellen Sie sich einen Schüler (ein Large Language Model, oder LLM) vor, der unglaublich intelligent ist. Er lernt Französisch zu sprechen, dann lernt er Spanisch. Aber hier liegt der Haken: Sobald er beginnt, Spanisch zu lernen, fängt er an, Französisch zu vergessen. Dies nennt man katastrophales Vergessen.

In der Welt der KI überschreibt ein Modell, wenn es eine neue Aufgabe lernt, oft die "neuronalen Pfade", die es für die alte Aufgabe verwendet hat. Das Modell wird zu einem Schwamm, der neue Informationen aufsaugt, aber das alte Zeug herausdrückt.

Die alte Lösung: Der "Verkehrspolizist"

Wissenschaftler haben versucht, dies mit einer Methode namens Orthogonaler Gradientenabstieg (OGD) zu beheben.

Stellen Sie sich das Wissen des Modells als eine riesige, mehrdimensionale Landkarte vor.

Alte Aufgaben: Das "Französisch"-Wissen belegt eine bestimmte Spur auf dieser Landkarte.
Neue Aufgabe: Das "Spanisch"-Lernen möchte ein Auto (das Update) auf die Landkarte fahren.

Die alte Methode fungiert wie ein Verkehrspolizist. Er sagt: "Sie können überallhin fahren, um Spanisch zu lernen, aber es ist Ihnen strengstens verboten, in die 'Französisch'-Spur zu fahren." Dies geschieht, indem der neue Lernpfad so projiziert wird, dass er perfekt senkrecht (in einem 90-Grad-Winkel) zum alten Pfad bleibt.

Der Fehler: Dieser Verkehrspolizist geht davon aus, dass die Landkarte flach und einheitlich ist, wie ein Standardgitter (euklidische Geometrie). Er misst Entfernungen mit der "Frobenius-Norm", was wie das Messen einer Entfernung mit einem Standardlineal ist. Das Papier argumentiert jedoch, dass die interne Struktur dieser KI-Modelle kein flaches Gitter ist; es ist eher eine komplexe, gekrümmte Landschaft, in der einige Richtungen "schwerer" oder wichtiger sind als andere.

Die neue Idee: Der "Bergführer" (Muon-OGD)

Die Autoren haben einen neuen Optimierer namens Muon bemerkt, der anders funktioniert. Anstatt ein Standardlineal zu verwenden, verwendet Muon eine spektrale Norm.

Die Analogie:
Stellen Sie sich vor, Sie wandern einen Berg hinauf.

Der alte Weg (Frobenius): Sie messen Ihre Schritte mit einem flachen Maßband auf dem Boden. Sie denken, Sie bewegen sich effizient, aber Sie könnten eine steile Felswand hinaufgehen, weil Sie die Form des Geländes nicht berücksichtigt haben.
Der Muon-Weg (Spektrale Norm): Sie haben einen Bergführer, der die 3D-Form des Geländes versteht. Der Führer weiß, dass einige Pfade "steil" (hohe Auswirkung) und andere "sanft" (geringe Auswirkung) sind. Der Führer sagt Ihnen, Sie sollen Schritte machen, die die Form des Berges respektieren, nicht nur die flache Distanz. Dies hält Sie stabil und verhindert, dass Sie die falsche Seite hinunterrutschen.

Muon-OGD kombiniert diese beiden Ideen:

Es behält den Verkehrspolizisten (um das alte Französisch-Wissen zu schützen).
Aber es stellt den Bergführer (Muon) ein, um zu entscheiden, wie die Schritte gemacht werden.

Anstatt nur zu sagen "Gehen Sie nicht in die Französisch-Spur", sagt die neue Methode: "Gehen Sie nicht in die Französisch-Spur, und nehmen Sie auch Schritte, die die 3D-Form des Berges respektieren, damit Sie nicht ausrutschen."

Wie es funktioniert (Der "duale" Tanz)

Das Papier beschreibt einen mathematischen Prozess, um dies effizient zu bewerkstelligen:

Das Setup: Das Modell identifiziert die "geschützten Spuren" (das Französisch-Wissen), die nicht berührt werden dürfen.
Die Korrektur: Bevor ein Schritt gemacht wird, berechnet das Modell einen "korrigierten Pfad". Es fragt: "Wenn ich diesen Schritt mache, werde ich versehentlich gegen die Französisch-Spur stoßen?"
Die Iteration: Es ratet nicht nur einmal. Es führt eine schnelle, interne Schleife (genannt duale Iterationen) durch, um den Schritt zu verfeinern. Es ist wie ein Tänzer, der seine Fußplatzierung in einer Sekunde wiederholt anpasst, um sicherzustellen, dass er nicht auf die Zehen seines Partners tritt, während er sich in die effizienteste Richtung bewegt.
Das Signal: Schließlich verwendet es einen mathematischen Trick (Newton-Schulz-Iteration), um den Schritt in die perfekte "orthogonale" Form zu schnappen und sicherzustellen, dass es der effizienteste Zug ist, ohne die Regeln zu brechen.

Die Ergebnisse: Ein besserer Schüler

Die Autoren testeten diese neue Methode (Muon-OGD) gegen die alten Methoden bei verschiedenen "Schulfächern" (Benchmarks):

Standardtests: Textklassifizierung (wie das Sortieren von Nachrichtenartikeln).
Schwierigere Tests: Ein 15-Aufgaben-Stream (Lernen von 15 verschiedenen Themen nacheinander).
Spezialisierte Tests: Programmieren, Mathematik und medizinisches Schlussfolgern.

Das Ergebnis:
Bei jedem Test schnitt der Muon-OGD-Schüler besser ab.

Er lernte die neuen Fächer (Plastizität) genauso gut wie die anderen.
Aber er vergaß viel weniger von den alten Fächern (Stabilität).
Er war besonders gut darin, seine Fähigkeiten in Programmieren, Mathematik und Medizin intakt zu halten, während er Neues lernte, wohingegen die alten Methoden begannen, ihre vorherigen Fähigkeiten zu verlieren.

Zusammenfassung

Das Papier behauptet, dass wir, indem wir ändern, wie wir "Entfernung" im Gehirn der KI messen – von einem flachen Lineal zu einem 3D-Bergführer – und dies mit strengen Regeln kombinieren, um altes Wissen zu schützen, KI neue Dinge beibringen können, ohne dass sie vergisst, was sie bereits weiß. Es ist eine stabilere, effizientere Art, für immer weiterzulernen.

Technisches Fazit: Muon-OGD

Problemstellung
Die zentrale Herausforderung, die in dieser Arbeit adressiert wird, ist das katastrophale Vergessen in Large Language Models (LLMs) während des kontinuierlichen Lernens. Wenn LLMs sequenziell auf neue Aufgaben feinabgestimmt werden, verschlechtert sich ihre Leistung auf zuvor gelernten Aufgaben oft rapide. Bestehende projektionsbasierte Methoden für kontinuierliches Lernen (z. B. OGD, GEM, O-LoRA) mildern dies, indem sie Parameterupdates auf Unterräume beschränken, die orthogonal zu Richtungen sind, die mit vergangenen Aufgaben assoziiert sind. Diese Methoden werden jedoch typischerweise unter euklidischer Parametergeometrie formuliert, wobei die Größe von Updates und die Orthogonalität durch die Frobenius-Norm bestimmt werden.

Die Autoren identifizieren eine fundamentale Diskrepanz: Moderne Optimierer für matrixwertige Parameter, wie der kürzlich vorgestellte Muon-Optimierer, operieren unter spektralnorn-basierter (Operator-Norm-) Geometrie. Muon wendet orthogonalisierte Matrix-Updates an (approximiert via Newton–Schulz-Iterationen) und kann als steilster Abstieg unter einer Spektralnorm-Beschränkung interpretiert werden. Die Arbeit argumentiert, dass die Abhängigkeit von der Frobenius-Norm-Geometrie für Einschränkungen beim kontinuierlichen Lernen für matrixwertige LLM-Parameter suboptimal ist, da sie nicht mit der Geometrie der zugrundeliegenden Optimierungsdynamik übereinstimmt.

Methodik: Muon-OGD
Die Arbeit schlägt Muon-OGD (Muon-basierte spektrale orthogonale Gradientenprojektion) vor, ein Framework, das spektralnorm-bewusste Optimierung mit projektionsbasierten Einschränkungen für kontinuierliches Lernen integriert.

Formulierung: Anstelle des Standardproblems mit Frobenius-Norm-Beschränkung formuliert Muon-OGD das Update $\Delta$ als Optimierungsproblem mit Spektralnorm-Beschränkung:
$\min_{\Delta \in \mathbb{R}^{m \times n}} \langle G, \Delta \rangle \quad \text{s.t.} \quad \|\Delta\|_2 \leq \eta, \quad \langle C_i, \Delta \rangle = 0, \forall i=1,\dots,k$
Hier ist $G$ die Gradienten- (oder Momentum-) Matrix, $\|\cdot\|_2$ die Spektralnorm, $\eta$ die Schrittweite und $\{C_i\}$ sind Richtungen der Einschränkungen (z. B. Gradienten aus vergangenen Aufgaben), die orthogonal zum Update bleiben müssen.
Duale Optimierung: Da das Problem keine geschlossene Lösung besitzt, leiten die Autoren eine duale Formulierung ab. Das duale Ziel beinhaltet die Minimierung der nuklearen Norm einer verschobenen Matrix $H = G + \sum \lambda_i C_i$ . Das optimale Update wird über die Matrix-Signum-Funktion zurückgewonnen: $\Delta^* = -\eta \cdot \text{msgn}(H)$ .
Algorithmus: Die Methode löst das duale Problem iterativ mittels Subgradientenabstieg auf den dualen Variablen $\lambda$ .
- Innerer Loop: Aktualisiert $\lambda$ iterativ, um Orthogonalitätsbedingungen durchzusetzen.
- Approximation der Matrix-Signum-Funktion: Die Matrix-Signum-Funktion $\text{msgn}(H)$ wird effizient durch eine geringe Anzahl von Newton–Schulz-Iterationen approximiert (speziell 5 Iterationen, bezeichnet als $NS_5$ ), wodurch der Rechenaufwand einer expliziten Singulärwertzerlegung (SVD) vermieden wird.
- Niedrigrangige Instanziierung: Für Effizienz schlagen die Autoren eine spezifische Instanziierung vor, bei der Einschränkungen aus den top- $k$ Singulärvektoren vergangener Aufgaben abgeleitet werden, was es erlaubt, die dualen Variablen in einer niedrigrangigen Matrix $\Lambda$ zu organisieren und so die Dimensionalität des dualen Problems zu reduzieren.

Hauptbeiträge

Spektralnorm-Geometrie für kontinuierliches Lernen (CL): Die Arbeit formuliert projektionsbasiertes kontinuierliches Lernen unter Spektralnorm-Geometrie und bringt die Stabilitätsbedingungen des kontinuierlichen Lernens mit der Operator-Norm-Geometrie moderner Optimierer wie Muon in Einklang.
Praktische Update-Regel: Sie leitet einen praktischen Algorithmus (Muon-OGD) ab, der Orthogonalitätsbedingungen vergangener Aufgaben mit Muon-artigen Matrix-Signum-Updates kombiniert und das beschränkte Problem effizient über eine duale Formulierung und Newton–Schulz-Approximationen löst.
Empirische Validierung: Das Framework wird für das kontinuierliche Feinabstimmen von LLMs instanziiert und über diverse Benchmarks evaluiert, wobei konsistente Verbesserungen gegenüber Gegenstücken auf Basis der Frobenius-Norm nachgewiesen werden.

Experimentelle Ergebnisse
Die Autoren evaluieren Muon-OGD an:

Standard-Benchmarks: 5-Aufgaben- und 15-Aufgaben-Benchmarks für kontinuierliches Lernen unter Verwendung von T5-Large.
TRACE-Benchmark: Ein Benchmark für instruktionsfeinabgestimmte LLMs (unter Verwendung von LLaMA-2-7B-Chat), der diverse Fähigkeiten wie Programmieren, Mathematik und mehrsprachiges Verständnis abdeckt.
Domänenspezifische Curricula: Sequenzielles Lernen auf Programmieren (BigCodeBench) $\to$ Mathematik (GSM8K) $\to$ Medizin (HuatuoGPT-o1) unter Verwendung von Qwen2.5- und LLaMA3.2-Modellen.

Ergebnisse:

Leistung: Muon-OGD übertrifft sequenzielles Feinabstimmen (SeqFT) und wettbewerbsfähige orthogonale Gradienten-Baselines (z. B. O-LoRA, Sculpting Subspaces, OSFT) konsistent in Bezug auf die durchschnittliche Genauigkeit (AA) und den Rückwärts-Transfer (BT).
- Auf dem T5-Large 15-Aufgaben-Benchmark erreichte Muon-OGD eine durchschnittliche Genauigkeit von 72,0 % und übertraf dabei O-LoRA (69,6 %) und OSFT (71,3 %).
- Auf dem TRACE-Benchmark erreichte Muon-OGD die höchste AA (49,4 %) und die niedrigste Vergessensrate (-4,7 %) unter den verglichenen Methoden.
Skalierbarkeit: Die Methode bleibt rechnerisch skalierbar und nutzt die Effizienz von Newton–Schulz-Iterationen sowie niedrigrangige Darstellungen von Einschränkungen.
Architektur-Unabhängigkeit: Der Ansatz ist sowohl bei Encoder-Decoder-Architekturen (T5) als auch bei Decoder-only-Architekturen (LLaMA, Qwen) effektiv.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass eine spektralnorm-bewusste Update-Geometrie eine praktische und effektive Alternative zur Frobenius-Norm-Projektion für kontinuierliches Lernen in LLMs darstellt. Durch die Überbrückung der Lücke zwischen der Geometrie moderner Optimierer (wie Muon) und den Stabilitätsanforderungen des kontinuierlichen Lernens verbessert Muon-OGD den Trade-off zwischen Stabilität und Plastizität. Die Autoren schlagen vor, dass bestehende projektionsbasierte Methoden systematisch so weiterentwickelt werden können, dass sie unter Spektralnorm-Geometrie operieren, um die in Muon beobachteten Vorteile hinsichtlich Konditionierung und Stabilität besser zu bewahren und gleichzeitig katastrophales Vergessen zu verhindern. Die Arbeit behauptet nicht, alle Herausforderungen des kontinuierlichen Lernens zu lösen, sondern bietet eine prinzipielle geometrische Alternative, die empirische Gewinne in Bezug auf Behaltungsvermögen und Anpassungsfähigkeit über verschiedene Domänen und Modellgrößen hinweg liefert.