⚡ electrical engineering

DeMuon: A Decentralized Muon for Matrix Optimization over Graphs

Dieses Paper stellt DeMuon vor, die erste dezentrale Erweiterung des Muon-Optimierers, die Newton-Schulz-Orthogonalisierung mit Gradient Tracking kombiniert, um eine beweisbare Konvergenz und überlegene Leistung bei der Matrixoptimierung über Kommunikationsgraphen zu erreichen, insbesondere unter Bedingungen mit heavy-tailed Rauschen.

Ursprüngliche Autoren: Chuan He, Shuyi Ren, Jingwei Mao, Erik G. Larsson

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chuan He, Shuyi Ren, Jingwei Mao, Erik G. Larsson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Freunden vor, die versuchen, gemeinsam ein riesiges, komplexes Puzzle zu lösen. Sie befinden sich alle in verschiedenen Räumen (dezentralisiert) und können nur mit ihren unmittelbaren Nachbarn kommunizieren. Sie haben keinen Chef oder eine zentrale Führungsperson, die ihnen sagt, was sie tun sollen; sie müssen es selbst herausfinden, indem sie teilen, was sie sehen, und ihre eigenen Teile basierend auf dem anpassen, was ihre Nachbarn ihnen sagen.

Dieses Papier stellt eine neue Methode vor, mit der diese Freunde das Puzzle schneller und genauer lösen können. Sie nennen ihre neue Methode DeMuon.

Hier ist die Aufschlüsselung, wie es funktioniert, unter Verwendung einfacher Analogien:

Das Problem: Das „Matrix“-Puzzle

In der Welt der künstlichen Intelligenz (speziell des Deep Learning) sind die „Puzzleteile“ nicht einfach nur einzelne Zahlen; sie sind riesige Gitter aus Zahlen, sogenannte Matrizen.

Der alte Weg (Vektorisierung): Traditionell behandelten Computer diese großen Gitter wie lange, flache Listen von Zahlen (Vektoren). Es ist, als würde man versuchen, ein 3D-Jigsaw-Puzzle zu lösen, indem man es zuerst in ein 2D-Blatt flachdrückt. Das funktioniert zwar, ist aber umständlich und vernachlässigt die Form der Teile.
Der neue Weg (Muon): Eine kürzlich entwickelte Methode namens Muon erkannte, dass es viel besser ist, die Teile in ihrer natürlichen 3D-Form (als Matrizen) zu behandeln. Sie verwendet einen speziellen „Kompass“ (den sogenannten Spektralnorm), um zu entscheiden, in welche Richtung die Teile bewegt werden sollen. Dies funktioniert hervorragend, wenn alle im selben Raum sind (zentralisiert).

Die Herausforderung: Dezentralisierung vorantreiben

Die Autoren fragten sich: Können wir diesen intelligenten „Muon“-Kompass verwenden, wenn unsere Freunde in verschiedenen Räumen sind und nicht mit einem zentralen Chef sprechen können?
Das ist schwierig, weil:

Unterschiedliche Ansichten: Jeder Freund sieht einen leicht anderen Teil des Puzzles (lokale Daten).
Kein Chef: Sie können nicht einfach einen Anführer fragen: „Was ist der beste Zug?“ Sie müssen den „globalen“ besten Zug erraten, indem sie auf ihre Nachbarn hören.
Verwirrung: Wenn sie nicht vorsichtig sind, könnten sie alle in unterschiedliche Richtungen laufen, und das Puzzle wird niemals gelöst werden.

Die Lösung: DeMuon

Die Autoren schlagen DeMuon vor, eine Methode, die es den Freunden ermöglicht, das Puzzle gemeinsam ohne einen Chef zu lösen. Sie kombiniert zwei Haupttricks:

1. Der „gemeinsame Kompass“ (Gradient Tracking)
Stellen Sie sich vor, jeder Freund hat einen Kompass. Da sie in verschiedenen Räumen sind, zeigen ihre Kompasse in leicht unterschiedliche Richtungen.

Alte dezentrale Methoden: Freunde würden einfach ihre Kompasse auf ihre Nachbarn richten und hoffen, dass sie sich ausrichten.
DeMuons Trick: Sie verwenden eine Technik namens Gradient Tracking. Es ist wie ein Staffellauf, bei dem jeder Freund nicht nur seine aktuelle Richtung weitergibt, sondern auch eine „Korrekturnotiz“ darüber, wie sich seine Richtung seit dem letzten Schritt verändert hat. Dies hilft der gesamten Gruppe, sich auf die wahre globale Richtung zu einigen, selbst wenn sie weit voneinander entfernt sind.

2. Die „Matrix-Orthogonalisierung“ (Die Muon-Magie)
Wenn ein Freund entscheidet, sein Puzzleteil zu bewegen, drückt er es nicht einfach wahllos vorwärts. Er nutzt die Muon-Technik, die wie ein spezialisierter „Gestaltwandler“ funktioniert.

Anstatt das Teil einfach nur nach vorne zu drücken, prüft Muon die „Form“ des Teils (unter Verwendung der Spektralnorm) und rotiert es so, dass es perfekt ausgerichtet ist, bevor es bewegt wird.
Denken Sie an einen Tänzer, der nicht einfach nur vorwärts geht, sondern zuerst eine perfekte Pose einnimmt, um sicherzustellen, dass er im Gleichgewicht ist. Dies verhindert, dass die Puzzleteile „stecken bleiben“ oder ineffizient bewegt werden.

Die supergeladene Version: DeMuon-A

Die Autoren haben auch eine noch schnellere Version namens DeMuon-A entwickelt.

Die Analogie: Wenn DeMuon ein Läufer ist, der auf den Boden schaut und einen Schritt macht, dann ist DeMuon-A ein Läufer, der auf den Boden schaut, vorhersagt, wo er in zwei Schritten sein wird, und dann basierend auf dieser Vorhersage einen riesigen Sprung macht.
Wie es funktioniert: Es verwendet eine Technik namens Multi-Extrapolation. Es fragt: „Wenn ich mich so weiterbewege, wo werde ich sein?“ und nutzt diese Vorhersage, um einen größeren, klügeren Schritt zu machen. Dies erfordert, dass das Puzzle „glatt“ (vorhersehbar) ist, aber wenn es funktioniert, konvergiert es viel schneller zur Lösung.

Was haben sie bewiesen?

Die Autoren haben zwei Hauptdinge getan:

Mathematischer Beweis: Sie haben mithilfe fortgeschrittener Mathematik bewiesen, dass die Freunde, wenn sie diesen Regeln folgen, schließlich zur Lösung übereinstimmen (Konsens) und die bestmögliche Anordnung der Puzzleteile finden (Stationarität). Sie haben bewiesen, dass dies selbst in einem unordentlichen Netzwerk funktioniert (einige können mit vielen sprechen, andere mit wenigen).
Praxistest: Sie haben dies beim Training eines Sprachmodells (einer Art KI, die Texte schreibt) getestet.
- Sie haben 8 Computer (Knoten) eingerichtet, die auf verschiedene Arten verbunden waren (wie ein perfekter Kreis, ein Ring oder ein unordentliches Netz).
- Ergebnis: DeMuon und DeMuon-A lernten die Sprachaufgabe wesentlich besser und schneller als die Standardmethoden (wie DSGD). Sie erreichten einen niedrigeren „Fehlerwert“, was bedeutet, dass die KI intelligenter war.

Zusammenfassung

DeMuon ist eine neue Art für eine Gruppe von Computern, KI-Modelle gemeinsam zu trainieren, ohne einen zentralen Chef.
Es bewahrt die „intelligente Gestaltwandlung“ (Matrix-Optimierung) der ursprünglichen Muon-Methode.
Es fügt ein „Staffellauf“-System (Gradient Tracking) hinzu, damit sich alle auf die Richtung einigen.
DeMuon-A fügt einen „Vorhersagesprung“ hinzu, um es noch schneller zu machen.
Das Papier beweist mathematisch, dass es funktioniert, und zeigt durch Experimente, dass es bestehende Methoden in Geschwindigkeit und Genauigkeit übertrifft.

Das Papier behauptet nicht, dass dies für medizinische Zwecke oder spezifische zukünftige Anwendungen bestimmt ist; es dient rein der Verbesserung der mathematischen Effizienz beim Training von KI-Modellen in einem dezentralen Netzwerk.

Technisches Resümee: DeMuon – Ein dezentrales Muon zur Matrixoptimierung über Graphen

Problemstellung

Diese Arbeit adressiert das Problem der voll dezentralen Matrixoptimierung über Kommunikationsgraphen. Das Ziel ist die Lösung des Multi-Agenten-Optimierungsproblems:
$\min_{X \in \mathbb{R}^{m \times n}} f(X) := \frac{1}{N} \sum_{i=1}^N f_i(X)$
wobei $N$ Agenten über einen gerichteten Graphen $\mathcal{G}=(\mathcal{V}, \mathcal{E})$ verbunden sind und jeder Knoten $i$ eine lokale Zielfunktion $f_i$ besitzt. Im Gegensatz zu traditionellen dezentralen Optimierungsmethoden, die Matrixvariablen oft vektorisieren, konzentriert sich diese Arbeit darauf, die Matrixstruktur zu bewahren, insbesondere durch die Nutzung von Techniken aus dem zentralisierten Muon-Algorithmus (Jordan et al., 2024). Das Ziel ist es, globale Konvergenz und Konsens unter den Agenten ohne zentralen Server zu erreichen, während gleichzeitig die Heterogenität der lokalen Zielfunktionen gemildert wird.

Methodik

Die Arbeit schlägt zwei Algorithmen vor: DeMuon (eine dezentrale Variante von Muon) und DeMuon-A (eine beschleunigte Variante).

1. DeMuon: Dezentrales Muon

DeMuon integriert auf der Spektralnorm basierende Updates in ein Gradient-Tracking-Framework. Der Algorithmus führt drei Sequenzen: lokale Gradientenschätzer $\{M^{(k)}\}$ , globale Gradientenschätzer $\{V^{(k)}\}$ und lokale Iterationen $\{X^{(k)}\}$ .

Lokales Momentum: Jeder Knoten aktualisiert seinen lokalen Schätzer $M^{(k)}_i$ mittels eines exponentiell gewichteten gleitenden Durchschnitts stochastischer Gradienten.
Gradient Tracking: Knoten aktualisieren $V^{(k)}_i$ , indem sie Informationen von Nachbarn aggregieren, um den globalen Gradienten zu verfolgen, was trotz lokaler Heterogenität einen Konsens über die Gradientenrichtung sicherstellt.
Matrix-Orthogonalisierung: Der lokale Iterat $X^{(k+1)}_i$ wird aktualisiert, indem die Updates der Nachbarn aggregiert werden, wobei speziell die Matrix-Vorzeichenfunktion ( $\text{msgn}(\cdot)$ ) auf den verfolgten Gradienten angewendet wird. Dieser Schritt löst ein normbeschränktes lineares Subproblem unter Verwendung der Spektralnorm ( $\|\cdot\|$ ), was zentral für die Muon-Methodik ist.

Theoretische Garantien für DeMuon:
Unter Annahmen von beschränktem Rauschen und Gradienten-Lipschitz-Stetigkeit bezüglich der Spektral- und Nuklearnormen etablieren die Autoren:

Konsensfehler: Der Fehler $\|X^{(k)} - \mathbf{1} \otimes \bar{X}^{(k)}\|$ ist beschränkt durch $O(\frac{\sqrt{N}\lambda \eta}{1-\lambda})$ , wobei $\lambda$ die Mischrate des Graphen charakterisiert.
Stationaritätsfehler: Der durchschnittliche Stationaritätsfehler konvergiert mit einer Rate von $O(K^{-1/4})$ bei angemessen abgestimmter Schrittweite $\eta$ und Momentum $\theta$ . Dies entspricht der optimalen Konvergenzrate von zentralisiertem normalisiertem SGD mit Momentum.

2. DeMuon-A: Beschleunigtes dezentrales Muon

DeMuon-A erweitert die Multi-Extrapolations-Technik (He et al., 2026b) auf das dezentrale Matrix-Setting.

Mechanismus: Es führt pro Iteration $q = p-1$ lokale Extrapolationsschritte durch, um Punkte $Z^{(k,s)}_i$ zu generieren, und nutzt dabei die höhere Glattheit der Zielfunktion aus.
Annahmen: Es erfordert eine höhergradige Lipschitz-Bedingung der $p$ -ten Ableitung der Funktionen $f_i$ , induziert durch die Spektral- und Nuklearnormen.
Konvergenz: Unter diesen Bedingungen erreicht DeMuon-A eine verbesserte Stationaritätsfehlerrate von $O(K^{-p/(3p+1)})$ und eine Konsensfehlerrate von $O(K^{-(2p+1)/(3p+1)})$ .

Zentrale Beiträge

Algorithmischer Vorschlag: Die Autoren führen DeMuon ein, die erste voll dezentrale Matrixoptimierungsmethode, die Muons spektralnorm-basierte Orthogonalisierung und Gradient Tracking integriert.
Konvergenzanalyse: Sie liefern rigorose globale Konvergenzgarantien für sowohl DeMuon als auch DeMuon-A in Bezug auf Stationaritäts- und Konsensfehler. Bemerkenswerterweise stützt sich die Analyse auf Matrix-Martingal-Momenten-Ungleichungen, um eine dimensionsfreie Konvergenz (unabhängig von den Matrixdimensionen $m, n$ ) zu etablieren.
Beschleunigung: Die Arbeit schlägt DeMuon-A vor, welches Multi-Extrapolation integriert, um die höhergradige Glattheit zu nutzen und somit verbesserte Konvergenzraten gegenüber dem Basis-DeMuon-Algorithmus zu bieten.
Empirische Validierung: Numerische Experimente zum verteilten Deep Learning (Transformer-Training) und zur verteilten Matrixregression demonstrieren die praktischen Vorteile der vorgeschlagenen Methoden gegenüber bestehenden dezentralen Baselines.

Experimentelle Ergebnisse

Die Autoren evaluierten DeMuon gegen drei Baselines: DSGD (vanilla dezentrales SGD), DSGD-C (geclipptes SGD) und DSGD-N (normalisiertes SGD mit Gradient Tracking).

Setup: Die Experimente wurden auf einem GPT-Modell mit 7,4 Mio. Parametern durchgeführt, das auf dem Multi30k-Datensatz über drei Graph-Topologien trainiert wurde: Complete, Directed Exponential und Ring-Graphen.
Leistung: DeMuon übertraf alle Baselines konsistent in Bezug auf Trainingsverlust, Validierungsverlust und Perplexität über alle Topologien hinweg.
Konsens: Der Konsensfehler für DeMuon blieb wettbewerbsfähig oder niedriger als bei den Baselines, was auf eine effektive Übereinstimmung zwischen den Agenten hindeutet.
Details: In der Complete-Graph-Topologie erreichte DeMuon einen finalen Validierungsverlust von 0,240 (Perplexität 1,27), was signifikant niedriger ist als bei DSGD-N (0,302) und DSGD (7,031).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DeMuon erfolgreich die Lücke zwischen dem empirischen Erfolg von Muon im zentralisierten Deep Learning und den Anforderungen der dezentralen Optimierung schließt.

Dimensionsfreie Konvergenz: Im Gegensatz zu einigen neueren Arbeiten (z. B. Zhang et al., 2026a), die explizit von der Problemdimensionalität abhängen können, behaupten die Autoren, dass ihr Einsatz von Matrix-Martingal-Momenten-Ungleichungen Konvergenzgarantien ermöglicht, die nicht explizit von den Matrixdimensionen $(m, n)$ abhängen.
Praktischer Vorteil: Die Ergebnisse legen nahe, dass die spezifische Struktur von Muon (Spektralnorm-Beschränkungen und Matrix-Orthogonalisierung) klare praktische Vorteile in dezentralen Settings bietet, insbesondere beim Training großer Sprachmodelle, in denen Matrixstrukturen inhärent sind.
Theoretische Stringenz: Die Arbeit etabliert, dass die Vorteile von Momentum und Normalisierung in der Matrixoptimierung in einer voll dezentralen Umgebung ohne zentralen Koordinator erhalten bleiben können, sofern Gradient Tracking und angemessene normbasierte Updates genutzt werden.

Die Autoren positionieren diese Arbeit als einen Schritt, um fortgeschrittene Matrixoptimierungstechniken in die dezentrale Welt zu bringen, motiviert durch Anwendungen im verteilten Deep Learning und klassischen Problemen wie verteilter PCA und Matrix-Completion.