⚡ electrical engineering

DeMuon: A Decentralized Muon for Matrix Optimization over Graphs

Dit artikel introduceert DeMuon, de eerste gedecentraliseerde uitbreiding van de Muon-optimizer die Newton-Schulz-orthogonalisatie combineert met gradiënttracking om bewezen convergentie en superieure prestaties te bereiken bij matrixoptimalisatie over communicatiegrafen, met name onder zware staartruiscondities.

Oorspronkelijke auteurs: Chuan He, Shuyi Ren, Jingwei Mao, Erik G. Larsson

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chuan He, Shuyi Ren, Jingwei Mao, Erik G. Larsson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep vrienden voor die samen proberen een enorme, complexe puzzel op te lossen. Ze bevinden zich allemaal in verschillende kamers (gedecentraliseerd) en kunnen alleen praten met hun directe buren. Ze hebben geen baas of centrale leider die hen vertelt wat ze moeten doen; ze moeten het zelf uitzoeken door te delen wat ze zien en hun eigen stukjes aan te passen op basis van wat hun buren hen vertellen.

Dit artikel introduceert een nieuwe manier waarop deze vrienden de puzzel sneller en nauwkeuriger kunnen oplossen. Ze noemen hun nieuwe methode DeMuon.

Hier is de uitleg over hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleem: De "Matrix"-puzzel

In de wereld van kunstmatige intelligentie (specifiek deep learning) zijn de "puzzelstukjes" niet zomaar losse getallen; het zijn gigantische rasters van getallen die matrices worden genoemd.

De Oude Manier (Vectoriseren): Traditioneel behandelden computers deze grote rasters als lange, platte lijsten van getallen (vectoren). Het is alsof je probeert een 3D-jigsawpuzzel eerst plat te drukken tot een 2D-vel. Het werkt wel, maar het is onhandig en mist de vorm van de stukjes.
De Nieuwe Manier (Muon): Een recente methode genaamd Muon realiseerde zich dat het behandelen van de stukjes in hun natuurlijke 3D-vorm (matrices) veel beter is. Het gebruikt een speciale "kompas" (de spectrale norm) om te bepalen in welke richting de stukjes moeten bewegen. Dit werkt uitstekend wanneer iedereen in dezelfde kamer is (gecentraliseerd).

De Uitdaging: Gedecentraliseerd Gaan

De auteurs vroegen zich af: Kunnen we deze slimme "Muon"-kompas gebruiken wanneer onze vrienden in verschillende kamers zijn en niet met een centrale baas kunnen praten?
Dit is moeilijk omdat:

Verschillende Perspectieven: Elke vriend ziet een iets ander deel van de puzzel (lokale data).
Geen Baas: Ze kunnen niet gewoon aan een leider vragen: "Wat is de beste zet?" Ze moeten de "globale" beste zet raden door naar hun buren te luisteren.
Verwarring: Als ze niet voorzichtig zijn, kunnen ze allemaal in verschillende richtingen beginnen te bewegen, en zal de puzzel nooit worden opgelost.

De Oplossing: DeMuon

De auteurs stellen DeMuon voor, een methode waarmee de vrienden de puzzel samen kunnen oplossen zonder een baas. Het combineert twee belangrijke trucs:

1. De "Gedeelde Kompas" (Gradient Tracking)
Stel je voor dat elke vriend een kompas heeft. Omdat ze in verschillende kamers zijn, wijzen hun kompassen in iets verschillende richtingen.

Oude Gedecentraliseerde Methoden: Vrienden zouden hun kompassen gewoon op hun buren richten en hopen dat ze uitlijnen.
De Muon-truc: Ze gebruiken een techniek genaamd gradient tracking. Het is als een estafette waarbij elke vriend niet alleen zijn huidige richting doorgeeft, maar ook een "correctienotitie" doorgeeft over hoe zijn richting sinds de vorige stap is veranderd. Dit helpt de hele groep om het eens te worden over de ware globale richting, zelfs als ze ver uit elkaar staan.

2. De "Matrix Orthogonalisatie" (De Muon-magie)
Wanneer een vriend besluit zijn puzzelstukje te bewegen, duwt hij het niet zomaar willekeurig naar voren. Hij gebruikt de Muon-techniek, die als een gespecialiseerde "vormveranderaar" werkt.

In plaats van het stukje alleen maar naar voren te duwen, controleert Muon de "vorm" van het stukje (met behulp van de spectrale norm) en roteert het om het perfect uit te lijnen voordat het beweegt.
Denk aan een danser die niet alleen naar voren loopt, maar eerst een perfecte pose aanneemt om ervoor te zorgen dat hij in balans is. Dit voorkomt dat de puzzelstukjes "vast komen te zitten" of inefficiënt bewegen.

De Super-versie: DeMuon-A

De auteurs hebben ook een nog snellere versie gemaakt, genaamd DeMuon-A.

De Analogie: Als DeMuon een hardloper is die naar de grond kijkt en een stap zet, dan is DeMuon-A een hardloper die naar de grond kijkt, voorspelt waar hij over twee stappen zal zijn, en dan een grote sprong maakt op basis van die voorspelling.
Hoe het werkt: Het gebruikt een techniek genaamd multi-extrapolatie. Het vraat: "Als ik deze kant op blijf bewegen, waar zal ik dan zijn?" en gebruikt die voorspelling om een grotere, slimmere stap te zetten. Dit vereist dat de puzzel "glad" (voorspelbaar) is, maar wanneer het werkt, convergeert het veel sneller naar de oplossing.

Wat Hebben Ze Bewezen?

De auteurs hebben twee belangrijke dingen gedaan:

Wiskundig Bewijs: Ze gebruikten geavanceerde wiskunde om te bewijzen dat als de vrienden deze regels volgen, ze uiteindelijk eens zullen worden over de oplossing (consensus) en de best mogelijke arrangement van de puzzelstukjes zullen vinden (stationariteit). Ze bewezen dat dit werkt, zelfs als de vrienden in een rommelig netwerk zitten (sommigen kunnen met velen praten, anderen met weinig).
Real-World Test: Ze testten dit bij het trainen van een taalmodel (een type AI die tekst schrijft).
- Ze stelden 8 computers (nodes) op die op verschillende manieren verbonden waren (zoals een perfecte cirkel, een ring, of een rommelig web).
- Resultaat: DeMuon en DeMuon-A leerden de taaltaak veel beter en sneller dan de standaard methoden (zoals DSGD). Ze bereikten een lagere "foutscore", wat betekent dat de AI slimmer werd.

Samenvatting

DeMuon is een nieuwe manier voor een groep computers om AI-modellen samen te trainen zonder een centrale baas.
Het behoudt de "slimme vormverandering" (matrix optimalisatie) van de oorspronkelijke Muon-methode.
Het voegt een "estafette-systeem" toe (gradient tracking) zodat iedereen het eens wordt over de richting.
DeMuon-A voegt een "voorspellingssprong" toe om het nog sneller te maken.
Het artikel bewijst wiskundig dat het werkt en laat door experimenten zien dat het huidige methoden verslaat in snelheid en nauwkeurigheid.

Het artikel beweert niet dat dit bedoeld is voor medisch gebruik of specifieke toekomstige toepassingen; het gaat strikt over het verbeteren van de wiskundige efficiëntie van het trainen van AI-modellen in een gedecentraliseerd netwerk.

Technische Samenvatting: DeMuon - Een Gedecentraliseerde Muon voor Matrixoptimalisatie over Grafen

Probleemstelling

Dit artikel behandelt het probleem van volledig gedecentraliseerde matrixoptimalisatie over communicatiegrafen. Het doel is om het multi-agent optimalisatieprobleem op te lossen:
$\min_{X \in \mathbb{R}^{m \times n}} f(X) := \frac{1}{N} \sum_{i=1}^N f_i(X)$
waarbij $N$ agenten verbonden zijn via een gerichte graaf $\mathcal{G}=(\mathcal{V}, \mathcal{E})$ , en elke knoop $i$ een lokale doelfunctie $f_i$ bezit. In tegen tegenstelling tot traditionele gedecentraliseerde optimalisatiemethoden die vaak matrixvariabelen vectoriseren, richt dit werk zich op het behoud van de matrixstructuur, specifiek door gebruik te maken van technieken uit het gecentraliseerde Muon-algoritme (Jordan et al., 2024). Het doel is om wereldwijde convergentie en consensus tussen agenten te bereiken zonder centrale server, terwijl heterogeniteit in lokale doelfuncties wordt gemitigeerd.

Methodologie

Het artikel stelt twee algoritmen voor: DeMuon (een gedecentraliseerde variant van Muon) en DeMuon-A (een versnelde variant).

1. DeMuon: Gedecentraliseerde Muon

DeMuon integreert op de spectrale norm gebaseerde updates in een gradient-tracking framework. Het algoritme onderhoudt drie sequenties: lokale gradiëntschatters $\{M^{(k)}\}$ , globale gradiëntschatters $\{V^{(k)}\}$ en lokale iteraten $\{X^{(k)}\}$ .

Lokale Momentum: Elke knoop werkt zijn lokale schatter $M^{(k)}_i$ bij met behulp van een exponentieel gewogen voortschrijdend gemiddelde van stochastische gradiënten.
Gradient Tracking: Knopen werken $V^{(k)}_i$ bij door informatie van buren te aggregeren om de globale gradiënt te volgen, wat zorgt voor consensus over de gradiëntrichting ondanks lokale heterogeniteit.
Matrix Orthogonalisatie: De lokale iteratie $X^{(k+1)}_i$ wordt bijgewerkt door de updates van buren te aggregeren, waarbij specifiek een matrix-tekenfunctie ( $\text{msgn}(\cdot)$ ) wordt toegepast op de gevolgde gradiënt. Deze stap lost een norm-geconstreerd lineair subprobleem op met behulp van de spectrale norm ( $\|\cdot\|$ ), wat centraal staat in de Muon-methodologie.

Theoretische Garanties voor DeMuon:
Onder aannames van begrensde ruis en gradiënt-Lipschitz continuïteit met betrekking tot de spectrale en nucleaire normen, stellen de auteurs vast:

Consensusfout: De fout $\|X^{(k)} - \mathbf{1} \otimes \bar{X}^{(k)}\|$ is begrensd door $O(\frac{\sqrt{N}\lambda \eta}{1-\lambda})$ , waarbij $\lambda$ de mengsnelheid van de graaf karakteriseert.
Stationariteitsfout: De gemiddelde stationariteitsfout convergeert met een snelheid van $O(K^{-1/4})$ met een goed afgestemde stapgrootte $\eta$ en momentum $\theta$ . Dit komt overeen met de optimale convergentiesnelheid van gecentraliseerde genormaliseerde SGD met momentum.

2. DeMuon-A: Versnelde Gedecentraliseerde Muon

DeMuon-A breidt de multi-extrapolatietechniek (He et al., 2026b) uit naar de gedecentraliseerde matrixsetting.

Mechanisme: Het voert $q = p-1$ lokale extrapolatiestappen uit per iteratie om punten $Z^{(k,s)}_i$ te genereren, waarbij gebruik wordt gemaakt van de hogere-orde gladheid van de doelfunctie.
Aannames: Het vereist een hogere-orde Lipschitz-conditie op de $p$ -de afgeleide van de functies $f_i$ , geïnduceerd door de spectrale en nucleaire normen.
Convergentie: Onder deze condities bereikt DeMuon-A een verbeterde stationariteitsfoutrate van $O(K^{-p/(3p+1)})$ en een consensusfoutrate van $O(K^{-(2p+1)/(3p+1)})$ .

Belangrijkste Bijdragen

Algoritmisch Voorstel: De auteurs introduceren DeMuon, de eerste volledig gedecentraliseerde matrixoptimalisatiemethode die de spectrale norm-gebaseerde orthogonalisatie en gradient tracking van Muon incorporeert.
Convergentieanalyse: Ze bieden rigoureuze garanties voor wereldwijde convergentie voor zowel DeMuon als DeMuon-A in termen van stationariteits- en consensusfouten. Opvallend genoeg berust de analyse op matrix-martingaal moment-ongelijkheden om dimensievrije convergentie te vestigen (onafhankelijk van de matrixdimensies $m, n$ ).
Acceleratie: Het artikel stelt DeMuon-A voor, dat multi-extrapolatie integreert om gebruik te maken van hogere-orde gladheid, wat verbeterde convergentiesnelheden biedt ten opzichte van het basis DeMuon-algoritme.
Empirische Validatie: Numerieke experimenten op gedistribueerde deep learning (Transformer-training) en gedistribueerde matrixregressie demonstreren de praktische voordelen van de voorgestelde methoden ten opzichte van bestaande gedecentraliseerde baselines.

Experimentele Resultaten

De auteurs hebben DeMuon geëvalueerd tegen drie baselines: DSGD (vanilla gedecentraliseerde SGD), DSGD-C (clipped SGD) en DSGD-N (genormaliseerde SGD met gradient tracking).

Setup: Experimenten werden uitgevoerd op een GPT-model met 7,4M parameters getraind op de Multi30k dataset over drie grafictopologieën: Complete, Directed Exponential en Ring grafen.
Prestaties: DeMuon presteerde consistent beter dan alle baselines wat betreft trainingsverlies, validatieverlies en perplexiteit over alle topologieën heen.
Consensus: De consensusfout voor DeMuon bleef competitief met of lager dan de baselines, wat wijst op effectieve overeenstemming tussen agenten.
Details: In de Complete Graph topologie bereikte DeMuon een definitief validatieverlies van 0,240 (perplexity 1,27), wat aanzienlijk lager is dan DSGD-N (0,302) en DSGD (7,031).

Betekenis en Claims

Het artikel claimt dat DeMuon erin slaagt de kloof te overbruggen tussen het empirische succes van Muon in gecentraliseerde deep learning en de vereisten van gedecentraliseerde optimalisatie.

Dimensievrije Convergentie: In tegenstelling tot sommige recente werken (bijv. Zhang et al., 2026a) die expliciet afhankelijk kunnen zijn van de probleemdimensionaliteit, claimen de auteurs dat hun gebruik van matrix-martingaal moment-ongelijkheden convergentiegaranties mogelijk maakt die niet expliciet afhankelijk zijn van de matrixdimensies $(m, n)$ .
Praktisch Voordeel: De resultaten suggereren dat de specifieke structuur van Muon (spectrale norm-beperkingen en matrix-orthogonalisatie) duidelijke praktische voordelen biedt in gedecentraliseerde omgevingen, met name bij het trainen van grote taalmodellen waar matrixstructuren inherent zijn.
Theoretische Rigor: Het werk stelt vast dat de voordelen van momentum en normalisatie in matrixoptimalisatie behouden kunnen blijven in een volledig gedecentraliseerde omgeving zonder centrale coördinator, mits gradient tracking en passende norm-gebaseerde updates worden toegepast.

De auteurs positioneren dit werk als een stap naar het brengen van geavanceerde matrixoptimalisatietechnieken naar de gedecentraliseerde wereld, gemotiveerd door toepassingen in gedistribueerde deep learning en klassieke problemen zoals gedistribueerde PCA en matrixcompletering.