⚡ electrical engineering

DeMuon: A Decentralized Muon for Matrix Optimization over Graphs

यह शोधपत्र DeMuon को प्रस्तुत करता है, जो Muon ऑप्टिमाइज़र का पहला विकेंद्रीकृत विस्तार है जो संचार ग्राफ़ (communication graphs) पर मैट्रिक्स अनुकूलन के लिए न्यूटन-शुल्ज़ ऑर्थोगोनालाइज़ेशन (Newton-Schulz orthogonalization) को ग्रेडिएंट ट्रैकिंग के साथ जोड़ता है ताकि भारी-पूंछ वाले शोर (heavy-tailed noise) की स्थितियों में भी प्रमाणित अभिसरण (provable convergence) और उत्कृष्ट प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Chuan He, Shuyi Ren, Jingwei Mao, Erik G. Larsson

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chuan He, Shuyi Ren, Jingwei Mao, Erik G. Larsson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दोस्तों का एक समूह मिलकर एक विशाल, जटिल पहेली को सुलझाने की कोशिश कर रहा है। वे सभी अलग-अलग कमरों में हैं (विकेंद्रीकृत/decentralized), और वे केवल अपने निकटतम पड़ोसियों से ही बात कर सकते हैं। उनके पास कोई बॉस या केंद्रीय नेता नहीं है जो उन्हें बता सके कि क्या करना है; उन्हें यह पता लगाना होगा कि वे क्या देख रहे हैं और अपने पड़ोसियों द्वारा बताए गए आधार पर अपने स्वयं के टुकड़ों को कैसे समायोजित किया जाए।

यह शोध पत्र इस बारे में है कि ये दोस्त पहेली को तेज़ी से और अधिक सटीकता से कैसे हल कर सकते हैं। वे अपने इस नए तरीके को DeMuon कहते हैं।

यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:

समस्या: "मैट्रिक्स" पहेली

आर्टिफिशियल इंटेलिजेंस (विशेष रूप से डीप लर्निंग) की दुनिया में, "पहेली के टुकड़े" केवल एकल संख्याएँ नहीं हैं; वे संख्याओं के विशाल ग्रिड हैं जिन्हें मैट्रिक्स (matrices) कहा जाता है।

पुराना तरीका (वेक्टराइजिंग): पारंपरिक रूप से, कंप्यूटर इन बड़े ग्रिडों को संख्याओं की लंबी, सपाट सूचियों (वेक्टर्स) की तरह मानते थे। यह एक 3D जिग्सॉ पहेली को पहले 2D शीट में चपटा करने की तरह है। यह काम तो करता है, लेकिन यह अनाड़ी है और टुकड़ों के आकार को नज़रअंदाज़ करता है।
नया तरीका (Muon): Muon नामक एक हालिया पद्धति ने महसूस किया कि टुकड़ों को उनके प्राकृतिक 3D आकार (मैट्रिक्स) के रूप में मानना बहुत बेहतर है। यह एक विशेष "कुतुबनुमा" या दिशा-सूचक (जिसे स्पेक्ट्रल नॉर्म कहा जाता है) का उपयोग करता है ताकि यह तय किया जा सके कि टुकड़ों को किस दिशा में ले जाना है। यह तब अविश्वसनीय रूप से अच्छा काम करता है जब सभी एक ही कमरे में होते हैं (केंद्रीकृत)।

चुनौती: विकेंद्रीकृत (Decentralized) होना

लेखकों ने पूछा: क्या हम स्मार्ट "Muon" दिशा-सूचक का उपयोग तब कर सकते हैं जब हमारे दोस्त अलग-अलग कमरों में हों और वे किसी केंद्रीय बॉस से बात न कर सकें?
यह कठिन है क्योंकि:

अलग-अलग दृष्टिकोण: प्रत्येक मित्र पहेली का थोड़ा अलग हिस्सा देखता है (स्थानीय डेटा)।
कोई बॉस नहीं: वे बस एक नेता से यह नहीं पूछ सकते, "सबसे अच्छा कदम क्या है?" उन्हें यह अनुमान लगाना होगा कि "वैश्विक" (global) सबसे अच्छा कदम क्या है, अपने पड़ोसियों को सुनकर।
भ्रम: यदि वे सावधान नहीं रहे, तो वे सभी अलग-अलग दिशाओं में जाने लगेंगे, और पहेली कभी हल नहीं होगी।

समाधान: DeMuon

शोध पत्र DeMuon का प्रस्ताव देता है, जो एक ऐसी विधि है जो दोस्तों को बिना किसी बॉस के पहेली सुलझाने में मदद करती है। यह दो मुख्य तरकीबों को जोड़ता है:

1. "साझा दिशा-सूचक" (ग्रेडिएंट ट्रैकिंग)
कल्पना कीजिए कि प्रत्येक मित्र के पास एक दिशा-सूचक (compass) है। क्योंकि वे अलग-अलग कमरों में हैं, उनके दिशा-सूचक थोड़े अलग दिशाओं की ओर इशारा करते हैं।

पुराने विकेंद्रीकृत तरीके: मित्र केवल अपने दिशा-सूचकों को अपने पड़ोसियों की ओर मोड़ते थे और उम्मीद करते थे कि वे संरेखित हो जाएंगे।
DeMuon की तरकीब: वे ग्रेडिएंट ट्रैकिंग नामक तकनीक का उपयोग करते हैं। यह एक रिले रेस की तरह है जहाँ प्रत्येक मित्र न केवल अपनी वर्तमान दिशा बताता है, बल्कि एक "सुधार नोट" भी पास करता है कि पिछले कदम के बाद उनकी दिशा कैसे बदली। यह पूरे समूह को सही "वैश्विक" दिशा पर सहमत होने में मदद करता है, भले ही वे एक-दूसरे से दूर हों।

2. "मैट्रिक्स ऑर्थोगोनलाइजेशन" (Muon का जादू)
जब एक मित्र अपने पहेली के टुकड़े को हिलाने का निर्णय लेता है, तो वह उसे केवल बेतरतीब ढंग से नहीं धकेलता। वह Muon तकनीक का उपयोग करता है, जो एक विशेष "आकार बदलने वाले" (shape-shifter) की तरह है।

केवल टुकड़े को आगे धकेलने के बजाय, Muon टुकड़े के "आकार" (स्पेक्ट्रल नॉर्म का उपयोग करके) की जाँच करता है और उसे पूरी तरह से संरेखित होने के लिए घुमाता है।
इसे एक ऐसे डांसर के रूप में सोचें जो केवल आगे नहीं चलता, बल्कि पहले एक आदर्श मुद्रा बनाता है ताकि वह संतुलित रहे। यह पहेली के टुकड़ों को "फँसने" या अक्षम रूप से चलने से रोकता है।

सुपर-चार्ज्ड संस्करण: DeMuon-A

लेखकों ने इसका एक और भी तेज़ संस्करण बनाया जिसे DeMuon-A कहा जाता है।

उपमा: यदि DeMuon एक धावक है जो ज़मीन को देखता है और एक कदम लेता है, तो DeMuon-A एक ऐसा धावक है जो ज़मीन को देखता है, भविष्यवाणी करता है कि वह दो कदमों में कहाँ होगा, और फिर उस भविष्यवाणी के आधार पर एक बड़ी छलांग लगाता है।
यह कैसे काम करता है: यह मल्टी-एक्सट्रैपोलेशन (multi-extrapolation) नामक तकनीक का उपयोग करता है। यह पूछता है, "यदि मैं इसी तरह चलता रहा, तो मैं कहाँ होऊँगा?" और उस भविष्यवाणी का उपयोग एक बड़ा, स्मार्ट कदम उठाने के लिए करता है। इसके लिए पहेली का "सुचारू" (smooth/predictable) होना आवश्यक है, लेकिन जब यह काम करता है, तो यह समाधान की ओर बहुत तेज़ी से बढ़ता है।

उन्होंने क्या सिद्ध किया?

लेखकों ने मुख्य रूप से दो चीजें कीं:

गणितीय प्रमाण (Math Proof): उन्होंने उन्नत गणित का उपयोग करके यह सिद्ध किया कि यदि मित्र इन नियमों का पालन करते हैं, तो वे अंततः समाधान पर सहमत होंगे (सहमति/consensus) और पहेली के टुकड़ों की सर्वोत्तम व्यवस्था (स्टेशनैरिटी/stationarity) पाएंगे। उन्होंने सिद्ध किया कि यह काम करता है, भले ही मित्र एक अव्यवस्थित नेटवर्क में हों (कुछ कई लोगों से बात कर सकते हैं, कुछ बहुत कम से)।
वास्तविक दुनिया का परीक्षण: उन्होंने एक भाषा मॉडल (एक प्रकार का AI जो टेक्स्ट लिखता है) को प्रशिक्षित करने के लिए इसका परीक्षण किया।
- उन्होंने 8 कंप्यूटरों (नोड्स) को अलग-अलग तरीकों से जोड़ा (जैसे एक पूर्ण वृत्त, एक रिंग, या एक उलझा हुआ जाल)।
- परिणाम: DeMuon और DeMuon-A ने मानक तरीकों (जैसे DSGD) की तुलना में भाषा कार्य को बहुत बेहतर और तेज़ी से सीखा। वे कम "त्रुटि" (error) स्कोर तक पहुँचे, जिसका अर्थ है कि AI अधिक स्मार्ट था।

सारांश

DeMuon एक नया तरीका है जिससे कंप्यूटरों का एक समूह बिना किसी केंद्रीय बॉस के AI मॉडल को एक साथ प्रशिक्षित कर सकता है।
यह मूल Muon पद्धति के "स्मार्ट शेप-शिफ्टिंग" (मैट्रिक्स ऑप्टिमाइज़ेशन) को बनाए रखता है।
यह एक "रिले रेस" प्रणाली (ग्रेडिएंट ट्रैकिंग) जोड़ता है ताकि सभी एक ही दिशा में सहमत हों।
DeMuon-A इसे और भी तेज़ बनाने के लिए "भविष्यवाणी वाली छलांग" (prediction leap) जोड़ता है।
शोध पत्र गणितीय रूप से सिद्ध करता है कि यह काम करता है और प्रयोगों के माध्यम से दिखाता है कि यह गति और सटीकता में वर्तमान तरीकों को मात देता है।

यह शोध पत्र यह दावा नहीं करता है कि यह चिकित्सा उपयोग या विशिष्ट भविष्य के अनुप्रयोगों के लिए है; यह पूरी तरह से एक विकेंद्रीकृत नेटवर्क में AI मॉडल को प्रशिक्षित करने की गणितीय दक्षता में सुधार के बारे में है।

तकनीकी सारांश: DeMuon - ग्राफ पर मैट्रिक्स अनुकूलन के लिए एक विकेंद्रीकृत Muon

समस्या विवरण

यह शोध पत्र संचार ग्राफों पर पूर्णतः विकेंद्रीकृत मैट्रिक्स अनुकूलन की समस्या को संबोधित करता है। इसका उद्देश्य मल्टी-एजेंट अनुकूलन समस्या को हल करना है:
$\min_{X \in \mathbb{R}^{m \times n}} f(X) := \frac{1}{N} \sum_{i=1}^N f_i(X)$
जहाँ $N$ एजेंट एक निर्देशित ग्राफ $\mathcal{G}=(\mathcal{V}, \mathcal{E})$ के माध्यम से जुड़े हुए हैं, और प्रत्येक नोड $i$ एक स्थानीय उद्देश्य फलन (objective function) $f_i$ रखता है। पारंपरिक विकेंद्रीकृत अनुकूलन विधियों के विपरीत, जो अक्सर मैट्रिक्स वेरिएबल्स को वेक्टर के रूप में परिवर्तित (vectorize) करती हैं, यह कार्य मैट्रिक्स संरचना को संरक्षित करने पर ध्यान केंद्रित करता है, विशेष रूप से केंद्रीकृत Muon एल्गोरिदम (Jordan et al., 2024) की तकनीकों का लाभ उठाते हुए। लक्ष्य एक केंद्रीय सर्वर के बिना वैश्विक अभिसरण (global convergence) और आम सहमति (consensus) प्राप्त करना है, जबकि स्थानीय उद्देश्य फलनों में विषमता (heterogeneity) को कम करना है।

कार्यप्रणाली

यह शोध पत्र दो एल्गोरिदम प्रस्तावित करता है: DeMuon (Muon का एक विकेंद्रीकृत संस्करण) और DeMuon-A (एक त्वरित संस्करण)।

1. DeMuon: विकेंद्रीकृत Muon

DeMuon, स्पेक्ट्रल-नॉर्म-आधारित अपडेट को ग्रेडिएंट-ट्रैकिंग फ्रेमवर्क में एकीकृत करता है। एल्गोरिदम तीन अनुक्रमों (sequences) को बनाए रखता है: स्थानीय ग्रेडिएंट अनुमानक $\{M^{(k)}\}$ , वैश्विक ग्रेडिएंट अनुमानक $\{V^{(k)}\}$ , और स्थानीय इटरेट्स (iterates) $\{X^{(k)}\}$ ।

स्थानीय मोमेंटम (Local Momentum): प्रत्येक नोड अपने स्थानीय अनुमानक $M^{(k)}_i$ को स्टोकेस्टिक ग्रेडिएंट्स के एक्सपोनेंशियलली वेटेड मूविंग एवरेज का उपयोग करके अपडेट करता है।
ग्रेडिएंट ट्रैकिंग (Gradient Tracking): नोड्स $V^{(k)}_i$ को अपडेट करने के लिए पड़ोसियों से जानकारी एकत्र करते हैं ताकि वैश्विक ग्रेडिएंट को ट्रैक किया जा सके, जिससे स्थानीय विषमता के बावजूद ग्रेडिएंट दिशा पर आम सहमति सुनिश्चित हो सके।
मैट्रिक्स ऑर्थोगोनलाइजेशन (Matrix Orthogonalization): स्थानीय इटरेट $X^{(k+1)}_i$ को पड़ोसियों के अपडेट को एकत्रित करके अपडेट किया जाता है, विशेष रूप से ट्रैक किए गए ग्रेडिएंट पर एक मैट्रिक्स साइन फंक्शन ( $\text{msgn}(\cdot)$ ) लागू करके। यह चरण स्पेक्ट्रल नॉर्म ( $\|\cdot\|$ ) का उपयोग करके एक नॉर्म-कंस्ट्रेंड लीनियर सबप्रॉब्लम को हल करता है, जो Muon कार्यप्रणाली का केंद्र है।

DeMuon के लिए सैद्धांतिक गारंटी:
बाउंडेड नॉइज़ और स्पेक्ट्रल एवं न्यूक्लियर नॉर्म्स के सापेक्ष ग्रेडिएंट लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) की धारणाओं के तहत, लेखक स्थापित करते हैं:

कंसेंसस एरर (Consensus Error): त्रुटि $\|X^{(k)} - \mathbf{1} \otimes \bar{X}^{(k)}\|$ को $O(\frac{\sqrt{N}\lambda \eta}{1-\lambda})$ द्वारा सीमित किया गया है, जहाँ $\lambda$ ग्राफ की मिक्सिंग दर को दर्शाता है।
स्टेशनैरिटी एरर (Stationarity Error): औसत स्टेशनैरिटी एरर उचित रूप से ट्यून किए गए स्टेप साइज $\eta$ और मोमेंटम $\theta$ के साथ $O(K^{-1/4})$ की दर से अभिसरित होता है। यह सेंट्रलाइज्ड नॉर्मलाइज्ड SGD विद मोमेंटम की इष्टतम अभिसरण दर से मेल खाता है।

2. DeMuon-A: त्वरित विकेंद्रीकृत Muon

DeMuon-A मल्टी-एक्सट्रपलेशन तकनीक (He et al., 2026b) को विकेंद्रीकृत मैट्रिक्स सेटिंग में विस्तारित करता है।

तंत्र (Mechanism): यह प्रति इटरेशन $q = p-1$ स्थानीय एक्सट्रपलेशन स्टेप्स करता है ताकि $Z^{(k,s)}_i$ बिंदुओं को उत्पन्न किया जा सके, जो उद्देश्य फलन की उच्च-क्रम की स्मूथनेस (higher-order smoothness) का लाभ उठाता है।
धारणाएं (Assumptions): इसके लिए फलन $f_i$ के $p$ -वें डेरिवेटिव पर एक उच्च-क्रम की लिप्सचिट्ज़ स्थिति की आवश्यकता होती है, जो स्पेक्ट्रल और न्यूक्लियर नॉर्म्स द्वारा प्रेरित है।
अभिसरण (Convergence): इन स्थितियों के तहत, DeMuon-A एक बेहतर स्टेशनैरिटी एरर रेट $O(K^{-p/(3p+1)})$ और कंसेंसस एरर रेट $O(K^{-(2p+1)/(3p+1)})$ प्राप्त करता है।

मुख्य योगदान

एल्गोरिद्मिक प्रस्ताव: लेखक DeMuon पेश करते हैं, जो पहला पूर्णतः विकेंद्रीकृत मैट्रिक्स अनुकूलन विधि है जिसमें Muon के स्पेक्ट्रल-नॉर्म-आधारित ऑर्थोगोनलाइजेशन और ग्रेडिएंट ट्रैकिंग को शामिल किया गया है।
अभिसरण विश्लेषण: वे दोनों DeMuon और DeMuon-A के लिए स्टेशनैरिटी और कंसेंसस एरर के संदर्भ में कठोर वैश्विक अभिसरण गारंटी प्रदान करते हैं। विशेष रूप से, विश्लेषण आयाम-मुक्त (dimension-free) अभिसरण स्थापित करने के लिए मैट्रिक्स मार्टिंगेल मोमेंट असमानताओं (matrix martingale moment inequalities) पर निर्भर करता है।
त्वरण (Acceleration): वे DeMuon-A का प्रस्ताव करते हैं, जो उच्च-क्रम की स्मूथनेस का लाभ उठाने के लिए मल्टी-एक्सट्रपलेशन को एकीकृत करता है, जिससे मूल DeMuon एल्गोरिदम की तुलना में बेहतर अभिसरण दर मिलती है।
अनुभवजन्य सत्यापन (Empirical Validation): वितरित डीप लर्निंग (ट्रांसफॉर्मर ट्रेनिंग) और वितरित मैट्रिक्स रिग्रेशन पर संख्यात्मक प्रयोग प्रस्तावित विधियों के मौजूदा विकेंद्रीकृत बेसलाइन्स पर व्यावहारिक लाभ प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने तीन ग्राफ टोपोलॉजी: कम्प्लीट (Complete), डायरेक्टेड एक्सपोनेंशियल (Directed Exponential), और रिंग (Ring) ग्राफ्स पर मल्टी30k डेटासेट पर एक 7.4M-पैरामीटर GPT मॉडल को प्रशिक्षित करते हुए DeMuon का मूल्यांकन तीन बेसलाइन्स के विरुद्ध किया: DSGD (वैनिला विकेंद्रीकृत SGD), DSGD-C (क्लिप्ड SGD), और DSGD-N (ग्रेडिएंट ट्रैकिंग के साथ नॉर्मलाइज्ड SGD)।

सेटअप: प्रयोग तीन ग्राफ टोपोलॉजी में एक 7.4M-पैरामीटर GPT मॉडल पर किए गए।
प्रदर्शन: DeMuon ने सभी टोपोलॉजी में ट्रेनिंग लॉस, वैलिडेशन लॉस और पर्प्लेक्सिटी के मामले में सभी बेसलाइन्स को लगातार पछाड़ दिया।
कंसेंसस: DeMuon के लिए कंसेंसस एरर बेसलाइन्स के प्रतिस्पर्धी या उससे कम रहा, जो एजेंटों के बीच प्रभावी सहमति को दर्शाता है।
विशिष्ट विवरण: कम्प्लीट ग्राफ टोपोलॉजी में, DeMuon ने 0.240 का अंतिम वैलिडेशन लॉस (पर्प्लेक्सिटी 1.27) प्राप्त किया, जो DSGD-N (0.302) और DSGD (7.031) से काफी कम है।

महत्व और दावे

यह शोध पत्र दावा करता है कि DeMuon सफलतापूर्वक केंद्रीकृत डीप लर्निंग में Muon की अनुभवजन्य सफलता और विकेंद्रीकृत अनुकूलन की आवश्यकताओं के बीच के अंतर को पाटता है।

डायमेंशन-फ्री अभिसरण: हाल के कार्यों (जैसे, Zhang et al., 2026a) के विपरीत जो स्पष्ट रूप से समस्या की डाइमेंशनलिटी पर निर्भर हो सकते हैं, लेखक दावा करते हैं कि उनके मैट्रिक्स मार्टिंगेल मोमेंट असमानताओं के उपयोग से अभिसरण गारंटी प्राप्त होती है जो मैट्रिक्स आयामों $(m, n)$ पर स्पष्ट रूप से निर्भर नहीं करती है।
व्यावहारिक लाभ: परिणाम बताते हैं कि Muon की विशिष्ट संरचना (स्पेक्ट्रल नॉर्म बाधाएं और मैट्रिक्स ऑर्थोगोनलाइजेशन) विकेंद्रीकृत सेटिंग्स में स्पष्ट व्यावहारिक लाभ प्रदान करती है, विशेष रूप से बड़े भाषा मॉडल (LLMs) के प्रशिक्षण के लिए जहाँ मैट्रिक्स संरचनाएँ अंतर्निहित होती हैं।
सैद्धांतिक कठोरता: यह कार्य स्थापित करता है कि मैट्रिक्स अनुकूलन में मोमेंटम और नॉर्मलाइजेशन के लाभों को एक पूर्णतः विकेंद्रीकृत वातावरण में भी संरक्षित किया जा सकता है, बशर्ते कि ग्रेडिएंट ट्रैकिंग और उपयुक्त नॉर्म-आधारित अपडेट का उपयोग किया जाए।

लेखक इस कार्य को उन्नत मैट्रिक्स अनुकूलन तकनीकों को विकेंद्रीकृत दुनिया में लाने की दिशा में एक कदम के रूप में देखते हैं, जो वितरित डीप लर्निंग और वितरित PCA एवं मैट्रिक्स कॉम्प्लीशन जैसी शास्त्रीय समस्याओं से प्रेरित है।