🤖 machine learning

Muon as a Residual Connection

यह शोध पत्र म्यूऑन (Muon) ऑप्टिमाइज़र की एक यांत्रिक व्याख्या प्रस्तावित करता है जो इसे एक अंतर्निहित अवशिष्ट जुड़ाव (implicit residual connection) के रूप में देखता है जो डाउनस्ट्रीम परतों के लिए प्रतिनिधित्व संरक्षण (representation preservation) में सुधार करने हेतु तात्कालिक ग्रेडिएंट निष्ठा (gradient fidelity) का त्याग करता है, जिससे इसकी प्रभावकारिता के लिए एक वैचारिक स्पष्टीकरण और स्थानीय अवतरण (local descent) एवं डाउनस्ट्रीम उपयोगिता के बीच संतुलन बनाने के लिए एक नया डिज़ाइन परिप्रेक्ष्य प्राप्त होता है।

मूल लेखक: Hao Huang

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hao Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: Muon एक "छिपा हुआ शॉर्टकट" है

कल्पना कीजिए कि आप काम करने वालों की एक टीम (एक न्यूरल नेटवर्क) को एक जटिल पहेली सुलझाने के लिए सिखाने की कोशिश कर रहे हैं। आमतौर पर, आप प्रत्येक कार्यकर्ता को उनकी तत्काल गलती के आधार पर बताते हैं कि उन्हें क्या करना है। मानक ऑप्टिमाइज़र (optimizers) इसी तरह काम करते हैं: वे वर्तमान त्रुटि को यथाशीघ्र ठीक करने पर ध्यान केंद्रित करते हैं।

यह शोध पत्र Muon नामक एक नया ऑप्टिमाइज़र पेश करता है। हालांकि Muon एक सरल गणितीय ट्रिक जैसा दिखता है (यह कार्यकर्ताओं के अपडेट को "ऑर्थोगोनल" या उनके वर्तमान पथ के लंबवत बनाता है), लेखक इसे समझने का एक नया तरीका प्रस्तावित करते हैं कि यह इतना अच्छा क्यों काम करता है।

उनका तर्क है कि Muon एक छिपे हुए "रेसिडुअल कनेक्शन" (Residual Connection) की तरह कार्य करता है।

डीप लर्निंग में, "रेसिडुअल कनेक्शन" एक कन्वेयर बेल्ट की तरह होता है जो रसोई की शुरुआत से लेकर अंत तक कच्चे माल को बिना काटे या मिलाए सीधे ले जाता है। यह अंतिम शेफ (अंतिम लेयर) को मूल सामग्री देखने और यह तय करने में मदद करता है कि उसका उपयोग कैसे किया जाए, बजाय इसके कि वह केवल कटे-फँटे संस्करण पर ही निर्भर रहे।

लेखक दावा करते हैं कि Muon इसे अंतर्निहित रूप से (implicitly) करता है। यह नेटवर्क में कोई भौतिक कन्वेयर बेल्ट नहीं जोड़ता है। इसके बजाय, यह वजन (weights) को अपडेट करने के तरीके को बदलकर, सूचना के "आकार" को स्वाभाविक रूप से सुरक्षित रखता है ताकि बाद की लेयर्स अभी भी इसका उपयोग आसानी से कर सकें, भले ही वर्तमान लेयर ने अपनी गलती को पूरी तरह से ठीक न किया हो।

ट्रेड-ऑफ (Trade-Off): गति बनाम उपयोगिता

Muon को समझने के लिए, आपको दो लक्ष्यों के बीच के संतुलन (trade-off) को देखना होगा:

ग्रेडिएंट फिडेलिटी (Gradient Fidelity - "अभी" का लक्ष्य): वर्तमान लेयर की त्रुटि को यथाशीघ्र ठीक करना।
रिप्रेजेंटेशन प्रिजर्वेशन (Representation Preservation - "बाद" का लक्ष्य): यह सुनिश्चित करना कि अगली लेयर को भेजी जाने वाली जानकारी अभी भी समझने और उपयोग करने में आसान हो।

मूर्तिकार का उदाहरण:
कल्पना कीजिए कि एक मूर्तिकार (ऑप्टिमाइज़र) एक मूर्ति तराशने की कोशिश कर रहा है।

मानक ऑप्टिमाइज़र (SGD): मूर्तिकार पत्थर के ठीक उसी हिस्से को काटता है जहाँ त्रुटि है। वे वर्तमान भाग के आकार को बहुत जल्दी सटीक बना लेते हैं। हालाँकि, वे अनजाने में पत्थर को इस तरह तराश सकते हैं जिससे अगले मूर्तिकार के लिए अगला हिस्सा जोड़ना कठिन हो जाए।
Muon: मूर्तिकार एक थोड़ा अलग रास्ता चुनता है। वे पहले मूर्तिकार की तुलना में वर्तमान भाग को उतना जल्दी सटीक नहीं बना पाते। हालाँकि, वे पत्थर को इस तरह तराशते हैं कि अगले मूर्तिकार के पकड़ने के लिए एक चिकनी, सपाट सतह बच जाए।

शोध पत्र का दावा:
Muon वर्तमान लेयर की गलती को ठीक करने की गति (ग्रेडिएंट फिडेलिटी) का थोड़ा त्याग करने के लिए तैयार है, यदि इसका अर्थ यह है कि परिणाम अगली लेयर के लिए काम करने में बहुत आसान होगा (रिप्रेजेंटेशन प्रिजर्वेशन में सुधार)।

प्रयोग: दो-चरणों वाला परीक्षण

लेखकों ने इस विचार का परीक्षण गणित की दो परतों (जैसे एक लाइन में दो कार्यकर्ता) के साथ एक सरल, नियंत्रित प्रयोग का उपयोग करके किया।

चरण 1: स्थानीय परीक्षण (Local Test)
उन्होंने पहले कार्यकर्ता को एक विशिष्ट पैटर्न सीखने के लिए कहा।

परिणाम: मानक ऑप्टिमाइज़र (SGD) ने Muon की तुलना में पैटर्न को तेज़ी से और अधिक सटीकता से सीखा। Muon यहाँ "धीमा" था।
निष्कर्ष: Muon ने वास्तव में स्थानीय कार्य पर तत्काल गति का त्याग किया।

चरण 2: डाउनस्ट्रीम परीक्षण (Downstream Test)
उन्होंने पहले कार्यकर्ता के आउटपुट को फ्रीज कर दिया और दूसरे कार्यकर्ता को यह सीखने के लिए कहा कि उस आउटपुट को अंतिम लक्ष्य में कैसे बदला जाए।

परिणाम: भले ही पहला कार्यकर्ता (जिसे Muon द्वारा प्रशिक्षित किया गया था) अपने विशिष्ट कार्य में थोड़ा कम सटीक था, लेकिन दूसरे कार्यकर्ता ने अंतिम कार्य बहुत तेज़ी से सीखा, जबकि पहले कार्यकर्ता को SGD द्वारा प्रशिक्षित किया गया था।
निष्कर्ष: Muon-प्रशिक्षित कार्यकर्ता का "अपूर्ण" आउटपुट वास्तव में अगले व्यक्ति के लिए उपयोग करने में आसान था।

"टाउ" (Tau) शेड्यूल (वास्तविक दुनिया का परीक्षण)
उन्होंने यह भी परीक्षण किया कि क्या होता है जब दोनों कार्यकर्ता एक साथ सीखते हैं (एंड-टू-एंड ट्रेनिंग)।

परिणाम: भले ही Muon पहले कार्यकर्ता की गलतियों को सुधारने में धीमा था, लेकिन पूरा सिस्टम कुल मिलाकर पहेली को तेज़ी से पूरा कर गया।
क्यों? Muon द्वारा बनाए गए "छिपे हुए शॉर्टकट" ने दूसरे कार्यकर्ता को पहले कार्यकर्ता की मदद करने की अनुमति दी। इसने एक फीडबैक लूप बनाया जहाँ एक बेहतर-कंडीशन्ड डाउनस्ट्रीम लेयर ने अपस्ट्रीम लेयर के काम को आसान बना दिया।

"क्यों": डेटा का आकार

Muon डेटा को उपयोग करने में आसान क्यों बनाता है?

शोध पत्र बताता है कि Muon डेटा के "स्पेक्ट्रम" (महत्व के वितरण) को सपाट (flatter) बनाने की ओर प्रवृत्त होता है।

एक सपाट मेज़ बनाम एक पथरीली पहाड़ी का उदाहरण:

मानक ऑप्टिमाइज़र: एक ऐसा प्रतिनिधित्व बना सकता है जो एक खड़ी, पथरीली पहाड़ी जैसा दिखता है। यह शीर्ष पर बहुत सटीक है, लेकिन यदि आप एक गेंद (डेटा) को नीचे लुढ़काने की कोशिश करते हैं, तो वह फंस जाती है या अप्रत्याशित रूप से उछलती है।
Muon: एक ऐसा प्रतिनिधित्व बनाता है जो एक सपाट, चिकनी मेज़ जैसा दिखता है। यह शायद सबसे "खड़ी" राह न हो, लेकिन एक गेंद इसके ऊपर से सुचारू रूप से और अनुमानित रूप से लुढ़क सकती है।

चूंकि "मेज़" अधिक सपाट है, इसलिए अगली लेयर (अगला कार्यकर्ता) को डेटा को प्रोसेस करने के लिए संघर्ष नहीं करना पड़ता। वे बस गेंद को सीधे फिनिश लाइन तक पहुँचा सकते हैं।

सारांश

शोध पत्र निष्कर्ष निकालता है कि Muon केवल एक गणितीय जिज्ञासा नहीं है; यह एक तंत्र है जो एक अंतर्निहित रेसिडुअल कनेक्शन की तरह कार्य करता है।

यह नेटवर्क में कोई नया तार नहीं जोड़ता है।
यह उस पथ को बदल देता है जिससे नेटवर्क सीखता है।
परिणाम: यह वर्तमान समस्या को ठीक करने में थोड़ी देरी स्वीकार करता है ताकि यह सुनिश्चित हो सके कि समाधान सिस्टम के अगले हिस्से के लिए "उपयोगकर्ता के अनुकूल" (user-friendly) हो।

संक्षेप में: Muon नेटवर्क को केवल एक तेज़ व्यक्तिगत खिलाड़ी बनने के बजाय एक अच्छा टीममेट बनने की शिक्षा देता है। यह अगली पंक्ति के व्यक्ति के काम को आसान बनाने के लिए तत्काल गति के एक छोटे से हिस्से का त्याग करता है, जिससे अंततः पूरी टीम दौड़ को तेज़ी से पूरा कर पाती है।

तकनीकी सारांश: एक रेसिडुअल कनेक्शन के रूप में Muon

समस्या विवरण

Muon एक अत्यधिक प्रभावी ऑप्टिमाइज़र के रूप में उभरा है, जो CNN से लेकर LLM तक की आर्किटेक्चर रेंज में अत्याधुनिक प्रदर्शन प्राप्त करता है। इसके बावजूद, Muon की प्रभावकारिता के लिए मौजूदा स्पष्टीकरण विविध और परिष्कृत गणितीय ढाँचों पर निर्भर करते हैं, जिनमें स्पेक्ट्रल-नॉर्म स्टीपेस्ट डिसेंट (spectral-norm steepest descent), नॉन-यूक्लिडियन ट्रस्ट-रीजन ऑप्टिमाइज़ेशन (non-Euclidean trust-region optimization), स्पेक्ट्रल-नॉर्म बॉल्स पर फ्रैंक-वोल्फ विधियाँ (Frank–Wolfe methods), लॉन्ग-टेल लर्निंग (long-tail learning), और कर्वेचर विश्लेषण (curvature analysis) शामिल हैं।

यह शोध पत्र एक अधिक सहज, यांत्रिक (mechanistic) स्पष्टीकरण की आवश्यकता को संबोधित करता है जिसके लिए व्यापक गणितीय प्रशिक्षण की आवश्यकता न हो। विशेष रूप से, यह इस बात की व्याख्या करने का प्रयास करता है कि Muon क्यों अच्छा काम करता है, इसे केवल तत्काल ग्रेडिएंट फिडेलिटी (gradient fidelity) या स्थानीय हानि (local loss) में कमी के बजाय, डाउनस्ट्रीम परतों के लिए 'रिप्रेजेंटेशन उपयोगिता' (representation usability) के संदर्भ में पुनर्गठित करके।

कार्यप्रणाली

लेखक एक नया दृष्टिकोण प्रस्तावित करते हैं: Muon एक अंतर्निहित रेसिडुअल कनेक्शन (implicit residual connection) के रूप में कार्य करता है।

सैद्धांतिक ढांचा

ऑर्थोगोनलाइजेशन (Orthogonalization) का रेसिडुअलिटी के रूप में: मानक रेसिडुअल नेटवर्क में, अपडेट स्पष्ट होता है: $x_{l+1} = x_l + \text{Block}(x_l)$ , या वेट स्पेस में, $W \leftarrow W + I$ (या एक ऑर्थोगोनल मैट्रिक्स $R$ )। Muon मानक अपडेट $W \leftarrow W + \Delta W$ को एक ऑर्थोगोनलाइज्ड अपडेट $W \leftarrow W + \text{Orth}(\Delta W)$ से बदल देता है।
ट्रेड-ऑफ (Trade-off): शोध पत्र यह तर्क देता है कि ग्रेडिएंट फिडेलिटी (तत्काल हानि में कमी के लिए कच्चे ग्रेडिएंट के करीब रहना) और रिप्रेजेंटेशन प्रिजर्वेशन (एक ऐसा प्रतिनिधित्व संरचना बनाए रखना जिसे डाउनस्ट्रीम परतों द्वारा उपयोग करना आसान हो) के बीच एक ट्रेड-ऑफ है। अपडेट को ऑर्थोगोनलाइज करने से कुछ तत्काल ग्रेडिएंट फिडेलिटी का त्याग होता है, लेकिन यह अप्रत्यक्ष रूप से एक रेसिडुअल-जैसे ट्रांसफॉर्मेशन को इंजेक्ट करता है जो अपस्ट्रीम रिप्रेजेंटेशन की उपयोगिता को बनाए रखता है।

प्रयोगात्मक सत्यापन

इस परिकल्पना का परीक्षण करने के लिए, लेखकों ने जटिलताओं को अलग करने के लिए लीनियर मॉडल्स का उपयोग करते हुए नियंत्रित प्रयोग किए।

दो-चरण वाला लीनियर प्रयोग:
- चरण 1 (लोकल ऑप्टिमाइज़ेशन): एक दो-परत वाले लीनियर नेटवर्क ( $\hat{y} = W_2 W_1 x$ $\overset{y}{^} = W_{2} W_{1} x$ ) को एक लक्षित ट्रांसफॉर्मेशन $A$ $A$ से मेल खाने के लिए प्रशिक्षित किया गया। $W_2$ $W_{2}$ को फ्रीज कर दिया गया, और $W_1$ $W_{1}$ को एक स्थानीय लक्ष्य $W_1^*$ $W_{1}^{*}$ की ओर अनुकूलित किया गया।
  - परिकल्पना: SGD यहाँ Muon से बेहतर प्रदर्शन करेगा क्योंकि SGD स्थानीय उद्देश्य के लिए सबसे तीव्र अवरोहण (steepest descent) दिशा का पालन करता है, जबकि Muon अपडेट को ऑर्थोगोनलाइज करता है।
- चरण 2 (डाउनस्ट्रीम अडैप्टेशन): सीखे गए $W_1$ $W_{1}$ को फ्रीज कर दिया गया, और $W_2$ $W_{2}$ को $\|W_2 W_1 - A\|_F$ $∥ W_{2} W_{1} - A ∥_{F}$ को कम करने के लिए SGD का उपयोग करके पुन: आरंभ (reinitialize) और अनुकूलित किया गया।
  - परिकल्पना: यदि Muon का "इम्प्लिसिट रेसिडुअल" प्रभाव काम करता है, तो Muon द्वारा सीखा गया $W_1$ , SGD की तुलना में $W_2$ के लिए अनुकूलित होने में आसान होना चाहिए, भले ही वह चरण 1 में स्थानीय लक्ष्य से दूर हो।
$\tau$ -शेड्यूल प्रयोग:
- एंड-टू-एंड ट्रेनिंग का अनुकरण करने के लिए, लेखकों ने एक शेड्यूल पेश किया जहाँ परतों को $\tau$ लंबाई के वैकल्पिक खंडों (जैसे, $W_1$ पर $\tau$ स्टेप्स, फिर $W_2$ पर $\tau$ स्टेप्स) में अपडेट किया जाता है।
- यह सेटअप यह देखने की अनुमति देता है कि कैसे Muon का "स्थानीय लागत" (लोकल कॉस्ट) $W_1$ अपडेट के दौरान, "डाउनस्ट्रीम लाभ" (डाउनस्ट्रीम बेनिफिट) के साथ इंटरैक्ट करता है।

मुख्य परिणाम

दो-चरण वाला लीनियर प्रयोग

चरण 1: अनुमान के अनुसार, SGD ने 600 स्टेप्स के बाद स्थानीय पुनर्निर्माण त्रुटि ($0.0312$) प्राप्त की, जो Muon ($0.0447$) की तुलना में कम थी, जो यह पुष्टि करता है कि Muon स्थानीय ग्रेडिएंट फिडेलिटी का त्याग करता है।
चरण 2: फ्रीज किए गए $W_1$ के साथ $W_2$ को अनुकूलित करते समय, Muon के साथ प्रशिक्षित मॉडल को लक्ष्य त्रुटि सीमा तक पहुँचने के लिए SGD (13,436 स्टेप्स) की तुलना में कम स्टेप्स (13,321) की आवश्यकता पड़ी।
व्याख्या: Muon द्वारा सीखा गया प्रतिनिधित्व, हालांकि स्थानीय लक्ष्य के लिए उप-इष्टतम (suboptimal) था, उसमें एक "फ्लैट" सिंगुलर स्पेक्ट्रम (उच्च स्पेक्ट्रल फ्लैटनेस) था, जिसके परिणामस्वरूप डाउनस्ट्रीम परत के लिए एक बेहतर-कंडीशन्ड समस्या बनी।

$\tau$ -शेड्यूल प्रयोग

Muon ने सभी परीक्षण किए गए शेड्यूल्स में SGD की तुलना में लगातार लक्षित कंपोजिशन लॉस तक तेजी से पहुँचा, जिसमें पूर्ण संयुक्त अपडेट ( $\tau=0$ ) और वैकल्पिक अपडेट ( $\tau > 0$ ) शामिल थे।
डायनामिक्स विश्लेषण:
- "ब्लू सेगमेंट्स" (केवल $W_1$ को अपडेट करना) के दौरान, SGD अक्सर शुरुआत में लॉस को तेजी से कम करता है, जो Muon की ग्रेडिएंट-फिडेलिटी लागत को दर्शाता है।
- "रेड सेगमेंट्स" (केवल $W_2$ को अपडेट करना) के दौरान, Muon-प्रशिक्षित प्रक्षेपवक्र (trajectory) ने तेज़ अभिसरण (convergence) की अनुमति दी।
- महत्वपूर्ण रूप से, Muon के प्रक्षेपवक्र में बेहतर $W_2$ ने बाद के $W_1$ सब-प्रॉब्लम्स को हल करना आसान बना दिया, जिससे एक फीडबैक लूप बना जिसने प्रारंभिक स्थानीय धीमेपन की भरपाई की।

मुख्य योगदान

मैकेनिस्टिक व्याख्या: यह शोध पत्र Muon की सफलता के लिए एक सरल, सहज स्पष्टीकरण प्रदान करता है: यह एक अंतर्निहित रेसिडुअल कनेक्शन के रूप में कार्य करता है। यह तत्काल ग्रेडिएंट डिसेंट की आवश्यकता और दीर्घकालिक प्रतिनिधित्व संरक्षण के बीच संतुलन बनाता है।
नया डिज़ाइन परिप्रेक्ष्य: यह ऑप्टिमाइज़र डिज़ाइन के प्रतिमान को केवल स्थानीय लॉस घटाने के आधार पर अपडेट का निर्णय लेने से बदलकर यह देखने की ओर ले जाता है कि अपडेट डाउनस्ट्रीम परतों के लिए प्रतिनिधित्व को कैसे आकार देते हैं।
प्रायोगिक साक्ष्य: नियंत्रित लीनियर प्रयोगों के माध्यम से, लेखक प्रदर्शित करते हैं कि स्थानीय अनुकूलन गति का त्याग करने से डाउनस्ट्रीम अनुकूलन समस्या के कंडीशन नंबर में सुधार करके तेज़ एंड-टू-एंड अभिसरण प्राप्त किया जा सकता है।

महत्व और दावे

शोध पत्र दावा करता है कि यह व्याख्या मौजूदा स्पष्टीकरणों (स्पेक्ट्रल, कर्वेचर, ट्रस्ट-रीजन) को बदलने के बजाय उनका पूरक है। इसे एक 'इम्प्लिसिट रेसिडुअल कनेक्शन' के रूप में फ्रेम करके, लेखक सुझाव देते हैं कि:

ऑप्टिमाइज़र्स को स्थानीय और डाउनस्ट्रीम उद्देश्यों के बीच संतुलन बनाना चाहिए: एक प्रभावी ऑप्टिमाइज़र का मूल्यांकन केवल एक लेयर-वाइज सब-प्रॉब्लम पर तत्काल लॉस कम करने के आधार पर नहीं किया जाना चाहिए।
संदर्भ मायने रखता है: Muon जैसे व्यवहार (डाउनस्ट्रीम उपयोगिता के लिए स्थानीय फिडेलिटी का त्याग करना) के लाभ तब सबसे अधिक मूल्यवान होते हैं जब डाउनस्ट्रीम परतों के पास बेहतर-कंडीशन्ड रिप्रेजेंटेशन का लाभ उठाने के लिए पर्याप्त क्षमता और प्रशिक्षण समय होता है, विशेष रूप से कंपोज्ड ट्रांसफॉर्मेशन के गहरे श्रृंखलाओं में।
भविष्य की दिशाएँ: यह परिप्रेक्ष्य ऐसे एडेप्टिव ऑप्टिमाइज़र डिज़ाइन्स का सुझाव देता है जो लेयर स्पेक्ट्रा, कंडीशनिंग, या डाउनस्ट्रीम प्रगति के आधार पर ऑर्थोगोनलाइजेशन या स्पेक्ट्रल फ्लैटनिंग की शक्ति को नियंत्रित करते हैं।

लेखक एक विनम्र लहजा बनाए रखते हैं, यह स्वीकार करते हुए कि उनके प्रयोग जानबूझकर नियंत्रित और लीनियर हैं। वे यह दावा नहीं करते हैं कि उन्होंने सभी आधुनिक नॉन-लीनियर नेटवर्क में इस तंत्र को सिद्ध कर दिया है, बल्कि वे तर्क देते हैं कि यह Muon के देखे गए अनुभवजन्य लाभों के लिए एक संभावित और सहज तंत्र प्रदान करता है।