🤖 machine learning

Muown: Row-Norm Control for Muon Optimization

यह शोध पत्र Muown को पेश करता है, जो एक ड्रॉप-इन ऑप्टिमाइज़र है जो Muon में स्पेक्ट्रल नॉर्म ड्रिफ्ट (spectral norm drift) को रोकने के लिए स्पष्ट रूप से रो-मैग्निट्यूड वेक्टर्स (row-magnitude vectors) को नियंत्रित करता है, जिससे प्रशिक्षण स्थिरता में सुधार होता है, वेट डिके (weight decay) के प्रति संवेदनशीलता कम होती है, और विभिन्न मॉडल स्केल्स पर बेहतर परप्लेक्सिटी (perplexity) प्राप्त होती है।

मूल लेखक: Kai Lion, Florian Hübler, Bingcong Li, Antonio Orvieto, Niao He

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kai Lion, Florian Hübler, Bingcong Li, Antonio Orvieto, Niao He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल डिजिटल मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) को कहानियाँ लिखने, गणित की समस्याओं को हल करने या आपसे चैट करने के लिए प्रशिक्षित कर रहे हैं। ऐसा करने के लिए, इस मस्तिष्क को अपने सर्किट के भीतर लाखों सूक्ष्म नॉब्स (वेट्स) को समायोजित करके सीखना होता है।

लंबे समय तक, इन नॉब्स को घुमाने का सबसे अच्छा तरीका AdamW नामक एक विधि था। हाल ही में, Muon नामक एक नई, तेज़ विधि आई। यह एक साइकिल से स्पोर्ट्स कार में स्विच करने जैसा था; इसने बेहतर और तेज़ी से सीखा। लेकिन इसमें एक पेच था: स्पोर्ट्स कार में अनियंत्रित होकर नियंत्रण से बाहर होने की प्रवृत्ति थी।

समस्या: "ड्रिफ्टिंग" इंजन

यह पेपर Muon के साथ एक विशिष्ट समस्या की पहचान करता है। जैसे-जैसे मॉडल प्रशिक्षित होता है, इसके आंतरिक कनेक्शनों का "आकार" (विशेष रूप से, इसके वेट मैट्रिसेस की पंक्तियों की ताकत) अनियंत्रित रूप से बढ़ने लगता है।

इसे एक गुब्बारे को फुलाने की तरह समझें।

Muon यह समझने में बहुत अच्छा है कि गुब्बारे में हवा किस दिशा में फूँकनी है (दिशा)।
हालाँकि, यह ज़रूरत से ज़्यादा हवा पंप करता रहता है, जिससे गुब्बारा बड़ा और बड़ा होता जाता है जब तक कि वह फट न जाए (संख्यात्मक त्रुटियां) या अस्थिर न हो जाए।
मानक समाधान यह था कि गुब्बारे के चारों ओर एक डोरी बाँध दी जाए और जब भी वह बहुत बड़ा हो जाए, उसे कसकर खींचा जाए (Weight Decay)। लेकिन लेखक trouvé कि यह अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसा था: इसने सीखने की प्रक्रिया को धीमा कर दिया क्योंकि इसने पूरे गुब्बारे को दबा दिया, यहाँ तक कि उन हिस्सों को भी जो ठीक थे।

निदान: समस्या के दो भाग

लेखकों, जिनका नेतृत्व काई लायन (Kai Lion) ने किया, ने यह देखने के लिए कि वास्तव में गुब्बारे के अंदर क्या बढ़ रहा है, इसके भीतर झाँका। उन्होंने महसूस किया कि कनेक्शन का "आकार" दो अलग-अलग भागों से बना है:

परिमाण (Magnitude - वॉल्यूम): संख्याओं की पंक्ति कुल मिलाकर कितनी बड़ी है।
सुसंगतता (Coherence - आकार): उस पंक्ति के भीतर संख्याएँ एक-दूसरे के सापेक्ष कैसे व्यवस्थित हैं।

उन्होंने पाया कि केवल परिमाण (Magnitude) ही अनियंत्रित रूप से बढ़ रहा था। आकार (Coherence) वास्तव में बिल्कुल ठीक व्यवहार कर रहा था और स्थिर था। गुब्बारा अपना आकार नहीं बदल रहा था; वह बस बड़ा हो रहा था।

समाधान: Muown (स्मार्ट पंप)

लेखकों ने Muown नामक एक नया ऑप्टिमाइज़र बनाया।

पूरे कनेक्शन को एक बड़े ढेर के रूप में मानने के बजाय, Muown काम को दो अलग-अलग कार्यों में विभाजित करता है:

डायरेक्शन टीम (Muon): यह टीम वही करती है जिसमें Muon माहिर है: यह पता लगाना कि वेट्स को अपडेट करने की सही दिशा क्या है। वे इस हिस्से को अपरिवर्तित छोड़ देते हैं।
वॉल्यूम टीम (नया): यह नया हिस्सा है। वे "परिमाण" (वॉल्यूम) को लेते हैं और इसे एक अलग, स्पष्ट चर (variable) के रूप में मानते हैं। वे इस वॉल्यूम को एक विशेष सेट के नियमों (एक विशिष्ट गणितीय ज्यामिति जिसे $\ell_\infty$ कहा जाता है) के तहत रखते हैं ताकि यह बहुत तेज़ी से न बढ़े।

उपमा:
कल्पना कीजिए कि आप एक ऐसी कार चला रहे हैं जहाँ स्टीयरिंग व्हील और एक्सीलेटरेशन पेडल आपस में जुड़े हुए हैं। यदि आप पहिया घुमाते हैं, तो एक्सीलेटर भी दब जाता है, जिससे कार अनियंत्रित रूप से तेज़ हो जाती है।

Muon उस अटकी हुई कार की तरह था।
Muown एक ऐसी कार की तरह है जहाँ स्टीयरिंग व्हील को एक्सीलेटर से अलग कर दिया गया है। आप अभी भी सटीक रूप से स्टीयरिंग चला सकते हैं (Muon के तर्क का उपयोग करके), लेकिन अब आपके पास एक्सीलेटर के लिए एक अलग, स्मार्ट क्रूज कंट्रोल है जो गति को ठीक वहीं रखता है जहाँ उसे होना चाहिए, बिना आपको धीमा किए।

परिणाम

लेखकों ने 124 मिलियन से लेकर 2.7 बिलियन पैरामीटर्स तक के मॉडल्स पर इसका परीक्षण किया। उन्हें यहाँ क्या मिला:

बेहतर प्रदर्शन: Muown ने लगातार Muon, AdamW और अन्य प्रतिस्पर्धियों की तुलना में बेहतर परिणाम (कम "परप्लेक्सिटी", जो मॉडल के भ्रमित होने का एक माप है) दिए।
अधिक सहनशील: Muon के साथ, आपको अपनी सेटिंग्स (लर्निंग रेट) के प्रति बहुत सावधान रहना पड़ता था। यदि आपने गलत सेटिंग चुनी, तो मॉडल विफल हो जाता। Muown बहुत अधिक मजबूत है; यह सेटिंग्स की एक विस्तृत श्रृंखला में अच्छा काम करता है, जैसे कि एक कार जिसका "स्वीट स्पॉट" व्यापक हो।
कोई अतिरिक्त लागत नहीं: आमतौर पर, एक नया नियंत्रण सिस्टम जोड़ने से आपकी कार धीमी हो जाती है। लेकिन क्योंकि लेखकों ने इस नए "वॉल्यूम कंट्रोल" को इंजन के मौजूदा वर्कफ़्लो में सीधे एकीकृत किया, इसलिए इसने प्रशिक्षण प्रक्रिया में लगभग कोई अतिरिक्त समय नहीं जोड़ा।
स्थिरता: "गुब्बारा" अब ड्रिफ्ट नहीं कर रहा था। स्पेक्ट्रल नॉर्म (कनेक्शन का आकार) स्थिर रहा, जिससे उन संख्यात्मक त्रुटियों को रोका गया जो मूल Muon में समस्या पैदा करती थीं।

सारांश

यह पेपर तर्क देता है कि लोकप्रिय Muon ऑप्टिमाइज़र में अस्थिरता उसकी दिशा खोजने की क्षमता में दोष नहीं थी, बल्कि उसके "वॉल्यूम" के अपडेट पर नियंत्रण की कमी थी। "वॉल्यूम" को "दिशा" से अलग करके और उन्हें अलग-अलग, विशिष्ट उपकरणों के साथ नियंत्रित करके, Muown भारी-भरकम सुधारों जैसे कि वेट डिके (weight decay) की आवश्यकता के बिना प्रशिक्षण को तेज़ और स्थिर रखता है। यह एक 'ड्रॉप-इन रिप्लेसमेंट' है जो प्रशिक्षण प्रक्रिया को सुचारू, तेज़ और अधिक विश्वसनीय बनाता है।

तकनीकी सारांश: Muown - Muon अनुकूलन के लिए रो-नॉर्म नियंत्रण (Row-Norm Control)

समस्या विवरण (Problem Statement)

Muon बड़े भाषा मॉडल (LLM) के प्री-ट्रेनिंग के लिए एक प्रतिस्पर्धी ऑप्टिमाइज़र के रूप में उभरा है, जो अक्सर ट्रांसफॉर्मर लीनियर लेयर्स की मैट्रिक्स संरचना का लाभ उठाकर AdamW से बेहतर प्रदर्शन करता है। हालाँकि, हालिया अवलोकनों से संकेत मिलता है कि बड़े पैमाने पर Muon का व्यवहार वेट डिके (weight decay) के प्रति संवेदनशील है और इसमें ब्लोफ्लाइट16 (bfloat16) ओवरफ्लो और एक्सप्लोडिंग अटेंशन लॉजिट्स (exploding attention logits) जैसी संख्यात्मक अस्थिरताएँ होने की संभावना रहती है।

एक महत्वपूर्ण पहचान की गई समस्या यह है कि जब Muon का उपयोग बिना डीकप्ल्ड वेट डिके (decoupled weight decay) के किया जाता है, तो वेट मैट्रिसेस के स्पेक्ट्रल नॉर्म ( $\|W_t\|_{S_\infty}$ ) में निरंतर ऊपर की ओर ड्रिफ्ट (drift) होता है। यह ड्रिफ्ट स्थिर फीचर लर्निंग के लिए आवश्यक स्पेक्ट्रल स्थिति ( $\|W\|_{S_\infty} = \Theta(\sqrt{m/n})$ ) का उल्लंघन करता है। जबकि डीकप्ल्ड वेट डिके इसे पूरे वेट मैट्रिक्स को समान रूप से सिकोड़कर (shrink) कम कर सकता है, यह एक गैर-लक्षित हस्तक्षेप (non-targeted intervention) है जो उन विशिष्ट दिशाओं के बावजूद पूरे स्पेक्ट्रम को स्केल करता है जो विकास को संचालित कर रहे हैं, जिससे शुरुआती प्रशिक्षण चरणों में अभिसरण (convergence) धीमा हो सकता है। यह शोध पत्र इस स्पेक्ट्रल नॉर्म ड्रिफ्ट के विशिष्ट अनुभवजन्य चालक (empirical driver) की पहचान करने और एक अधिक लक्षित नियंत्रण तंत्र प्रस्तावित करने का प्रयास करता है।

कार्यप्रणाली (Methodology): Muown

लेखक Muown पेश करते हैं, जो Muon का एक ड्रॉप-इन रिप्लेसमेंट है जो एग्रीगेट बाधाओं (aggregate constraints) के बजाय एक रीपैरामीट्राइजेशन रणनीति के माध्यम से स्पेक्ट्रल नॉर्म ड्रिफ्ट को संबोधित करता है।

1. स्पेक्ट्रल नॉर्म अपघटन (Spectral Norm Decomposition)

मुख्य अंतर्दृष्टि स्पेक्ट्रल नॉर्म का दो कारकों में अपघटन है (प्रपोजिशन 1):
$\|W_t\|_{S_\infty}^2 = \|g_t\|_\infty^2 \cdot \lambda_{\max}(P_t C_t P_t)$
जहाँ:

$g_t = \|W_t\|_{row}$ पंक्तियों के परिमाण (rows के यूक्लिडियन नॉर्म) का वेक्टर है।
$D_t$ रो-नॉर्मलाइज्ड मैट्रिक्स है ( $W_t = \text{Diag}(g_t)D_t$ )।
$C_t = D_t D_t^\top$ यूनिट-नॉर्म पंक्तियों का ग्राम मैट्रिक्स (Gram matrix) है।
$P_t$ नॉर्मलाइज्ड रो-मैग्निट्यूड का एक डायगोनल मैट्रिक्स है।
$\lambda_{\max}(P_t C_t P_t)$ रो-कोहेरेंस (row-coherence) कारक को दर्शाता है।

500M मॉडल्स पर अनुभवजन्य विश्लेषण से पता चलता है कि रो-मैग्निट्यूड कारक ( $\|g_t\|_\infty$ ) स्पेक्ट्रल नॉर्म ड्रिफ्ट का प्राथमिक चालक है, जो $\|W_t\|_{S_\infty}$ के साथ तालमेल बिठाते हुए चलता है। इसके विपरीत, रो-कोहेरेंस कारक पूरे प्रशिक्षण के दौरान सुव्यवस्थित और सीमित रहता है।

2. रीपैरामीट्राइजेशन और अनुकूलन (Reparameterization and Optimization)

इस निदान के आधार पर, Muown वेट मैट्रिक्स $W$ को इस प्रकार रीपैरामीट्राइज करता है:
$W(g, R) = \text{Diag}\left(\frac{g}{\|R\|_{row}}\right) R$
यहाँ, $g \in \mathbb{R}^m$ स्पष्ट रो-मैग्निट्यूड वेक्टर को दर्शाता है, और $R \in \mathbb{R}^{m \times n}$ दिशा घटक (direction component) को दर्शाता है।

दिशा घटक ( $R$ ): $R$ पर बिना किसी बदलाव के Muon लागू किया जाता है, इसे स्पेक्ट्रल नॉर्म ज्योमेट्री (तीव्रतम स्पेक्ट्रल डिसेंट) के तहत माना जाता है।
परिमाण घटक ( $g$ ): रो-मैग्निट्यूड्स $g$ को स्पष्ट ऑप्टिमाइज़र वेरिएबल्स के रूप में प्रमोट किया जाता है। उन्हें $\ell_\infty$ ज्योमेट्री के तहत अपडेट किया जाता है, जो डायगोनल मैट्रिसेस के ऑपरेटर नॉर्म के लिए प्राकृतिक ड्यूल नॉर्म (dual norm) है।
अपडेट नियम: $g$ के लिए अपडेट एडम (Adam) ऑप्टिमाइज़र का उपयोग करता है (जो $\ell_\infty$ ज्योमेट्री के तहत एक स्मूथड SignSGD के रूप में कार्य करता है) ताकि स्टोकेस्टिक शोर को संभाला जा सके, जबकि $R$ के लिए अपडेट न्यूटन-शुलज़ ऑर्थोगोनलाइजेशन (Newton-Schulz orthogonalization) के साथ मानक Muon प्रक्रिया का पालन करता है।

यह दृष्टिकोण मॉडल आर्किटेक्चर के फॉरवर्ड पास को बदले बिना, इम्प्लिसिटली (implicitly) ऑप्टिमाइज़र स्टेट के भीतर लागू किया जाता है।

मुख्य योगदान (Key Contributions)

स्पेक्ट्रल ड्रिफ्ट का निदान: यह पेपर स्पेक्ट्रल नॉर्म के अपघटन के माध्यम से अधिकतम रो-मैग्निट्यूड ( $\|g_t\|_\infty$ ) को स्पेक्ट्रल नॉर्म वृद्धि के अनुभवजन्य चालक के रूप में पहचानता है, जो स्थिर रो-कोहेरेंस कारक से भिन्न है।
Muown एल्गोरिदम: एक नया ऑप्टिमाइज़र जो रो-मैग्निट्यूड्स को $\ell_\infty$ ज्योमेट्री के तहत अपडेट किए जाने वाले स्पष्ट रूप से सीखने योग्य वेरिएबल्स के रूप में मानता है, जबकि Muon के दिशात्मक अपडेट्स को सुरक्षित रखता है। यह अनियंत्रित वेट डिके और स्पेक्ट्रल रीपैरामीट्राइजेशन के ऑर्थोगोनैलिटी प्रायर्स (orthogonality priors) से बचता है।
अभिसरण गारंटी (Convergence Guarantees): लेखक सिद्ध करते हैं कि Muown दोनों नियतात्मक (deterministic) और स्टोकेस्टिक शासन में इष्टतम नॉन-कॉन्वेक्स कन्वर्जेंस दर प्राप्त करता है। विश्लेषण एक मिश्रित ड्यूल नॉर्म ( $\ell_1$ परिमाण के लिए, $R$ के लिए शैटन-1) में किया गया है जो अपडेट ज्योमेट्री के अनुरूप है। सैद्धांतिक सीमा Muon की तुलना में प्रभावी स्टोकेस्टिक नॉइज़ को कम करने का सुझाव देती है।
अनुभवजन्य सत्यापन (Empirical Validation): 124M से 2.7B पैरामीटर्स तक के मॉडल साइज पर FineWeb-Edu पर व्यापक प्रयोगों से निरंतर सुधार प्रदर्शित होते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

परप्लेक्सिटी सुधार (Perplexity Improvements): Muown सभी परीक्षण किए गए मॉडल स्केल्स (124M से 2.7B) और लर्निंग रेट्स पर Muon, SOAP, AdamW और Lion की तुलना में लगातार कम परप्लेक्सिटी प्राप्त करता है।
हाइपरपैरामीटर के प्रति मजबूती (Robustness to Hyperparameters):
- लर्निंग रेट: Muown विभिन्न मॉडल विड्थ्स के बीच निकट-इष्टतम लर्निंग रेट्स के प्लेटो (plateau) को विस्तृत करता है, जिससे प्रति-स्केल लर्निंग रेट ट्यूनिंग के प्रति संवेदनशीलता कम हो जाती है।
- वेट डिके: Muown डीकप्ल्ड वेट डिके ट्यूनिंग की आवश्यकता को कम करता है; यह बिना वेट डिके ( $\lambda=0$ ) के भी अच्छा प्रदर्शन करता है, जबकि Muon को विचलन या उप-इष्टतम प्रदर्शन को रोकने के लिए सावधानीपूर्वक ट्यूनिंग (इष्टतम $\lambda=0.1$ ) की आवश्यकता होती है।
स्थिरता (Stability): Muown, Muon में देखे गए व्यवस्थित स्पेक्ट्रल नॉर्म ड्रिफ्ट को रोकता है। उच्च लर्निंग रेट शासन (जैसे, $4 \times 10^{-3}$ ) में, Muon अक्सर डाइवर्ज (diverge) हो जाता है, जबकि Muown स्थिर और इष्टतम के करीब रहता है।
ग्रेडिएंट गुण (Gradient Properties): विश्लेषण से पता चलता है कि Muown पूरे प्रशिक्षण के दौरान मिनिबैच ग्रेडिएंट्स के उच्च नॉर्मलाइज्ड प्रभावी रैंक को बनाए रखता है और Muon की तुलना में कम स्टोकेस्टिक नॉइज़ कोएफिशिएंट प्रदर्शित करता है।
कंप्यूटेशनल ओवरहेड (Computational Overhead): यह विधि नगण्य स्टेप-टाइम ओवरहेड पेश करती है। जब ऑप्टिमाइज़र को रैंकों के बीच शार्ड (shard) किया जाता है (डिस्ट्रीब्यूटेड सेटिंग), तो Muown और Muon के स्टेप समय अविभेद्य हो जाते हैं। मेमोरी ओवरहेड न्यूनतम है (पंक्तियों की संख्या के रैखिक में), जो प्रति लेयर केवल कुछ मेगाबाइट जोड़ता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि Muon में देखा गया स्पेक्ट्रल नॉर्म ड्रिफ्ट ऑप्टिमाइज़र का एक अपरिहार्य गुण नहीं है, बल्कि अनियंत्रित रो-मैग्निट्यूड वृद्धि का परिणाम है। इस चालक को अलग करके और इसे एक स्पष्ट ऑप्टिमाइज़र वेरिएबल के रूप में प्रमोट करके, Muown प्राप्त करता है:

बेहतर अभिसरण (Improved Convergence): आक्रामक वेट डिके की आवश्यकता के बिना बेहतर परप्लेक्सिटी और स्थिरता।
सैद्धांतिक सुदृढ़ता (Theoretical Soundness): एक ज्योमेट्री-अवेयर फ्रेमवर्क में इष्टतम अभिसरण दर जो स्पष्ट रूप से मिश्रित अपडेट्स के स्वरूप को ध्यान में रखती है।
व्यावहारिक दक्षता (Practical Efficiency): एक ड्रॉप-इन रिप्लेसमेंट जो डिस्ट्रीब्यूटेड सेटिंग्स में Muon के रनटाइम से मेल खाता है जबकि हाइपरपैरामीटर चयन के प्रति बेहतर मजबूती प्रदान करता है।

लेखक Muown को एक ऐसे समाधान के रूप में प्रस्तुत करते हैं जो फीचर लर्निंग की सैद्धांतिक स्थिरता आवश्यकताओं और बड़े पैमाने पर LLM ट्रेनिंग की व्यावहारिक आवश्यकताओं के बीच के अंतर को पाटता है, जो डीकप्ल्ड वेट डिके के लिए अधिक लक्षित विकल्प प्रदान करता है।