💬 NLP

Delving into Muon and Beyond: Deep Analysis and Extensions

यह शोध पत्र एक एकीकृत स्पेक्ट्रल परिप्रेक्ष्य के माध्यम से Muon ऑप्टिमाइज़र का विश्लेषण करता है, जिसमें स्पेक्ट्रल रूपांतरणों के एक परिवार और एक कुशल युग्मित न्यूटन इटरेशन (coupled Newton iteration) को पेश करते हुए यह प्रदर्शित किया गया है कि जबकि Muon एक प्रभावी स्पेक्ट्रल नॉर्मलाइज़ेशन विधि के रूप में कार्य करता है, यह लगातार Adam से बेहतर प्रदर्शन नहीं करता है और प्रथम-मोमेंट अपडेट के बजाय RMS-सामान्यीकृत अपडेट पर लागू होने पर सबसे स्थिर होता है।

मूल लेखक: Xianbiao Qi, Marco Chen, Jiaquan Ye, Yelin He, Rong Xiao

प्रकाशित 2026-02-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xianbiao Qi, Marco Chen, Jiaquan Ye, Yelin He, Rong Xiao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल रोबोट (एक न्यूरल नेटवर्क) को मानव भाषा बोलना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आपको रोबोट के मस्तिष्क के भीतर लाखों सूक्ष्म नॉब्स (पैरामीटर्स) को एडजस्ट करना होगा। "ऑप्टिमाइज़र" (optimizer) वह शिक्षक है जो तय करता है कि हर पाठ के बाद प्रत्येक नॉब को कितना घुमाना है।

लंबे समय तक, Adam सबसे अच्छा शिक्षक रहा है। Adam बुद्धिमान है: यह रोबोट की गलतियों को सुनता है, पिछली गलतियों को याद रखता है (मोमेंटम), और प्रत्येक नॉब के वॉल्यूम को व्यक्तिगत रूप से इस आधार पर एडजस्ट करता है कि त्रुटि कितनी तेज़ थी (नॉर्मलाइजेशन)। यह एक ऐसे शिक्षक की तरह है जो जानता है कि प्रत्येक विशिष्ट बटन को कितनी ज़ोर से दबाना है।

हाल ही में, Muon नामक एक नया शिक्षक बहुत लोकप्रिय हुआ है। Muon अलग है। नॉब्स को व्यक्तिगत रूप से एडजस्ट करने के बजाय, Muon नॉब्स के समूहों को देखता है जो एक ग्रिड (मैट्रिक्स) में व्यवस्थित हैं और उन्हें एक पूरी तरह से संतुलित, "ऑर्थोगोनल" (orthogonal) तरीके से आगे बढ़ने के लिए मजबूर करता है। यह एक डांस इंस्ट्रक्टर की तरह है जो डांसर्स की एक पूरी लाइन को पूर्ण सामंजस्य में हिलने के लिए कहता है, इस बात को नज़रअंदाज़ करते हुए कि किसी एक डांसर की आवाज़ कितनी तेज़ या धीमी है।

यह पेपर पूछता है: क्या Muon वास्तव में Adam से बेहतर है, या यह केवल नाचने का एक अलग तरीका है?

मुख्य विचार: "स्पेक्ट्रल फैमिली" (The Spectral Family)

लेखकों ने महसूस किया कि Muon केवल एक इकलौता नुस्खा नहीं है। उन्होंने पाया कि यह वास्तव में पूरे तरीकों के एक परिवार का चरम छोर है। कल्पना कीजिए कि एक स्लाइडर है जो यह नियंत्रित करता है कि आप रोबोट के मस्तिष्क की विभिन्न दिशाओं के महत्व को कितना "फ्लैटन" (flatten) करते हैं:

स्लाइडर 1.0 पर (मानक): आप कुछ विशेष नहीं करते हैं। यह मानक Adam या मोमेंटम की तरह है। आप प्रत्येक दिशा के मूल "लाउडनेस" को बनाए रखते हैं।
स्लाइडर 0.5 या 0.25 पर (मध्यम मार्ग): आप अंतरों को धीरे से सुचारू (smooth) करते हैं। बड़ी त्रुटियों को थोड़ा कम किया जाता है; छोटी त्रुटियों को थोड़ा बढ़ावा दिया जाता है।
स्लाइडर 0.0 पर (Muon): आप सब कुछ पूरी तरह से फ्लैट कर देते हैं। आप रोबोट को बताते हैं, "इससे कोई फर्क नहीं पड़ता कि एक दिशा कितनी बड़ी या छोटी थी; हर एक दिशा को समान रूप से महत्वपूर्ण मानें।" यह Muon का मुख्य कदम है: ऑर्थोगोनालाइज़ेशन (Orthogonalization)।

इसकी जांच करने के लिए, लेखकों ने एक सुपर-फास्ट कैलकुलेटर बनाया (एक चतुर गणितीय ट्रिक का उपयोग करके जिसे "कप्ल्ड न्यूटन-शुलज़" कहा जाता है) जो उन्हें विशाल कंप्यूटरों पर धीमी, असंभव गणित किए बिना इन विभिन्न स्लाइडर सेटिंग्स को आज़माने की अनुमति देता है।

प्रयोग: एक नियंत्रित दौड़

लेखकों ने एक बहुत ही निष्पक्ष दौड़ आयोजित की। उन्होंने एक छोटे भाषा मॉडल (एक "nanoGPT") को इन आठ अलग-अलग संस्करणों के शिक्षकों का उपयोग करके प्रशिक्षित किया।

उन्होंने सभी "चीट कोड्स" (जैसे विशेष स्टेबलाइजर्स) को बंद कर दिया जिनका उपयोग अन्य पेपर्स में Muon के साथ किया जाता है।
उन्होंने सुनिश्चित किया कि प्रत्येक शिक्षक को समान समय और संसाधन मिले।
उन्होंने दो प्रकार के इनपुट का परीक्षण किया: एक जहाँ शिक्षक केवल कच्चे मोमेंटम (एक साधारण धक्के की तरह) को देखता है, और दूसरा जहाँ शिक्षक पहले शोर को नॉर्मलाइज़ करता है (जैसा कि Adam करता है)।

परिणाम: उन्होंने क्या पाया

1. Muon एक स्टेबलाइज़र है, सुपर-ऑप्टिमाइज़र नहीं
जब शिक्षक केवल कच्चे मोमेंटम (एक "साधारण धक्के") का उपयोग कर रहा होता है, तो Muon अद्भुत होता है। यह रोबोट को पागल होने और खाई में गिरने से रोकता है। यह प्रशिक्षण को बहुत स्थिर बनाता है।

उपमा: यदि आप अपने हाथ पर झाड़ू को संतुलित करने की कोशिश कर रहे हैं, तो Muon एक कठोर क्लैंप की तरह है जो झाड़ू को बिल्कुल सीधा पकड़ता है। यह उसे डगमगाने से रोकता है, लेकिन यह ज़रूरी नहीं कि यह आपको तेज़ चलने में मदद करे।

2. Adam अभी भी दौड़ जीतता है
हालाँकि, जब शिक्षक पहले से ही स्मार्ट "नॉइज़-कैंसलिंग" (शोर कम करने का) काम कर रहा होता है (जैसे Adam करता है), तो Muon नहीं जीतता है। वास्तव में, मानक Adam (या इसका एक हल्का संस्करण) या तो उतना ही अच्छा प्रदर्शन करता है या बेहतर करता है।

उपमा: यदि आपके पास पहले से ही झाड़ू को स्थिर रखने के लिए एक हाई-टेक जायरोस्कोप है (Adam), तो Muon के कठोर क्लैंप को जोड़ने से आप तेज़ नहीं चल पाएंगे। वास्तव में, कभी-कभी यह आपको लड़खड़ा भी सकता है क्योंकि यह आपको एक छोटी सी डगमगाहट को एक बड़ी गिरावट के समान मानने के लिए मजबूर करता है।

3. "फ्लैटनिंग" (Flattening) की समस्या
लेखकों ने पाया कि Muon का मुख्य नुस्खा—सब कुछ फ्लैट करना—का एक नुकसान है।

अच्छा: यह बड़ी, खतरनाक त्रुटियों को हावी होने से रोकता है।
बुरा: यह छोटे, उपयोगी संकेतों को अनदेखा होने से भी रोकता है। यदि किसी दिशा में एक छोटा लेकिन महत्वपूर्ण सिग्नल है, तो Muon उसे एक शोर भरे, बेकार दिशा के समान ही मानता है।
उपमा: एक रेडियो की कल्पना करें। Adam शोर (static) को कम करता है और संगीत को बढ़ाता है। Muon हर स्टेशन के लिए वॉल्यूम नॉब को बिल्कुल एक ही स्तर पर कर देता है। यदि एक स्टेशन पर एक धीमा लेकिन सुंदर गाना बज रहा है और दूसरे पर केवल शोर है, तो Muon उन दोनों को समान रूप से तेज़ कर देता है, जिससे शोर के कारण गाना दब जाता है।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि Muon स्थिरता के लिए एक शक्तिशाली उपकरण है, विशेष रूप से जब आप शुरुआत कर रहे हों या सरल तरीकों का उपयोग कर रहे हों। यह एक सुरक्षा जाल की तरह कार्य करता है जो प्रशिक्षण को क्रैश होने से बचाता है।

हालाँकि, Muon कोई जादुई गोली नहीं है जो Adam को बदल दे। जब आप पहले से ही Adam जैसे स्मार्ट ऑप्टिमाइज़र का उपयोग कर रहे होते हैं, तो सब कुछ फ्लैट करने (p=0) से आप तेज़ी से नहीं सीखते हैं। वास्तव में, एक "मध्यम मार्ग" (स्पेक्ट्रम को थोड़ा फ्लैट करना, जैसे p=1/4) कभी-कभी पूरी तरह से Muon (p=0) जाने से बेहतर काम करता है।

संक्षेप में: Muon एक बेहतरीन सुरक्षा बेल्ट है, लेकिन यह एक बेहतर इंजन नहीं है। यदि आपके पास पहले से ही एक अच्छा इंजन (Adam) है, तो आपको तेज़ चलने के लिए सड़क को समतल करने की ज़रूरत नहीं है।

तकनीकी सारांश: मून (Muon) और उससे आगे की खोज: गहन विश्लेषण और विस्तार

समस्या विवरण
मून (Muon) ऑप्टिमाइज़र ने हाल ही में मैट्रिक्स-स्तरीय ऑर्थोगोनल अपडेट का उपयोग करते हुए बड़े भाषा मॉडल (LLMs) के प्रशिक्षण में अपने अनुभवजन्य प्रदर्शन के लिए ध्यान आकर्षित किया है। हालांकि, मून के अंतर्निहित तंत्र और एडम (Adam) जैसे स्थापित एडेप्टिव ऑप्टिमाइज़र्स के साथ इसके संबंध को अभी तक पर्याप्त रूप से समझा नहीं गया है। मौजूदा साहित्य अक्सर मून के प्रभावों को सहायक तकनीकों (जैसे QK-Norm, QK-Clip) के साथ मिला देता है या मानक बेसलाइन के विरुद्ध व्यवस्थित तुलना का अभाव रखता है। इसके अलावा, यह स्पष्ट नहीं है कि क्या मून का स्पेक्ट्रल ऑर्थोगोनलाइजेशन एक सार्वभौमिक रूप से बेहतर अनुकूलन रणनीति है या स्थिरीकरण (stabilization) का एक विशिष्ट रूप है, और क्या इसे सुधारा या सामान्यीकृत किया जा सकता है।

कार्यप्रणाली
लेखक मून और इसके वेरिएंट्स का विश्लेषण करने के लिए एक एकीकृत स्पेक्ट्रल फ्रेमवर्क प्रस्तावित करते हैं। वे मून को $p=0$ एंडपॉइंट के रूप में परिभाषित करते हैं, जो $U\Sigma^p V^\top$ के रूप में स्पेक्ट्रल ट्रांसफॉर्मेशन के एक परिवार का हिस्सा है, जहाँ $U\Sigma V^\top$ अपडेट मैट्रिक्स का सिंगुलर वैल्यू डीकंपोजिशन (SVD) है। यह अध्ययन मध्यवर्ती घातांक (exponents) $p \in \{1, 1/2, 1/4, 0\}$ की जांच करता है:

$p=1$ : आइडेंटिटी (मानक अपडेट)।
$p=1/2, 1/4$ : आंशिक स्पेक्ट्रल कम्प्रेशन (partial spectral compression)।
$p=0$ : पूर्ण ऑर्थोगोनलाइजेशन (मून)।

ये ट्रांसफॉर्मेशन दो अलग-अलग इनपुट प्रकारों पर लागू किए जाते हैं:

फर्स्ट-मोमेंट मोमेंटम ( $O_{mom}$ ): जो मोमेंटम SGD इनपुट्स के समकक्ष है।
RMS-नॉर्मलाइज्ड अपडेट्स ( $O_{rms}$ ): जो एडम (Adam) इनपुट्स के समकक्ष है, जहाँ ग्रेडिएंट्स को सेकंड मोमेंट द्वारा नॉर्मलाइज किया जाता है।

स्पष्ट SVD के बिना भिन्नात्मक घातों ( $p=1/2, 1/4$ ) की कुशल गणना को सक्षम करने के लिए, लेखक एक कपल्ड न्यूटन-शुल्ज़ इटरेशन (coupled Newton-Schulz iteration) विकसित करते हैं। यह एल्गोरिदम केवल मैट्रिक्स गुणन का उपयोग करके मैट्रिक्स वर्गमूल (square root) और उसके व्युत्क्रम (inverse) को एक साथ कंप्यूट करता है, जिससे संख्यात्मक स्थिरता और स्केलेबिलिटी सुनिश्चित होती है।

प्रायोगिक मूल्यांकन OpenWebText पर प्रशिक्षित 124M पैरामीटर वाले GPT-2 मॉडल पर किया गया है। अध्ययन एक अत्यधिक नियंत्रित सेटअप का उपयोग करता है:

डिकपल्ड लर्निंग रेट्स (Decoupled Learning Rates): मैट्रिक्स और वेक्टर पैरामीटर्स के लिए अलग-अलग लर्निंग रेट का उपयोग किया जाता है ताकि ऑप्टिमाइज़र के प्रभाव को अलग किया जा सके।
कोई सहायक तकनीक नहीं: वेट डिके (weight decay), QK-Norm, और QK-Clip को अक्षम रखा गया है ताकि निष्पक्ष तुलना सुनिश्चित हो सके।
व्यवस्थित ट्यूनिंग: सभी आठ ऑप्टिमाइज़र वेरिएंट्स (4 स्पेक्ट्रल एक्सपोनेंट्स $\times$ 2 इनपुट प्रकार) के लिए एक दो-चरणीय लर्निंग रेट सर्च (कोर्स लॉगरिदमिक स्वीप के बाद फाइन-ग्रेंड रिफाइनमेंट) किया गया है।

प्रमुख योगदान

एकीकृत स्पेक्ट्रल फ्रेमवर्क: पेपर एक औपचारिक फ्रेमवर्क $U\Sigma^p V^\top$ पेश करता है जो मून को एक विशिष्ट मामले ( $p=0$ ) के रूप में स्थापित करता है और मध्यवर्ती वेरिएंट्स ( $p=1/2, 1/4$ ) का प्रस्ताव देता है जो मानक अपडेट और पूर्ण ऑर्थोगोनलाइजेशन के बीच अंतर (interpolate) करते हैं।
कुशल एल्गोरिदम: भिन्नात्मक स्पेक्ट्रल अपडेट्स ( $p=1/2, 1/4$ ) को कुशलतापूर्वक कंप्यूट करने के लिए एक कपल्ड न्यूटन-शुल्ज़ इटरेशन विकसित किया गया है, जो स्पष्ट SVD की कम्प्यूटेशनल लागत से बचता है।
कठोर अनुभवजन्य तुलना: अध्ययन एक नियंत्रित तुलना प्रदान करता है, जो वेट डिके या सहायक नॉर्मलाइजेशन तकनीकों जैसे कन्फाउंडिंग फैक्टर्स से स्पेक्ट्रल प्रभावों को अलग करता है।

प्रमुख परिणाम
प्रयोग तीन प्राथमिक निष्कर्ष प्रदान करते हैं:

फर्स्ट-मोमेंट अपडेट्स का स्थिरीकरण: फर्स्ट-मोमेंट इनपुट्स (mSGD) पर, मून ( $p=0$ ) महत्वपूर्ण स्थिरीकरण प्रदान करता है, जिससे मानक mSGD की तुलना में बहुत उच्च लर्निंग रेट और अधिक मजबूती संभव होती है। हालांकि, स्थिरता स्थापित होने के बाद आंशिक कम्प्रेशन ( $p=1/4$ ) अक्सर बेहतर अंतिम प्रदर्शन प्राप्त करता है।
RMS-नॉर्मलाइज्ड इनपुट्स पर सीमित लाभ: जब RMS-नॉर्मलाइज्ड इनपुट्स (Adam-style) पर लागू किया जाता है, तो स्पेक्ट्रल कम्प्रेशन के लाभ कम (diminishing returns) होते हैं। पूर्ण ऑर्थोगोनलाइजेशन (AdamZ/Muon जो $O_{rms}$ पर लागू है) मानक एडम से बेहतर प्रदर्शन नहीं करता है और आंशिक कम्प्रेशन की तुलना में निम्नतर हो सकता है। यह सुझाव देता है कि एलिमेंट-वाइज RMS नॉर्मलाइजेशन पहले से ही उस एनिसोट्रॉपी (anisotropy) को काफी हद तक कम कर देता है जिसे स्पेक्ट्रल कम्प्रेशन लक्षित करता है।
सेकंड-मोमेंट मेथड्स की श्रेष्ठता: सभी स्पेक्ट्रल एक्सपोनेंट्स में, सेकंड-मोमेंट नॉर्मलाइजेशन (RMS-आधारित) का उपयोग करने वाले ऑप्टिमाइज़र्स अपने फर्स्ट-मोमेंट (केवल मोमेंटम) समकक्षों की तुलना में स्थिरता और अंतिम लॉस दोनों के मामले में लगातार बेहतर प्रदर्शन करते हैं।

महत्व और दावे
पेपर यह निष्कर्ष निकालता है कि मून को एक सार्वभौमिक रूप से श्रेष्ठ अनुकूलन विधि के बजाय एक प्रभावी स्पेक्ट्रल नॉर्मलाइजेशन के रूप में समझा जाना चाहिए।

स्थिरता बनाम प्रदर्शन: मून का प्राथमिक योगदान सिंगुलर वैल्यू मैग्नीट्यूड्स को हटाकर फर्स्ट-मोमेंट अपडेट्स को स्थिर करना है, जो उन दिशाओं को रोकता है जिनके सिंगुलर मान बड़े होते हैं। हालांकि, यह "फ्लैटनिंग" एक कच्चा तंत्र है; यह मैग्नीट्यूड-आधारित फ़िल्टरिंग को हटा देता है, जिससे शोर वाले ग्रेडिएंट दिशाओं (छोटे सिंगुलर मान) को बढ़ाना और सूचनात्मक डोमिनेंट मोड पर अंडर-स्टेप करना संभव हो जाता है।
संदर्भगत उपयोगिता: जबकि स्पेक्ट्रल कम्प्रेशन वास्तविक स्थिरीकरण लाभ प्रदान करता है, विशेष रूप से जब इनपुट अपडेट पहले से नॉर्मलाइज्ड न हो, पूर्ण ऑर्थोगोनलाइजेशन ( $p=0$ ), आधुनिक RMS-नॉर्मलाइज्ड सेकंड-मोमेंट ऑप्टिमाइज़र्स जैसे एडम का विकल्प नहीं है। लेखक तर्क देते हैं कि पिछले कार्यों में मून के रिपोर्ट किए गए लाभों का श्रेय ऑर्थोगोनलाइजेशन के बजाय उपयोग की गई विशिष्ट तकनीकों (जैसे QK-Norm) के संयोजन को दिया जा सकता है।

यह कार्य इस बात पर जोर देता है कि हालांकि स्पेक्ट्रल ट्रांसफॉर्मेशन एनिसोट्रॉपी को नियंत्रित करने के लिए शक्तिशाली उपकरण हैं, वे बड़े पैमाने पर प्रशिक्षण व्यवस्था में एडेप्टिव सेकंड-मोमेंट स्केलिंग के लाभों को स्वाभाविक रूप से पार नहीं करते हैं।

मुख्य विचार: "स्पेक्ट्रल फैमिली" (The Spectral Family)

प्रयोग: एक नियंत्रित दौड़

परिणाम: उन्होंने क्या पाया

निष्कर्ष

इसी तरह के और पेपर