🤖 machine learning

Why Muon Outperforms Adam: A Curvature Perspective

यह शोध पत्र यह प्रदर्शित करता है कि Muon, मुख्य रूप से कम नॉर्मलाइज्ड डायरेक्शनल शार्पनेस (NDS) कर्वेचर पेनल्टी के माध्यम से एक बड़े एक-चरण (one-step) लॉस घटाव को प्राप्त करके, लार्ज लैंग्वेज मॉडल ट्रेनिंग में Adam से बेहतर प्रदर्शन करता है, जो एक ऐसा ज्यामितीय लाभ है जो डेटा असंतुलन द्वारा प्रवर्धित होता है और लेयर के भीतर कम कर्वेचर द्वारा बनाए रखा जाता है।

मूल लेखक: Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले पर्वत शृंखला में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। एक विशाल AI मॉडल (जैसे कि Large Language Model) को प्रशिक्षित करना बिल्कुल ऐसा ही है: "पर्वत" त्रुटि दर (error rate) है, और "सबसे निचला बिंदु" एक आदर्श, सबसे सटीक मॉडल है। वहां तक पहुँचने के लिए, आपको एक ऑप्टिमाइज़र (optimizer) की आवश्यकता है—एक मार्गदर्शक जो आपको बताता है कि किस दिशा में कदम बढ़ाना है।

लंबे समय तक, Adam एक मानक मार्गदर्शक रहा है। हाल ही में, Muon नामक एक नया मार्गदर्शक आया और उसने इस पहाड़ के नीचे पहुँचने की गति को दोगुना कर दिया। लेकिन क्यों? यह पेपर एक जासूस की तरह काम करता है, जो "कर्वेचर पर्सपेक्टिव" (terrain के आकार को देखना) का उपयोग करके इस रहस्य को सुलझाता है।

उनके निष्कर्षों की कहानी यहाँ सरल रूप में दी गई है:

1. दोनों मार्गदर्शक समान कदम का आकार लेते हैं, लेकिन Muon अधिक सुचारू (Smooth) है

कल्पना कीजिए कि आप और आपका एक दोस्त एक पहाड़ी से नीचे उतर रहे हैं। आप दोनों बिल्कुल एक ही लंबाई का कदम उठाने का निर्णय लेते हैं।

पहला कदम (द पुश): आप और आपके दोस्त दोनों समान बल के साथ आगे बढ़ते हैं। गणितीय शब्दों में, पेपर इसे "फर्स्ट-ऑर्डर गेन" कहता है। वे समान हैं।
उभार (द कर्वेचर पेनल्टी): ज़मीन पूरी तरह से समतल नहीं है; यह ऊबड़-खाबड़ है। यदि आप बहुत ज़ोर से किसी ऊबड़-खाबड़ दिशा में कदम रखते हैं, तो आप थोड़ा पीछे उछल जाते हैं, जिससे ऊर्जा नष्ट होती है।
- Adam अक्सर इलाके के सबसे "ऊबड़-खाबड़" हिस्सों में कदम रखने की कोशिश करता है। यह एक ऊंचे उभार से टकराता है, वापस उछलता है, और अपनी कुछ प्रगति खो देता है।
- Muon अधिक समझदार है। यह ज़मीन के आकार को देखता है और अपने कदम को अधिक चिकने, समतल रास्तों की ओर मोड़ देता है। यह अभी भी उसी लंबाई का कदम लेता है, लेकिन यह एक बहुत छोटे उभार से टकराता है।

परिणाम: क्योंकि Muon कम उभारों से टकराता है (एक छोटी "कर्वेचर पेनल्टी"), यह वास्तव में एक ही कदम में Adam की तुलना में पहाड़ी से अधिक नीचे उतर जाता है, भले ही उन्होंने समान प्रारंभिक बल के साथ धक्का दिया हो।

2. गुप्त हथियार: "नॉर्मलाइज़्ड डायरेक्शनल शार्पनेस" (NDS)

यह पेपर एक फैंसी शब्द NDS पेश करता है, जो मूल रूप से यह मापता है कि "आप जिस दिशा में चल रहे हैं, उस दिशा में ज़मीन कितनी नुकीली या तीखी (sharp) है।"

निष्कर्ष: Muon और Adam एक ही आकार के कदम (समान "अपडेट नॉर्म") लेते हैं, लेकिन Muon के कदम हमेशा उन दिशाओं में होते हैं जहाँ ज़मीन कम तीखी होती है।
उपमा: कल्पना कीजिए कि आप ऊंचे, नुकीले मक्के के खेत से गुजर रहे हैं।
- Adam सीधे सबसे घने, सबसे तीखे डंठलों के बीच से चलता है। यह कट जाता है (उच्च NDS), और मक्का इसके विरुद्ध वापस धक्का देता है।
- Muon मक्के के बीच के अंतराल को खोजने के लिए एक विशेष कंपास का उपयोग करता है। यह उतनी ही दूरी तय करता है, लेकिन मक्का बहुत कम घना होता है (कम NDS)। यह कम प्रतिरोध के साथ आसानी से निकल जाता है।

3. Muon अंतराल (Gaps) को बेहतर तरीके से क्यों खोज पाता है? (डेटा असंतुलन)

पेपर ने पाया कि जब डेटा असंतुलित (imbalanced) होता है, तो "इलाका" अधिक ऊबड़-खाबड़ हो जाता है।

परिदृश्य: कल्पना कीजिए कि एक लाइब्रेरी है जहाँ 90% किताबें "बिल्लियों" के बारे में हैं, और केवल 10% "कुत्तों" के बारे में हैं। यह एक असंतुलित डेटासेट है।
प्रभाव: इन असंतुलित पुस्तकालयों में, ज़मीन अत्यंत ऊबड़-खाबड़ और तीखे स्पाइक्स (spikes) से भरी हो जाती है।
विजेता: Adam "बिल्ली" वाले स्पाइक्स में फंस जाता है। हालाँकि, Muon इन ऊबड़-खाबड़, असमान परिदृश्यों में नेविगेट करने में बहुत बेहतर है। डेटा जितना अधिक असंतुलित होगा, Muon के सुचारू पथ और Adam के ऊबड़-खाबड़ पथ के बीच का अंतर उतना ही बड़ा होगा।

4. जादू कहाँ होता है? (परतों के भीतर)

AI मॉडल परतों के ढेर (जैसे कि एक मल्टी-लेयर केक) की तरह बने होते हैं। पेपर ने देखा कि क्या Muon का लाभ पूरे केक से आता है या केवल विशिष्ट स्लाइस से।

खोज: जैसे-जैसे प्रशिक्षण आगे बढ़ता है, Muon का लाभ बदल जाता है। यह इस बात की चिंता करना छोड़ देता है कि परतें एक-दूसरे के साथ कैसे इंटरैक्ट करती हैं (क्रॉस-लेयर) और पूरी तरह से प्रत्येक व्यक्तिगत परत के भीतर (within-layer) अपने कदमों को सुचारू बनाने पर ध्यान केंद्रित करता है।
उपमा: एक रिले रेस के बारे में सोचें। शुरुआत में, हर कोई धावकों के बीच बैटन पास करने को लेकर चिंतित होता है (क्रॉस-लेयर)। लेकिन जैसे ही रेस तेज़ होती है, Muon को एहसास होता है कि गति का रहस्य बस अपने स्वयं के हिस्से को पूरी तरह से सुचारू रूप से दौड़ना है (विदिन-लेयर), अन्य धावकों के शोर को अनदेखा करते हुए।

5. सैद्धांतिक प्रमाण: "इक्वलाइज़र"

अंत में, लेखकों ने यह साबित करने के लिए कि यह क्यों काम करता है, एक सरल गणितीय मॉडल ("स्टाइललाइज्ड क्वाड्रेटिक प्रॉब्लम") बनाया।

समस्या: कल्पना कीजिए कि पहाड़ में कुछ बहुत खड़ी, तीखी चट्टानें (उच्च कर्वेचर) और एक विशाल क्षेत्र मंद ढलानों (कम कर्वेचर) वाला है।
Adam की गलती: क्योंकि "चट्टानें" इतनी खड़ी हैं, Adam उनकी ओर आकर्षित हो जाता है। वह उन खड़ी चट्टानों से नीचे उतरने की कोशिश में अपनी सारी ऊर्जा खर्च कर देता है, लेकिन क्योंकि वे इतनी तीखी हैं, वह बेतहाशा इधर-उधर उछलता रहता है।
Muon की रणनीति: Muon एक "स्पेक्ट्रल नॉर्मलाइजेशन" ट्रिक का उपयोग करता है। कल्पना कीजिए कि इसके पास एक जादुई इक्वलाइज़र है जो इसे तीखी चट्टानों पर उतनी ही ऊर्जा खर्च करने के लिए मजबूर करता है जितनी कि वह मंद ढलानों पर करता है।
परिणाम: खतरनाक चट्टानों पर अत्यधिक ध्यान न देकर, Muon बेतहाशा उछलने से बच जाता है। यह अपनी ऊर्जा को समान रूप से वितरित करता है, जिससे यह पहाड़ से नीचे उतरने में निरंतर, कुशल प्रगति कर पाता है जिसे Adam मैच नहीं कर सकता।

सारांश

Muon, Adam को हराता है इसलिए नहीं कि यह बड़े कदम लेता है या अधिक ज़ोर लगाता है, बल्कि इसलिए क्योंकि यह एक बेहतर नेविगेटर है। यह गणितीय परिदृश्य के उन "तीखे" हिस्सों से बचता है जो AI को वापस उछाल देते हैं। अपने पथ को सुचारू बनाकर, विशेष रूप से जब डेटा अव्यवस्थित या असंतुलित हो, यह पहाड़ के नीचे (सर्वश्रेष्ठ मॉडल) बहुत तेज़ी से पहुँच जाता है।

तकनीकी सारांश: क्यों Muon, Adam से बेहतर है: एक वक्रता परिप्रेक्ष्य (A Curvature Perspective)

समस्या विवरण (Problem Statement)

Muon, विभिन्न मॉडल स्केल्स पर मानक Adam ऑप्टिमाइज़र की तुलना में लगभग 2 $\times$ तेज़ प्रशिक्षण अभिसरण (convergence) प्रदर्शित करते हुए, लार्ज लैंग्वेज मॉडल (LLM) प्रीट्रेनिंग के लिए एक अत्यधिक कुशल ऑप्टिमाइज़र के रूप में उभरा है। जबकि हाल के कार्यों ने इसके लाभों को एसोसिएटिव मेमोरी और डेटा लॉन्ग-टेल्डनेस जैसे तंत्रों के माध्यम से समझाने का प्रयास किया है, Muon की श्रेष्ठता के स्थानीय ज्यामितीय स्रोत (local geometric source) अभी भी स्पष्ट नहीं हैं। यह शोध पत्र दो प्राथमिक प्रश्नों को संबोधित करता है:

कौन सा विशिष्ट गुण अनुकूलन परिदृश्य (optimization landscape) Muon के Adam पर लाभ का समर्थन करता है?
प्रीट्रेनिंग कारक, विशेष रूप से प्रशिक्षण डेटा वितरण और मॉडल संरचना, इस गुण को कैसे प्रभावित करते हैं?

कार्यप्रणाली (Methodology)

लेखक LLM प्रशिक्षण प्रक्षेपवक्र (trajectories) पर अनुभवजन्य विश्लेषण (empirical analysis) और शैलीबद्ध द्विघाती अनुकूलन समस्याओं (stylized quadratic optimization problems) पर सैद्धांतिक विश्लेषण के संयोजन का उपयोग करते हैं।

अनुभवजन्य विश्लेषण (Empirical Analysis):

द्वितीय-क्रम टेलर अपघटन (Second-Order Taylor Decomposition): लेखक एक प्रथम-क्रम लाभ (ग्रेडिएंट एलाइनमेंट) और एक द्वितीय-क्रम वक्रता दंड (curvature penalty) का उपयोग करके एक-चरणीय हानि कमी ( $\Delta D$ ) का विश्लेषण करते हैं, जिसे टेलर विस्तार का उपयोग करके निम्नानुसार विघटित किया जा सकता है: $\Delta D \approx \langle G, Z \rangle - \frac{1}{2}\langle Z, H[Z] \rangle$ ।
मीट्रिक परिभाषा: अपडेट स्केल के प्रभाव से अपडेट दिशा के प्रभाव को अलग करने के लिए, वे नॉर्मलाइज्ड डायरेक्शनल शार्पनेस (NDS) पेश करते हैं, जिसे $SF(W; Z) = \langle Z, H[Z] \rangle / \|Z\|_F^2$ के रूप में परिभाषित किया गया है। यह वक्रता दंड को अपडेट नॉर्म और NDS में विभाजित करने की अनुमति देता है।
प्रायोगिक सेटअप: प्रयोग FineWeb डेटासेट पर प्रशिक्षित 124M-पैरामीटर वाले NanoGPT मॉडल पर किए गए हैं। निष्पक्षता सुनिश्चित करने के लिए समान वैलिडेशन लॉस स्तरों पर Muon और Adam के बीच तुलना की गई है।
डेटा और संरचना भिन्नता:
- डेटा असंतुलन (Data Imbalance): नियंत्रित असंतुलन स्तरों (Zipf घातांक $s$ ) के साथ Zipf-प्रायिकता संदर्भ-मुक्त व्याकरण (PCFG) का उपयोग करके सिंथेटिक डेटा उत्पन्न किया गया है।
- लेयर डिकंपोजिशन (Layer Decomposition): यह समझने के लिए कि विभिन्न मॉडल घटक वक्रता लाभ में कैसे योगदान देते हैं, NDS को विथ-इन-लेयर (डायगोनल हेसियन ब्लॉक्स) और क्रॉस-लेयर (ऑफ-डायगोनल इंटरैक्शन) योगदान में विभाजित किया गया है।

सैद्धांतिक विश्लेषण (Theoretical Analysis):

शैलीबद्ध द्विघाती मॉडल (Stylized Quadratic Model): लेखक LLM परिदृश्य की विशेषताओं को दर्शाने वाला एक द्विघाती अनुकूलन समस्या का निर्माण करते हैं, जो चार अनुभवजन्य रूप से सत्यापित मान्यताओं पर आधारित है:
1. लो क्रोनेकर-रैंकनेस (Low Kronecker-Rankness): हेसियन एक लो-रैंक क्रोनेकर सन्निकटन (approximation) स्वीकार करता है।
2. सिमल्टेनियस डायगोनलाइजेशन (Simultaneous Diagonalization): क्रोनेकर कारक सामान्य ऑर्थोगोनल आइगेन-बेसिस साझा करते हैं।
3. वक्रता विषमता (Curvature Heterogeneity): हेसियन स्पेक्ट्रम तीव्र विषमता (आइगेनवैल्यू का लॉन्ग-टेल्ड वितरण) प्रदर्शित करता है।
4. ग्रेडिएंट एलाइनमेंट (Gradient Alignment): ग्रेडिएंट उच्च-वक्रता वाले आइगेन-डायरेक्शंस के साथ मजबूती से संरेखित होते हैं।
तुलना: सैद्धांतिक प्रमाण Muon (स्पेक्ट्रल नॉर्मलाइज्ड अपडेट्स) की ग्रेडिएंट डिसेंट (GD) के विरुद्ध तुलना करते हैं। Adam को इस विशिष्ट शैलीबद्ध सेटिंग में GD के समान व्यवहार करते हुए नोट किया गया है, जिससे लेखकों को स्पेक्ट्रल नॉर्मलाइजेशन और ग्रेडिएंट-आधारित अपडेट के बीच अंतर पर ध्यान केंद्रित करने की अनुमति मिलती है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. Muon के लाभ का स्रोत: कम वक्रता दंड (Reduced Curvature Penalty)
विश्लेषण से पता चलता है कि Muon मुख्य रूप से इसलिए एक बड़ा एक-चरणीय हानि कमी प्राप्त करता है क्योंकि इसमें Adam की तुलना में काफी कम द्वितीय-क्रम वक्रता दंड होता है, न कि इसलिए कि यह एक बड़ा प्रथम-क्रम ग्रेडिएंट लाभ प्राप्त करता है।

अवलोकन 1: समान वैलिडेशन लॉस पर, Muon और Adam तुलनीय प्रथम-क्रम कमी दिखाते हैं, लेकिन Muon का वक्रता दंड काफी कम होता है।

2. तंत्र: कम नॉर्मलाइज्ड डायरेक्शनल शार्पनेस (NDS)
कम वक्रता दंड, अपडेट के आकार के बजाय Muon के अपडेट दिशा द्वारा संचालित होता है।

अवलोकन 2: Muon और Adam के अपडेट नॉर्म ( $\|Z\|_F$ ) तुलनीय हैं। हालांकि, Muon एक उल्लेखनीय रूप से कम NDS प्रदर्शित करता है (औसतन Adam से लगभग 1.76 $\times$ कम)। यह इंगित करता है कि Muon का स्पेक्ट्रल नॉर्मलाइजेशन अपडेट्स को कम स्थानीय वक्रता वाले दिशाओं की ओर मोड़ता है।

3. डेटा असंतुलन की भूमिका
Muon का NDS लाभ डेटा असंतुलन द्वारा प्रवर्धित होता है।

अवलोकन 3: Zipf-PCFG डेटा का उपयोग करते हुए, लेखक दिखाते हैं कि जैसे-जैसे डेटासेट अधिक असंतुलित (उच्च Zipf घातांक $s$ ) होता जाता है, दोनों ऑप्टिमाइज़र के लिए NDS बढ़ता है, लेकिन Adam और Muon के बीच का अंतर काफी बढ़ जाता है ( $s=0$ से $s=1$ तक 1.8 $\times$ की वृद्धि)। Muon, भारी-पूंछ वाले (heavy-tailed) डेटा द्वारा प्रेरित बढ़ी हुई शार्पनेस के प्रति अधिक मजबूत है।

4. मॉडल संरचना की भूमिका
वक्रता लाभ प्रशिक्षण के दौरान बदलता रहता है।

अवलोकन 4: जबकि दोनों विथ-इन-लेयर और क्रॉस-लेयर NDS घटक Muon के लिए कम हैं, प्रशिक्षण के मध्य और अंतिम चरणों के दौरान विथ-इन-लेयर घटक Muon के लाभ में तेजी से हावी हो जाता है। Muon का क्रॉस-लेयर योगदान तेजी से गिरता है, जबकि Adam विथ-इन-लेयर और क्रॉस-लेयर शार्पनेस के बीच एक स्थिर संतुलन बनाए रखता है।

5. सैद्धांतिक औचित्य (Theoretical Justification)
यह शोध पत्र सिद्ध करता है कि विषम वक्रता और उच्च-वक्रता मोड की ओर ग्रेडिएंट एलाइनमेंट वाली द्विघाती समस्याओं पर:

Muon, GD की तुलना में एक छोटा औसत NDS प्राप्त करता है क्योंकि इसका स्पेक्ट्रल नॉर्मलाइजेशन वक्रता समूहों के बीच अपडेट ऊर्जा को संतुलित करता है, जबकि GD उच्च-वक्रता मोड पर ऊर्जा केंद्रित करता है।
जब वक्रता विषमता पर्याप्त रूप से मजबूत होती है, तो Muon समान चरणों के बाद GD की तुलना में कम स्थानीय द्विघाती हानि प्राप्त करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह स्थानीय वक्रता परिप्रेक्ष्य से Muon की श्रेष्ठता को समझने की दिशा में "पहला कदम" है। केंद्रीय निष्कर्ष यह है कि Muon की दक्षता इसकी स्पेक्ट्रल नॉर्मलाइज्ड अपडेट करने की क्षमता से आती है जो स्वाभाविक रूप से कम दिशात्मक शार्पनेस रखते हैं, जिससे अनुकूलन चरणों की द्वितीय-क्रम लागत कम हो जाती है।

लेखक इस कार्य को मौजूदा "मेमोरी-केंद्रित" स्पष्टीकरणों (जैसे, Wang et al., 2025b) के पूरक के रूप में स्पष्ट रूप से प्रस्तुत करते हैं, जो एक अलग ज्यामितीय तंत्र प्रदान करता है: समान इटरेट (iterate) पर, Muon, Adam की तुलना में कम दिशात्मक शार्पनेस दंड चुकाता है। यह कार्य अपने दायरे में विनम्र है, जो कॉज़ल LLMs पर केंद्रित है और वैश्विक अभिसरण गारंटी या सभी मॉडल वर्गों (जैसे डिफ्यूजन मॉडल) के लिए प्रयोज्यता का दावा करने के बजाय एक स्थानीय तंत्र की पहचान करता है, जिन्हें भविष्य के कार्य के लिए छोड़ दिया गया है।