🤖 AI

Optimizer-Induced Mode Connectivity: From AdamW to Muon

यह शोध पत्र यह प्रदर्शित करता है कि AdamW और Muon जैसे ऑप्टिमाइज़र न्यूरल नेटवर्क में विशिष्ट, अक्सर विच्छेदित (disconnected), शून्य-हानि समाधान मैनिफोल्ड्स (zero-loss solution manifolds) उत्पन्न करते हैं, जो यह प्रकट करता है कि मोड कनेक्टिविटी (mode connectivity) मौलिक रूप से विशिष्ट ऑप्टिमाइज़र और इसके अंतर्निहित नियमितीकरण (implicit regularization) पर निर्भर करती है न कि लॉस लैंडस्केप के एक सार्वभौमिक गुण पर।

मूल लेखक: Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, पर्वतीय परिदृश्य में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। यह परिदृश्य एक न्यूरल नेटवर्क के "लॉस फंक्शन" (loss function) का प्रतिनिधित्व करता है: आप जितना ऊँचा होंगे, आपका मॉडल उतना ही खराब प्रदर्शन करेगा; आप जितने नीचे होंगे, आपका मॉडल उतना ही बेहतर होगा।

लंबे समय तक, शोधकर्ताओं का मानना था कि यदि आप दो अलग-अलग मॉडलों को उसी घाटी के बिल्कुल तल (zero-loss state) तक पहुँचने के लिए प्रशिक्षित करते हैं, तो आप उनके बीच एक सरल, सुगम पथ बना सकते हैं जिसमें आपको फिर से किसी पहाड़ी पर नहीं चढ़ना पड़ेगा। इस विचार को मोड कनेक्टिविटी (Mode Connectivity) कहा जाता है। यह कुछ ऐसा है जैसे कहना: "यदि दो हाइकर्स ने एक ही घाटी का निचला हिस्सा खोज लिया है, तो उनके बीच एक समतल रास्ता होना चाहिए।"

हालाँकि, यह शोध पत्र एक नया प्रश्न पूछता है: क्या यह पथ इस बात पर निर्भर करता है कि हाइकर्स ने कैसे पैदल यात्रा की?

लेखक दो अलग-अलग "हाइकिंग शैलियों" (ऑप्टिमाइज़र) का परिचय देते हैं:

AdamW: क्लासिक, भरोसेमंद हाइकर।
Muon: एक नया, अधिक विशिष्ट हाइकर जो अलग तरह से चलता है।

यहाँ इस शोध पत्र की खोजों को सरल उपमाओं के माध्यम से समझाया गया है:

1. "स्पेक्ट्रल फिंगरप्रिंट" (The Spectral Fingerprint)

प्रत्येक मॉडल का एक अनूठा "फिंगरप्रिंट" होता है जो संख्याओं से बना होता है जिन्हें सिंगुलर वैल्यूज (singular values) कहा जाता है (इसे मॉडल की आंतरिक "मांसपेशियों की टोन" या "आकार" के रूप में सोचें)।

AdamW मॉडल में आमतौर पर कुछ बहुत मजबूत मांसपेशियाँ और कई कमजोर मांसपेशियाँ होती हैं (स्पेक्ट्रम में आउटलेयर्स)।
Muon मॉडल में मांसपेशियाँ लगभग एक ही आकार की होती हैं (एक अधिक संतुलित, "आइसोट्रोपिक" स्पेक्ट्रम)।

शोध पत्र में पाया गया कि यदि आप AdamW से प्रशिक्षित दो मॉडलों को लेते हैं, तो आप उनके बीच चल सकते हैं, और उनकी "मांसपेशियों की टोन" सुसंगत रहती है। यदि आप दो Muon मॉडलों को लेते हैं, तो भी यही सत्य है। वे अपने स्वयं के "पड़ोस" में बने रहते हैं।

2. समान-ऑप्टिमाइज़र हाईवे (Same-Optimizer Highway - Intra-Optimizer Connectivity)

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यदि न्यूरल नेटवर्क पर्याप्त रूप से चौड़ा है (इसमें पर्याप्त न्यूरॉन्स हैं), तो AdamW द्वारा खोजे गए सभी समाधान एक सुचारू, कम-लॉस वाले पथ द्वारा जुड़े हुए हैं। यही बात Muot के लिए भी लागू होती है।

उपमा: कल्पना कीजिए कि एक बड़ा, सपाट घास का मैदान है। यदि आप और आपके मित्र दोनों एक ही प्रकार के हाइकिंग बूट (AdamW) का उपयोग करते हैं, तो आप अपने स्थान से अपने मित्र के स्थान तक बिना किसी पत्थर या चढ़ाई के चल सकते हैं। आप एक ही "बूट-प्रिंट" क्षेत्र में रहते हैं।

3. क्रॉस-ऑप्टिमाइज़र बैरियर (Cross-Optimizer Barrier - Inter-Optimizer Disconnectivity)

यह सबसे आश्चर्यजनक हिस्सा है। क्या होता है यदि आप एक AdamW मॉडल से Muon मॉडल की ओर जाने का प्रयास करते हैं?

सिद्धांत: एक छोटे, सरल नेटवर्क में, लेखकों ने सिद्ध किया कि "AdamW घाटी" और "Muon घाटी" एक ऊँची पहाड़ी श्रृंखला द्वारा अलग हो सकती हैं। आप एक से दूसरे तक जाने के लिए बिना ऊपर चढ़े या प्रदर्शन खोए नहीं जा सकते। वे समाधान स्थान के अलग-अलग "द्वीपों" में हैं।
वास्तविकता (बड़े मॉडल): बड़े पैमाने पर प्रयोगों (GPT-2, एक भाषा मॉडल का उपयोग करके) में, उन्होंने पाया कि हालांकि आप उन्हें जोड़ सकते हैं, लेकिन वह पथ विशेष है। जैसे-जैसे आप AdamW से Muon की ओर बढ़ते हैं, मॉडल की "मांसपेशियों की टोन" (स्पेक्ट्रम) केवल स्थिर नहीं रहती; यह सुचारू रूप से परिवर्तित होती है।
- उपमा: कल्पना कीजिए कि आप चीड़ के पेड़ों (AdamW) के जंगल से ओक के पेड़ों (Muon) के जंगल की ओर जा रहे हैं। आप अचानक टेलीपोर्ट नहीं होते; आप एक संक्रमण क्षेत्र (transition zone) से गुजरते हैं जहाँ पेड़ धीरे-धीरे चीड़ से ओक में बदल जाते हैं। पथ मौजूद है, लेकिन यह एक अद्वितीय "हाइब्रिड" परिदृश्य से होकर गुजरता है जिसे कोई भी ऑप्टिमाइज़र स्वाभाविक रूप से नहीं बना पाता।

4. "स्मूथी" प्रभाव (The "Smoothie" Effect - Generalization)

शोध पत्र में परीक्षण किया गया कि क्या होता है जब आप एक AdamW समाधान और एक Muon समाधान के बीच के आधे रास्ते पर होते हैं।

परिणाम: ये "हाइब्रिड" मॉडल अक्सर उस डेटा पर बेहतर प्रदर्शन करते हैं जिसे उन्होंने पहले नहीं देखा है (आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन)।
उपमा: यदि आप एक कॉफी (AdamW) और एक चाय (Muon) को मिलाते हैं, तो आपको एक नया पेय मिलता है जो कॉफी या चाय में से किसी एक की तुलना में कुछ लोगों को बेहतर लग सकता है। यह "मिश्रण" उन हिस्सों की खोज करता है जिन्हें व्यक्तिगत ऑप्टिमाइज़र ने मिस कर दिया था।

दावों का सारांश

समान ऑप्टिमाइज़र: यदि आप एक ही ऑप्टिमाइज़र का दो बार उपयोग करते हैं, तो समाधान एक सुचारू पथ द्वारा जुड़े होते हैं जो मॉडल की आंतरिक संरचना को सुसंगत रखता है।
विभिन्न ऑप्टिमाइज़र: यदि आप अलग-अलग ऑप्टिमाइज़र का उपयोग करते हैं, तो छोटे नेटवर्क में समाधान एक बाधा द्वारा अलग हो सकते हैं, या बड़े नेटवर्क में वे एक ऐसे पथ द्वारा जुड़े होते हैं जो मॉडल की आंतरिक संरचना को सुचारू रूप से परिवर्तित करता है।
लाभ: इन विभिन्न ऑप्टिमाइज़र समाधानों के बीच चलने से ऐसे "हाइब्रिड" मॉडल बनते हैं जो नए, अनदेखे डेटा पर बेहतर सामान्यीकरण (generalize) कर सकते हैं।

यह शोध पत्र यह दावा नहीं करता है कि यह चिकित्सा निदान, स्वायत्त ड्राइविंग या विशिष्ट भविष्य के AI अनुप्रयोगों के लिए काम करता है। यह पूरी तरह से इस बात के गणितीय ज्यामिति पर केंद्रित है कि ये मॉडल कैसे जुड़ते हैं और इस अनुभवजन्य अवलोकन पर कि उन्हें मिलाने से भाषा मॉडल प्रशिक्षण में सामान्यीकरण में सुधार होता है।

तकनीकी सारांश: ऑप्टिमाइज़र-प्रेरित मोड कनेक्टिविटी: AdamW से Muon तक

समस्या विवरण (Problem Statement)

मोड कनेक्टिविटी (mode connectivity), वह घटना जहाँ स्वतंत्र रूप से प्रशिक्षित न्यूरल नेटवर्क मॉडल एक कम-लॉस (low-loss) पथ द्वारा जुड़े जा सकते हैं, का व्यापक अध्ययन किया गया है। हालाँकि, मौजूदा साहित्य मुख्य रूप से समाधान सेट (solution set) को एक अखंड इकाई (monolithic entity) के रूप में मानता है, जो अक्सर उन समाधानों तक पहुँचने के लिए उपयोग किए गए विशिष्ट अनुकूलन गतिकी (optimization dynamics) से स्वतंत्र कनेक्टिविटी की धारणा रखता है। यह शोध पत्र यह प्रतिपादित करता है कि विभिन्न ऑप्टिमाइज़र विशिष्ट इम्प्लिसिट बायस (implicit biases - नियमितीकरण) लागू करते हैं, जो प्रभावी रूप से समाधानों को लॉस लैंडस्केप के विभिन्न क्षेत्रों तक सीमित करते हैं। संबोधित किया जाने वाला केंद्रीय प्रश्न यह है: जब समाधान को किसी विशिष्ट ऑप्टिमाइज़र के इम्प्लिसिट बायस के अनुरूप प्रतिबंधित किया जाता है, तो मोड कनेक्टिविटी कैसा व्यवहार करती है? विशेष रूप से, लेखक जांच करते हैं कि क्या एक ही ऑप्टिमाइज़र द्वारा पाए गए समाधान एक जुड़ा हुआ सेट (intra-optimizer connectivity) बनाते हैं और क्या विभिन्न ऑप्टिमाइज़रों द्वारा पाए गए समाधान बिना किसी लॉस बैरियर (loss barrier) के जुड़ सकते हैं (inter-optimizer connectivity)।

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक ऑप्टिमाइज़र-नियमित समाधान सेटों (optimizer-regularized solution sets) की अवधारणा को औपचारिक रूप देते हैं। एडेप्टिव ऑप्टिमाइज़र्स (जैसे AdamW और Lion-K परिवार) के हालिया सैद्धांतिक अभिलक्षणों का उपयोग करते हुए, वे इन ऑप्टिमाइज़र्स के लिमिट पॉइंट्स को प्रतिबंधित अनुकूलन समस्याओं के समाधान के रूप में परिभाषित करते हैं:

AdamW: उन समाधानों की ओर अभिसरित होता है जो $\ell_\infty$ -नॉर्म बाधा ( $\|\theta\|_{\max} \leq 1/\lambda$ ) को संतुष्ट करते हैं।
Muon (और न्यूक्लियर नॉर्म के साथ Lion-K): उन समाधानों की ओर अभिसरित होता है जो ऑपरेटर-नॉर्म बाधा ( $\|\theta\|_{\text{op}} \leq 1/\lambda$ ) को संतुष्ट करते हैं।

पेपर दो परिभाषाएँ प्रस्तुत करता है:

इंट्रा-ऑप्टिमाइज़र कनेक्टिविटी (Intra-optimizer connectivity): एक विशिष्ट ऑप्टिमाइज़र $A$ के लिए समाधान सेट $O_A(\lambda)$ जुड़ा हुआ है।
इंटर-ऑप्टिमाइज़र कनेक्टिविटी (Inter-optimizer connectivity): समाधान सेटों का यूनियन $O_{A_1}(\lambda_1) \cup O_{A_2}(\lambda_2)$ जुड़ा हुआ है।

दो-लेयर ReLU नेटवर्क पर इंटरपोलेशन रिजीम (जहाँ ज़ीरो ट्रेनिंग लॉस प्राप्त किया जा सकता है) में सैद्धांतिक विश्लेषण किया गया है। लेखक बदलते नेटवर्क विड्थ ( $m$ ) के तहत इन नियमितकृत सेटों की ज्यामिति का विश्लेषण करते हैं।

प्रयोगात्मक सेटअप (Experimental Setup)

पाँच डेटासेट्स (enwik8, WikiText-103, Stories, BookCorpus, One Billion Word) पर GPT-2 प्रीट्रेनिंग कार्यों का उपयोग करके अनुभवजन्य सत्यापन (empirical validation) किया गया है।

ऑप्टिमाइज़र्स: AdamW और Muon।
पथ निर्माण (Path Construction): लेखक एक संशोधित पॉलीचेन इंटरपोलेशन (polychain interpolation) एल्गोरिदम को सिमेट्रिक अलाइनमेंट (अटेंशन हेड्स और MLP न्यूरॉन्स के परम्यूटेशन और ऑर्थोगोनल अलाइनमेंट) के साथ जोड़कर उपयोग करते हैं। यह विधि मॉडलों के बीच लॉस बैरियर्स को कम करने के लिए एक 'लर्नेबल बेंड-पॉइंट' के साथ एक पीसवाइज लीनियर पथ का निर्माण करती है।
मेट्रिक्स: अध्ययन वैलिडेशन लॉस बैरियर्स और इंटरपोलेशन पथों के साथ सिंगुलर वैल्यू स्पेक्ट्रा (विशेष रूप से स्टेबल रैंक) के विकास को ट्रैक करता है।

मुख्य योगदान (Key Contributions)

1. इंट्रा-ऑप्टिमाइज़र कनेक्टिविटी के सैद्धांतिक प्रमाण

पेपर सिद्ध करता है कि पर्याप्त चौड़े दो-लेयर ReLU नेटवर्क के लिए, विशिष्ट ऑप्टिमाइज़र्स द्वारा प्रेरित समाधान सेट जुड़े हुए होते हैं:

थ्योरम 3.1: Muon (और मोमेंटम के साथ Normalized GD) के लिए इंट्रा-ऑप्टिमाइज़र कनेक्टिविटी तब बनी रहती है जब नेटवर्क विड्थ $m \geq 4P$ हो, जहाँ $P$ विशिष्ट हाइपरप्लेन अरेंजमेंट पैटर्न की संख्या है।
थ्योरम 3.2: AdamW (और Signum) के लिए इंट्रा-ऑप्टिमाइज़र कनेक्टिविटी तब बनी रहती है जब $m \geq m^*$ हो, जहाँ $m^*$ डेटा और रेगुलराइजेशन पैरामीटर्स द्वारा निर्धारित एक क्रिटिकल विड्थ है।
तंत्र (Mechanism): प्रमाणों में नियमितकृत सेट के भीतर मनमाने समाधानों को "स्पार्स" या "इक्वलाइज्ड" कैनोनिकल रूपों में बदलना और यह प्रदर्शित करना शामिल है कि ये रूप निरंतर पथों के माध्यम से जुड़ सकते हैं जो इम्प्लिसिट नॉर्म बाधाओं को बनाए रखते हैं।

2. इंटर-ऑप्टिमाइज़र कनेक्टिविटी का लक्षण वर्णन

लेखक स्थापित करते हैं कि विभिन्न ऑप्टिमाइज़र-प्रेरित क्षेत्रों के बीच कनेक्टिविटी नेटवर्क विड्थ और रेगुलराइजेशन स्ट्रेंथ पर महत्वपूर्ण रूप से निर्भर करती है:

लार्ज विड्थ रिजीम (Large Width Regime): दो नियमितकृत सेटों का यूनियन जुड़ा हुआ होता है यदि और केवल यदि वे ओवरलैप करते हैं (अर्थात, ज़ीरो-लॉस सेट उनके संबंधित नॉर्म बॉल्स के प्रतिच्छेदन से गुजरता है)। रेगुलराइजेशन स्ट्रेंथ बढ़ने के साथ जुड़े घटकों (connected components) की संख्या एक से दो में बदल सकती है।
फाइनाइट-विड्थ निर्माण: पेपर एक विशिष्ट डेटासेट और विड्थ ( $m=2$ ) का निर्माण करता है जहाँ ज़ीरो-लॉस समाधान सेट कई असंबद्ध घटकों में विभाजित हो जाता है। महत्वपूर्ण रूप से, वे सिद्ध करते हैं कि उपयुक्त रेगुलराइजेशन पैरामीटर्स चुनकर AdamW और Muon को अलग-अलग घटकों में डाला जा सकता है। इस परिदृश्य में, AdamW समाधान और Muon समाधान के बीच कोई ज़ीरो-लॉस पथ मौजूद नहीं है; किसी भी जोड़ने वाले पथ को एक प्रमाण योग्य लॉस बैरियर (स्क्वेर्ड लॉस के लिए कम से कम $1/2$ ) का सामना करना होगा।

3. अनुभवजन्य स्पेक्ट्रल ट्रांज़िशन (Empirical Spectral Transitions)

GPT-2 पर प्रयोग विशिष्ट स्पेक्ट्रल व्यवहार प्रकट करते हैं:

सेम-ऑप्टिमाइज़र पाथ्स (Same-Optimizer Paths): एक ही ऑप्टिमाइज़र (जैसे AdamW-AdamW) से प्रशिक्षित दो मॉडलों के बीच इंटरपोलेट करते समय सिंगुलर वैल्यू स्पेक्ट्रम (जैसे AdamW आउटलेयर्स बनाए रखता है, Muon आइसोट्रोपिक रहता है) संरक्षित रहता है और कम लॉस बना रहता है।
क्रॉस-ऑप्टिमाइज़र पाथ्स (Cross-Optimizer Paths): विभिन्न ऑप्टिमाइज़रों (जैसे AdamW-Muon) के बीच इंटरपोलेट करने पर एक स्मूथ स्पेक्ट्रल फेज ट्रांज़िशन होता है। स्पेक्ट्रम पथ के साथ AdamW सिग्नेचर से Muoc सिग्नेचर की ओर विकसित होता है। जबकि लॉस अपेक्षाकृत कम रहता है, मध्यवर्ती मॉडल दोनों एंडपॉइंट्स से भिन्न स्पेक्ट्रल प्रोफाइल प्रदर्शित करते हैं।

4. आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) जनरलाइजेशन

पेपर दिखाता है कि क्रॉस-ऑप्टिमाइज़र इंटरपोलेशन पथ्स OOD जनरलाइजेशन में सुधार कर सकते हैं। AdamW-Muon पथ के साथ सैंपल किए गए मॉडल OOD डेटासेट्स पर नेगेटिव लॉस बैरियर्स प्रदर्शित करते हैं (एंडपॉइंट्स के लीनियर इंटरपोलेशन से बेहतर प्रदर्शन करते हैं), जो यह सुझाव देता है कि विभिन्न ऑप्टिमाइज़र बायस के बीच के स्थान को पार करना संरचनात्मक रूप से विविध मॉडल प्रदान करता है जो बेहतर जनरलाइजेशन गुण रखते हैं।

परिणाम और महत्व (Results and Significance)

निष्कर्षों का सारांश

ऑप्टिमाइज़र-डिपेंडेंट स्ट्रक्चर: लॉस लैंडस्केप कम-लॉस समाधानों का एक एकल जुड़ा हुआ समूह नहीं है; बल्कि, इसमें इम्प्लिसिट रेगुलराइजेशन द्वारा परिभाषित ऑप्टिमाइज़र-विशिष्ट "बेसिन" या क्षेत्र होते हैं।
कनेक्टिविटी सशर्त है: जबकि चौड़े नेटवर्क में सेम-ऑप्टिमाइज़र समाधान जुड़े हुए होते हैं, विभिन्न ऑप्टिमाइज़र फाइनाइट-विड्थ सेटिंग्स में अलग-अलग असंबद्ध घटकों में जा सकते हैं, जो लॉस बैरियर्स द्वारा अलग किए गए हैं।
स्पेक्ट्रल फिंगरप्रिंटिंग: सिंगुलर वैल्यू स्पेक्ट्रम ऑप्टिमाइज़र-प्रेरित क्षेत्र के लिए एक मजबूत प्रॉक्सी के रूप में कार्य करता है। सेम-ऑप्टिमाइज़र पथ इस फिंगरप्रिंट को बनाए रखते हैं; क्रॉस-ऑप्टिमाइज़र पथ एक ट्रांज़िशन को पार करते हैं।

दावा की गई महत्ता

पेपर का दावा है कि यह ऑप्टिमाइज़र-डिपेंडेंट स्ट्रक्चर को उजागर करता है जो शास्त्रीय मोड कनेक्टिविटी साहित्य में अदृश्य है। अपने इम्प्लिसिट बायस को ध्यान में रखते हुए मोड कनेक्टिविटी को रिफाइन करके, लेखक दिखाते हैं कि:

ऑप्टिमाइज़र का चुनाव मौलिक रूप से सुलभ समाधान स्थान (reachable solution space) की टोपोलॉजी को आकार देता है।
क्रॉस-ऑप्टिमाइज़र इंटरपोलेशन मॉडल मर्जिंग के लिए एक व्यवहार्य तंत्र है जो समाधान स्थान के विविध क्षेत्रों तक पहुँचता है, जो संभावित रूप से क्वांटिज़ेशन और जनरलाइजेशन जैसे डाउनस्ट्रीम गुणों में सुधार करता है।
कनेक्टिविटी के लिए सैद्धांतिक गारंटी को अब केवल नेटवर्क आर्किटेक्चर ही नहीं, बल्कि ऑप्टिमाइज़र द्वारा प्रेरित विशिष्ट रेगुलराइज़र पर भी विचार करना चाहिए।

यह कार्य थ्योरिटिकल इम्प्लिसिट बायस विश्लेषण और व्यावहारिक मॉडल फ्यूजन के बीच के अंतर को पाटता है, यह सुझाव देते हुए कि मॉडलों के बीच का "सर्वश्रेष्ठ" पथ विभिन्न ऑप्टिमाइज़र-प्रेरित रेगुलराइजेशन की सीमाओं को पार करने पर निर्भर हो सकता है।