🤖 machine learning

LionMuon: Alternating Spectral and Sign Descent for Efficient Training

यह शोध पत्र LionMuon को पेश करता है, जो एक कुशल ऑप्टिमाइज़र है जो एक ही मोमेंटम बफर साझा करते हुए Lion और Muon के अपडेट्स के बीच बारी-बारी से काम करता है, जिससे AdamW, Lion और Muon जैसे मौजूदा तरीकों की तुलना में विभिन्न मॉडल स्केल्स पर बेहतर प्रदर्शन और कम कम्प्यूटेशनल लागत प्राप्त होती है।

मूल लेखक: Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov

प्रकाशित 2026-05-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल रोबोट (एक लार्ज लैंग्वेज मॉडल) को लाखों उदाहरण दिखाकर उसे बोलना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपको एक "ऑप्टिमाइज़र" (optimizer) की आवश्यकता है—एक कोच जो हर उस उदाहरण के बाद जिसे रोबोट देखता है, उसे अपने मस्तिष्क (इसके पैरामीटर्स) को कैसे समायोजित करना है, यह बताए।

समस्या यह है कि इस कोच को अरबों बार निर्णय लेना होगा। यदि कोच बहुत धीमा या चलाने में बहुत महंगा है, तो पूरा प्रोजेक्ट बहुत खर्चीला हो जाएगा। यदि कोच बहुत सस्ता है लेकिन गलत निर्णय लेता है, तो रोबट धीरे सीखेगा या कहीं अटक जाएगा।

यह पेपर एक नया कोच पेश करता है जिसे LionMuon कहा जाता है। यह एक चतुर हाइब्रिड है जो दो बहुत अलग कोचिंग शैलियों में से सर्वश्रेष्ठ प्राप्त करने की कोशिश करता है।

दो मौजूदा कोच

LionMuon को समझने के लिए, हमें पहले उन दो कोचों से मिलना होगा जिन्हें यह जोड़ता है:

"साइन" कोच (Lion/Signum):
- यह कैसे काम करता है: यह कोच अविश्वसनीय रूप से तेज़ और सस्ता है। यह गलती के सटीक आकार को नहीं देखता; यह केवल दिशा (धनात्मक या ऋणात्मक) को देखता है। यह एक GPS की तरह है जो केवल आपको बताता है "बाएं मुड़ें" या "दाएं मुड़ें", बिना सटीक दूरी की गणना किए।
- फायदे: यह सुपर कुशल है। आप बिना बजट बिगाड़े इसे अरबों बार चला सकते हैं।
- नुकसान: क्योंकि यह "मैग्निट्यूड" (कि मोड़ कितना बड़ा होना चाहिए) को अनदेखा कर देता है, इसलिए यह कभी-कभी कमजोर या थोड़े गलत रास्ते पर जा सकता है। यह तेज़ है, लेकिन हमेशा सबसे सटीक नहीं होता।
"स्पेक्ट्रल" कोच (Muon):
- यह कैसे काम करता है: यह एक जीनियस गणितज्ञ है। यह एक साथ गलती के पूरे मानचित्र को देखता है और इसे ठीक करने के लिए परफेक्ट, सबसे मजबूत दिशा की गणना करता है। यह जटिल मैट्रिक्स गणित (जैसे एक हाई-एंड GPS जो ट्रैफिक, इलाके और गति सीमा को ध्यान में रखते हुए सबसे छोटा रास्ता निकालता है) का उपयोग करता है।
- फायदे: यह बहुत तेज़ी से सबसे अच्छा रास्ता खोज लेता है। रोबोट प्रत्येक चरण में तेज़ी से सीखता है।
- नुकसान: यह कम्प्यूटेशनल रूप से महंगा है। इस जटिल गणित को करने में बहुत समय और ऊर्जा लगती है। यदि आप इस कोच का हर चरण के लिए उपयोग करते हैं, तो प्रशिक्षण का बिल आसमान छू जाएगा।

नया समाधान: LionMuon

लेखकों ने एक सरल प्रश्न पूछा: "क्या हम साइन कोच की गति और स्पेक्ट्रल कोच की सटीकता दोनों पा सकते हैं?"

उनका उत्तर LionMuon है।

एक या दूसरे को चुनने के बजाय, LionMuon एक स्मार्ट स्विचबोर्ड की तरह कार्य करता है। यह एक निश्चित शेड्यूल पर दोनों कोचों के बीच बारी-बारी से चलता है (मान लीजिए, हर 2 स्टेप के बाद):

स्टेप 1: यह उस परफेक्ट, मजबूत दिशा को खोजने के लिए Muon कोच का उपयोग करता है।
स्टेप 2: यह पहले चरण से मिले मोमेंटम (momentum) के आधार पर एक सस्ते, त्वरित समायोजन के लिए Lion कोच का उपयोग करता है।
स्टेप 3: यह वापस Muon पर जाता है, और इसी तरह।

सीक्रेट सॉस (The Secret Sauce):
आमतौर पर, यदि आप कोच बदलते हैं, तो आपको उनकी मेमोरी को रीसेट करना पड़ता है या दो अलग मेमोरी बैंक का उपयोग करना पड़ता है। LionMuon चतुर है क्योंकि यह दोनों कोचों के बीच एक एकल मेमोरी बैंक साझा करता है। इसका मतलब है कि इसे चलाने के लिए अतिरिक्त कंप्यूटर मेमोरी (RAM) की आवश्यकता नहीं है। यह उसी मात्रा में मेमोरी का उपयोग करता है जितनी कि सस्ते Lion कोच की है, जो कि मानक उद्योग कोच (AdamW) की आधी मेमोरी है।

यह एक बड़ी बात क्यों है?

पेपर का दावा है कि इन चरणों को बारी-बारी से बदलकर, LionMuon इन दोनों में से सर्वश्रेष्ठ प्राप्त करता है:

यह सस्ता है: क्योंकि यह हर कुछ चरणों में एक बार महंगी "परफेक्ट मैथ" (perfect math) करता है, इसलिए प्रशिक्षण की कुल लागत काफी कम हो जाती है (समान परिणाम के लिए लगभग 5% कम कंप्यूटिंग पावर की आवश्यकता होती है)।
यह स्मार्ट है: भले ही यह कभी-कभी महंगी गणित को छोड़ देता है, लेकिन "सस्ते" चरण पिछले चरण में मिली मजबूत दिशा द्वारा निर्देशित होते हैं। परिणाम यह है कि रोबोट अकेले किसी भी कोच का उपयोग करने की तुलना में तेजी से सीखता है और कम त्रुटि दर तक पहुँचता है।
यह स्केल करता है: शोधकर्ताओं ने विभिन्न आकारों के मॉडलों (124 मिलियन से 720 मिलियन पैरामीटर्स तक) पर इसका परीक्षण किया। हर मामले में, LionMuon विजेता रहा, जिसने सबसे कम कंप्यूटिंग पावर के साथ सर्वश्रेष्ठ परिणाम प्राप्त किए।

सिद्धांत (यह क्यों काम करता है)

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने गणित किया। उन्होंने सिद्ध किया कि कुछ विशेष परिस्थितियों में (विशेष रूप से जब डेटा शोर वाला/noisy होता है, जो AI में आम है), स्विच करने की आवृत्ति के लिए एक "स्वीट स्पॉट" (sweet spot) होता है।

उन्होंने पाया कि यदि आप बहुत अधिक बार स्विच करते हैं (हर स्टेप में Muon करना), तो यह बहुत महंगा है। यदि आप बहुत कम बार स्विच करते हैं, तो आप सटीकता का लाभ खो देते हैं। उनका गणित दिखाता है कि अधिकांश आधुनिक AI मॉडलों के लिए, 2 स्टेप (एक Muon, एक Lion) में स्विच करना एकदम सही संतुलन है।

सारांश उपमा (Summary Analogy)

कल्पिए कि आप कोहरे में पहाड़ पर चढ़ रहे हैं।

Lion एक तेज़ धावक है जो केवल हवा के आधार पर दिशा का अनुमान लगाता है। वह तेज़ी से चलता है लेकिन टेढ़ा-मेढ़ा चल सकता है।
Muon एक धीमा, महंगा हेलीकॉप्टर पायलट है जो सबसे तीव्र, सुरक्षित रास्ता खोजने के लिए थर्मल कैमरा का उपयोग करता है।
LionMuon एक टीम है जहाँ हेलीकॉप्टर पायलट सबसे अच्छा रास्ता खोजने के लिए एक बार उड़ता है, और फिर तेज़ धावक उस पथ पर कुछ समय के लिए दौड़ता है, इससे पहले कि हेलीकॉप्टर फिर से चेक-इन करे।

परिणाम? आप शिखर तक हेलीकॉप्टर पर पूरी यात्रा के दौरान निर्भर रहने या केवल अनुमान लगाने की तुलना में कम ईंधन के साथ और तेज़ी से पहुँचते हैं।

निचोड़ (The Bottom Line): LionMuon AI को प्रशिक्षित करने का एक नया, कुशल तरीका है जो AI को स्मार्ट बनाने के साथ-साथ पैसा और समय बचाता है, और इसके लिए अतिरिक्त कंप्यूटर मेमोरी की आवश्यकता नहीं होती है।

तकनीकी सारांश: LionMuon

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करना एक विशाल अनुकूलन (optimization) समस्या है जहाँ प्रति-चरण कंप्यूटेशनल लागत (FLOPs) और अभिसरण गति (convergence speed) अंतिम कंप्यूट बिल के प्राथमिक निर्धारक होते हैं। वर्तमान ऑप्टिमाइज़र अपडेट की गुणवत्ता और कंप्यूटेशनल दक्षता के बीच एक ट्रेड-ऑफ का सामना करते हैं:

साइन-आधारित विधियाँ (जैसे, Lion, Signum): ये सस्ते, कोऑर्डिनेट-वाइज साइन अपडेट ( $W_{t+1} = W_t - \eta \cdot \text{sign}(\hat{G}_t)$ ) उत्पन्न करते हैं। ये कंप्यूटेशनल रूप से कम खर्चीले और मेमोरी-कुशल होते हैं लेकिन स्पेक्ट्रल विधियों की तुलना में अक्सर कमजोर अपडेट दिशाएँ प्रदान करते हैं।
स्पेक्ट्रल विधियाँ (जैसे, Muon): ये न्यूटन-शुलज़ इटरेशन (Newton-Schulz iterations) के माध्यम से मैट्रिक्स साइन अपडेट ( $W_{t+1} = W_t - \eta \cdot \text{msign}(\hat{G}_t)$ ) की गणना करते हैं। हालांकि ये मजबूत स्पेक्ट्रल दिशाएँ प्रदान करते हैं जो अक्सर तेज़ अभिसरण की ओर ले जाती हैं, लेकिन ये कई मैट्रिक्स गुणनों और वितरित सेटिंग्स में बढ़े हुए कम्युनिकेशन ओवरहेड (पूर्ण मैट्रिक्स ऑल-गैदर की आवश्यकता के कारण) के कारण काफी उच्च प्रति-चरण लागत वहन करते हैं।

मुख्य प्रश्न जो संबोधित किया गया है वह यह है कि क्या साइन-आधारित अपडेट की कम लागत को स्पेक्ट्रल अपडेट की उच्च-गुणवत्ता वाली दिशाओं के साथ जोड़कर एक बेहतर लागत-गुणवत्ता ट्रेड-ऑफ प्राप्त करने के लिए संभव है।

कार्यप्रणाली (Methodology): LionMuon

लेखक LionMuon प्रस्तावित करते हैं, जो एक निश्चित अवधि $P$ पर Lion-शैली के साइन अपडेट और Muon-शैली के स्पेक्ट्रल अपडेट के बीच बारी-बारी से काम करता है।

मुख्य एल्गोरिदम (Core Algorithm)

अल्टरनेटिंग शेड्यूल (Alternating Schedule): एल्गोरिदम प्रत्येक $P$ -वें इटरेशन में एक Muon स्टेप (न्यूटन-शुलज़ स्पेक्ट्रल अपडेट) करता है और शेष $P-1$ इटरेशन के लिए Lion-शैली के साइन अपडेट करता है।
साझा मोमेंटम (Shared Momentum): दोनों प्रकार के अपडेट एक ही ड्यूल-एक्सपोनेंशियल मूविंग एवरेज (EMA) मोमेंटम बफर ( $M_t$ ) साझा करते हैं। दिशा $\hat{G}_t$ को Lion के इंटरपोलेशन के माध्यम से कंप्यूट किया जाता है: $\hat{G}_t = \beta_1 M_{t-1} + (1-\beta_1)G_t$ ।
स्टेट एफिशिएंसी (State Efficiency): LionMuon केवल एक मोमेंटम बफर बनाए रखता है, जो Lion/Signum के मेमोरी फुटप्रिंट के बराबर है और AdamW से ठीक आधा है।
विशेष मामले (Special Cases):
- $P=1$ : शुद्ध Muon।
- $P=\infty$ : शुद्ध Lion (या Signum यदि $\beta_1=\beta_2$ हो)।
- $P \in (1, \infty)$ : प्रस्तावित अल्टरनेटिंग विधि।
- SignMuon: सिंगल-EMA मोमेंटम ( $\beta_1 = \beta_2$ ) के साथ एक वेरिएंट जो समान अल्टरनेटिंग शेड्यूल का उपयोग करता है।

सैद्धांतिक विश्लेषण (Theoretical Analysis)

लेखक हेवी-टेल्ड नॉइज़ (heavy-tailed noise) के तहत LionMuon के लिए अभिसरण सीमाएं (convergence bounds) प्रदान करते हैं, जो LLM प्रशिक्षण में एक सामान्य स्थिति है।

इंटरपोलेटेड कांस्टेंट्स (Interpolated Constants): अभिसरण सीमा शुद्ध Muon (स्पेक्ट्रल नॉर्म) और शुद्ध Lion (इन्फिनिटी नॉर्म) के स्थिरांकों के बीच इंटरपोलेट करने वाले औसत स्मूथनेस ( $\bar{L}$ ) और नॉइज़ स्तरों ( $\bar{\rho}$ ) पर निर्भर करती है।
इष्टतम अवधि (Optimal Period): सिद्धांत सुझाव देता है कि एक इष्टतम अवधि $P^*$ मौजूद है जो स्मूथनेस कांस्टेंट्स ( $L_\infty / L_2$ ) के अनुपात और नॉइज़ स्तरों ( $\rho_1 / \rho_{nuc}$ ) के अनुपात वाले ट्रेड-ऑफ फैक्टर को कम करता है।
जटिलता (Complexity): व्युत्पन्न जटिलता सीमाएं दिखाती हैं कि LionMuon विशिष्ट कॉन्फ़िगरेशन के तहत, विशेष रूप से जब ट्रेड-ऑफ फैक्टर $\phi(P) < 1$ हो, कम ऑपरेशन्स के साथ शुद्ध Muon या Lion के समान सटीकता प्राप्त कर सकता है।

मुख्य योगदान (Key Contributions)

SignMuon: एक अल्टरनेटिंग ऑप्टिमाइज़र जो प्रत्येक $P$ इटरेशन में एक Muon स्टेप और अन्यथा एक Signum-शैली के साइन स्टेप को निष्पादित करता है। लेखक दिखाते हैं कि भले ही यह सिंगल-EMA वेरिएंट है, यह $P=2$ पर शुद्ध Muon की तुलना में लॉस-बनाम-FLOP्स ट्रेड-ऑफ में सुधार करता है।
LionMuon: मुख्य योगदान, जो Signum के मोमेंटम को Lion के ड्यूल-EMA नियम से बदल देता है। यह Signum के लागत लाभ को सुरक्षित रखते हुए अभिसरण को और अधिक बेहतर बनाता है। इसके लिए केवल एक अतिरिक्त पूर्णांक हाइपरपैरामीटर ( $P$ ) की आवश्यकता होती है और यह एक लगभग 'ड्रॉप-इन रिप्लेसमेंट' है।
सैद्धांतिक सीमाएं (Theoretical Bounds): हेवी-टेल्ड नॉइज़ के तहत शार्प कॉम्प्लेक्सिटी बाउंड्स जो स्पष्ट रूप से Muon और Lion के बीच इंटरपोलेशन को मॉडल करते हैं, और कंप्यूट-ऑप्टिमल अवधि $P$ की भविष्यवाणी करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न डेटासेट्स (FineWeb, SlimPajama, WikiText-103) और आर्किटेक्चर (GPT-2, LLaMA) पर 124M, 355M, और 720M पैरामीटर्स के स्केल्स पर व्यापक प्रयोग।

प्रयोगात्मक परिणाम (Experimental Results)

124M स्केल: LionMuon (विशेष रूप से $P=2$ के साथ) सभी परीक्षण किए गए डेटासेट्स और आर्किटेक्चर पर Muon, Lion, Signum और AdamW को पारेटो-डोमिनेट (Pareto-dominate) करता है। यह शुद्ध Muon की तुलना में लगभग 5.5% कम कुल प्रशिक्षण FLOPs के साथ कम वैलिडेशन लॉस प्राप्त करता है।
स्केलिंग (355M और 720M): अभिसरण-गुणवत्ता का लाभ बड़े स्केल्स पर भी बना रहता है। 355M पर, LionMuon और SignMuon ( $P=2$ ) शुद्ध Muon से बेहतर प्रदर्शन करते हैं। 720M पर, SignMuon ( $P=2$ ) अभी भी शुद्ध Muon को हरा देता है, हालांकि इस विशिष्ट अंडर-ट्रेन्ड बजट में LionMuon का SignMuom पर ड्यूल-EMA लाभ दोहराया नहीं गया।
वितरित प्रशिक्षण (Distributed Training): यह विधि संरचनात्मक संचार बचत (communication savings) प्रदान करती है। चूंकि Lion स्टेप्स एलिमेंट-वाइज और शेर्ड्स के स्थानीय होते हैं, इसलिए $P=2$ सेट करने से Muon के न्यूटन-शुलज़ स्टेप द्वारा आवश्यक महंगे ऑल-गैदर ऑपरेशन्स की आवृत्ति आधी हो जाती है, चाहे बैच साइज कुछ भी हो।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LionMuon, महंगे स्पेक्ट्रल अपडेट की आवृत्ति को इटरेशन काउंट से अलग करके, LLM प्रशिक्षण के लिए एक संरचनात्मक रूप से श्रेष्ठ दृष्टिकोण प्रदान करता है।

दक्षता (Efficiency): यह Muon स्टेप्स की प्रभावशीलता को बरकरार रखते हुए औसत इटरेशन लागत को कम करता है, और साइन-आधारित विधियों की मेमोरी दक्षता से मेल खाता है।
मजबूती (Robustness): यह विधि विभिन्न मॉडल आकारों और डेटासेट्स में मजबूत है, जो लगातार लॉस-बनाम-FLOPs के पारेटो फ्रंट को परिभाषित करती है।
सैद्धांतिक संरेखण (Theoretical Alignment): अनुभवजन्य परिणाम इष्टतम अवधि $P$ के संबंध में सैद्धांतिक भविष्यवाणियों के साथ संरेखित होते हैं, जो यह सुझाव देते हैं कि मध्यवर्ती मान (जैसे, $P=2$ या $P=5$ ) अक्सर महंगे स्पेक्ट्रल दिशा और सस्ते साइन दिशा के बीच सबसे अच्छा संतुलन प्रदान करते हैं।

लेखक निष्कर्ष निकालते हैं कि LionMuon आधुनिक LLM प्रशिक्षण के लिए एक व्यावहारिक, ड्रॉप-इन एक्सटेंशन है जो अभिसरण गुणवत्ता और कंप्यूटेशनल दक्षता दोनों के मामले में वर्तमान स्टेट-ऑफ-द-आर्ट (Muon) में सुधार करता है। भविष्य के कार्य के लिए एडेप्टिव $P$ चयन और 720M से आगे के स्केलिंग का सुझाव दिया गया है।