💻 computer science

AMUSE: Anytime Muon with Stable Gradient Evaluation

यह शोधपत्र AMUSE को प्रस्तुत करता है, जो एक नया ऑप्टिमाइज़र है जो प्रशिक्षण को स्थिर करने और लर्निंग रेट शेड्यूल्स की आवश्यकता को समाप्त करने के लिए Muon की तीव्र बल्क प्रगति को Schedule-Free एवरेजिंग के साथ जोड़ता है, जिससे विजन और लैंग्वेज कार्यों में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: AI को प्रशिक्षित करना एक पहाड़ की चढ़ाई करने जैसा है

कल्पना कीजिए कि आप एक कंप्यूटर (एक न्यूरल नेटवर्क) को कोई कौशल सिखाने की कोशिश कर रहे हैं, जैसे बिल्लियों को पहचानना या कहानियाँ लिखना। ऐसा करने के लिए, कंप्यूटर को गलतियों के एक विशाल, जटिल पहाड़ से "नीचे उतरना" होगा ताकि वह बिल्कुल नीचे (एक आदर्श समाधान) तक पहुँच सके।

इस पहाड़ का आकार पेचीदा है। यह केवल एक चिकनी ढलान नहीं है।

नदी: यहाँ एक चौड़ी, समतल, और मंद घाटी का फर्श है जहाँ आप तेज़ी से चल सकते हैं और अच्छी प्रगति कर सकते हैं। यहीं पर वास्तविक सीखना होता है।
घाटी की दीवारें: इस घाटी के किनारों पर, ज़मीन अविश्वसनीय रूप से खड़ी और पथरीली है। यदि आप दीवारों की ओर बहुत अधिक कदम बढ़ाते हैं, तो आप इधर-उधर बेतहाशा उछलेंगे, जिससे ऊर्जा बर्बाद होगी और आप कहीं नहीं पहुँच पाएंगे।

वर्तमान विधियों के साथ समस्या

लंबे समय से, इस पहाड़ पर चढ़ने का मानक तरीका (जिसे AdamW नामक ऑप्टिमाइज़र कहा जाता है) एक ऐसे हाइकर (पहाड़ी यात्री) की तरह था जिसे एक सख्त मानचित्र की आवश्यकता होती है। मानचित्र उन्हें बताता है कि कितनी तेज़ी से चलना है और कब धीमा होना है। यदि हाइकर मानचित्र को अनदेखा करता है, तो वह रास्ता भटक जाता है।

हाल ही में, दो नई हाइकिंग रणनीतियाँ उभरीं:

शेड्यूल-फ्री (SF): यह एक ऐसे हाइकर की तरह है जिसे मानचित्र की आवश्यकता नहीं है। वे बस चलते रहते हैं, लेकिन कभी-कभी पीछे मुड़कर देखते हैं कि वे कहाँ से आए हैं ताकि वे समतल घाटी के फर्श पर बने रहें। वे बहुत स्थिर हैं लेकिन कभी-कभी शुरुआत में थोड़े धीमे होते हैं।
म्यून (Muon): यह एक नया, सुपर-फास्ट हाइकर है। उनके पास एक विशेष ट्रिक है: वे अपने कदमों को "सीधा" कर देते हैं ताकि वे खड़ी दीवारों पर न फंसें। वे नदी के नीचे बहुत तेज़ी से दौड़ते हैं। हालाँकि, क्योंकि वे इतने तेज़ और आक्रामक हैं, वे कभी-कभी घाटी की दीवारों से टकरा जाते हैं, जिससे वे डगमगा जाते हैं और स्थिरता खो देते हैं।

समाधान: AMUSE

इस पेपर के लेखकों ने महसूस किया कि म्यून तेज़ लेकिन डगमगाता हुआ है, जबकि शेड्यूल-फ्री स्थिर है लेकिन कभी-कभी धीमा होता है। वे दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को मिलाना चाहते थे।

उन्होंने AMUSE (Anytime Muon with Stable Gradient Evaluation) बनाया।

उपमा: "स्मार्ट इंटरपोलेशन" हाइकर

कल्पना कीजिए कि आप एक घुमावदार सड़क (नदी) पर कार चला रहे हैं।

म्यून 100 मील प्रति घंटे की रफ्तार से स्पोर्ट्स कार चलाने जैसा है। आप वहाँ जल्दी पहुँच जाते हैं, लेकिन अगर आप किसी उभार (खड़ी दीवार) से टकराते हैं, तो आप नियंत्रण खो सकते हैं।
शेड्यूल-फ्री 40 मील प्रति घंटे की रफ्तार से एक भारी ट्रक चलाने जैसा है। आप बहुत स्थिर हैं, लेकिन आपको कहीं भी पहुँचने में लंबा समय लगता है।

AMUSE एक स्मार्ट ड्राइवर की तरह है जो दिन के समय के आधार पर अपनी ड्राइविंग शैली बदलता है:

यात्रा की शुरुआत में (शुरुआत): ड्राइवर स्पोर्ट्स कार मोड में होता है। वे तेज़ी से आगे बढ़ने और दूरी तय करने के लिए तेज़ी से चलते हैं (म्यून की तरह)। वे गति बढ़ाने के लिए कुछ जोखिम उठाने को तैयार रहते हैं।
यात्रा के अंत में (अंत): जैसे-जैसे वे अपनी मंजिल के करीब पहुँचते हैं, ड्राइवर धीरे-धीरे "ट्रक मोड" में बदल जाता है। वे अब अपने द्वारा तय किए गए औसत पथ को अधिक देखने लगते हैं, जिससे उनके मोड़ सुचारू हो जाते हैं। यह उन्हें दीवारों से टकराने से रोकता है और उन्हें पूरी तरह से समतल नदी के फर्श पर बनाए रखता है।

AMUSE कैसे काम करता है (तकनीकी जादू)

पेपर इसे एक "समय-परिवर्तित गुणांक" (एक फैंसी तरीका जिसका अर्थ है एक डायल जो समय के साथ बदलता है) का उपयोग करके समझाता है।

डायल ( $\beta_t$ ): शुरुआत में, डायल "तेज़" पथ पर ध्यान केंद्रित करने के लिए सेट किया जाता है। जैसे-जैसे प्रशिक्षण जारी रहता है, डायल धीरे-धीरे "स्थिर" पथ पर ध्यान केंद्रित करने के लिए घूमता है।
परिणाम: AMUSE शुरुआत में म्यून की गति और अंत में शेड्यूल-फ्री की स्थिरता प्राप्त करता है। इसे यह बताने के लिए किसी पहले से लिखे गए मानचित्र (लर्निंग रेट शेड्यूल) की आवश्यकता नहीं है कि कब धीमा होना है; यह इसे खुद ही समझ लेता है।

इस पेपर ने क्या पाया

लेखकों ने कई अलग-अलग "पहाड़ों" (कार्यों) पर इस नई विधि का परीक्षण किया:

इमेज रिकग्निशन: कंप्यूटर को तस्वीरों (जैसे बिल्लियाँ, कुत्ते या हस्तलिखित संख्याएँ) को पहचानने के लिए सिखाना।
लार्ज लैंग्वेज मॉडल्स: AI को टेक्स्ट लिखने और समझने के लिए प्रशिक्षित करना (जैसे चैटबॉट्स के पीछे के मॉडल)।

परिणाम:

तेज़: AMUSE अन्य विधियों की तुलना में कम चरणों में समान उच्च-गुणवत्ता वाले परिणाम प्राप्त कर लेता है। उदाहरण के लिए, एक बड़े लैंग्वेज मॉडल कार्य पर, इसने अगली सबसे अच्छी विधि की तुलना में 1.5 गुना तेज़ी से फिनिश लाइन तक पहुँचकर दिखाया।
स्थिर: यह म्यून की तरह डगमगाया या क्रैश नहीं हुआ जैसा कि म्यून कभी-कभी करता है।
एनीटाइम (Anytime): आप प्रशिक्षण को किसी भी क्षण रोक सकते हैं, और मॉडल एक अच्छी स्थिति में होगा। आपको एक अच्छे परिणाम के लिए किसी विशिष्ट "एंड ऑफ ट्रेनिंग" क्षण का इंतज़ार करने की आवश्यकता नहीं है।

सारांश

यह पेपर AI को प्रशिक्षित करने के लिए एक नए टूल, AMUSE को पेश करता है। यह तेज़ लेकिन डगमगाते हुए म्यून ऑप्टिमाइज़र की अस्थिरता को ठीक करता है, जो शेड्यूल-फ्री ऑप्टिमाइज़ेशन के स्थिरता वाले तरीकों को अपनाता है।

इसे एक ऐसे हाइकर के रूप में सोचें जो जानता है कि कब दौड़ना है और कब स्थिरता से चलना है, जिससे यह सुनिश्चित होता है कि वह पहाड़ के नीचे तेज़ी से और बिना किनारे से गिरे पहुँचे। पेपर का दावा है कि यह इमेज और टेक्स्ट कार्यों में वर्तमान मानक विधियों की तुलना में बेहतर काम करता है, और इसके लिए जटिल शेड्यूलिंग के प्रबंधन की आवश्यकता नहीं है।

तकनीकी सारांश: AMUSE (Anytime Muon with Stable Gradient Evaluation)

समस्या विवरण

आधुनिक डीप लर्निंग अनुकूलन (optimization) आमतौर पर निर्धारित लर्निंग रेट शेड्यूल्स (जैसे कोसाइन डिके) के साथ AdamW ऑप्टिमाइज़र पर निर्भर करता है। हालिया प्रगति ने इन घटकों को व्यक्तिगत रूप से चुनौती दी है: Schedule-Free (SF) अनुकूलन वर्तमान और औसतित इटरिट्स (iterates) के बीच इंटरपोलेटेड बिंदुओं पर ग्रेडिएंट का मूल्यांकन करके स्पष्ट शेड्यूल्स को हटा देता है, जबकि Muon मैट्रिक्स-मूल्य वाले मापदंडों (parameters) के लिए अपडेट ज्योमेट्री को ऑर्थोगोनलाइज़ (orthogonalize) करके सुधारता है।

LLM प्रीट्रेनिंग में Muon की अनुभवजन्य सफलता के बावजूद, इसकी अंतर्निary प्रक्रिया पूरी तरह से समझ में नहीं आई है। पेपर Muon में एक विशिष्ट अस्थिरता की पहचान करता है: जबकि इसका ऑर्थोगोनलाइजेशन "फ्लैट" दिशाओं (लॉस लैंडस्केप के "नदी" या "river") में प्रगति को तेज करता है, यह अनजाने में "स्टीप" उच्च-वक्रता (high-curvature) दिशाओं ("घाटी की दीवारों" या "valley walls") में शोर (noise) को बढ़ाता है, जिससे दोलनशील प्रक्षेपवक्र (oscillatory trajectories) उत्पन्न होते हैं। इसके विपरीत, जबकि Schedule-Free विधियाँ औसतित प्रक्षेपवक्रों को नदी के करीब रखकर स्थिरता प्रदान करती हैं, उनमें Muon के ऑर्थोगोनलाइजेशन द्वारा दी जाने वाली तीव्र बल्क प्रगति की कमी हो सकती है। मुख्य समस्या एक ऐसे ऑप्टिमाइज़र को डिजाइन करने की है जो बिना किसी मैनुअल लर्निंग रेट शेड्यूल के, Muon की तीव्र अभिसरण (convergence) क्षमता को Schedule-Free की स्थिरता के साथ जोड़ सके।

कार्यप्रणाली: AMUSE

लेखक AMUSE (Anytime Muon with Stable Gradient Evaluation) प्रस्तावित करते हैं, जो एक समय-परिवर्तनीय इंटरपोलेशन गुणांक (time-varying interpolation coefficient) का उपयोग करके Muon के ऑर्थोगोनलाइज्ड मैट्रिक्स अपडेट को Schedule-Free फ्रेमवर्क के साथ एकीकृत करता है।

सैद्धांतिक आधार: रिवर-वैली लैंडस्केप (River-Valley Landscape)

यह विश्लेषण रिवर-वैली लॉस लैंडस्केप परिप्रेक्ष्य पर आधारित है:

नदी (The River): एक उच्च-आयामी, निम्न-वक्रता वाला बल्क सबस्पेस जहाँ उपयोगी प्रशिक्षण प्रगति होती है।
घाटी की दीवारें (The Valley Walls): एक निम्न-आयामी, उच्च-वक्रता वाला डोमिनेंट सबस्पेस जो दोलन (oscillations) उत्पन्न करता है।
Muon का तंत्र: मोमेंटम मैट्रिक्स को ऑर्थोगोनलाइज़ करना अपडेट के सापेक्ष बल्क घटक को बढ़ाता है, जिससे नदी के साथ प्रगति तेज होती है। हालाँकि, यह डोमिनेंट घटकों को घटने से भी रोकता है, जिससे डोमिनेंट दिशाओं में छोटा शोर घाटी की दीवारों के पार दोलनों के रूप में प्रवर्धित (amplify) हो जाता है।
Schedule-Free का तंत्र: औसतित प्रक्षेपवक्र (जो नदी के करीब है) पर ग्रेडिएंट का मूल्यांकन करना, अपडेट स्टेप से पहले ही उच्च-वक्रता वाले उतार-चढ़ाव को फ़िल्टर कर देता है।

एल्गोरिदम डिज़ाइन

AMUSE एक समय-परिवर्तनीय इंटरपोलेशन गुणांक $\beta_t$ का उपयोग करता है ताकि फास्ट बेस सीक्वेंस $Z_t$ (Muon अपडेट) और स्टेबल एवरेजड सीक्वेंस $X_t$ के बीच ग्रेडिएंट मूल्यांकन बिंदु $Y_t$ निर्धारित किया जा सके:
$Y_t = (1 - \beta_t)Z_t + \beta_t X_t$

$\beta_t$ का शेड्यूल प्रारंभिक अनुकूलन और देर के चरण की स्थिरता के बीच संतुलन बनाने के लिए डिज़ाइन किया गया है:

वॉर्मअप चरण ( $t \le T_0$ ): $\beta_t$ को एक छोटे मान $\beta_1$ पर स्थिर रखा जाता है। यह ऑप्टिमाइज़र को तीव्र प्रारंभिक अनुकूलन के लिए फास्ट Muon सीक्वेंस ( $Z_t$ ) के पास ग्रेडिएंट का मूल्यांकन करने की अनुमति देता है।
पोस्ट-वॉर्मअप ( $t > T_0$ ): $\beta_t$ धीरे-धीरे $\beta_t = 1 - \left( \frac{T_0 - 1}{t - 1} \right)^\rho (1 - \beta_1)$ के अनुसार 1 की ओर बढ़ता है। यहाँ, $\rho \in [0, 1]$ बदलाव की दर को नियंत्रित करता है। जैसे-जैसे $\beta_t$ बढ़ता है, ग्रेडिएंट मूल्यांकन बिंदु औसतित सीक्वेंस $X_t$ की ओर स्थानांतरित हो जाता है। यह ऑर्थोगोनलाइजेशन से गुजरने से पहले ही ग्रेडिएंट के उच्च-वक्रता (डोमिनेंट) घटकों को दबा देता है, जिससे प्रक्षेपवक्र स्थिर हो जाता है।

महत्वपूर्ण रूप से, यह शेड्यूल कुल प्रशिक्षण क्षितिज (training horizon) से स्वतंत्र है, जो एनीटाइम ट्रेनिंग (किसी भी बिंदु पर बिना प्रदर्शन ह्रास के प्रशिक्षण रोकना संभव है) को सक्षम बनाता है। AMUSE को किसी लर्निंग रेट डिके शेड्यूल की आवश्यकता नहीं होती है।

मुख्य योगदान

Muon का ज्यामितीय विश्लेषण: पेपर Muon की दक्षता और अस्थिरता के लिए एक ज्यामितीय स्पष्टीकरण प्रदान करता है। यह प्रदर्शित करता है कि ऑर्थोगोनलाइजेशन बल्क-ओरिएंटेड अपडेट को बढ़ावा देता है (नदी की प्रगति को तेज करता है), लेकिन डोमिनेंट-डायरेक्शन शोर को प्रवर्धित करता है (घाटी की दीवारों पर दोलन का कारण बनता है)।
इंटरपोलेशन के माध्यम से स्थिरीकरण: लेखक दिखाते हैं कि औसतित प्रक्षेपवक्रम के करीब ग्रेडिएंट का मूल्यांकन करना (Schedule-Free के माध्यम से) ऑर्थोगोनलाइजेशन से पहले डोमिनेंट घटकों को कम करता है, जिससे दोलन कम हो जाते हैं।
AMUSE एल्गोरिदम: एक नया ऑप्टिमाइज़र जो डायनामिक रूप से ग्रेडिएंट मूल्यांकन बिंदु को फास्ट Muon प्रक्षेपवक्रम से स्टेबल एवरेजड प्रक्षेपवक्रम की ओर स्थानांतरित करता है। यह Muon के तीव्र अभिसरण को Schedule-Free विधियों की स्थिरता के साथ जोड़ता है।
एनीटाइम ट्रेनिंग सपोर्ट: एक समय-परिवर्तनीय शेड्यूल का उपयोग करके और लर्निंग रेट डिके से बचकर, AMUSE लचीले प्रशिक्षण क्षितिजों को समर्थन देता है।

प्रयोगात्मक परिणाम

AMUSE का विविध बेंचमार्क पर मूल्यांकन किया गया, जिसमें इमेज क्लासिफिकेशन (CIFAR-10/100, SVHN, ImageNet-1k), इमेज सेगमेंटेशन (ISIC 2018), और LLM प्रीट्रेनिंग (FineWeb पर 124M, 720M, और 1B पैरामीटर वाले Llama-स्टाइल मॉडल) शामिल हैं।

परफॉरमेंस-इटरेशन पारेटो फ्रंटियर: AMUSE सभी कार्यों में (Schedule-Free) AdamW और Muon से लगातार बेहतर प्रदर्शन करता है।
दक्षता लाभ:
- 720M LLM प्रीट्रेनिंग पर, AMUSE 1.51 $\times$ कम स्टेप्स के साथ Muon के अंतिम प्रदर्शन तक पहुँचता है।
- ResNet-50 के साथ ImageNet पर, यह समान प्रदर्शन के लिए 1.12 $\times$ कम स्टेप्स लेता है।
- ViT फाइन-ट्यूनिंग के साथ ImageNet पर, इसे 3.08 $\times$ कम स्टेप्स की आवश्यकता होती है।
स्थिरता: वैनिला Muon के विपरीत, जिसे पोस्ट-हॉक एक्सपोनेंशियल वेट एवरेजिंग (EWA) या लर्निंग रेट डिके से काफी लाभ होता है, AMUSE पूरे प्रशिक्षण के दौरान एक स्थिर प्रक्षेपवक्र बनाए रखता है, और इन पोस्ट-हॉक तकनीकों को लागू करने पर न्यूनतम सुधार दिखाता है।
स्केलेबिलिटी: AMUSE बड़े बैच साइज (2048 तक) और बड़े मॉडल स्केल (1B पैरामीटर) तक प्रभावी ढंग से स्केल करता है, जहाँ अन्य Schedule-Free वेरिएंट कभी-कभी संघर्ष करते हैं।

महत्व और दावे

पेपर दावा करता है कि AMUSE प्रशिक्षण गतिशीलता और लॉस लैंडस्केप ज्योमेट्री की व्यवस्थित समझ से प्राप्त ऑप्टिमाइज़र डिज़ाइन के प्रति एक सिद्धांत-आधारित दृष्टिकोण का प्रतिनिधित्व करता है। तीव्र बल्क प्रगति और घाटी-दीवार स्थिरता के बीच के ट्रेड-ऑफ को स्पष्ट रूप से संबोधित करके, AMUSE बिना किसी मैनुअल लर्निंग रेट शेड्यूलिंग की आवश्यकता के बेहतर प्रदर्शन प्राप्त करता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि AMUSE मौजूदा ऑप्टिमाइज़र्स से बेहतर है, लेकिन यह वैनिला Muon की तुलना में थोड़ा अधिक मेमोरी ओवरहेड (बेस सीक्वेंस $Z_t$ के लिए एक अतिरिक्त स्टेट कॉपी) लेता है, हालांकि यह AdamW और Schedule-Free AdamW के तुलनीय रहता है। वे सुझाव देते हैं कि भविष्य के कार्य इस अतिरिक्त मेमोरी लागत के बिना समान स्थिरता और प्रदर्शन प्राप्त करने पर केंद्रित हो सकते हैं। पेपर इस बात पर जोर देता है कि "रिवर-वैली" परिप्रेक्ष्य एक मजबूत ढांचा प्रदान करता है जिसका उपयोग ऐसे ऑप्टिमाइज़र डिजाइन करने के लिए किया जा सकता है जो कुशल और स्थिर दोनों हों।