🤖 machine learning

Accelerating LMO-Based Optimization via Implicit Gradient Transport

यह शोध पत्र LMO-IGT का प्रस्ताव करता है, जो स्टोकेस्टिक अनुकूलन विधियों का एक नया वर्ग है जो प्रति पुनरावृत्ति केवल एक ग्रेडिएंट मूल्यांकन के साथ बेहतर $\mathcal{O}(\varepsilon^{-3.5})$ इटरेशन कॉम्प्लेक्सिटी प्राप्त करने के लिए 'इम्प्लिसिट ग्रेडिएंट ट्रांसपोर्ट' का लाभ उठाता है, और साथ ही अनकन्स्ट्रेंड (unconstrained) और कन्स्ट्रेंड (constrained) LMO-आधारित दृष्टिकोणों के बीच सैद्धांतिक अंतराल को पाटने के लिए एक एकीकृत ढांचे और नियमित सहायता फलन (regularized support function) को प्रस्तुत करता है।

मूल लेखक: Won-Jun Jang, Si-Hyeon Lee

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Won-Jun Jang, Si-Hyeon Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी (जिसे "लॉस लैंडस्केप" कहा जाता है) में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं ताकि एक विशाल AI मॉडल को प्रशिक्षित किया जा सके। आप पूरे दृश्य को नहीं देख सकते, इसलिए आपको अपने पैरों के ठीक नीचे की ढलान के आधार पर कदम उठाने होंगे। यही काम ऑप्टिमाइज़ेशन एल्गोरिदम करते हैं।

लंबे समय तक, इसे करने का मानक तरीका यह था कि ढलान की दिशा में एक कदम उठाया जाए, लेकिन कदम का आकार इस आधार पर बदला जाए कि ढलान कितनी तीव्र है। हाल ही में, कुछ नई विधियों (जैसे Lion और Muon) ने खेल बदल दिया है। केवल ढलान को देखने के बजाय, वे समय के साथ ढलान के औसत (मोमेंटम) को देखते हैं और फिर उसे "नॉर्मलाइज़" करते हैं। इसे एक ऐसे हाइकर की तरह समझें जो केवल ढलान की ओर नहीं चलता, बल्कि लगातार अपने कंपास की जांच करता है ताकि वह सुनिश्चित कर सके कि वह सबसे कुशल दिशा में चल रहा है, चाहे ढलान कितनी भी तीव्र क्यों न हो।

समस्या: सुस्त कंपास (The Laggy Compass)

पेपर पहचानता है कि ये "LMO-आधारित" विधियाँ (लीनियर मिनिमाइजेशन ऑरेकल) बेहतरीन हैं, लेकिन वे एक देरी (delay) से जूझती हैं। कल्पना कीजिए कि आप एक कार चला रहे हैं जिसका स्टीयरिंग व्हील बहुत भारी है। आप स्टीयरिंग घुमाते हैं, लेकिन कार को दिशा बदलने में थोड़ा समय लगता है। गणितीय शब्दों में, "मोमेंटम" (कार की वर्तमान दिशा) पुराने डेटा पर आधारित है, इसलिए यह उस दिशा से पूरी तरह मेल नहीं खाता जहाँ आपको वास्तव में अभी जाना चाहिए।

इस देरी को ठीक करने के लिए, पिछले शोधकर्ताओं ने एक तकनीक का उपयोग किया जिसे वैरिएंस रिडक्शन (Variance Reduction) कहा जाता है। यह एक स्काउट (जासूस) को आगे का रास्ता देखने के लिए भेजने जैसा है, जो फिर वापस आकर आपको दिशा बताता है। यह तेज़ काम करता है, लेकिन यह महंगा है: आपको हर कदम के लिए दो बार स्काउट भेजना पड़ता है (दो बार ग्रेडिएंट की गणना करनी पड़ती है), जिससे पूरी प्रक्रिया धीमी हो जाती है और अधिक कंप्यूटर पावर खर्च होती है।

समाधान: "लुकअहेड" ट्रिक (IGT)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे LMO-IGT (इम्प्लिसिट ग्रेडिएंट ट्रांसपोर्ट) कहा जाता है। वे "स्काउट" वाले तरीके की गति का लाभ उठाना चाहते थे, लेकिन बिना दो स्काउट भेजने की लागत के।

यहाँ एक रचनात्मक उपमा (analogy) दी गई है:
कल्पना कीजिए कि आप एक पट्टे (leash) पर टहल रहे एक कुत्ते को घुमा रहे हैं।

मानक विधि: आप देखते हैं कि कुत्ता अभी कहाँ है, अनुमान लगाते हैं कि वह कहाँ जाएगा, और पट्टे को खींचते हैं। लेकिन कुत्ता पहले से ही चल रहा है, इसलिए आप हमेशा एक सेकंड पीछे रहते हैं।
वैरिएंस रिडक्शन (पुराना समाधान): आप रुक जाते हैं, उस जगह की ओर दौड़ते हैं जहाँ कुत्ता हो सकता है, रास्ते की जाँच करते हैं, वापस दौड़ते हैं, और फिर पट्टे को खींचते हैं। सटीक, लेकिन थका देने वाला (दो चक्कर)।
LMO-IGT (नया समाधान): आप रुकते या दौड़ते नहीं हैं। इसके बजाय, आप अपने से थोड़ा आगे उसी रास्ते पर चलते हुए अपने एक "भूतिया संस्करण" (ghost version) की कल्पना करते हैं। आप उस भूत से पूछते हैं, "वहाँ ज़मीन कैसी महसूस हो रही है?" और उस जानकारी का उपयोग पट्टे को खींचने के लिए करते हैं। आप केवल एक कदम उठाते हैं, लेकिन आप अपने से थोड़ा आगे के स्थान की जानकारी का उपयोग कर रहे होते हैं।

यह "भूत" ही ट्रांसपोर्टेड पॉइंट है। इस थोड़े उन्नत बिंदु पर ढलान की गणना करके, एल्गोरिदम अपने मोमेंटम को सुधार लेता है, इससे पहले कि वह पुराने डेटा का अनुसरण करने की गलती करे। यह एक ऐसे क्रिस्टल बॉल की तरह है जो केवल आपके पथ के अगले कुछ इंच दिखाता है, जिससे आप बिना किसी अतिरिक्त प्रयास के सटीक रूप से दिशा मोड़ पाते हैं।

एकीकृत ढांचा (The Unified Framework)

पेपर इन विधियों के लिए एक "यूनिवर्सल ट्रांसलेटर" भी बनाता है।

कुछ विधियाँ खुले मैदानों (unconstrained) में सबसे अच्छा काम करती हैं।
कुछ दीवारों वाले बगीचों (constrained) के अंदर सबसे अच्छा काम करती हैं।
पहले, वैज्ञानिक प्रत्येक के लिए सफलता को मापने के लिए अलग-अलग नियमपुस्तिकाओं का उपयोग करते थे।

लेखकों ने एक नया मापक यंत्र बनाया जिसे रेगुलराइज्ड सपोर्ट फंक्शन (RSF) कहा जाता है। इसे एक "यूनिवर्सल रूलर" के रूप में सोचें जो यह माप सकता है कि आप घाटी के तल के कितने करीब हैं, चाहे आप एक खुले मैदान में हों या दीवारों वाले बगीचे में। यह उन्हें इन सभी अलग-अलग विधियों की एक ही पैमाने पर निष्पक्ष रूप से तुलना करने की अनुमति देता है।

परिणाम

इस "लुकअहेड" ट्रिक (IGT) का उपयोग करते हुए, लेखकों ने पाया कि:

गति: उनकी नई विधि मानक विधियों की तुलना में तेजी से कन्वर्ज (तल तक पहुँचती) होती है।
दक्षता: "स्काउट" पद्धति (वैरिएंस रिडक्शन) के विपरीत, इसके लिए अतिरिक्त गणनाओं की आवश्यकता नहीं होती है। यह "एक कदम, एक गणना" के नियम को बनाए रखता है, इसलिए यह मानक विधियों की तरह ही तेज़ चलती है लेकिन बेहतर परिणाम देती है।
प्रदर्शन: जब उन्होंने इमेज रिकग्निशन (CIFAR-10) और लैंग्वेज मॉडल्स (टेक्स्ट लिखना) पर इस नए संस्करण, जिसे Muon-IGT कहा जाता है, का परीक्षण किया, तो इसने लगातार दूसरों को पछाड़ दिया। यह समान समय में उच्च सटीकता तक पहुँच गया।

सारांश में

यह पेपर AI प्रशिक्षण के जटिल परिदृश्य में नेविगेट करने का एक स्मार्ट तरीका पेश करता है। पुरानी जानकारी (लैग) पर प्रतिक्रिया करने में फंसने या आगे का रास्ता देखने के लिए भारी कीमत चुकाने के बजाय, वे अधिक सटीक रूप से स्टीयर करने के लिए एक चतुर "लुकअहेड" ट्रिक का उपयोग करते हैं। यह बिना अधिक कंप्यूटर पावर के बड़े AI मॉडल को प्रशिक्षित करना तेज़ और अधिक कुशल बनाता है।

तकनीकी सारांश: इम्पलिसिट ग्रेडिएंट ट्रांसपोर्ट के माध्यम से LMO-आधारित अनुकूलन को त्वरित करना

समस्या विवरण

हालिया ऑप्टिमाइज़र जैसे कि Lion और Muon ने लीनियर मिनिमाइजेशन ऑरैकल्स (LMOs) के माध्यम से ग्रेडिएंट मोमेंटम को सामान्यीकृत (normalize) करके मजबूत अनुभवजन्य प्रदर्शन प्रदर्शित किया है। हालांकि ये विधियाँ प्रभावी हैं, उनकी सैद्धांतिक समझ अनकन्स्ट्रेंड (unconstrained) और कंस्ट्रेंड (constrained) स्वरूपों के बीच खंडित रही है, जो अक्सर विसंगत स्टेशनैरिटी मापों (ग्रेडिएंट नॉर्म्स बनाम फ्रैंक-वोल्फ गैप्स) पर निर्भर करती है। इसके अलावा, जबकि वेरिएंस रिडक्शन (VR) तकनीकों को LMO-आधारित विधियों को त्वरित करने के लिए खोजा गया है, वे प्रति इटरेशन अतिरिक्त ग्रेडिएंट मूल्यांकन (जैसे, वर्तमान और पिछले इटरेट्स दोनों पर ग्रेडिएंट की गणना करना) की आवश्यकता के कारण पर्याप्त कम्प्यूटेशनल ओवरहेड उत्पन्न करती हैं। यह एक ट्रेड-ऑफ बनाता है: तेजी से होने वाले सैद्धांतिक अभिसरण (convergence) दरों को प्राप्त करने से अक्सर बड़े पैमाने की सेटिंग्स में व्यावहारिक दक्षता (wall-clock time और मेमोरी उपयोग के कारण) कम हो जाती है।

यह शोध पत्र दो केंद्रीय प्रश्नों को संबोधित करता है:

क्या LMO-आधारित विधियाँ वेरिएंस रिडक्शन से जुड़े पर्याप्त कम्प्यूटेशनल ओवरहेड से बचते हुए त्वरित अभिसरण प्राप्त कर सकती हैं?
क्या स्टोकेस्टिक LMO-आधारित अनुकूलन को एक एकीकृत ढांचे के भीतर समझा जा सकता है जो अनकन्स्ट्रेंड और कंस्ट्रेंड सेटिंग्स के बीच के अंतर को पाटता है?

कार्यप्रणाली

1. LMOs के लिए इम्पलिसिट ग्रेडिएंट ट्रांसपोर्ट (IGT)

लेखक LMO-IGT का प्रस्ताव करते हैं, जो एक नया वर्ग है जो सामान्य LMO अपडेट के लिए इम्पलिसिट ग्रेडिएंट ट्रांसपोर्ट (IGT) की अवधारणा का विस्तार करता है।

मुख्य तंत्र: मानक स्टोकेस्टिक LMO के विपरीत, जो वर्तमान इटरेट $w_t$ पर ग्रेडिएंट का मूल्यांकन करता है, LMO-IGT एक "ट्रांसपोर्टेड" बिंदु $x_t$ पर स्टोकेस्टिक ग्रेडिएंट का मूल्यांकन करता है। यह बिंदु अनुकूलन प्रक्षेपवक्र (optimization trajectory) के एक लुकअहेड सन्निकटन (lookahead approximation) के रूप में कार्य करता है।
अपडेट नियम: विधि अलग-अलग टाइम स्केल्स के साथ दो मोमेंटम बफर्स बनाए रखती है। ग्रेडिएंट मोमेंटम $g_t$ को $x_t$ पर मूल्यांकित ग्रेडिएंट का उपयोग करके अपडेट किया जाता है, जबकि इटरेट $w_t$ को $g_t$ से प्राप्त LMO दिशा के माध्यम से अपडेट किया जाता है। ट्रांसपोर्टेड बिंदु $x_{t+1}$ को उसी LMO दिशा का उपयोग करके लेकिन संभावित रूप से अलग स्टेप साइज़ के साथ अपडेट किया जाता है।
दक्षता: महत्वपूर्ण रूप से, यह तंत्र मानक स्टोकेस्टिक LMO की सिंगल-ग्रेडिएंट-पर-इटरेशन संरचना को संरक्षित करता है। इसके लिए उन अतिरिक्त ग्रेडिएंट मूल्यांकनों की आवश्यकता नहीं होती है जो वेरिएंस-रिड्यूस्ड विधियाँ (जैसे Lion-VR या Muon-VR) आवश्यक बनाती हैं।

2. एकीकृत ढांचा और रेगुलराइज्ड सपोर्ट फंक्शन (RSF)

इन विधियों को समान रूप से विश्लेषित करने के लिए, लेखक एक एकीकृत ढांचा प्रस्तुत करते हैं जिसमें तीन वर्ग शामिल हैं:

स्टोकेस्टिक LMO: मानक विधियाँ (जैसे Lion, Muon) जिनमें एक ग्रेडिएंट मूल्यांकन होता है।
वेरिएंस-रिड्यूस्ड LMO (LMO-VR): विधियाँ जिनमें STORM-जैसे करेक्शन टर्म्स शामिल होते हैं और जिनमें दो ग्रेडिएंट मूल्यांकन होते हैं।
LMO-IGT: प्रस्तावित विधि जिसमें एक ग्रेडिएंट मूल्यांकन होता है लेकिन ट्रांसपोर्टेड पॉइंट्स का उपयोग किया जाता है।

एक प्रमुख सैद्धांतिक योगदान रेगुलराइज्ड सपोर्ट फंक्शन (RSF) का परिचय है, जिसे $\Psi_{C,\lambda}(w)$ द्वारा दर्शाया गया है।

परिभाषा: $\Psi_{C,\lambda}(w) := \sup_{v \in C} \langle -\nabla F(w), v - \lambda w \rangle$ ।
एकीकरण:
- जब $\lambda > 0$ (कंस्ट्रेंड सेटिंग), तो RSF फ्रैंक-वोल्फ गैप तक स्केल करता है।
- जब $\lambda = 0$ (अनकन्स्ट्रेंड सेटिंग), तो RSF सपोर्ट फंक्शन में बदल जाता है, जो ड्यूल नॉर्म (जैसे यूक्लिडियन बॉल के लिए ग्रेडिएंट नॉर्म) के साथ मेल खाता है।
यह माप दोनों कंस्ट्रेंड और अनकन्स्ट्रेंड स्वरूपों के बीच एक सामान्य अभिसरण विश्लेषण के लिए एक साझा आधार प्रदान करता है, जो ग्रेडिएंट-नॉर्म और फ्रैंक-वोल्फ-गैप धारणाओं के बीच के अंतर को पाटता है।

मुख्य योगदान

LMO-IGT एल्गोरिदम: एक नए वर्ग का ऑप्टिमाइज़र जो ट्रांसपोर्टेड पॉइंट्स पर ग्रेडिएंट का मूल्यांकन करके LMO-आधारित विधियों को त्वरित करता है, जिससे बिना अतिरिक्त ग्रेडिएंट मूल्यांकन के तेज़ अभिसरण प्राप्त होता है।
एकीकृत सैद्धांतिक ढांचा: एक सामान्यीकृत अपडेट एल्गोरिदम और RSF स्टेशनैरिटी मेजर जो स्टोकेस्टिक LMO, LMO-VR और LMO-IGT के विश्लेषण को एकीकृत करता है।
अभिसरण गारंटी: यह शोध पत्र $\epsilon$ $ϵ$ -स्टेशनैरिटी ( $\epsilon$ $ϵ$ -stationarity द्वारा मापा गया, RSF द्वारा) तक पहुँचने के लिए निम्नलिखित इटरेशन कॉम्प्लेक्सिटी स्थापित करता है:
- स्टोकेस्टिक LMO: $O(\epsilon^{-4})$ (मानक दर)।
- LMO-VR: $O(\epsilon^{-3})$ (प्रति इटरेशन 2 ग्रेडिएंट मूल्यांकन की आवश्यकता)।
- LMO-IGT: $O(\epsilon^{-3.5})$ (केवल 1 ग्रेडिएंट मूल्यांकन की आवश्यकता)।
व्यावहारिक इंस्टेंशिएशन: लेखक विशिष्ट LMO सेट्स के साथ LMO-IGT को लागू करते हैं, जिससे Lion-IGT ( $\ell_\infty$ -नॉर्म बॉल्स का उपयोग करके) और Muon-IGT (ऑपरेटर-नॉर्म बॉल्स का उपयोग करके) प्राप्त होते हैं।

प्रयोगात्मक परिणाम

लेखकों ने इमेज क्लासिफिकेशन (ResNet-18 के साथ CIFAR-10) और लैंग्वेज मॉडलिंग (nanoGPT के साथ Shakespeare डेटासेट, और 124M पैरामीटर मॉडल के साथ OpenWebText) पर प्रस्तावित विधियों का मूल्यांकन किया।

प्रदर्शन: Muon-IGT ने मूल्यांकित सभी सेटिंग्स में लगातार सबसे मजबूत समग्र प्रदर्शन प्राप्त किया, जिसने मानक Lion/Muon, उनके वेरिएंस-रिड्यूस्ड समकक्षों (Lion-VR/Muon-VR), और AdamW एवं NIGT जैसे बेसलाइन्स को पीछे छोड़ दिया।
दक्षता: जबकि वेरिएंस-रिड्यूस्ड विधियाँ (Lion-VR, Muon-VR) सैद्धांतिक रूप से $O(\epsilon^{-3})$ दर प्रदान करती हैं, वे अतिरिक्त ग्रेडिएंट मूल्यांकन के कारण काफी अधिक वॉल-क्लॉक टाइम लेती हैं। इसके विपरीत, LMO-IGT विधियाँ अपने प्लेन समकक्षों (सिंगल ग्रेडिएंट इवैल्यूएशन) के लगभग समान गति से चलती हैं और उच्च सटीकता प्राप्त करती हैं।
मजबूती (Robustness): एब्लेशन स्टडीज और हाइपरपैरामीटर संवेदनशीलता परीक्षणों से संकेत मिला कि Muon-IGT लर्निंग रेट और वेट डिके के चयन के प्रति मजबूत है, और यह एक विस्तृत सर्च स्पेस में अच्छा प्रदर्शन करता है।

महत्व और दावे

शोध पत्र का दावा है कि IGT आधुनिक LMO-आधारित अनुकूलन के लिए एक प्रभावी और व्यावहारिक त्वरण तंत्र प्रदान करता है।

सिद्धांत और व्यवहार के बीच सेतु: यह कार्य मानक स्टोकेस्टिक LMO और वेरिएंस-रिड्यूस्ड विधियों के बीच के अंतर को सफलतापूर्वक पाटता है। यह प्रदर्शित करता है कि हम वेरिएंस रिडक्शन की अत्यधिक कम्प्यूटेशनल लागत के बिना $O(\epsilon^{-3})$ (विशेष रूप से $O(\epsilon^{-3.5})$ ) के करीब अभिसरण दर प्राप्त कर सकते हैं।
एकीकृत दृष्टिकोण: RSF को पेश करके, यह शोध पत्र एक सामान्य सैद्धांतिक भाषा प्रदान करता है जिसका उपयोग उन ऑप्टिमाइज़र्स की तुलना करने के लिए किया जा सकता है जो पहले असंगत मानदंडों (ग्रेडिएंट नॉर्म्स बनाम फ्रैंक-वोल्फ गैप्स) के तहत विश्लेषित थे।
व्यावहारिक प्रभाव: प्रयोगात्मक परिणाम बताते हैं कि बड़े पैमाने की सेटिंग्स के लिए जहाँ कम्प्यूटेशनल दक्षता सर्वोपरि है, LMO-IGT एक बेहतर ट्रेड-ऑफ प्रदान करता है, जो मानक LMO विधियों की तुलना में नगण्य ओवरहेड के साथ स्टेट-ऑफ-द-आर्ट सटीकता प्रदान करता है।

लेखक नोट करते हैं कि उनकी सैद्धांतिक गारंटी मानक स्मूथनेस और सेकंड-ऑर्डर रेगुलैरिटी धारणाओं पर निर्भर करती है, जो व्यावहारिक डीप लर्निंग के सापेक्ष आदर्श हैं, लेकिन यह ढांचा दर तुलना के लिए एक सिद्धांत आधारित आधार प्रदान करता है। वे यह दावा नहीं करते कि उन्होंने सभी अनुकूलन चुनौतियों को हल कर दिया है, बल्कि इस बात पर जोर देते हैं कि ट्रांसपोर्टेड ग्रेडिएंट्स सामान्य यूक्लिडियन नॉर्मलाइजेशन से परे सामान्य LMO-आधारित अपडेट्स तक विस्तारित होते हैं।