🤖 machine learning

Convergence of Steepest Descent and Adam under Non-Uniform Smoothness

यह शोध पत्र यह स्थापित करता है कि एक गैर-समान सुगमता (non-uniform smoothness) धारणा के तहत, जहाँ वक्रता (curvature) ऑब्जेक्टिव वैल्यू का एक अफ़ाइन फलन (affine function) है, स्टीपेस्ट डिसेंट और एडम (Adam) एवं RMSProp जैसे एडेप्टिव मेथड्स, लॉजिस्टिक रिग्रेशन, सॉफ्टमैक्स पॉलिसी ग्रेडिएंट और विशिष्ट न्यूरल नेटवर्क जैसी समस्याओं के लिए पारंपरिक ग्रेडिएंट डिसेंट और अन्य वेरिएंट्स की तुलना में प्रमाणित रूप से तेज़ रैखिक अभिसरण दरें (linear convergence rates) प्राप्त करते हैं।

मूल लेखक: Sharan Vaswani, Yifan Sun, Reza Babanezhad

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sharan Vaswani, Yifan Sun, Reza Babanezhad

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। यह घाटी एक मशीन लर्निंग समस्या के "लॉस लैंडस्केप" (loss landscape) का प्रतिनिधित्व करती है, और आपका लक्ष्य जितनी जल्दी हो सके नीचे (सर्वश्रेष्ठ समाधान) तक पहुँचना है।

लंबे समय तक, वैज्ञानिकों ने माना कि यह घाटी एक चिकने, अनुमानित कटोरे की तरह थी। उन्होंने सोचा कि आप कहीं भी हों, जमीन की ढलान लगभग एक समान ही रहेगी। इससे यह गणना करना आसान हो गया कि नीचे उतरने का सबसे अच्छा तरीका क्या है।

हालाँकि, यह शोध पत्र तर्क देता है कि वास्तविक दुनिया के मशीन लर्निंग वाले मैदान बहुत अधिक अराजक (chaotic) होते हैं। वे एक समान कटोरे नहीं हैं; वे ऊबड़-खाबड़, असमान इलाके हैं जहाँ ढलान इस बात पर बहुत अधिक बदल जाती है कि आप कितनी ऊंचाई पर हैं। कभी जमीन समतल होती है, तो कभी यह एक खड़ी चट्टान की तरह होती है।

लेखक इस अव्यवस्थित इलाके का वर्णन करने का एक नया तरीका पेश करते हैं। वे इसे नॉन-यूनिफॉर्म स्मूथनेस (Non-Uniform Smoothness) कहते हैं। यह कहने के बजाय कि "जमीन हमेशा इतनी ही ढाल वाली है," वे कहते हैं, "जमीन की ढलान सीधे तौर पर इस बात से जुड़ी है कि आप कितनी ऊंचाई पर हैं।" यदि आप ऊपर हैं, तो जमीन बहुत ढाल वाली हो सकती है। यदि आप नीचे हैं, तो यह अधिक समतल हो सकती है।

यहाँ उन्होंने इस विशिष्ट प्रकार के इलाके में रास्ता खोजने के बारे में क्या खोजा है:

1. "साइन" रणनीति बनाम "फुल स्टेप" रणनीति

कल्पना कीजिए कि आपके पास इस पहाड़ी से नीचे उतरने के दो तरीके हैं:

ग्रेडिएंट डिसेंट (GD): आप जमीन को देखते हैं, ढलान को महसूस करते हैं, और उस दिशा में एक पूरा कदम उठाते हैं। आपके कदम का आकार इस बात पर निर्भर करता है कि ढलान कितनी तीव्र है।
साइन ग्रेडिएंट डिसेंट (Sign GD): आप ढलान के आकार को अनदेखा कर देते हैं और केवल दिशा को देखते हैं। आप बस उस दिशा में एक छोटा, निश्चित आकार का कदम उठाते हैं जहाँ जमीन नीचे जा रही है।

यह शोध पत्र दिखाता है कि कुछ प्रकार की घाटियों (जैसे कि लॉजिस्टिक्स रिग्रेशन या रीइन्फोर्समेंट लर्निंग में पाई जाने वाली घाटियाँ) के लिए, "साइन" रणनीति वास्तव में अधिक तेज़ है। क्योंकि इलाका इतना असमान है, ढलान के आधार पर एक बड़ा कदम उठाने से कभी-कभी आप लक्ष्य से आगे निकल सकते हैं (overshoot) या फंस सकते हैं। बस सही दिशा में एक स्थिर, छोटा कदम लेकर, आप इस अराजकता के बीच अधिक कुशलता से रास्ता बना लेते हैं। यह एक पथरीले रास्ते पर चलने जैसा है: कभी-कभी चट्टान कितनी ढाल वाली दिख रही है इसके आधार पर छलांग लगाने के बजाय छोटे, स्थिर कदम उठाना बेहतर होता है।

2. "एडेप्टिव" हाइकर्स (RMSProp और Adam)

आपके पास दो अन्य हाइकर (पर्वतारोही) भी हैं: RMSProp और Adam। ये "स्मार्ट" हाइकर हैं जो हाल ही में देखे गए इलाके की स्मृति (memory) रखते हैं।

यदि वे अभी-अभी एक बहुत ही तीव्र, ऊबड़-खाबड़ खंड से गुजरे हैं, तो वे इसे याद रखते हैं और सुरक्षित रहने के लिए अगली बार छोटे कदम उठाते हैं।
यदि वे एक समतल खंड से गुजरे हैं, तो वे इसे याद रखते हैं और तेजी से आगे बढ़ने के लिए बड़े कदम उठाते हैं।

यह शोध पत्र सिद्ध करता है कि समस्याओं के एक विशिष्ट वर्ग के लिए (जैसे कि कुछ टू-लेयर न्यूरल नेटवर्क को डेटा पर प्रशिक्षित करना जिसे आसानी से अलग किया जा सकता है), ये स्मार्ट हाइकर पूरे रास्ते एक निरंतर, तेज गति से चल सकते हैं। उन्हें पुराने तरीकों जैसे AdaGrad या AMSGrad की तरह अपनी रणनीति बदलने या धीमा होने की आवश्यकता नहीं होती है, जो नीचे पहुँचते समय बहुत धीमे हो जाते हैं।

3. "लोअर बाउंड" (क्यों अन्य लोग धीमे हैं)

अपनी बात को सिद्ध करने के लिए, लेखकों ने एक विशिष्ट, सरल परीक्षण मामला तैयार किया: एक एक-आयामी लॉजिस्टिक लॉस (एक बहुत ही बुनियादी गणितीय समस्या)। उन्होंने दिखाया कि इस विशिष्ट इलाके के लिए:

ग्रेडिएंट डिसेंट, हेवी-बॉल मोमेंटम, AdaGrad, और AMSGrad गणितीय रूप से बहुत धीरे चलने के लिए मजबूर हैं। लक्ष्य के करीब पहुँचते ही उनकी गति काफी कम हो जाती है।
RMSProp और Adam, हालांकि, एक तेज, रैखिक (linear) गति बनाए रखते हैं।

इसे एक ऐसी दौड़ की तरह समझें जहाँ अन्य धावक एक रस्सी से बंधे हैं जो फिनिश लाइन के करीब पहुँचते ही खिंचती जाती है, जिससे उन्हें धीमा होने के लिए मजबूर किया जाता है। RMSProp और Adam के पास एक विशेष तंत्र है जो उन्हें फिनिश लाइन तक पूरी गति से दौड़ते रहने में मदद करता है।

"बड़ी जीत" का सारांश

नया मानचित्र: उन्होंने एक बेहतर मानचित्र बनाया ((H0, H1)-NS धारणा) जो यह बताता है कि जमीन की ढलान आपकी ऊंचाई से कैसे संबंधित है। यह पुराना मानचित्रों की तुलना में कई वास्तविक दुनिया की मशीन लर्निंग समस्याओं पर बेहतर बैठता है।
तेज हाइकर्स: उन्होंने सिद्ध किया कि "साइन GD" और स्मार्ट एडेप्टिव तरीके (RMSProp/Adam) इस विशिष्ट प्रकार के मानचित्र के लिए सबसे अच्छे उपकरण हैं।
निर्णय: लॉजिस्टिक रिग्रेशन के साथ डेटा को अलग करने या सरल न्यूरल नेटवर्क को प्रशिक्षित करने जैसी समस्याओं के लिए, एडेप्टिव एल्गोरिदम (RMSProp/Adam) पारंपरिक तरीकों (GD, AdaGrad) की तुलना में सैद्धांतिक रूप से अधिक तेज़ होने की गारंटी रखते हैं।

संक्षेप में, यह शोध पत्र समझाता है कि आज हम जिस एडेप्टिव एल्गोरिदम का उपयोग AI में करते हैं, वे इतने अच्छे क्यों काम करते हैं: वे उन घाटियों के विशिष्ट, असमान, "नॉन-यूनिफॉर्म" आकार के लिए पूरी तरह से उपयुक्त हैं जिन्हें हम उतरने की कोशिश कर रहे हैं।

तकनीकी सारांश: गैर-समान सुगमता (Non-Uniform Smoothness) के तहत स्टीपेस्ट डिसेंट और एडम का अभिसरण (Convergence)

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र अनकन्स्ट्रेंड मिनिमाइजेशन समस्याओं के लिए प्रथम-क्रम अनुकूलन विधियों (first-order optimization methods) के अभिसरण विश्लेषण को संबोधित करता है, जो $\min_{\theta \in \mathbb{R}^D} f(\theta)$ के रूप में होती हैं। लेखक एक विशिष्ट वर्ग पर ध्यान केंद्रित करते हैं जो गैर-समान सुगमता (Non-Uniform Smoothness - NS) और ग्रेडिएंट डोमिनेशन (जिसे लोजसिएविक (Łojasiewicz) स्थिति भी कहा जाता है) द्वारा अभिलक्षित है।

मुख्य धारणा, जिसे $(H_0, H_1)$ -NS कहा गया है, यह मानती है कि हेसियन (Hessian) का स्पेक्ट्रल नॉर्म, ऑब्जेक्टिव वैल्यू के एक एफाइन फंक्शन (affine function) द्वारा ऊपरी रूप से सीमित है:
$\|\nabla^2 f(\theta)\|_{p \to q} \leq H_0 + H_1 f(\theta)$
जहाँ $H_0, H_1 \geq 0$ और $p, q \geq 1$ ड्यूल नॉर्म्स (dual norms) हैं। यह धारणा पिछले NS अनुमानों (जैसे, Zhang et al., 2020b) का सामान्यीकरण करती है जो हेसियन को ग्रेडिएंट नॉर्म द्वारा सीमित करते थे। लेखकों का तर्क है कि $(H_0, H_1)$ -NS, मशीन लर्निंग (जैसे लॉजिस्टिक रिग्रेशन, जनरलाइज्ड लीनियर मॉडल, सॉफ्टमैक्स पॉलिसी ग्रेडिएंट्स और कुछ टू-लेयर न्यूरल नेटवर्क) के लॉस लैंडस्केप्स को बेहतर ढंग से मॉडल करता है।

इसके अतिरिक्त, विश्लेषण यह मानता है कि ऑब्जेक्टिव फंक्शन नॉन-यूनिफॉर्म लोजसिएविक (NL) स्थिति को संतुष्ट करता है, जो फंक्शन की उप-इष्टतमता (sub-optimality) के संदर्भ में ग्रेडिएंट नॉर्म को निचली सीमा प्रदान करता है:
$\|\nabla f(\theta)\|_q \geq \mu(\theta) [f(\theta) - f^*]^\tau$
यह स्थिति दर्शाती है कि ग्रेडिएंट नॉर्म को कम करने से फंक्शन वैल्यू को कम करना संभव होता है, जो कई कॉनवेक्स (convex) और स्ट्रक्चर्ड नॉन-कॉनवेक्स समस्याओं में पाया जाता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र $(H_0, H_1)$ -NS और NL मान्यताओं के तहत तीन श्रेणियों के एल्गोरिदम के लिए अभिसरण गारंटी व्युत्पन्न करता है:

नॉर्मलाइज्ड स्टीपेस्ट डिसेंट (NSD): इसमें साइन ग्रेडिएंट डिसेंट (Sign GD), नॉर्मलाइज्ड ग्रेडिएंट डिसेंट, और गॉस-साउथवेल नियम के साथ साइन कोऑर्डिनेट डिसेंट शामिल हैं।
डिटरमिनिस्टिक, डायगोनल RMSProp: इसका विश्लेषण बिना बायस करेक्शन (bias correction) के किया गया है।
डिटरमिस्टिक, डायगोनल Adam: इसका विश्लेषण भी बिना बायस करेक्शन के किया गया है, विशेष रूप से $\beta_1 \leq \beta_2$ की स्थिति के तहत।

कार्यप्रणाली $(H_0, H_1)$ -NS संरचनात्मक गुणों को स्थापित करने पर निर्भर करती है, जैसे कि फंक्शन और ग्रेडिएंट नॉर्म्स के लिए मल्टीप्लिकेटिव लिप्सचिट्ज़ बाउंड्स (multiplicative Lipschitz bounds)। ये गुण लेखकों को बिना डाइमेंशन-डिपेंडेंट कांस्टेंट या ग्लोबल कॉनवेक्सिटी की आवश्यकता के, ऑब्जेक्टिव फंक्शन के डिसेंट को बांधने की अनुमति देते हैं। प्रमाण दो चरणों वाले विश्लेषण का उपयोग करते हैं:

चरण 1: जब उप-इष्टतमता बड़ी होती है (विशेष रूप से $f(\theta) > H_0/H_1$ ), तो $H_1 f(\theta)$ टर्म प्रभावी होती है, जिससे कांस्टेंट स्टेप साइज़ के साथ लीनियर कन्वर्जेंस संभव होता है।
चरण 2: जब उप-इष्टतमता छोटी होती है ( $f(\theta) \leq H_0/H_1$ ), तो $H_0$ टर्म प्रभावी होती है, जिसके लिए छोटे स्टेप साइज़ की आवश्यकता होती है और इसके परिणामस्वरूप लोजसिएविक एक्सपोनेंट $\tau$ पर आधारित धीमा, सब-लीनियर अभिसरण प्राप्त होता है।

मुख्य योगदान (Key Contributions)

1. $(H_0, H_1)$ -NS फंक्शन्स के संरचनात्मक गुण
लेखक मौजूदा परिणामों का произво (arbitrary) $(p, q)$ ऑपरेटर नॉर्म्स तक सामान्यीकरण करते हैं। वे सिद्ध करते हैं कि $(H_0, H_1)$ -NS, फंक्शन और ग्रेडिएंट नॉर्म्स दोनों के लिए मल्टीप्लिकेटिव लिप्सचिट्ज़ बाउंड्स को दर्शाता है। यह ढांचा RMSProp और Adam के विश्लेषण को बिना बाउंडेड ग्रेडिएंट या कॉनवेक्सिटी के सक्षम बनाता है।

2. नॉर्मलाइज्ड स्टीपेस्ट डिसेंट (NSD) का अभिसरण
यह शोध पत्र स्थापित करता है कि NSD विधियाँ (Sign GD और Sign CD-GS सहित) डाइमेंशन-फ्री अभिसरण दरें प्राप्त करती हैं।

उन समस्याओं के लिए जहाँ $H_0 = 0$ है (जैसे, सेपरेबल लॉजिस्टिक रिग्रेशन, एक्सपोनेंशियल लॉस), NSD कांस्टेंट स्टेप साइज के साथ लीनियर अभिसरण प्राप्त करता है।
उन समस्याओं के लिए जहाँ $H_0 > 0$ है, NSD $O(H_0/H_1)$ पड़ोस (neighborhood) तक लीनियर रूप से अभिसरित होता है, जिसके बाद एक धीमा चरण आता है।
महत्व: सेपरेबल लॉजिस्टिक रिग्रेशन और सॉफ्टमैक्स पॉलिसी ग्रेडिएंट्स के लिए, Sign GD को कांस्टेंट स्टेप साइज के साथ लीनियर रूप से अभिसरित होने के लिए सिद्ध किया गया है, जो लाइन-सर्च वाले GD के प्रदर्शन से मेल खाता है और कांस्टेंट-स्टेप-साइज GD से बेहतर प्रदर्शन करता है।

3. RMSProp और Adam का अभिसरण
लेखक इन मान्यताओं के तहत डिटरमिनिस्टिक, डायगोनल वेरिएंट्स के लिए पहले डाइमेंशन-फ्री लीनियर कन्वर्जेंस रेट्स व्युत्पन्न करते हैं।

परिणाम: सेपरेबल डेटा पर टू-लेयर न्यूरल नेटवर्क के एक वर्ग के लिए, RMSProp और Adam कांस्टेंट हाइपरपैरामीटर के साथ लीनियर रेट से अभिसरित होते हैं।
नवीनता: पूर्ववर्ती कार्यों के विपरीत, जो अक्सर कॉनवेक्सिटी या बाउंडेड ग्रेडिएंट्स की मांग करते हैं, ये परिणाम उन नॉन-कॉनवेक्स ऑब्जेक्टिव्स के लिए भी मान्य हैं जो विशिष्ट NS और NL स्थितियों को पूरा करते हैं।

4. एडेप्टिव मेथड्स का पृथक्करण (Separation of Adaptive Methods)
यह शोध पत्र एक सैद्धांतिक निचली सीमा (lower bound) प्रस्तुत करता है जो यह दर्शाता है कि $(H_0, H_1)$ -NS धारणा के तहत, RMSProp और Adam, AdaGrad, AMSGrad, ग्रेडिएंट डिसेंट (GD), और हैवी-बॉल मोमेंटम की तुलना में स्पष्ट रूप से तेज़ हैं।

उदाहरण: एक-आयामी लॉजिस्टिक लॉस के लिए, लेखक सिद्ध करते हैं कि GD, हैवी-बॉल, AdaGrad और AMSGrad $\Omega(1/T)$ के सब-लीनियर लोअर बाउंड से ग्रस्त होते हैं।
तुलना: इसी सेटिंग में, RMSProp और Adam एक्सपोनेंशियल (लीनियर) कन्वर्जेंस रेट प्राप्त करते हैं। यह विशिष्ट मशीन लर्निंग कार्यों में AdaGrad और AMSGrad की तुलना में RMSProp और Adam के व्यावहारिक प्रभुत्व के लिए एक सैद्धांतिक औचित्य प्रदान करता है।

परिणाम और निहितार्थ (Results and Implications)

शोध पत्र के सैद्धांतिक परिणाम मशीन लर्निंग की कई कैनोनिकल समस्याओं पर लागू होते हैं:

सेपरेबल डेटा पर लॉजिस्टिक रिग्रेशन: Sign GD और Sign CD-GS कांस्टेंट स्टेप साइजेस के साथ लीनियर कन्वर्जेंस प्राप्त करते हैं। RMSProp और Adam भी लीनियर कन्वर्जेंस प्राप्त करते हैं, जबकि GD स्पष्ट रूप से धीमा है।
सॉफ्टमैक्स पॉलिसी ग्रेडिएंट: NSD विधियाँ इस समस्या के लिए डिज़ाइन किए गए विशिष्ट एल्गोरिदम के समान लीनियर कन्वर्जेंस दर प्राप्त करती हैं।
टू-लेयर न्यूरल नेटवर्क: विशिष्ट एक्टिवेशन फंक्शन्स और सेपरेबल डेटा वाले नेटवर्क के लिए, RMSProp और Adam कांस्टेंट हाइपरपैरामीटर्स के साथ लीनियर रूप से अभिसरित होते हैं।

महत्व (Significance)

यह शोध पत्र दावा करता है कि यह $(H_0, H_1)$ -NS मान्यताओं के तहत RMSProp और Adam के लिए पहले अभिसरण गारंटी प्रदान करता है जो डाइमेंशन-फ्री हैं और कॉनवेक्सिटी या बाउंडेड ग्रेडिएंट्स पर निर्भर नहीं हैं। एक स्वाभाविक क्लास की पहचान करके जहाँ एडेप्टिव मेथड्स (RMSProp, Adam), नॉन-एडेप्टिव मेथड्स (GD, Heavy-Ball) और अन्य एडेप्टिव वेरिएंट्स (AdaGrad, AMSGrad) से स्पष्ट रूप से बेहतर हैं, यह कार्य डीप लर्निंग में इन ऑप्टिमाइज़र्स की अनुभवजन्य सफलता के लिए एक सैद्धांतिक आधार प्रदान करता है। लेखक सुझाव देते हैं कि इन तकनीकों को मोमेंटम-आधारित स्टीपेस्ट डिसेंट और Lion जैसे अन्य तरीकों तक विस्तारित किया जा सकता है, और भविष्य के कार्य में इन परिणामों को स्टोकेस्टिक सेटिंग्स में सामान्यीकृत करने की योजना है।