🤖 machine learning

Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

यह शोध पत्र AdaGrad, RMSProp, और Adam अनुकूलन एल्गोरिदम के निरंतर-समय स्वरूपों को प्रथम-क्रम समाकल-अवकल समीकरणों (first-order integro-differential equations) के रूप में प्रस्तावित करता है और संख्यात्मक सिमुलेशन, स्थिरता विश्लेषण और अभिसरण अध्ययनों के माध्यम से उनकी सटीकता को सत्यापित करता है।

मूल लेखक: Carlos Heredia

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Carlos Heredia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

मुख्य विचार: एक "कदम-दर-कदम" खेल को "सुचारू प्रवाह" में बदलना

कल्पना कीजिए कि आप एक धुंधली, ऊबड़-खाबड़ घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह मशीन लर्निंग में ऑप्टिमाइज़ेशन समस्या का प्रतिनिधित्व करता है)। आप पूरी घाटी को नहीं देख सकते, इसलिए आपको अपने पैरों के ठीक नीचे की ढलान के आधार पर नीचे की ओर छोटे कदम उठाने होंगे।

आमतौर पर, कंप्यूटर वैज्ञानिक इस प्रक्रिया को अलग-अलग चरणों के रूप में वर्णित करते हैं: कदम 1, कदम 2, कदम 3... यह एक स्टॉप-मोशन एनिमेशन की तरह है। कार्लोस हेरेडिया का शोध पत्र एक अलग सवाल पूछता है: क्या होगा यदि हम इस यात्रा को कूदने की एक श्रृंखला के रूप में नहीं, बल्कि नीचे की ओर बहती एक सुचारू, निरंतर नदी के रूप में देखें?

लेखक तीन प्रसिद्ध "स्मार्ट" चलने वाली रणनीतियों (AdaGrad, RMSProp, और Adam) को इंटीग्रो-डिफरेंशियल इक्वेशंस (Integro-Differential Equations) का उपयोग करके गणितीय रूप से वर्णित करने का एक नया तरीका प्रस्तावित करते हैं।

तीन "स्मार्ट चलने वाले" (The Three "Smart Walkers")

इन तीन चलने वालों को समझने के लिए, हमें पहले यह जानना होगा कि ये तीन चलने वाले कौन हैं:

AdaGrad (एक "याद रखने वाला/मेमोरी होर्डर"): यह चलने वाला अपने द्वारा लिए गए हर एक कदम को याद रखता है। यदि उसने पहले किसी दिशा में बड़ा कदम उठाया था, तो वह उस दिशा से थक जाता है और अगली बार छोटे कदम उठाता है। वे एक "पिछले कदमों का थैला" जमा करते हैं जो भारी होता जाता है।
RMSProp (एक "भुलक्कड़ चलने वाला"): यह चलने वाला भी पिछले कदमों को याद रखता है, लेकिन उसकी याददाश्त कम होती है। वह मुख्य रूप से इस बात पर ध्यान देता है कि हाल ही में क्या हुआ है। वह पुरानी यादों को धुंधला होने देता है (जैसे ज्वार के साथ बह गया रेत का किला) ताकि वे इतिहास के बोझ से दब न जाएं।
Adam (एक "संतुलित पथ-प्रदर्शक"): यह चलने वाला एक मिश्रण है। वे अपने पिछले कदमों की दिशा (मोमेंटम) और अपने पिछले कदमों के आकार (वैरिएंस) दोनों को याद रखते हैं। वे गति और स्थिरता के बीच संतुलन बनाने की कोशिश करते हैं।

शोध पत्र का नवाचार: "समय-यात्रा" समीकरण (The "Time-Traveling" Equation)

शोध पत्र का तर्क है कि इन चलने वालों के लिए उपयोग किया जाने वाला मानक गणित (डिस्क्रीट इक्वेशंस) थोड़ा जटिल है। इसके बजाय, लेखक उन्हें इंटीग्रो-डिफरेंशियल इक्वेशंस के रूप में मॉडल करते हैं।

"मेमोरी बैग" की उपमा:

मानक गणित (ODEs): एक ऐसी कार की कल्पना करें जहाँ गति केवल उस गैस पेडल पर निर्भर करती है जिसे आप अभी दबा रहे हैं।
इस शोध पत्र का गणित (इंटीग्रो-डिफरेंशियल इक्वेशंस): एक ऐसी कार की कल्पना करें जहाँ गति उस गैस पेडल पर निर्भर करती है जिसे आप अभी दबा रहे हैं, प्लस उन सभी गैस पेडल प्रेस का भारित औसत (weighted average) जो आपने गाड़ी चलाना शुरू करने के बाद से अब तक किए हैं।

समीकरण का "इंटीकल" (Integral) हिस्सा "मेमोरी बैग" है। यह इस सटीक क्षण तक की यात्रा के पूरे इतिहास को जोड़ता है। "डिफरेंशियल" (Differential) हिस्सा वर्तमान गति है।

लेखक दिखाते हैं कि यदि आप AdaGrad, RMSмProp, और Adam के नियमों को इस "मेमोरी बैग" गणित का उपयोग करके लिखते हैं, तो आपको एक सुचारू, बहता हुआ समीकरण प्राप्त होता है जो मूल कंप्यूटर एल्गोरिदम के स्टॉप-मोशन चरणों की सटीक नकल करता है।

उन्होंने क्या सिद्ध किया? (स्थिरता की जाँच)

सिर्फ इसलिए कि आप एक सुचारू समीकरण लिख सकते हैं, इसका मतलब यह नहीं है कि यह काम करेगा। लेखक ने यह सिद्ध करने में बहुत समय बिताया कि ये सुचारू नदियाँ वास्तव में घाटी के नीचे तक पहुँचती हैं।

कॉन्वेक्स लैंडस्केप्स के लिए (एक आदर्श कटोरा):
- AdaGrad: शोध पत्र सिद्ध करता है कि भले ही चलने वाला अपने मेमोरी बैग में जोड़ता रहे, वे अंततः नीचे तक पहुँच जाएंगे। हालाँकि, क्योंकि बैग भारी होता जाता है, वे लक्ष्य के करीब पहुँचते ही काफी धीमे हो जाते हैं।
- RMSProp: क्योंकि यह चलने वाला पुराने कदमों को भूल जाता है, इसलिए उनका मेमोरी बैग हल्का रहता है। शोध पत्र सिद्ध करता है कि वे AdaGrad की तुलना में अधिक तेज़ी से और सुचारू रूप से नीचे पहुँचते हैं।
- Adam: लेखक को एक विशेष "सुरक्षा जाँच" (गणितीय स्थिति) का आविष्कार करना पड़ा ताकि यह सिद्ध किया जा सके कि Adam अपने स्वयं के मोमेंटम से भ्रमित नहीं होता है। यदि सुरक्षा जाँच पास हो जाती है, तो यह गारंटी है कि चलने वाला नीचे तक पहुँच जाएगा।
नॉन-कॉन्वेक्स लैंडस्केप्स के लिए (पहाड़ों की एक श्रृंखला जिसमें कई घाटियाँ हैं):
- यहाँ, लक्ष्य अनिवार्य रूप से पूर्णतः सबसे निचला बिंदु नहीं है, बल्कि बस एक निचला बिंदु है (एक लोकल मिनिमम)।
- शोध पत्र सिद्ध करता है कि तीनों चलने वाले अंततः हिलना बंद कर देंगे (उनकी गति शून्य हो जाएगी) और एक घाटी में स्थिर हो जाएंगे। वे दुनिया की सबसे गहरी घाटी नहीं खोज सकते, लेकिन वे निश्चित रूप से घूमना बंद कर देंगे और किसी घाटी में विश्राम करेंगे।

"टाइम शिफ्ट" की विचित्रता (The "Time Shift" Quirk)

शोध पत्र के एक चतुर अवलोकन में समय के बारे में बताया गया है।
कंप्यूटर कोड में, आप इस सेकंड की स्मृति का उपयोग करके अगले सेकंड के लिए कदम की गणना करते हैं।
सुचारू गणित में, यह एक सूक्ष्म "समय-यात्रा" प्रभाव पैदा करता है। समय $t$ पर चलने वाले की गति का समीकरण वास्तव में समय $t + \text{एक छोटा सा हिस्सा}$ पर गणना किए गए मेमोरी पर निर्भर करता है।
लेखक इसे "शिफ्टेड आर्गुमेंट" (shifted argument) कहते हैं। यह यह कहने जैसा है कि, "मैं कितनी तेज़ी से चल रहा हूँ, यह जानने के लिए, मुझे उस मानचित्र को देखना होगा जिसे मैं अगले पल में बनाऊँगा।" शोध पत्र सिद्ध करता है कि यह सूक्ष्म समय बदलाव ही इस गणित को सही ढंग से काम करने की कुंजी है।

सिमुलेशन: क्या यह वास्तविकता से मेल खाता है?

लेखक ने केवल कागज़ पर गणित नहीं किया; उन्होंने कंप्यूटर सिमुलेशन भी चलाए।

उन्होंने सुचारू, निरंतर समीकरणों को लिया।
उन्होंने उनकी तुलना मूल, चरण-दर-चरण कंप्यूटर एल्गोरिदम से की।
परिणाम: दोनों लगभग पूरी तरह से मेल खाते हैं। जैसे-जैसे "कदम" (लर्निंग रेट) छोटे होते गए, सुचारू नदी स्टॉप-मोशन एनिमेशन से अविभाज्य हो गई।

एक वाक्य में सारांश

यह शोध पत्र तीन लोकप्रिय कंप्यूटर लर्निंग रणनीतियों (AdaGrad, RMSProp, और Adam) को लेता है, जो आमतौर पर डिस्क्रीट चरणों द्वारा काम करती हैं, और उन्हें सुचारू, निरंतर प्रवाह के रूप में फिर से लिखता है जो अतीत के "मेमोरी बैग" को ले जाते हैं, और गणितीय रूप से सिद्ध करता है कि ये प्रवाह मूल एल्गोरिदम की तरह ही सर्वोत्तम समाधानों को विश्वसनीय रूप से खोजते हैं।

तकनीकी सारांश: इंटेग्रो-डिफरेंशियल इक्वेशंस के साथ AdaGrad, RMSProp और Adam का मॉडलिंग

समस्या विवरण

AdaGrad, RMSProp और Adam जैसे अनुकूलन एल्गोरिदम (optimization algorithms) मशीन लर्निंग के लिए मौलिक हैं, फिर भी उनकी अंतर्निहित विविक्त प्रकृति (discrete nature) अभिसरण (convergence) और स्थिरता के संबंध में सैद्धांतिक विश्लेषण को जटिल बनाती है। जबकि मानक ग्रेडिएंट डिसेंट और मोमेंटम-आधारित विधियों के लिए साधारण अंतर समीकरणों (ODEs) का उपयोग करके निरंतर-समय सन्निकटन (continuous-time approximations) प्रस्तावित किए गए हैं, ये दृष्टिकोण आमतौर पर उन मेमोरी प्रभावों (memory effects) और संचयी ग्रेडिएंट संचय (cumulative gradient accumulation) को पकड़ने में विफल रहते हैं जो एडेप्टिव ऑप्टिमाइज़ेशन विधियों को परिभाषित करते हैं। AdaGrad (संचयी योग) और RMSProp/Adam (एक्सपोनेंशियल मूविंग एवरेज) जैसे एल्गोरिदम में पिछले ग्रेडिएंट्स का विविक्त संचय यह सुझाव देता है कि एक सरल ODE फॉर्मूलेशन अपर्याप्त है। यह शोध पत्र इन नॉनलोकल डिपेंडेंसीज़ (nonlocal dependencies) को स्पष्ट रूप से मॉडल करने के लिए एक निरंतर-समय ढांचे की आवश्यकता को संबोधित करता है ताकि एडेप्टिव विधियों की अधिक सटीक सैद्धांतिक समझ प्रदान की जा सके।

कार्यप्रणाली (Methodology)

लेखक AdaGrad, RMSProp और Adam को प्रथम-क्रम इंटेग्रो-डिफरेंशियल इक्वेशंस (IDEs) के रूप में मॉडल करने का प्रस्ताव करते हैं। कार्यप्रणाली निम्नलिखित मुख्य चरणों पर आधारित है:

निरंतर फॉर्मूलेशन (Continuous Formulation): लर्निंग रेट $\alpha$ के माध्यम से विविक्त पुनरावृत्ति (discrete iteration) $k$ और निरंतर समय $t$ ( $t = \alpha k$ ) के बीच संबंध मानकर, विविक्त अपडेट नियमों को निरंतर गतिकी (continuous dynamics) में परिवर्तित किया जाता है।
- AdaGrad: इसे एक IDE के रूप में मॉडल किया गया है जहाँ लर्निंग रेट संचित वर्ग ग्रेडिएंट्स के वर्गमूल के व्युत्क्रमानुपाती है, जिसे एक नॉनलोकल इंटीग्रल टर्म $G(t, \theta) = \frac{1}{\alpha} \int_0^t \|\nabla f(\theta(\tau))\|^2 d\tau$ द्वारा दर्शाया गया है।
- RMSProp: इसे समान रूप से लेकिन एक एक्सपोनेंशियल कर्नेल के साथ इंटीग्रल में मॉडल किया गया है, जो मूविंग एवरेज का प्रतिनिधित्व करता है: $v(t, \theta) = \frac{1-\beta}{\alpha} \int_0^t e^{-\frac{1-\beta}{\alpha}(t-\tau)} \|\nabla f(\theta(\tau))\|^2 d\tau$ ।
- Adam: इसे दो युग्मित मोमेंट्स (प्रथम और द्वितीय) के साथ मॉडल किया गया है जिनमें एक्सपोनेंशियल कर्नेल शामिल हैं, और इसमें बायस करेक्शन टर्म्स को निरंतर सीमा (continuous limit) में समय-निर्भर गेन्स (time-dependent gains) के रूप में शामिल किया गया है।
सैद्धांतिक विश्लेषण (Theoretical Analysis): शोध पत्र प्रस्तावित IDEs का अध्ययन करने के लिए डायनामिकल सिस्टम्स थ्योरी, विशेष रूप से लियापुनोव स्थिरता विश्लेषण (Lyapunov stability analysis) का उपयोग करता है।
- कॉन्वेक्स केस (Convex Case): $L$ -स्मूथनेस और $m$ -स्ट्रॉन्ग कॉन्वेक्सिटी की धारणाओं का उपयोग अभिसरण दरों (convergence rates) को प्राप्त करने के लिए किया जाता है। विश्लेषण "संचयी" मेमोरी (AdaGrad, $\xi=0$ ) और "विस्मृति" (forgetting) मेमोरी (RMSProp, $\xi=\lambda$ ) के बीच अंतर करता है।
- नॉन-कॉन्वेक्स केस (Non-Convex Case): लोअर-बाउंडेड ऑब्जेक्टिव्स और कॉम्पैक्ट सबलेवल सेट्स की धारणाओं का उपयोग किया जाता है। विश्लेषण क्रिटिकल पॉइंट्स तक अभिसरण स्थापित करने के लिए पोल्याक-लोजासिक (Polyak–Łojasiewicz - PL) और कुर्डिका-लोजासिक (Kurdyka–Łojasiewicz - KL) असमानताओं पर निर्भर करता है।
- स्थिरता स्थितियाँ (Stability Conditions): Adam के लिए, एक विशिष्ट "स्केलर लियापुनोव स्थिति" (scalar Lyapunov condition) व्युत्पन्न की गई है जो यह सुनिश्चित करती है कि प्रभावी गेन (effective gain), प्रथम मोमेंट के रिलैक्सेशन के सापेक्ष बहुत तेजी से न बढ़े। इसमें डिके रेट्स $\beta_1$ और $\beta_2$ शामिल हैं।
संख्यात्मक सिमुलेशन (Numerical Simulation): लेखक JAX फ्रेमवर्क (GPU त्वरण का उपयोग करते हुए) के भीतर एक कस्टम इटरेटिव मॉडिफाइड IDESolver को लागू करते हैं। यह विधि इंटीग्रल टर्म्स को संभालने के लिए गाऊसी क्वाड्रचर (Gaussian quadrature) के साथ एक फिक्स्ड-पॉइंट इटरेशन स्कीम का उपयोग करती है। परिणामों की तुलना दो टॉय मॉडल्स (एक कॉनवेक्स क्वाड्रेटिक फंक्शन और एक नॉन-कॉनवेक्स क्वार्टिक फंक्शन) पर मूल विविक्त एल्गोरिदम के विरुद्ध की जाती है।

मुख्य योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

निरंतर-समय मॉडल (Continuous-Time Models): यह AdaGrad, RMSProp और Adam को प्रथम-क्रम इंटेग्रो-डिफरेंशियल इक्वेशंस के रूप में पहले निरंतर फॉर्मूलेशन का प्रस्ताव करता है (प्रपोजिशन 1–3)। ये मॉडल नॉनलोकल इंटीग्रल ऑपरेटर्स के माध्यम से मेमोरी प्रभावों को स्पष्ट रूप से समाहित करते हैं, जो उन्हें मानक ODE सन्निकटन से अलग करते हैं।
स्थिरता और अभिसरण प्रमेय (Stability and Convergence Theorems):
- कॉन्वेक्स सेटिंग: प्रमेय 1 और 2 अभिसरण सीमाओं को स्थापित करते हैं। AdaGrad के लिए, यह शुरू में एक सब-एक्सपोनेंशियल बाउंड $\|\theta(t) - \theta^*\| \leq C e^{-c\sqrt{t}}$ सिद्ध करता है, जिसके बाद जब संचित मेमोरी को सीमित दिखाया जाता है तो घातीय अभिसरण (exponential convergence) होता है। RMSProp के लिए, यह विस्मृति तंत्र के कारण ऑब्जेक्टिव गैप और मेमोरी वेरिएबल दोनों के घातीय क्षय (exponential decay) को सिद्ध करता है।
- Adam स्थिरता: प्रमेय 3 Adam के लिए एक सशर्त स्थिरता परिणाम प्रदान करता है, जिसके लिए पैरामीटर्स $\beta_1, \beta_2$ पर एक स्केलर लियापुनोव स्थिति और एक वन-साइडेड शिफ्ट-डिफेक्ट अनुमान की आवश्यकता होती है।
- नॉन-कॉनवेक्स सेटिंग: प्रमेय 4, 5 और 6 इन परिणामों को नॉन-कॉनवेक्स फंक्शनों तक विस्तारित करते हैं। वे PL या KL स्थितियों के तहत एसिम्प्टोटिक स्टेशनैरिटी ( $\|\nabla f(\theta(t))\| \to 0$ ) और क्रिटिकल पॉइंट्स तक अभिसरण स्थापित करते हैं। महत्वपूर्ण रूप से, यह मेमोरी टर्म के दीर्घकालिक व्यवहार को अलग करता है: यह AdaGrad (संचयी) में एक परिमित, गैर-शून्य सीमा तक अभिसरित होता है, लेकिन RMSProp (विस्मृति) में शून्य तक गिर जाता है।
संख्यात्मक सत्यापन (Numerical Validation): शोध पत्र व्यापक संख्यात्मक सिमुलेशन (चित्र 1-15) प्रदान करता है जो प्रदर्शित करता है कि निरंतर IDE मॉडल विविक्त एल्गोरिदम के गतिकी को सटीक रूप से दोहराते हैं। सिमुलेशन पुष्टि करते हैं कि जैसे-जैसे लर्निंग रेट $\alpha$ घटता है, निरंतर और विविक्त प्रक्षेपवक्र (trajectories) लगभग अविभाज्य हो जाते हैं।

परिणाम (Results)

सटीकता (Accuracy): संख्यात्मक सिमुलेशन दोनों कॉनवेक्स और नॉन-कॉनवेक्स ऑब्जेक्टिव्स के लिए निरंतर IDE मॉडल और विविक्त कार्यान्वयन के बीच मजबूत सहमति दिखाते हैं। निरंतर मॉडल AdaGrad में लर्निंग रेट के संतृप्ति (saturation) और Adam में ऑसिलेटरी व्यवहार जैसी घटनाओं को सही ढंग से पकड़ते हैं।
अभिसरण दरें (Convergence Rates):
- स्ट्रॉन्गली कॉनवेक्स मामले में, RMSProp दोनों पैरामीटर्स और मेमोरी के लिए घातीय अभिसरण प्रदर्शित करता है। AdaGrad, पैरामीटर्स के लिए घातीय अभिसरण प्रदर्शित करता है लेकिन मेमोरी टर्म एक गैर-शून्य मान पर संतृप्त हो जाता है।
- नॉन-कॉनवेक्स मामले में, मॉडल क्रिटिकल पॉइंट्स पर अभिसरित होते हैं। PL असमानता के तहत, ऑब्जेक्टिव गैप घातीय रूप से घटता है। KL असमानता के तहत, अभिसरण दर एक्सपोनेंट $\sigma$ पर निर्भर करती ( $\sigma=1/2$ के लिए घातीय, $1/2 < \sigma < 1$ के लिए बहुपद/polynomial, और $0 \leq \sigma < 1/2$ के लिए परिमित समय)।
मेमोरी गतिकी (Memory Dynamics): विश्लेषण पुष्टि करता है कि RMSProp ( $\xi = \lambda$ ) में "विस्मृति" तंत्र मेमोरी वेरिएबल को शून्य तक गिरने देता है, जबकि AdaGrad ( $\xi = 0$ ) की "संचयी" प्रकृति एक निरंतर, गैर-शून्य मेमोरी सीमा की ओर ले जाती है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि एडेप्टिव ऑप्टिमाइज़र को इंटेग्रो-डिफरेंशियल इक्वेशंस के रूप में मॉडल करना उनके सैद्धांतिक समझ के लिए एक नया दृष्टिकोण प्रदान करता है। इंटीग्रल ऑपरेटर्स के माध्यम से मेमोरी प्रभावों को स्पष्ट रूप से प्रदर्शित करके, यह ढांचा ODE-आधारित दृष्टिकोणों की तुलना में विविक्त एल्गोरिदम और निरंतर डायनामिकल सिस्टम्स के बीच के अंतर को अधिक सटीक रूप से पाटता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण निम्नलिखित की अनुमति देता है:

सटीक प्रतिनिधित्व: यह सीधे तौर पर मॉडल करना कि कैसे पिछले ग्रेडिएंट्स वर्तमान अपडेट को प्रभावित करते हैं, जो एडेप्टिव विधियों की एक परिभाषित विशेषता है।
सैद्धांतिक विश्लेषण: एडेप्टिव ऑप्टिमाइज़ेशन के लिए IDE सिद्धांत (जैसे, स्थिरता विश्लेषण, अभिसरण प्रमाण) से उन्नत गणितीय उपकरणों के अनुप्रयोग को सक्षम बनाना।
गतिकी को जोड़ना: नॉनलोकल डायनामिकल सिस्टम्स के रूप में इन एल्गोरिदम के व्यवहार और संभावित सुधारों के बारे में अंतर्दृष्टि प्रदान करना।

शोध पत्र विनम्रतापूर्वक निष्कर्ष निकालता है कि हालांकि मॉडल नियतत्ववादी (deterministic) सेटिंग्स और सरलीकृत फलनों पर आधारित हैं, वे सैद्धांतिक विश्लेषण के लिए एक वैध और शक्तिशाली उपकरण के रूप में कार्य करते हैं। यह सुझाव देता है कि भविष्य का कार्य इन विचारों को स्टोकेस्टिक सेटिंग्स, उच्च-आयामी स्थानों और जटिल न्यूरल नेटवर्क आर्किटेक्चर तक विस्तारित कर सकता है, जो नॉनलोकल लैग्रेंजियन और हैमिल्टनियन फॉर्मलिज्म से जुड़ी नई पद्धतियों को प्रेरित कर सकता है।