📊 statistics

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization

यह शोधपत्र सैद्धांतिक रूप से सिद्ध करता है कि नॉनस्टेशनरी स्टोकेस्टिक ऑप्टिमाइज़ेशन में, मोमेंटम-आधारित SGD वेरिएंट एक अपरिहार्य ड्रिफ्ट-एम्प्लीफिकेशन पेनल्टी (drift-amplification penalty) उत्पन्न करते हैं जो व्यवस्थित ट्रैकिंग लैग का कारण बनता है और उन्हें ड्रिफ्ट-डोमिनेटेड रिजीम्स (drift-dominated regimes) में वैनिला SGD की तुलना में प्रमाणिक रूप से उप-इष्टतम (suboptimal) बनाता है।

मूल लेखक: Sharan Sahu, Cameron J. Hogan, Martin T. Wells

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sharan Sahu, Cameron J. Hogan, Martin T. Wells

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक चलते हुए लक्ष्य को पकड़ने की कोशिश कर रहे हैं, जैसे कि आपका एक दोस्त एक फ्रिसबी फेंक रहा है जो लगातार अपनी फेंकने की शैली और स्थान बदल रहा है। आपका लक्ष्य अपने हाथ को फ्रिसबी के ठीक नीचे रखना है जब वह उड़ रही हो। यही वह चीज़ है जिसे यह पेपर "ट्रैकिंग अ टाइम-वेरिंग ऑप्टिमम" (समय के साथ बदलते अनुकूलतम का पीछा करना) कहता है।

मशीन लर्निंग की दुनिया में, एल्गोरिदम जैसे कि स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) सर्वोत्तम समाधान खोजने का मानक तरीका हैं। हालाँकि, जब डेटा समय के साथ बदलता है (यानी "फ्रिसबी" चलती रहती है), तो एल्गोरिदम को लगातार समायोजन करना पड़ता है।

यह पेपर एक लोकप्रिय ट्रिक की जांच करता है जिसका उपयोग इन एल्गोरिदम को तेज़ करने के लिए किया जाता है, जिसे मोमेंटम (Momentum) कहा जाता है।

उपमा: भारी स्केटबोर्ड बनाम फुर्तीला स्केटर

पेपर के निष्कर्षों को समझने के लिए, आइए हम दो पात्रों का उपयोग करें:

फुर्तीला स्केटर (स्टैंडर्ड SGD): यह स्केटर अपने नीचे की ज़मीन के प्रति तुरंत प्रतिक्रिया देता है। यदि ज़मीन ढलान वाली होती है, तो वह तुरंत झुक जाता है। वह छोटे झटकों (शोर/नॉइज़) के कारण थोड़ा डगमगा सकता है, लेकिन वह दिशा बदलने में बहुत तेज़ होता है।
भारी स्केटबोर्डर (मोमेंटम SGD): यह स्केटर एक भारी फ्लाईव्हील वाले स्केटबोर्ड पर है। जब वे चलना शुरू करते हैं, तो पहिया गति पकड़ लेता है। यदि उन्हें मुड़ने की आवश्यकता होती है, तो पहिये की जड़ता (inertia) उन्हें रुकने या दिशा बदलने से रोकती है। वे छोटे झटकों पर सुचारू रूप से फिसलते हैं, लेकिन यदि रास्ता अचानक मुड़ जाता है, तो वे अपनी पुरानी गति के कारण मोड़ को पार कर जाते हैं (overshoot) क्योंकि वे अपनी "पुरानी गति" में फंसे होते हैं।

मुख्य खोज: मोमेंटम एक दोधारी तलवार है

यह पेपर एक सरल प्रश्न पूछता है: भारी स्केटबोर्डर कब मदद करता है और कब नुकसान पहुँचाता है?

लेखक सिद्ध करते हैं कि एक स्थिर, अपरिवर्तित वातावरण में, भारी स्केटबोर्डर बहुत अच्छा है। मोमेंटम उन्हें छोटे झटकों (शोर) को अनदेखा करने और लक्ष्य की ओर तेज़ी से बढ़ने में मदद करता है।

हालाँकि, एक बदलते, ड्रिफ्टिंग वातावरण में (जहाँ लक्ष्य लगातार चलता रहता है), यह पेपर एक मौलिक दोष प्रकट करता है:

"स्टेल" (पुराना/अप्रासंगिक) समस्या: मोमेंटम पिछले आंदोलनों का औसत निकालकर काम करता है। लेकिन यदि लक्ष्य हिल रहा है, तो आपके पिछले आंदोलन अब "स्टेल" या पुराने हो चुके हैं।
जड़ता का दंड (Inertia Penalty): पेपर दिखाता है कि जैसे-जैसे आप मोमेंटम बढ़ाते हैं (स्केटबोर्ड को भारी बनाते हैं), एल्गोरिदम नई दिशा के प्रति प्रतिक्रिया देने में धीमा हो जाता है। यह केवल डगमगाता नहीं है; यह व्यवस्थित रूप से चलते हुए लक्ष्य से पीछे रह जाता है।
डाइवर्जेंस (विचलन): यदि आप मोमेंटम को बहुत अधिक बढ़ा देते हैं (1.0 के करीब), तो पिछड़ने की दर इतनी गंभीर हो जाती है कि एल्गोरिदम साधारण फुर्तीले स्केटर की तुलना में बहुत खराब प्रदर्शन करता है। पेपर इसे एक "सूचना-सैद्धांतिक बाधा" (information-theoretic barrier) कहता है—यह केवल गणितीय त्रुटि नहीं है; यह एक भौतिक सीमा है। आप पुरानी, गलत जानकारी का औसत लेकर एक नए, चलते हुए लक्ष्य का सटीक रूप से पीछा नहीं कर सकते।

त्रुटि के तीन भाग

लेखक "ट्रैकिंग एरर" (आप लक्ष्य से कितने दूर हैं) को तीन भागों में विभाजित करते हैं:

स्टार्टअप लैग (शुरुआती देरी): गति पकड़ने में लगने वाला समय। मोमेंटम इसे बदतर बनाता है क्योंकि भारी पहिये को घूमने में अधिक समय लगता है।
नॉइज़ फ्लोर (शोर का स्तर): यादृच्छिक झटकों के कारण होने वाला डगमगाना। मोमेंटम इसे सुचारू बनाने में मदद करता है, लेकिन केवल एक सीमा तक।
ड्रिफ्ट लैग (खिसकने की देरी): लक्ष्य के हिलने के कारण होने वाली दूरी। यही घातक है। मोमेंटम इस लैग को बढ़ाता है। लक्ष्य जितनी तेज़ी से चलता है, भारी स्केटबोर्डर उतना ही अधिक ओवरशूट करता है और पीछे छूट जाता है।

"इनर्शिया विंडो" (जड़ता की खिड़की)

पेपर एक अवधारणा पेश करता है जिसे "इनर्शिया विंडो" कहा जाता है। कल्पना कीजिए कि लक्ष्य अचानक दिशा बदलता है।

फुर्तीला स्केटर तुरंत मुड़ जाता है।
भारी स्केटबोर्डर फ्लाईव्हील के कारण कुछ समय तक सीधा चलता रहता है। पेपर सिद्ध करता है कि एक विशिष्ट, अपरिहार्य समय (विंडो) है जहाँ मोमेंटम-आधारित विधि लक्ष्य से पीछे होनी ही चाहिए, चाहे आप सेटिंग्स को कैसे भी ट्यून करें।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने सरल गणितीय समस्याओं से लेकर जटिल न्यूरल नेटवर्क (जैसे कि उल्लेखित "टीचर-स्टूडेंट" मॉडल) तक विभिन्न परिदृश्यों में इसका परीक्षण किया।

परिणाम: जब लक्ष्य धीरे चल रहा था या डेटा बहुत शोर वाला (noisy) था, तो मोमेंटम ने मदद की।
परिणाम: जब लक्ष्य तेज़ी से चला (उच्च ड्रिफ्ट) या समस्या "इल-कंडीशन्ड" (जैसे कि एक बहुत संकीरी, खड़ी घाटी से नीचे फिसलना) थी, तो मोमेंटम बढ़ाने से एल्गोरिदम क्रैश हो गया या काफी पीछे रह गया। साधारण फुर्तीला स्केटर (Vanilla SGD) स्थिर और मजबूत बना रहा, जबकि भारी स्केटबोर्डर संघर्ष करता रहा।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि गतिशील स्थितियों में मोमेंटम कोई जादुई समाधान नहीं है।

जबकि यह एक स्थिर वातावरण में शोर को सुचारू बनाने के लिए उत्कृष्ट है, यह वातावरण बदलने पर एक "व्यवस्थित लैग" (systematic lag) पैदा करता है। यदि आप एक चलते हुए लक्ष्य का पीछा कर रहे हैं, तो बहुत अधिक मोमेंटम का उपयोग करना एक भारी जहाज को ऐसे पतवार (rudder) के साथ चलाने जैसा है जो केवल उस स्थान के प्रति प्रतिक्रिया करता है जहाँ पानी 10 सेकंड पहले था। पेपर गणितीय प्रमाण प्रदान करता है कि इन ड्रिफ्टिंग परिदृश्यों में, एक सरल, अधिक फुर्तीला दृष्टिकोण (Vanilla SGD) अक्सर प्रमाणित रूप से बेहतर और अधिक स्थिर होता है।

तकनीकी सारांश: गैर-स्थिर स्टोकेस्टिक अनुकूलन में मोमेंटम SGD की प्रमाणिक उप-इष्टतमता पर

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र गैर-स्थिर स्टोकेस्टिक अनुकूलन (nonstationary stochastic optimization) की समस्या को संबोधित करता है, जहाँ उद्देश्य एक स्थिर समाधान के बजाय एक समय-परिवर्तनीय मिनिमाइज़र $\boldsymbol{\theta}^*_t$ को ट्रैक करना है। यह सेटिंग एक अनुक्रमिक $\mu$ -स्ट्रॉन्गly कॉन्वेक्स और स्मूथ ऑब्जेक्टिव फंक्शन्स $G_t(\boldsymbol{\theta}) = \mathbb{E}_{X_t \sim \Pi_t}[g(\boldsymbol{\theta}, X_t)]$ से जुड़ी है, जहाँ डेटा वितरण $\Pi_t$ समय के साथ बदलता रहता है।

जांच किया गया केंद्रीय प्रश्न यह है: जब स्ट्रॉन्ग कॉन्वेक्सिटी और स्मूथनेस के तहत ड्रिफ्टिंग ऑप्टिमा को ट्रैक करना हो, तो मोमेंटम कब मदद करता है, और कब यह प्रमाणिक रूप से नुकसान पहुँचाता है?

जबकि पॉलीक के हेवी-बॉल (HB) और नेस्टरोव के एक्सीलरेटेड ग्रेडिएंट (NAG) जैसे मोमेंटम मेथड्स स्टैटिक सेटिंग्स में अभिसरण (convergence) को तेज करने के लिए मानक हैं, लेखक यह परिकल्पना करते हैं कि मोमेंटम में निहित 'टेम्पोरल एवरेजिंग' (temporal averaging) के कारण "पुराने" (stale) ग्रेडिएंट्स व्यवस्थित ट्रैकिंग लैग और अस्थिरता उत्पन्न कर सकते हैं।

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

लेखक एक स्टोकेस्टिक प्रेडिक्टेबिलिटी फ्रेमवर्क के तहत SGD और इसके मोमेंटम वेरिएंट्स (SGDM) के लिए एक एकीकृत सैद्धांतिक विश्लेषण विकसित करते हैं। मुख्य पद्धतिगत घटक निम्नलिखित हैं:

मान्यताएं (Assumptions): विश्लेषण कंडीशनल मीन ग्रेडिएंट मैप की $\mu$ -स्ट्रॉन्ग मोनोटोनिसिटी और $L$ -लिप्सिट्ज़ निरंतरता को मानता है। शोर (noise) को बाउंडेड सेकंड मोमेंट्स (और हाई-प्रोबेबिलिटी बाउंड्स के लिए सब-गौसियन टेल्स) के साथ एक मार्टिंगेल डिफरेंस सीक्वेंस के रूप में मॉडल किया गया है।
ट्रैकिंग एरर का विखंडन (Decomposition of Tracking Error): मुख्य विश्लेषणात्मक तकनीक ट्रैकिंग एरर $\|\boldsymbol{\theta}_t - \boldsymbol{\theta}^*_t\|^2$ $∥ θ_{t} - θ_{t}^{*} ∥^{2}$ को तीन विशिष्ट घटकों में विभाजित करने की है:
1. ट्रांजिएंट (Transient): तेजी से घटने वाला इनिशियलाइजेशन एरर।
2. नॉइज़ फ्लोर (Noise Floor): स्टोकेस्टिक ग्रेडिएंट वेरिएंस के कारण होने वाला अपरिहार्य एरर।
3. ड्रिफ्ट-इंड्यूस्ड लैग (Drift-Induced Lag): मिनिमाइज़र की गति के कारण होने वाला अपरिहार्य एरर।
विस्तारित स्टेट-स्पेस विश्लेषण (Extended State-Space Analysis): SGDM के लिए, लेखक विस्तारित स्टेट वेक्टर्स पर अपडेट समीकरणों को एक 2D डायनेमिकल सिस्टम में रूपांतरित करते हैं। यह उन्हें एक ल्यपुनोव फंक्शन दृष्टिकोण का उपयोग करके इटरेट और मोमेंटम बफर की युग्मित गतिशीलता (coupled dynamics) का विश्लेषण करने की अनुमति देता है, जिससे मोमेंटम पैरामीटर $\beta$ पर निर्भर स्पष्ट स्केलिंग फैक्टर्स प्रकट होते हैं।
मिनिमैक्स लोअर बाउंड्स (Minimax Lower Bounds): यह सिद्ध करने के लिए कि देखे गए दंड (penalties) केवल उनके विश्लेषण के आर्टिफैक्ट नहीं हैं, लेखक ग्रेडिएंट-वेरिएशन बजट के तहत डायनेमिक रिग्रेट के लिए मिनिमैक्स लोअर बाउंड्स स्थापित करते हैं। इसमें हार्ड इंस्टेंस (लोकलाइज्ड बम्प फंक्शन्स) का निर्माण और सूचना-सैद्धांतिक तर्क (Fano's inequality) का उपयोग शामिल है।

3. मुख्य योगदान (Key Contributions)

3.1 स्पष्ट मोमेंटम दंड के साथ फाइनाइट-टाइम ट्रैकिंग बाउंड्स

लेखक SGD और SGDM दोनों के लिए फाइनाइट-टाइम अपर बाउंड्स प्राप्त करते हैं।

SGD: ट्रैकिंग एरर एक कॉन्ट्रैक्शन टर्म, $\Delta^2/(\mu^2 \gamma^2)$ के रूप में स्केल होने वाले एक ड्रिफ्ट टर्म, और $\sigma^2 \gamma / \mu$ के रूप में स्केल होने वाले एक नॉइज़ टर्म में विभाजित होता है।
SGDM: बाउंड्स मोमेंटम द्वारा पेश किए गए स्पष्ट दंडों को प्रकट करते हैं। जैसे-जैसे मोमेंटम पैरामीटर $\beta \to 1$ $β \to 1$ होता है:
- इनिशियलाइजेशन के प्रति संवेदनशीलता $(1-\beta)^{-2}$ के कारक से बढ़ जाती है।
- स्टेडी-स्टेट नॉइज़ फ्लोर $(1-\beta)^{-1}$ के कारक से बढ़ जाता है।
- प्रभावी क्षय दर (effective decay rate) $\exp(-\gamma \mu t / (1-\beta))$ के रूप में धीमी हो जाती है।
- स्टेबिलिटी कंस्ट्रेंट्स स्टेप साइज $\gamma$ को $\gamma \lesssim \mu(1-\beta)^2/L^2$ के रूप में छोटा होने के लिए मजबूर करते हैं, जो इल-कंडीशनिंग वाली समस्याओं में ड्रिफ्ट ट्रैकिंग को और खराब कर सकता है।

3.2 टाइम-रिज़ॉल्व्ड हाई-प्रोबेबिलिटी बाउंड्स

एक्सपेक्टेशन से आगे बढ़ते हुए, लेखक हाई-प्रोबेबिलिटी बाउंड्स प्रदान करते हैं जो टाइम-रिज़ॉल्व्ड और ड्रिफ्ट-एडाप्टिव हैं।

यूनिफॉर्म वर्स्ट-केस ड्रिफ्ट बाउंड्स पर निर्भर पिछले कार्यों के विपरीत, ये गारंटी दिखाती है कि एक्सपोनेंशियल फॉरगेटिंग के कारण केवल हालिया ड्रिफ्ट ही एरर को महत्वपूर्ण रूप से प्रभावित करता है।
एक महत्वपूर्ण निष्कर्ष ड्रिफ्ट-नॉइज़ कपलिंग है: इटरेट और ड्रिफ्टिंग मिनिमाइज़र के बीच व्यवस्थित मिसअलाइनमेंट स्टोकेस्टिक ग्रेडिएंट नॉइज़ के प्रभाव को बढ़ा देता है। यह इंटरेक्शन $(1-\beta)^{-2}$ के रूप में स्केल करता है, जो सुझाव देता है कि मोमेंटम डायनेमिक सेटिंग्स में वेरिएंस को बढ़ा सकता है।
ये परिणाम स्पष्ट फॉरगेटिंग मैकेनिज्म (जैसे रीस्टार्ट या विंडोइंग) के माध्यम से पुराने इतिहास को हटाने के लिए प्रेरित करते हैं।

3.3 मिनिमैक्स लोअर बाउंड्स और "इनर्टिया विंडो"

लेखक डायनेमिक रिग्रेट के लिए मिनिमैक्स लोअर बाउंड्स स्थापित करते हैं, यह सिद्ध करते हुए कि मोमेंटम-प्रेरित दंड एक सूचना-सैद्धांतिक बाधा (information-theoretic barrier) है।

लोअर बाउंड दो व्यवस्थाओं में विभाजित है: एक सांख्यिकीय व्यवस्था (शोर/ग्रेडिएंट वेरिएशन द्वारा सीमित) और एक इनर्टिया-लिमिटेड व्यवस्था।
इनर्टिया-लिमिटेड व्यवस्था में, लेखक एक अनिवार्य इनर्टिया विंडो की लंबाई $\tau_\beta \approx \Omega(\kappa/(1-\beta))$ सिद्ध करते हैं। वितरण परिवर्तन (distribution shift) के बाद की इस अवधि के दौरान, कोई भी SGDM पॉलिसी ड्रिफ्टिंग मिनिमाइज़र से पीछे रह जाएगी क्योंकि वह पुराने ग्रेडिएंट्स को औसत करने के लिए मजबूर है।
यह पुष्टि करता है कि ड्रिफ्ट-डोमिनेटेड व्यवस्थाओं में, मोमेंटम ट्यूनिंग के बावजूद मौलिक रूप से वैनिला SGD से बदतर है।

4. प्रायोगिक परिणाम (Experimental Results)

सैद्धांतिक निष्कर्षों की पुष्टि ड्रिफ्टिंग क्वाड्रेटिक, लीनियर/लॉजिस्टिक्स रिग्रेशन और एक ड्रिफ्टिंग टीचर-स्टूडेंट MLP पर प्रयोगों द्वारा की गई है।

रेजीम स्प्लिट (Regime Split): लो-मोमेंटम, लो-ड्रिफ्ट सेटिंग्स में, मोमेंटम नॉइज़ को दबाकर SGD से बेहतर प्रदर्शन कर सकता है।
ड्रिफ्ट के तहत गिरावट: जैसे-जैसे गैर-स्थिरता (ड्रिफ्ट मैग्नीट्यूड), मोमेंटम ( $\beta$ ), या इल-कंडीशनिंग ( $\kappa$ ) बढ़ता है, SGDM का प्रदर्शन तेजी से गिरता है।
SGD की मजबूती: वैनिला SGD विभिन्न शोर स्तरों और ड्रिफ्ट तीव्रता के बीच तुलनात्मक रूप से मजबूत रहता है, जो मोमेंटम मेथड्स में देखे गए कंपाउंडेड इनर्टिया और वेरिएंस पेनल्टी से बचता है।
स्टेप साइज संवेदनशीलता: रूढ़िवादी व्यवस्थाओं से अधिक स्टेप साइज $\gamma$ बढ़ाने से SGDM के ट्रैकिंग प्रदर्शन में सुधार नहीं होता है; इसके बजाय, यह ऑर्डर्स-ऑफ-मैग्निट्यूड गिरावट का कारण बनता है, जबकि SGD स्थिरता बनाए रखता है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र डायनेमिक सेटिंग्स में मोमेंटम की अनुभविक अस्थिरता के लिए पहला व्यापक सैद्धांतिक आधार प्रदान करने का दावा करता है।

मौलिक ट्रेड-ऑफ: यह उस ट्रेड-ऑफ को औपचारिक रूप देता है जहाँ टेम्पोरल एवरेजिंग (मोमेंटम) स्टैटिक सेटिंग्स में वेरिएंस को कम करती है, लेकिन गैर-स्थिर सेटिंग्स में "स्टेल-ग्रेडिएंट एवरेजिंग" (stale-gradient averaging) को प्रेरित करती है जो व्यवस्थित लैग पैदा करती है।
सूचना-सैद्धांतिक बाधा: यह कार्य तर्क देता है कि वितरण बदलाव के तहत मोमेंटम की उप-इष्टतमता केवल एक विश्लेषणात्मक आर्टिफैक्ट नहीं है बल्कि एक मौलिक सीमा है: "इनर्टिया विंडो" किसी भी ऐसे एल्गोरिदम के लिए अपरिहार्य है जो पिछले ग्रेडिएंट्स का औसत लेता है।
व्यावहारिक निहितार्थ: ये परिणाम सटीक रेजीम सीमाओं को रेखांकित करते हैं जहाँ वैनिला SGD प्रमाणित रूप से त्वरित समकक्षों (accelerated counterparts) से बेहतर प्रदर्शन करता है। वे सुझाव देते हैं कि डायनेमिक वातावरण (जैसे ऑनलाइन फोरकास्टिंग, कॉन्टिनुअल लर्निंग) में, चिकित्सकों को उच्च मोमेंटम मानों के साथ सावधान रहना चाहिए और इनर्टिया पेनल्टी को कम करने के लिए स्पष्ट फॉरगेटिंग या रीस्टार्ट मैकेनिज्म पर विचार करना चाहिए।

लेखक निष्कर्ष निकालते हैं कि जबकि मोमेंटम स्टैटिक या धीरे-धीरे बदलने वाले शोर वाले वातावरण में अभिसरण को तेज करता है, यह वितरण बदलाव के तहत एक व्यवस्थित नाजुकता (fragility) पेश करता है जो $(1-\beta)$ के व्युत्क्रमानुपाती (inversely) स्केल करती है, जिससे यह ड्रिफ्ट-डोमिनेटेड व्यवस्थाओं में प्रमाणिक रूप से उप-इष्टतम बन जाता है।