🤖 machine learning

Stochastic Gradient Descent with Momentum is Algorithmically Stable

यह शोध पत्र पोलियाक (Polyak) और नेस्टरोव (Nesterov) की योजनाओं के लिए एक एकीकृत ढांचे को पेश करके, लिप्सचिट्ज़ लॉस (Lipschitz loss) धारणाओं की आवश्यकता के बिना सटीक स्थिरता सीमाओं को व्युत्पन्न करके, और मोमेंटम (momentum) के सामान्यीकरण पर प्रभाव के संबंध में अनुमान को हल करने वाले इष्टतम अतिरिक्त जनसंख्या जोखिम (excess population risk) सीमाओं को सिद्ध करके, स्टोकैस्टिक ग्रेडिएंट डिसेंट विद मोमेंटम (SGDM) की एल्गोरिद्मिक स्थिरता और सामान्यीकरण क्षमताओं को स्थापित करता है।

मूल लेखक: Yunwen Lei, Zimeng Wang, Xiaoming Yuan

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yunwen Lei, Zimeng Wang, Xiaoming Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबट को तस्वीरों में बिल्लियों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं, और वह हर नई तस्वीर देखते ही अपने "दिमाग" (अपने आंतरिक सेटिंग्स) में छोटे बदलाव करके सीखता है। इस प्रक्रिया को स्टोकेस्टिक ग्रेडिएंट डिसेंट (Stochastic Gradient Descent - SGD) कहा जाता है। यह एक हाइकर (पगडंडी पर चलने वाले यात्री) की तरह है जो धुंधली घाटी के निचले हिस्से तक पहुँचने के लिए छोटे, यादृच्छिक (random) कदम उठा रहा है।

अब, कल्पना कीजिए कि हाइकर को थोड़ी मदद मिलती है: एक मोमेंटम (momentum) वाला बैकपैक। यह बैकप hềक याद रखता है कि हाइकर अभी किस दिशा में जा रहा था और उसे उसी दिशा में एक छोटा सा धक्का देता है। यह स्टोकेस्टिक ग्रेडिएंट डिसेंट विद मोमेंटम (SGDM) है। यह हाइकर को तेजी से आगे बढ़ने में मदद करता है और उन छोटे उभारों (लोकल डिप्स) के ऊपर से लुढ़कने में मदद करता है जो शायद उसे फंसा सकते थे।

हालाँकि, वैज्ञानिक समुदाय में एक चिंता है: क्या यह मोमेंटम रोबोट को बहुत अधिक "ज़िद्दी" बना देता है? यदि रोबोट किसी विशेष पथ का बहुत जल्दी अभ्यस्त हो जाता है, तो क्या वह तब बिल्ली को पहचानने में विफल रहेगा जब फोटो थोड़ी अलग हो (जैसे टोपी पहनी हुई बिल्ली)? दूसरे शब्दों में, क्या मोमेंटम रोबोट को ट्रेनिंग के लिए तो अच्छा बनाता है लेकिन नए, अनदेखे डेटा को संभालने में बुरा बना देता है?

यह शोध पत्र इस प्रश्न का उत्तर एक बड़े "नहीं, लेकिन..." के साथ देता है।

यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

1. मुख्य प्रश्न: गति बनाम लचीलापन

लंबे समय से, लोग सोचते थे कि मोmentum एक दोधारी तलवार है। यह प्रशिक्षण को तेज करता है (हाइकर नीचे जल्दी पहुँच जाता है), लेकिन संदेह था कि यह मॉडल को "ओवरफिट" (overfit) बना देता है (हाइकर धुंधली घाटी के सटीक पथ को याद कर लेता है और धूप वाली घाटी में रास्ता भटक जाता है)।

लेखकों ने यह साबित करना चाहा कि क्या यह संदेह सच था। उन्होंने पूछा: "यदि हम प्रशिक्षण सेट में केवल एक फोटो बदल दें, तो रोबोट के अंतिम दिमाग में कितना बदलाव आता है?"

यदि दिमाग बहुत अधिक बदल जाता है, तो एल्गोरिदम अस्थिर (unstable) है (यह छोटे बदलावों के प्रति बहुत संवेदनशील है)।
यदि दिमाग काफी हद तक समान रहता है, तो एल्गोरिदम स्थिर (stable) है (यह मजबूत है और संभवतः नए डेटा पर अच्छा प्रदर्शन करेगा)।

2. "यूनिवर्सल" बैकपैक

शोधकर्ताओं ने केवल एक प्रकार के मोमेंटम को नहीं देखा। उन्होंने एक "यूनिवर्सल मोमेंटम फ्रेमवर्क" बनाया। इसे एक एकल, समायोज्य (adjustable) बैकपैक के रूप में सोचें जिसे दो प्रसिद्ध शैलियों में सेट किया जा सकता है:

पोल्क का मोमेंटम (पॉलीक का मोमेंटम - Heavy Ball): एक भारी गेंद की तरह जो पहाड़ी से नीचे लुढ़कती है। यह गति बनाता है और चलते रहता है।
नेस्टरोव का मोमेंटम (Nesterov's Momentum): एक हाइकर की तरह जो कदम उठाने से पहले आगे देखता है और ढलान का अनुमान लगाता है।

उन्होंने सिद्ध किया कि उनका गणित इन दोनों शैलियों, और बिना मोमेंटम वाले मानक संस्करण, दोनों के लिए काम करता है।

3. बड़ी खोज: मोमेंटम सुरक्षित है (ज्यादातर)

इस शोध पत्र का मुख्य निष्कर्ष यह है कि मोमेंटम स्थिरता को नष्ट नहीं करता है।

ट्रेड-ऑफ (Trade-off): शोधकर्ताओं ने पाया कि मोमेंटम जोड़ने से एल्गोरिदम डेटा के परिवर्तनों के प्रति थोड़ा अधिक संवेदनशील हो जाता है, लेकिन केवल एक अनुमानित और प्रबंधनीय मात्रा तक।
उपमा: हाइकर के साथ बैकपैक की कल्पना करें। यदि बैकपैक बहुत भारी है (उच्च मोमेंटम), तो यदि रास्ता अचानक बदल जाता है तो हाइकर को मोड़ना थोड़ा कठिन होता है। हालाँकि, यह शोध पत्र सिद्ध करता है कि जब तक बैकपैक बहुत अधिक भारी नहीं है (मोमेंटम पैरामीटर 1 से नीचे रखा गया है), हाइकर खाई में नहीं गिरेगा। "अस्थिरता" केवल एक स्थिर कारक है, कोई अनियंत्रित आपदा नहीं।
"लिप्सचिट्ज़" (Lipschitz) का सहारा नहीं: पिछले अध्ययनों में अक्सर स्थिरता को सिद्ध करने के लिए एक सख्त गणितीय नियम (जिसे "लिप्सचिट्ज़नेस" कहा जाता है) की आवश्यकता होती थी, जो यह कहने जैसा है कि "पहाड़ी बहुत अधिक खड़ी नहीं होनी चाहिए।" इस शोध पत्र ने उस नियम को हटा दिया। उन्होंने दिखाया कि अलग-अलग ढलान वाली पहाड़ियों पर भी मोमेंटम विधि स्थिर रहती है, बशर्ते कि प्रशिक्षण त्रुटि (हाइकर कैसा प्रदर्शन कर रहा है) कम हो रही हो।

4. "सेल्फ-बाउंडिंग" (Self-Bounding) ट्रिक

उन्होंने बिना उन सख्त नियमों के इसे कैसे सिद्ध किया? उन्होंने एक चतुर गणितीय ट्रिक का उपयोग किया जिसे वे "सेल्फ-बाउंडिंग प्रॉपर्टी" कहते हैं।

रूपक: कल्पना करें कि हाइकर की गति स्वाभाविक रूप से इस बात से सीमित है कि वह अभी कितनी खड़ी पहाड़ी पर खड़ा है। यदि पहाड़ी समतल है, तो वह बहुत तेज नहीं जा सकता। यदि पहाड़ी खड़ी है, तो वह तेज जाता है, लेकिन गणित दिखाता है कि "खतरा" (ग्रेडिएंट) स्वाभाविक रूप से उस "ऊंचाई" (लॉस) से जुड़ा हुआ है जिस पर वह वर्तमान में है।
इस प्राकृतिक सीमा का उपयोग करके, वे सिद्ध कर सके कि रोबोट स्थिर रहता है, बिना यह धारणा बनाए कि पहाड़ी की अधिकतम ढलान कितनी है।

5. परिणाम: इष्टतम प्रदर्शन (Optimal Performance)

शोध पत्र निष्कर्ष निकालता है कि जब आप इन मोमेंटम विधियों का सही ढंग से उपयोग करते हैं:

प्रशिक्षण तेज़ है: रोबोट जल्दी सीखता है।
सामान्यीकरण (Generalization) इष्टतम है: रोबोट नए, अनदेखे डेटा पर सर्वोत्तम संभव गणितीय सिद्धांत के अनुसार उतना ही अच्छा प्रदर्शन करता है।

उन्होंने सिद्ध किया कि "जनरलाइजेशन गैप" (प्रशिक्षण प्रदर्शन और वास्तविक दुनिया के प्रदर्शन के बीच का अंतर) जितना संभव हो उतना छोटा है।

सारांश

इस शोध पत्र को "मोमेंटम बैकपैक" के लिए एक सुरक्षा मैनुअल के रूप में समझें।

पुरानी धारणा: "मोमेंटम रोबोट को बहुत कठोर बना सकता है और इसे नए डेटा पर विफल होने का कारण बन सकता है।"
नई खोज: "मोमेंटम सुरक्षित है। यह रोबोट को बिना बैकपैक वाले रोबोट की तुलना में थोड़ा कम लचीला बनाता है, लेकिन यह अभी भी पूरी तरह से स्थिर है। जब तक आप बैकपैक को सही ढंग से ट्यून करते हैं, रोबकर तेजी से सीखेगा और नए डेटा पर अच्छा प्रदर्शन भी करेगा।"

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने एक कठोर गणितीय सेतु बनाया जो यह दर्शाता है कि मोमेंटम पैरामीटर स्थिरता को बिल्कुल कैसे प्रभावित करता है, यह सिद्ध करते हुए कि स्मूथ और कॉनवेक्स समस्याओं (मशीन लर्निंग कार्य का एक सामान्य प्रकार) के लिए, मोमेंटम विधि एक विश्वसनीय, स्थिर और इष्टतम उपकरण है।

तकनीकी सारांश: स्टोकैस्टिक ग्रेडिएंट डिसेंट विथ मोमेंटम एल्गोरिदम के रूप में स्थिर है

समस्या विवरण
स्टोकैस्टिक ग्रेडिएंट डिसेंट विथ मोमेंटम (SGDM) मशीन लर्निंग में एक प्रमुख अनुकूलन विधि (optimization method) है, जिसका उपयोग पॉलीक के (हेवी-बॉल) और नेस्टरोव के मोमेंटम स्कीम्स के माध्यम से अभिसरण (convergence) को गति देने और लॉस लैंडस्केप्स को नेविगेट करने के लिए व्यापक रूप से किया जाता है। जबकि SGDM के अनुकूलन गुण (अभिसरण दरें) दोनों कॉनवेक्स (convex) और नॉन-कॉनवेक्स सेटिंग्स में अच्छी तरह से समझ में आए हैं, इसकी सामान्यीकरण (generalization) व्यवहार अभी भी अपर्याप्त रूप से खोजा गया है। एक प्रचलित अनुमान यह सुझाव देता है कि जबकि मोमेंटम प्रशिक्षण को तेज करता है, यह सामान्यीकरण को खराब कर सकता है। मौजूदा स्थिरता विश्लेषण मोमेंटम-आधारित विधियों के लिए सीमित हैं: वे अक्सर प्रतिबंधात्मक धारणाओं (जैसे, लिप्सचिट्ज़ निरंतरता, स्ट्रॉन्ग कॉनवेक्सिटी, या क्वाड्रेटिक ऑब्जेक्टिव्स) पर निर्भर करते हैं, केवल नियतात्मक (deterministic) सेटिंग्स को संबोधित करते हैं, या केवल लोअर बाउंड प्रदान करते हैं जो संभावित अस्थिरता का संकेत देते हैं। फलस्वरूप, एक व्यापक समझ कि SGDM कब और कैसे अनदेखे डेटा पर अच्छी तरह से सामान्यीकरण करता है, विशेष रूप से स्मूथ और कॉनवेक्स समस्याओं के लिए, लुप्त है।

कार्यप्रणाली
लेखक इस समस्या को एल्गोरिदम स्थिरता (algorithmic stability) के दृष्टिकोण से देखते हैं, विशेष रूप से ऑन-एवरेज मॉडल स्टेबिलिटी का उपयोग करते हुए। मुख्य कार्यप्रणाली में शामिल है:

सामान्यीकृत ढांचा (Generalized Framework): यह पेपर एक एकीकृत सामान्यीकृत SGDM ढांचे को पेश करता है जो पॉलीक के मोमेंटम (SGD-HB) और नेस्टरोव के मोमेंटम (SGD-N) दोनों को समाहित करता है। अपडेट नियम इस प्रकार परिभाषित हैं:
$m_t = \beta m_{t-1} + g_t$
$w_{t+1} = w_t - \gamma g_t - \eta m_t$
जहाँ $\beta \in [0, 1)$ मोमेंटम पैरामीटर है, और $\gamma, \eta$ स्टेप साइज़ हैं।
लिप्सचिट्ज़नेस के बिना स्थिरता विश्लेषण: पिछले कार्यों के विपरीत जो यह मानते हैं कि लॉस फंक्शन लिप्सचिट्ज़ निरंतर है, यह विश्लेषण स्मूथ, नॉन-नेगेटिव फंक्शन्स की सेल्फ-बाउंडिंग प्रॉपर्टी (लेम्मा 3.5) पर निर्भर करता है, जो ग्रेडिएंट नॉर्म को फंक्शन वैल्यू द्वारा बांधता है ( $\|\nabla \ell\|^2 \le 2\alpha \ell$ )। यह एक ऐसा स्थिरता बाउंड प्राप्त करने की अनुमति देता है जो वर्स्ट-केस ग्रेडिएंट बाउंड्स के बजाय प्रक्षेपवक्र (trajectory) के साथ ऑप्टिमाइज़ेशन एरर पर निर्भर करता है।
सहायक अनुक्रम निर्माण (Auxiliary Sequence Construction): स्थिरता विश्लेषण में मोमेंटम टर्म द्वारा पेश की गई जटिलता को संभालने के लिए, लेखक एक सहायक अनुक्रम $\{y_k\}$ का निर्माण करते हैं जो एक मानक SGD अपडेट नियम के अनुसार विकसित होता है। यह रूपांतरण ऑप्टिमाइज़ेशन विश्लेषण को सरल बनाता है और लेखकों को पड़ोसी डेटासेट्स पर उनके समकक्षों और SGDM इटेरेट्स के बीच की दूरी को बांधने की अनुमति देता है।
एक्सेस पॉपुलेशन रिस्क (EPR) का अपघटन: कुल सामान्यीकरण त्रुटि (generalization error) को जनरलइज़ेशन गैप (जो स्थिरता द्वारा नियंत्रित होता है) और ऑप्टिमाइज़ेशन एरर में विभाजित किया गया है। लेखक दोनों घटकों के लिए टाइट बाउंड्स निकालते हैं और समग्र EPR स्थापित करने के लिए उन्हें जोड़ते हैं।

मुख्य योगदान और परिणाम

टाइट ऑन-एवरेज मॉडल स्टेबिलिटी बाउंड्स: यह पेपर स्मूथ, कॉनवेक्स और नॉन-नेगेटिव लॉस फंक्शन्स के लिए लागू होने वाले व्यापक स्थिरता बाउंड्स स्थापित करता है।
- बाउंड्स एक ट्रेड-ऑफ प्रकट करते हैं: मोमेंटम पैरामीटर $\beta$ स्थिरता बनाए रखता है लेकिन इसे $O(1/(1-\beta)^{3/2})$ के ऑर्डर के एक स्थिरांक कारक से कम करता है।
- महत्वपूर्ण रूप से, ये बाउंड्स डेटा-डिपेंडेंट हैं, जो प्रशिक्षण प्रक्षेपवक्र के साथ छोटे ऑप्टिमाइज़ेशन एरर्स का लाभ उठाते हैं।
- विश्लेषण किसी भी $\beta \in [0, 1)$ के लिए लागू होता है और इसके लिए लॉस फंक्शन की लिप्सचिट्ज़नेस की आवश्यकता नहीं है।
मोमेंटम वेरिएंट्स के लिए विशिष्ट बाउंड्स:
- SGD-HB (Polyak): व्युत्पन्न स्थिरता बाउंड वैनिला SGD के ज्ञात बाउंड्स से $1/(1-\beta)^{3/2}$ के कारक तक मेल खाता है।
- SGD-N (Nesterov): इसी तरह, नेस्टरोव के मोमेंटम के लिए टाइट स्थिरता गारंटी प्रदान की गई है, जो तुलनीय धारणाओं के तहत ऐसे पहले परिणामों का प्रतिनिधित्व करती है।
- परिणाम स्पष्ट करते हैं कि हालांकि मोमेंटम स्थिरता को एक स्थिरांक कारक से खराब कर सकता है, यह नेस्टरोव की विधि के लिए अलग स्थिरता धारणाओं (यूनिफॉर्म स्टेबिलिटी) के तहत देखे गए घातीय अस्थिरता (exponential instability) की ओर नहीं ले जाता है।
इष्टतम एक्सेस पॉपुलेशन रिस्क (EPR): स्थिरता बाउंड्स को ऑप्टिमाइज़ेशन एरर विश्लेषण के साथ जोड़कर, लेखक दोनों मोमेंटम वेरिएंट्स के लिए इष्टतम EPR बाउंड्स निकालते हैं।
- उपयुक्त स्टेप साइज़ के साथ, दोनों SGD-HB और SGD-N एक EPR दर $O(1/\sqrt{n})$ प्राप्त करते हैं, जो सामान्य कॉनवेक्स सेटिंग में सांख्यिकीय गारंटियों के लिए मिनिमैक्स लोअर बाउंड्स से मेल खाता है।
- लो-नॉइज़ कंडीशन ( $L(w^*) < 1/n$ ) के तहत, विश्लेषण एक बेहतर दर $O(1/n)$ प्रदान करता है।

महत्व और दावे
यह पेपर स्मूथ और कॉनवेक्स सेटिंग्स में लिप्सचिट्ज़ धारणाओं के बिना पॉलीक और नेस्टरोव दोनों के लिए पहला टाइट, व्यापक स्थिरता और सामान्यीकरण विश्लेषण प्रदान करके SGDM के सामान्यीकरण की समझ के अंतर को पाटने का दावा करता है।

अस्थिरता के अनुमान का खंडन करना: परिणाम इस अनुमान को चुनौती देते हैं कि मोमेंटम स्वाभाविक रूप से सामान्यीकरण को खराब करता है। इसके बजाय, विश्लेषण दिखाता है कि मोमेंटम स्थिरता में एक प्रबंधनीय, स्थिरांक-कारक गिरावट लाता है, जो ऑप्टिमाइज़ेशन कन्वर्जेंस के लाभों से अधिक है, जिससे इष्टतम सांख्यिकीय दरें प्राप्त होती हैं।
पद्धतिगत प्रगति: विकसित की गई तकनीकें, जैसे कि मोमेंटम टर्म्स को नियंत्रित करने के लिए वेटेड ग्रेडिएंट समेशन का उपयोग और सहायक अनुक्रमों का निर्माण, स्वतंत्र रुचि के उपकरण के रूप में प्रस्तुत की गई हैं जो अन्य मोमेंटम-आधारित एल्गोरिदम के शार्पर विश्लेषण को सुगम बना सकती हैं।
व्यावहारिक प्रासंगिकता: विश्लेषण मोमेंटम के व्यावहारिक रूप से उपयोग किए जाने वाले पूर्ण रेंज ( $\beta \in [0, 1)$ ) को कवर करता है, पिछले कार्यों के विपरीत जिन्हें स्थिरता सुनिश्चित करने के लिए अत्यंत छोटे मोमेंटम मानों की आवश्यकता थी।

पेपर निष्कर्ष निकालता है कि SGDM एल्गोरिदम के रूप में स्थिर है और अच्छी तरह से सामान्यीकरण करता है, जो अत्याधुनिक डीप न्यूरल नेटवर्क को प्रशिक्षित करने में इसके सर्वव्यापी उपयोग के लिए सैद्धांतिक औचित्य प्रदान करता है।