📊 statistics

What is the long-run distribution of stochastic gradient descent? A large deviations analysis

यह शोध पत्र बड़े विचलन सिद्धांत (large deviations theory) का उपयोग यह प्रदर्शित करने के लिए करता है कि गैर-उत्तल (non-convex) समस्याओं में स्टोकेस्टिक ग्रेडिएंट डिसेंट का दीर्घकालिक वितरण एक बोल्ट्ज़मैन-गिब्स वितरण के समान होता है, जिसके कारण यह एल्गोरिदम गैर-महत्वपूर्ण क्षेत्रों, स्थानीय अधिकतम (local maximizers), और सैडल पॉइंट्स की तुलना में कम ऊर्जा अवस्थाओं वाले महत्वपूर्ण क्षेत्रों को तेजी से प्राथमिकता देता है।

मूल लेखक: Waïss Azizian, Franck Iutzeler, Jérôme Malick, Panayotis Mertikopoulos

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Waïss Azizian, Franck Iutzeler, Jérôme Malick, Panayotis Mertikopoulos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले और अविश्वसनीय रूप से जटिल पर्वत श्रृंखला में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। यह पर्वत श्रृंखला एक मशीन लर्निंग समस्या के "लॉस लैंडस्केप" (loss landscape) का प्रतिनिधित्व करती है। घाटियाँ अच्छे समाधान (कम त्रुटि) हैं, चोटियाँ बुरे समाधान (उच्च त्रुटि) हैं, और उनके बीच के सपाट, पेचीदा स्थान "सैडल पॉइंट्स" (saddle points) हैं (ऐसी जगहें जो एक दिशा से घाटी जैसी दिखती हैं लेकिन दूसरी दिशा से पहाड़ी जैसी)।

आपका लक्ष्य सबसे गहरी घाटी (ग्लोबल मिनिमम) को खोजना है। आपके पास एक उपकरण है जिसे स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) कहा जाता है। इसे एक ऐसे हाइकर (हाइकर/पर्वतारोही) के रूप में सोचें जो ढलान की ओर नीचे उतरने की कोशिश कर रहा है। हालाँकि, यह हाइकर थोड़ा नशे में है या एक ऊबड़-खाबड़, हिलते हुए रास्ते पर चल रहा है। हर बार जब वह कदम उठाता है, तो उसे किस दिशा में नीचे जाना है, इसका थोड़ा गलत और शोर भरा (noisy) संकेत मिलता है।

द दशकों से, हम जानते थे कि वह अंततः बहुत अधिक इधर-उधर घूमना बंद कर देगा (कन्वर्ज होगा), लेकिन हमें यह नहीं पता था कि वह अंततः कहाँ जाकर स्थिर होगा। क्या वह एक उथली घाटी में फंस जाएगा? क्या वह किसी सैडल पॉइंट के पास बिना किसी दिशा के भटकता रहेगा? या वह सबसे गहरी घाटी को खोज लेगा?

यह पेपर इस प्रश्न का उत्तर देता है कि इस "नशे में धुत हाइकर" की यात्रा को भौतिकी (physics) के एक खेल की तरह मानकर।

मुख्य विचार: हाइकर एक गैस अणु है

लेखकों ने महसूस किया कि इस "नशे में धुत हाइकर" (SGD) का दीर्घकालिक व्यवहार कमरे में गैस के अणुओं के व्यवहार जैसा ही है।

कमरा: पूरी पर्वत श्रृंखला (समस्या का स्टेट स्पेस)।
अणु: किसी भी दिए गए समय पर हाइकर की स्थिति।
तापमान: स्टेप-साइज़ (हाइकर के कदमों का आकार)।
- यदि स्टेप-साइज़ बड़ा है, तो हाइकर "गर्म" और ऊर्जावान है। वे बेतहाशा उछलते-कूदते हैं, छोटी पहाड़ियों के ऊपर से कूद जाते हैं और पूरे कमरे की खोज करते हैं।
- यदि स्टेप-साइज़ बहुत छोटा है, तो हाइकर "ठंडा" है। वे धीरे चलते हैं और पास की किसी भी ढलान में फंस जाते हैं।
ऊर्जा: उस स्थान पर पर्वत की ऊंचाई (ऑब्जेक्टिव फंक्शन वैल्यू)।

पेपर यह सिद्ध करता है कि, लंबे समय के बाद, हाइकर केवल एक रैंडम जगह नहीं चुनता है। वे एक विशिष्ट पैटर्न में बस जाते हैं जिसे बोल्ट्ज़मैन-गिब्स डिस्ट्रीब्यूशन (Boltzmann-Gibbs distribution) कहा जाता है। सरल शब्दों में इसका अर्थ है:

निचले स्थान भीड़भाड़ वाले हैं: हाइकर सबसे अधिक समय गहरी घाटियों में बिताता है।
ऊंचे स्थान खाली हैं: हाइकर चोटियों पर शायद ही कभी जाता है।
"तापमान" मायने रखता है: स्टेप-साइज़ जितना बड़ा होगा (सिस्टम जितना गर्म होगा), हाइकर के लिए एक उथली घाटी से बाहर निकलकर ऊंचे स्थानों की खोज करने की संभावना उतनी ही अधिक होगी।

चार मुख्य खोजें

पेपर चार मुख्य नियमों का उपयोग करके बताता है कि हाइकर अंततः कहाँ पहुँचता है:

1. हाइकर "क्रिटिकल" स्थानों को पसंद करता है
हाइकर अपना लगभग सारा समय "क्रिटिकल रीजन" में बिताता है। ये वे सपाट स्थान हैं जहाँ ज़मीन पूरी तरह से समतल होती है (गणितीय रूप से, जहाँ ग्रेडिएंट शून्य होता है)। इसमें घाटियों के तल, चोटियों के शीर्ष और पेचीदा सैडल पॉइंट्स शामिल हैं। हाइकर कभी भी खड़ी ढलान पर नहीं रुकता क्योंकि गुरुत्वाकर्षण (गणित) उन्हें तुरंत वहां से हटा देता है।

2. "ग्राउंड स्टेट" पसंदीदा है
सभी सपाट स्थानों में से, एक विशिष्ट सेट ऐसी घाटियाँ हैं जहाँ हाइकर अन्य किसी भी स्थान की तुलना में घातीय रूप से (exponentially) अधिक बार जाता है। लेखक इसे "ग्राउंड स्टेट" कहते हैं।

महत्वपूर्ण मोड़: यह "ग्राउंड स्टेट" हमेशा पूरी पर्वत श्रृंखला की सबसे गहरी घाटी नहीं होती है। यह शोर (noise) पर निर्भर करता है (रास्ते के हिलने-डुलने का प्रभाव)। कभी-कभी, एक थोड़ी ऊंची घाटी अधिक "सपाट" या शोर से "सुरक्षित" होती है, जिससे वह पसंदीदा विश्राम स्थल बन जाती है। हाइकर उस स्थान को चुनता है जो एक विशिष्ट "ऊर्जा" को कम करता है, जो घाटी की गहराई और शोर के प्रभाव को जोड़ती है।

3. दौरों का पदानुक्रम (Hierarchy of Visits)
यदि हाइकर अपने सबसे पसंदीदा स्थान पर नहीं है, तो भी वह एक सख्त पदानुक्रम का पालन करता है:

वे लोकल मिनिमा (छोटी घाटियों) को सैडल पॉइंट्स (पेचीदा सपाट स्थानों) की तुलना में बहुत अधिक बार देखते हैं।
वे लोकल मैक्सिमा (चोटियों) की तुलना में सैडल पॉइंट्स को बहुत अधिक बार देखते हैं।
मूल रूप से, हाइकर चोटियों और सैडल पॉइंट्स से बचता है, और घाटियों में आराम करना पसंद करता है। यदि वे सैडल पॉइंट पर जाते भी हैं, तो यह केवल इसलिए होता है क्योंकि वे वहां अस्थायी रूप से फंस गए थे, इससे पहले कि शोर उन्हें एक घाटी की ओर धकेल दे।

4. "ऊर्जा" की गणना
पेपर यह गणना करने के लिए एक फॉर्मूला प्रदान करता है कि किसी विशिष्ट घाटी में हाइकर के होने की कितनी संभावना है। यह एक स्कोरकार्ड की तरह है:

स्कोर = (घाटी की गहराई) + (शोर घाटी के साथ कैसे इंटरैक्ट करता है)।
स्कोर जितना कम होगा, हाइकर वहां उतना ही अधिक समय बिताएगा।
"स्टेप-साइज़" तापमान के डायल की तरह काम करता है। यदि आप डायल को नीचे करते हैं (छोटे कदम), तो हाइकर बहुत चयनात्मक हो जाता है और केवल सबसे कम स्कोर वाले स्थानों पर जाता है। यदि आप इसे ऊपर करते हैं, तो वे अधिक साहसी हो जाते हैं और उच्च स्कोर वाले स्थानों की भी खोज करते हैं।

"नशे में धुत हाइकर" बनाम "परफेक्ट हाइकर"

एक आदर्श दुनिया में (बिना शोर के), एक हाइकर बस सबसे तीव्र ढलान के नीचे लुढ़क जाएगा और पहली घाटी में ही फंस जाएगा। लेकिन क्योंकि हमारा हाइकर "नशे में धुत" है (शोर के साथ), वे गलती से एक उथली घाटी से बाहर निकल सकते हैं और एक गहरी घाटी पा सकते हैं।

पेपर दिखाता है कि यह "नशे में धुत होना" कोई बग (खामी) नहीं है; यह एक फीचर (विशेषता) है जो एक अनुमानित वितरण (predictable distribution) बनाता है। हाइकर केवल बेतरतीब ढंग से नहीं भटकता; वे सांख्यिकीय रूप से (statistically) भटकते हैं। लंबे समय में, आप यह अनुमान लगा सकते हैं कि हाइकर कितना प्रतिशत समय किसी विशिष्ट घाटी में बिताएगा, जो "तापमान" (स्टेप-साइज़) और "ऊर्जा" (घाटी का आकार और शोर) पर आधारित है।

सारांश

यह पेपर हमें बताता है कि सबसे लोकप्रिय मशीन लर्निंग एल्गोरिदम (SGD) का दीर्घकालिक व्यवहार अराजक (chaotic) नहीं है। यह एक भौतिक प्रणाली की तरह व्यवहार करता है जो थर्मल इक्विलिब्रियम (तापीय संतुलन) में है।

एल्गोरिदम: एक हाइकर जो पहाड़ के नीचे जाने की कोशिश कर रहा है।
शोर (Noise): एक हिलता हुआ फर्श जो हाइकर को लड़खड़ाने पर मजबूर करता है।
स्टेप-साइज़: कमरे का तापमान।
परिणाम: हाइकर एक अनुमानित पैटर्न में बस जाता है जहाँ वे "सर्वश्रेष्ठ" घाटियों में सबसे अधिक समय बिताते हैं, जो इस बात से परिभाषित होता है कि घाटी कितनी गहरी है और शोर उस पर कैसे प्रभाव डालता है।

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने उन्नत गणित (लार्ज डेविएशन थ्योरी) का उपयोग करके यह सिद्ध किया कि यह भौतिक सादृश्य (physical analogy) वास्तव में यह बताता है कि एल्गोरिदम लंबे समय में कैसे व्यवहार करता है।

तकनीकी सारांश: स्टोकेस्टिक ग्रेडिएंट डिसेंट का दीर्घकालिक वितरण (The Long-Run Distribution of Stochastic Gradient Descent)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) के सिद्धांत में एक मौलिक खुले प्रश्न को संबोधित करता है: दीर्घकाल में SGD द्वारा स्टेट स्पेस (state space) के किन क्षेत्रों को सबसे अधिक बार और कितनी तीव्रता से देखा जाता है?

जबकि मौजूदा साहित्य SGD के लिए अभिसरण गारंटी (convergence guarantees) प्रदान करता है (जैसे कि अपेक्षित स्क्वेयर्ड ग्रेडिएंट नॉर्म पर सीमाएँ), ये परिणाम स्थिर वितरण (stationary distribution) या उन विशिष्ट क्रिटिकल पॉइंट्स का वर्णन नहीं करते जहाँ इटरेट्स (iterates) स्थिर होते हैं। नॉन-कॉन्वेक्स (non-convex) परिवेश में, जो आधुनिक मशीन लर्निंग में प्रचलित है, लॉस लैंडस्केप जटिल होता है, जिसमें कई लोकल मिनिमा, सैडल पॉइंट्स और लोकल मैक्सिमा होते हैं। पिछले कार्यों ने यह स्थापित किया है कि SGD स्ट्रिक्ट सैडल पॉइंट्स से बचता है, लेकिन इसने विभिन्न क्रिटिकल कंपोनेंट्स को देखने की सापेक्ष संभावना को मापा नहीं है और न ही ग्लोबल मिनिमम से दूर इटरेट्स के वितरण का वर्णन किया है।

लेखक सामान्य, नॉन-कॉन्वेक्स समस्याओं में SGD के दीर्घकालिक वितरण को मापने का लक्ष्य रखते हैं, विशेष रूप से एल्गोरिदम द्वारा देखे जाने वाले क्रिटिकल क्षेत्रों के पदानुक्रम (hierarchy) को समझने की कोशिश करते हैं।

2. कार्यप्रणाली (Methodology)

यह पत्र लार्ज डेविएशन थ्योरी (Large Deviations Theory) और रैंडमली पर्सर्बड डायनेमिकल सिस्टम्स (randomly perturbed dynamical systems) के सिद्धांत पर आधारित एक कठोर गणितीय ढांचे का उपयोग करता है, विशेष रूप से अनबाउंडेड डोमेन पर डिस्क्रीट-टाइम सिस्टम के लिए फ्रीडलिन-वेंटवेल (Freidlin–Wentzell) थ्योरी का विस्तार करता है।

मुख्य तकनीकी चरण:

SGD के लिए लार्ज डेविएशन प्रिंसिपल (LDP):
- लेखक डिस्क्रीट इटरेट्स को एक कंटीन्यूअस-टाइम ट्राजेक्टरी में इंटरपोलेट करके SGD प्रक्रिया के लिए एक LDP स्थापित करते हैं।
- वे शोर (noise) के लैग्रेंजियन और ऑब्जेक्टिव फंक्शन के ग्रेडिएंट पर आधारित एक एक्शन फंक्शनल (action functional) $S_T[\gamma]$ को परिभाषित करते हैं। यह फंक्शनल एक ट्राजेक्टरी $\gamma$ की "लागत" या "संभावना" को मापता है जो डिटर्मिनिस्टिक ग्रेडिएंट फ्लो से विचलित होती है।
- SDEs पर निर्भर पिछले दृष्टिकोणों के विपरीत, जो $\eta \to 0$ होने पर धीमी अभिसरण दर के कारण दीर्घकालिक व्यवहार को पकड़ने में विफल रहते हैं, यह दृष्टिकोण सीधे डिस्क्रीट डायनेमिक्स का विश्लेषण करता है।
ट्रांजिशन कॉस्ट और क्वासी-पोटेंशियल (Transition Costs and Quasi-Potential):
- ऑब्जेक्टिव फंक्शन $f$ के क्रिटिकल सेट को परिमित संख्या में कनेक्टेड कंपोनेंट्स $K_i$ में विभाजित किया गया है।
- लेखक एक क्वासी-पोटेंशियल (quasi-potential) $B(K_i, K_j)$ को परिभाषित करते हैं, जो SGD इटरेट्स को कंपोनेंट $K_i$ से $K_j$ में ट्रांजिशन करने के लिए आवश्यक न्यूनतम एक्शन कॉस्ट का प्रतिनिधित्व करता है।
- ये लागतें एक भारित निर्देशित ग्राफ (weighted directed graph/transition graph) बनाती हैं जहाँ वर्टिक्स क्रिटिकल कंपोनेंट्स हैं और एज वेट्स ट्रांजिशन कॉस्ट हैं।
एनर्जी लेवल्स और इनवेरिएंट मेजर्स (Energy Levels and Invariant Measures):
- एक क्रिटिकल कंपोनेंट $K_i$ की "ऊर्जा" $E_i$ को ट्रांजिशन ग्राफ में $i$ पर रूटेड स्पैनिंग ट्री के न्यूनतम कुल भार के रूप में परिभाषित किया गया है।
- डिस्क्रीट टाइम के लिए अनुकूलित फ्रीडलिन-वेंटवेल थ्योरी का उपयोग करते हुए, लेखक SGD प्रक्रिया के इनवेरिएंट मेजर (या मीन ऑक्यूपेशन मेजर) के एसिम्प्टोटिक व्यवहार को प्राप्त करते हैं।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

यह शोध पत्र SGD के दीर्घकालिक वितरण का वर्णन करने वाले परिणामों का एक पदानुक्रम (Theorems 1–4) स्थापित करता है:

क्रिटिकल क्षेत्रों पर संकेंद्रण (Concentration on Critical Regions - Theorem 3): दीर्घकाल में, SGD के इटरेट्स के $f$ के क्रिटिकल सेट के निकट पाए जाने की संभावना नॉन-क्रिटिकल क्षेत्रों की तुलना में घातीय रूप से (exponentially) अधिक होती है। विशेष रूप से, क्रिटिकल सेट के $\delta$ -नेबरहुड के बाहर होने की प्रायिकता $1 - e^{-c/\eta}$ के रूप में घटती है।
बोल्ट्जमैन-गिब्स वितरण (Boltzmann–Gibbs Distribution - Theorem 1): एक विशिष्ट क्रिटिकल कंपोनेंट $K_i$ को दिया गया प्रायिकता द्रव्यमान (probability mass) एक अनुमानित बोल्ट्जमैन-गिब्स वितरण का अनुसरण करता है:
$\mu_\infty(U_i) \propto \exp\left( -\frac{E_i}{\eta} \right)$
जहाँ $E_i$ कंपोनेंट का ऊर्जा स्तर है और $\eta$ सिस्टम के "तापमान" के रूप में कार्य करता है।
मिनिमाइजर्स का प्रभुत्व (Dominance of Minimizers - Theorem 2): नॉन-मिनिमाइजिंग क्रिटिकल कंपोनेंट्स (लोकल मैक्सिमा या सैडल पॉइंट्स) के देखे जाने की संभावना मिनिमाइजिंग कंपोनेंट्स की तुलना में घातीय रूप से कम होती है। विशेष रूप से, किसी भी नॉन-मिनिमाइजिंग कंपोनेंट $K$ के लिए, एक मिनिमाइजिंग कंपोनेंट $K'$ मौजूद है जिससे उनके विज़िटेशन प्रोबेबिलिटी का अनुपात $1/\eta$ के साथ घातीय रूप से घटता है।
ग्राउंड स्टेट पर संकेंद्रण (Concentration on Ground States - Theorem 4): इटरेट्स सिस्टम के "ग्राउंड स्टेट" के आसपास घातीय रूप से केंद्रित होते हैं—जो न्यूनतम ऊर्जा $E_i$ $E_{i}$ वाले क्रिटिकल कंपोनेंट्स का सेट है।
- महत्वपूर्ण अंतर: SGD सिस्टम का ग्राउंड स्टेट (न्यूनतम $E_i$ ) अनिवार्य रूप से ऑब्जेक्टिव फंक्शन $f$ के ग्लोबल मिनिमम के साथ मेल नहीं खाता है। ऊर्जा का परिदृश्य (energy landscape) ऑब्जेक्टिव फंक्शन और शोर के सांख्यिकी (statistics) दोनों द्वारा आकार लेता है।

विशिष्ट मामला: गॉसियन नॉइज़ (Gaussian Noise)

गॉसियन नॉइज़ के मामले में जिसका वेरिएंस $\sigma^2$ है, लेखक ऊर्जा स्तरों के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त करते हैं:
$E_i \approx \frac{2 f(K_i)}{\sigma^2}$
इस विशिष्ट परिदृश्य में, दीर्घकालिक वितरण मानक गिब्स मेजर $\exp(-f(x)/\eta_{eff})$ के समान दिखता है, जहाँ प्रभावी तापमान स्टेप-साइज और नॉइज़ वेरिएंस के समानुपाती होता है। हालाँकि, सामान्य शोर मॉडल्स (जैसे कि ग्रेडिएंट या पोजीशन पर निर्भर शोर) के लिए, ऊर्जा परिदृश्य (energy landscape) ऑब्जेक्टिव फंक्शन के परिदृश्य से काफी भिन्न हो सकता है।

4. महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि यह कार्य सामान्य नॉन-कॉन्वेक्स सेटिंग्स में SGD के इनवेरिएंट मेजर का पहला वर्णन प्रदान करता है, जो लोकल कन्वर्जेंस एनालिसिस या सैडल-पॉइंट अवॉयडेंस से आगे बढ़ता है।

थर्मोडायनामिक सादृश्य (Thermodynamic Analogy): यह पत्र SGD और इक्विलिब्रियम थर्मोडायनामिक्स के बीच एक सीधा सादृश्य खींचता है। स्टेप-साइज $\eta$ तापमान की भूमिका निभाता है, जो क्रिटिकल कंपोनेंट्स के बीच ट्रांजिशन की सुगमता निर्धारित करता है। एक कंपोनेंट की "ऊर्जा" उसके देखे जाने की संभावना को निर्धारित करती है।
ग्लोबल मिनिमा से परे (Beyond Global Minima): परिणाम इस अंतर्ज्ञान को चुनौती देते हैं कि SGD हमेशा ग्लोबल मिनिमम पर अभिसरित होता है। इसके बजाय, SGD उस "ग्राउंड स्टेट" पर अभिसरित होता है जो ऑब्जेक्टिव फंक्शन और शोर सांख्यिकी के बीच के परस्पर प्रभाव से परिभाषित होता है। एक स्थानीय न्यूनतम (local minimum) जिसकी विशिष्ट ज्यामिति (जैसे कि फ्लैटनेस) और अनुकूल शोर इंटरेक्शन हो, उसे गहरे ग्लोबल मिनिमम की तुलना में अधिक बार देखा जा सकता है।
व्यापकता (Generality): यह ढांचा सामान्य नॉन-कॉन्वेक्स ऑब्जेक्टिव्स और विभिन्न शोर मॉडल्स (मिनिबैच SGD और इंजेक्टेड नॉइज़ सहित) के लिए लागू होता है, बशर्ते कि शोर सब-गॉसियन टेल कंडीशंस (sub-Gaussian tail conditions) को संतुष्ट करता हो और सिग्नल-टू-नॉइज़ रेशियो अनंत पर उचित व्यवहार करता हो।

यह शोध निष्कर्ष निकालता है कि दीर्घकालिक वितरण को समझने के लिए क्रिटिकल कंपोनेंट्स के "ऊर्जा" का विश्लेषण करना आवश्यक है, जो केवल लॉस फंक्शन के मान के बजाय ऑब्जेक्टिव फंक्शन और शोर संरचना दोनों का एक फंक्शनल है। यह समझने के लिए एक सैद्धांतिक आधार प्रदान करता है कि क्यों SGD कुछ विशिष्ट समाधानों को दूसरों की तुलना में प्राथमिकता दे सकता है, भले ही वे समाधान एम्पिरिकल रिस्क के ग्लोबल मिनिमा न हों।