🤖 machine learning

A Bifurcation Theory Framework for Gradient Descent on the Edge of Stability

यह शोध पत्र ओवरपैरामीटराइज्ड न्यूरल नेटवर्क में 'एज ऑफ स्टेबिलिटी' पर ग्रेडिएंट डिसेंट के लिए एक बाइफरकेशन थ्योरी फ्रेमवर्क स्थापित करता है, जो यह प्रदर्शित करता है कि स्थिर प्रशिक्षण सामान्य दिशा (normal direction) में एक फ्लिप बाइफरकेशन और कम शार्पनेस की ओर टेंजेंट ड्रिफ्ट (tangent drift) से उत्पन्न होता है, जिससे मिनिमाइजिंग मैनिफोल्ड (minimizing manifold) की ओर अभिसरण सिद्ध होता है और पूर्ववर्ती स्थिरता स्थितियों का एकीकरण होता है।

मूल लेखक: Eric Gan

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eric Gan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक खड़ी, घुमावदार पहाड़ी रास्ते से नीचे घाटी की ओर जाने की कोशिश कर रहे हैं (वह "न्यूनतम हानि" या "minimum loss" जहाँ आपका AI मॉडल सबसे अच्छा काम करता है)।

पुराने भौतिकी के नियमों (क्लासिकल मैथ) में, यदि आप बहुत बड़े कदम उठाते हैं, तो आप रास्ते से आगे निकल जाएंगे, किनारे से टकराकर वापस उछलेंगे और एक खाई में गिर जाएंगे। सुरक्षित रहने के लिए, आपको बहुत छोटे, सावधानी भरे कदम उठाने होंगे।

लेकिन यहाँ एक रहस्य है जिसका सामना आधुनिक AI शोधकर्ता करते हैं: AI मॉडल नियमित रूप से बहुत बड़े, लापरवाह कदम उठा रहे हैं। वास्तव में, वे इतने ज़ोर से कदम रख रहे हैं कि वे तकनीकी रूप से पुराने नियमों के अनुसार "अस्थिर" (unstable) हैं। फिर भी, किनारे से गिरने के बजाय, वे किसी तरह रास्ते पर बने रहते हैं, थोड़ा डगमगाते हैं, और अंततः घाटी तक पहुँच जाते हैं। इस अजीब घटना को "एज ऑफ स्टेबिलिटी" (Edge of Stability - स्थिरता का किनारा) कहा जाता है।

एरिक गैन का यह शोध पत्र एक नया मानचित्र प्रदान करता है जो यह समझाने के लिए है कि यह "जादू" कैसे होता है, विशेष रूप से जटिल AI मॉडल के लिए जिनमें लाखों पैरामीटर होते हैं (overparameterized networks)।

यहाँ सरल उपमाओं का उपयोग करके इस शोध पत्र के सिद्धांत का विवरण दिया गया है:

1. परिदृश्य: एक सपाट तल वाली घाटी

सरल गणितीय समस्याओं में, घाटी का निचला हिस्सा एक एकल बिंदु होता है। लेकिन आधुनिक AI में, "निचला हिस्सा" एक बिंदु नहीं है; यह एक लंबी, सपाट घाटी का फर्श है (एक "मैनिफोल्ड ऑफ मिनिमाइज़र्स")।

सामान्य दिशा (The Normal Direction): कल्पना कीजिए कि आप इस घाटी में फैली एक रस्सी (tightrope) पर खड़े हैं। यदि आप बहुत दूर बाएं या दाएं कदम रखते हैं ("नॉर्मल" दिशा में), तो आप गिर सकते हैं। यहीं पर "अस्थिरता" होती है।
स्पर्शरेखीय दिशा (The Tangent Direction): अब कल्पना कीजिए कि आप रस्सी के साथ चल रहे हैं। आप बिना गिरे आगे या पीछे बढ़ सकते हैं। यह "टैंजेंट" दिशा है।

2. डगमगाहट: "फ्लिप" (सामान्य दिशा)

जब AI ऐसा कदम उठाता है जो बहुत बड़ा होता है (स्थिरता की सीमा से आगे निकल जाता है), तो वह क्रैश नहीं होता। इसके बजाय, वह दोलन (oscillate) करने लगता है।

उपमा: एक पेंडुलम के बारे में सोचें। यदि आप इसे बिल्कुल सही तरीके से धक्का देते हैं, तो यह एक सटीक लय में आगे-पीकी झूलता है। शोध पत्र बताता है कि जब AI "एज ऑफ स्टेबिलिटी" पर होता है, तो वह एक ऐसी अवस्था में प्रवेश करता है जहाँ वह सामान्य दिशा में आगे-पीछे झूलता है (एक "पीरियड-2 ऑसिलेशन")।
गुप्त नुस्खा (The Secret Sauce): यह शोध पत्र बाइफरकेशन थ्योरी (Bifurcation Theory) नामक अवधारणा का उपयोग करता है (यह अध्ययन कि कैसे सिस्टम व्यवहार बदलते हैं) यह दिखाने के लिए कि यह डगमगाहट वास्तव में स्थिर है। यह एक रस्सी पर चलने वाले कलाकार की तरह है जो पहले बाएं झुकता है, फिर दाएं, फिर बाएं, एक ऐसी लय खोज लेता है जो उसे गिरने से बचाती है।
"ल्यपुनोव गुणांक" (The Lyapunov Coefficient): यह एक फैंसी गणितीय संख्या है जो एक स्थिरता मीटर (stability meter) की तरह कार्य करती है। शोध पत्र यह सिद्ध करता है कि जब तक यह संख्या सकारात्मक है, तब तक यह "डगमगाहट" AI को रास्ते से उड़ने से बचाती रहेगी।

3. बहाव: सुरक्षा की ओर बढ़ना (स्पर्शरेखीय दिशा)

जबकि AI सामान्य दिशा में अगल-बगल डगमगा रहा है, तब कुछ और भी हो रहा है। यह धीरे-धीरे पथ के साथ आगे बढ़ रहा है (टैंजेंट दिशा में)।

उपमा: कल्पना कीजिए कि रस्सी थोड़ी झुकी हुई है। भले ही आप अगल-बगल झूल रहे हों, गुरुत्वाकर्षण धीरे-धीरे आपको रस्सी के उस हिस्से की ओर खींच रहा है जो अधिक सपाट और सुरक्षित है।
परिणाम: AI स्वाभाविक रूप से उन क्षेत्रों की ओर बढ़ता है जहाँ "तीक्ष्णता" (पहाड़ी का ढलान/sharpness) कम होती है। जैसे-जैसे यह सपाट क्षेत्रों की ओर बढ़ता है, डगमगाहट कम खतरनाक हो जाती है, और अंततः AI स्थिर हो जाता है और समाधान तक पहुँच जाता है।

4. कड़ियों को जोड़ना

पिछले शोधों ने बहुत सरल, 2D उदाहरणों (जैसे एक सपाट शीट पर लुढ़कती गेंद) का उपयोग करके इसे समझाने की कोशिश की थी। यह शोध पत्र कहता है, "हम इसे वास्तविक AI मॉडल के लिए भी समझा सकते हैं।"

यह दिखाता है कि पुराने, सरल स्पष्टीकरण इसी नए, बड़े सिद्धांत के विशेष मामले मात्र हैं।
यह सिद्ध करता है कि आधुनिक न्यूरल नेटवर्क की विशाल जटिलता के बावजूद, वही नियम लागू होते हैं: AI एक दिशा में डगमगाते हुए और दूसरी दिशा में धीरे-धीरे बहते हुए खुद को स्थिर करता है।

सारांश

शोध पत्र तर्क देता है कि "एज ऑफ स्टेबिलिटी" कोई त्रुटि (bug) नहीं है; यह एक विशेषता (feature) है।

डगमगाहट (The Wobble): AI एक स्थिर लय में आगे-पीछे दोलन करता है (जो "ल्यपुनोव गुणांक" द्वारा नियंत्रित होता है) बजाय इसके कि वह क्रैश हो जाए।
बहाव (The Drift): डगमगाते समय, यह धीरे-धीरे अधिक सपाट, सुरक्षित जमीन की ओर फिसलता है।
परिणाम: स्थिर डगमगाहट और धीमे बहाव का संयोजन AI को सफलतापूर्वक प्रशिक्षित होने की अनुमति देता है, भले ही वह ऐसे कदम उठा रहा हो जो सैद्धांतिक रूप से बहुत बड़े होने चाहिए।

संक्षेप में: AI किनारे से गिरता नहीं है क्योंकि वह किनारे पर नृत्य (dance) करना सीख जाता है, और उसी अस्थिरता का उपयोग करता है जो इसे नष्ट कर देनी चाहिए थी, ताकि यह नीचे तक पहुँचने का रास्ता खोज सके।

तकनीकी सारांश: स्टेबिलिटी के किनारे पर ग्रेडिएंट डिसेंट के लिए एक द्विभाजन सिद्धांत (Bifurcation Theory) ढांचा

समस्या विवरण
"एज ऑफ स्टेबिलिटी" (EoS) आधुनिक डीप लर्निंग में एक सर्वव्यापी घटना है जहाँ ग्रेडिएंट डिसेंट (GD), लर्निंग रेट $\eta$ और लॉस शार्पनेस $\lambda$ (हेसियन का सबसे बड़ा आइगेनवैल्यू) के साथ संचालित होता है जहाँ $\eta\lambda > 2$ हो। शास्त्रीय अभिसरण सिद्धांत (Classical convergence theory) यह निर्देश देता है कि जब $\eta\lambda \geq 2$ हो तो GD अपसरित (diverge) हो जाता है; हालाँकि, व्यवहार में, इस स्थिति के तहत प्रशिक्षित मॉडल अक्सर गैर-एकदिष्ट (non-monotonic) लॉस विकास प्रदर्शित करते हुए भी विश्वसनीय रूप से अभिसरित होते हैं। जबकि पूर्व कठोर विश्लेषणों ने न्यूनतम, निम्न-आयामी सेटिंग्स (जैसे स्केलर लॉस या विशिष्ट संरचित फलन) में EoS की व्याख्या की है, वे वास्तविक, ओवरपैरामीटराइज्ड न्यूरल नेटवर्क की ज्यामिति को पकड़ने में विफल रहते हैं। विशेष रूप से, मौजूदा ढांचे ग्लोबल मिनिमाइज़र के एक निरंतर मैनिफोल्ड (manifold) की उपस्थिति को पर्याप्त रूप से संबोधित नहीं करते हैं, जो ओवरपैरामीटराइज्ड सिस्टम की एक विशिष्ट विशेषता है जहाँ हेसियन रैंक-डेफिशिएंट (rank-deficient) होता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र ओवरपैरामीटराइज्ड न्यूरल नेटवर्क के लिए विशेष रूप से तैयार किया गया एक द्विभाजन सिद्धांत (bifurcation theory) ढांचा विकसित करता है। मुख्य पद्धतिगत नवाचार मिनिमाइज़र के मैनिफोल्ड $\mathcal{M}$ के सापेक्ष प्रशिक्षण गतिकी (training dynamics) का दो ऑर्थोगोनल घटकों में विखंडन है:

नॉर्मल डायनेमिक्स (Normal Dynamics): मिनिमाइज़र के मैनिफोल्ड के लंबवत व्यवहार।
टैंजेंट डायनेमिक्स (Tangent Dynamics): मैनिफोल्ड के अनुदिश व्यवहार।

लेखक GD अपडेट को एक डिस्क्रीट डायनेमिकल सिस्टम $x_{t+1} = f(x_t)$ के रूप में मॉडल करते हैं। EoS थ्रेशोल्ड ( $\eta\lambda_{\max} = 2$ ) पर, सिस्टम का जैकोबियन (Jacobian) एक क्रिटिकल आइगेनवैल्यू $\lambda = -1$ रखता है। लेखक सिस्टम की स्थिरता को समझाने के लिए द्विभाजन सिद्धांत, विशेष रूप से फ्लिप द्विभाजन (flip bifurcations/period-doubling bifurcations) का विश्लेषण करते हैं।

कार्यप्रणाली के मुख्य चरण शामिल हैं:

सेंटर मैनिफोल्ड रिडक्शन (Center Manifold Reduction): क्रिटिकल पॉइंट के पास कम-आयामी इनवेरिएंट मैनिफोल्ड तक उच्च-आयामी गतिकी को कम करने के लिए सेंटर मैनिफोल्ड प्रमेय का उपयोग करना।
लयापुनोव गुणांक विश्लेषण (Lyapunov Coefficient Analysis): द्विभाजन की स्थिरता निर्धारित करने के लिए पहले लयापुनोव गुणांक ( $c_1$ ) की गणना करना। एक सकारात्मक $c_1$ एक सुपरक्रिटिकल फ्लिप द्विभाजन को इंगित करता है, जो अपसरण (divergence) के बजाय स्थिर पीरियड-2 ऑसिलेशन की ओर ले जाता है।
डिकपलिंग (Decoupling): नॉर्मल और टैंजेंट घटकों के लिए स्पष्ट डायनेमिकल समीकरण प्राप्त करना। यह दिखाया गया है कि नॉर्मल घटक $c_1$ द्वारा नियंत्रित पीरियड-2 ऑसिलेशन के माध्यम से स्थिर होता है, जबकि टैजेंट घटक घटती शार्पनेस वाले क्षेत्रों की ओर ड्रिफ्ट (drift) प्रदर्शित करता है।

मुख्य योगदान

ओवरपैरामीटराइज्ड नेटवर्क के लिए सामान्य ढांचा: यह शोध पत्र मिनिमाइज़र के मैनिफोल्ड को स्पष्ट रूप से ध्यान में रखते हुए, सामान्य ओवरपैरामीटराइज्ड नेटवर्क के लिए EoS विश्लेषण का विस्तार करता है।
गतिकी का विखंडन: लेखक EoS गतिकी का एक कठोर विखंडन प्रदान करते हैं, यह दिखाते हुए कि अभिसरण स्थिर नॉर्मल ऑसिलेशन और टैजेंट ड्रिफ्ट के बीच परस्पर क्रिया से उत्पन्न होता है।
थ्रेशोल्ड पर अभिसरण प्रमाण: हल्के स्पेक्ट्रल और ज्यामितीय अनुमानों (विशेष रूप से एक स्पेक्ट्रल गैप और मॉर्स-बॉट कंडीशन) के तहत, यह शोध पत्र सिद्ध करता है कि जब सिस्टम को EoS थ्रेशोल्ड ( $\eta = 2/\lambda_{\max}$ ) के पास इनिशियलाइज़ किया जाता है, तो ग्रेडिएंट डिसेंट मिनिमाइजिंग मैनिफोल्ड की ओर अभिसरित होता है।
पूर्व कार्य का एकीकरण: यह ढांचा प्रदर्शित करता है कि $L(x,y) = f(xy)$ जैसे लॉस के लिए गन (Gan, 2026) द्वारा प्रस्तावित "प्रोडक्ट-स्टेबिलिटी" की स्थिति, सामान्य द्विभाजन ढांचे का एक विशिष्ट उदाहरण है। लेखक सिद्ध करते हैं कि प्रोडक्ट-स्टेबिलिटी की स्थिति इस विशिष्ट सेटिंग में पहले लयापुनोव गुणांक के चिह्न से सीधे संबंधित है।

परिणाम

स्थिरता तंत्र: यह शोध पत्र स्थापित करता है कि EoS थ्रेशोल्ड पर स्थिर प्रशिक्षण पहले लयापुनोव गुणांक ( $c_1$ ) के चिह्न द्वारा नियंत्रित होता है। जब $c_1 > 0$ होता है, तो सिस्टम एक सुपरक्रिटिकल फ्लिप द्विभाजन से गुजरता है, जो नॉर्मल दिशा में एक स्थिर पीरियड-2 ऑर्बिट बनाता है जो अपसरण को रोकता है।
ड्रिफ्ट डायनेमिक्स: टैजेंट दिशा में, इटरेट्स (iterates) मिनिमाइज़र के मैनिफोल्ड के अनुदिश घटती शार्पनेस की दिशा में ड्रिफ्ट करते हैं। यह ड्रिफ्ट सुनिश्चित करता है कि सिस्टम अंततः ऐसे क्षेत्रों में चला जाए जहाँ शार्पनेस EoS थ्रेशोल्ड से नीचे गिर जाती है, जिससे मैनिफोल्ड पर एक विशिष्ट बिंदु पर अभिसरण सुगम होता है।
थ्योरम 4.4: मुख्य सैद्धांतिक परिणाम बताता है कि यदि $c_1(x^*) > 0$ है और टैजेंट स्पेस में शार्पनेस का ग्रेडिएंट गैर-शून्य है, तो ग्रेडिएंट डिसेंट $\eta = 2/\lambda_{\max}(x^*)$ के साथ मैनिफोल्ड $\mathcal{M}$ पर एक बिंदु की ओर अभिसरित होता है।
दृष्टांत उदाहरण: शोध पत्र $L(x,y) = f(xy) $लॉस पर इस ढांचे को लागू करके इसे मान्य करता है। यह दिखाता है कि$ L $के लिए पहले लयापुनोव गुणांक का चिह्न गन (2026) द्वारा परिभाषित प्रोडक्ट-स्टेबिलिटी पैरामीटर$ \alpha_f$ के चिह्न के साथ संरेखित है, जिससे स्केलर विश्लेषण और सामान्य मैनिफोल्ड ढांचे का एकीकरण होता है।

महत्व और दावे
शोध पत्र का दावा है कि यह विशेष रूप से मिनिमाइज़र के मैनिफोल्ड वाले ओवरपैरामीटराइज्ड न्यूरल नेटवर्क के लिए 'एज ऑफ स्टेबिलिटी' पर स्थिर ग्रेडिएंट डिसेंट अभिसरण की व्याख्या करने वाला पहला कठोर सैद्धांतिक ढांचा प्रदान करता है। शास्त्रीय डिसेंट लेम्मा (जिसके लिए $\eta < 2/\lambda_{\max}$ की आवश्यकता होती है) से द्विभाजन सिद्धांत की ओर शिफ्ट होकर, यह कार्य समझाता है कि थ्रेशोल्ड $\eta = 2/\lambda_{\max}$ पर अभिसरण कैसे संभव है।

लेखक अपने कार्य को एक सामान्य ज्यामितीय और डायनेमिकल सिस्टम परिप्रेक्ष्य के तहत पूर्व न्यूनतम विश्लेषणों (जैसे गन, 2026; ज़ु और अन्य, 2023; और वांग और अन्य, 2023) के एकीकरण के रूप में प्रस्तुत करते हैं। वे नोट करते हैं कि जबकि अनुभवजन्य साक्ष्य सुझाव देते हैं कि व्यावहारिक मॉडल $c_1 > 0$ की स्थिति को पूरा करते हैं, प्रथम सिद्धांतों से यह क्यों होता है, इसकी सैद्धांतिक व्याख्या अभी भी एक खुला प्रश्न है। इसी प्रकार, प्रशिक्षण इटरेट्स को EoS शासन में ले जाने वाली प्रारंभिक "प्रोग्रेसिव शार्पनिंग" (progressive sharpening) की प्रक्रिया को इस घटना के एक अनसुलझे पहलू के रूप में पहचाना गया है।

1. परिदृश्य: एक सपाट तल वाली घाटी

2. डगमगाहट: "फ्लिप" (सामान्य दिशा)

3. बहाव: सुरक्षा की ओर बढ़ना (स्पर्शरेखीय दिशा)

4. कड़ियों को जोड़ना

सारांश

इसी तरह के और पेपर