📊 statistics

The Origin of Edge of Stability

यह शोध पत्र "एज कपलिंग" (edge coupling) फलन को प्रस्तुत करता है ताकि 'एज ऑफ स्टेबिलिटी' (Edge of Stability) घटना के लिए एक एकीकृत स्पष्टीकरण प्रदान किया जा सके, जो यह प्रदर्शित करता है कि कैसे इसकी क्रिटिकैलिटी स्थितियाँ और द्वितीय-क्रम विस्तार (second-order expansion) गणितीय रूप से सबसे बड़े हेसियन आइजनवैल्यू (Hessian eigenvalue) को किसी भी प्रारंभिक स्थिति से $2/\eta$ की स्थिरता सीमा तक मजबूर करते हैं।

मूल लेखक: Elon Litman

प्रकाशित 2026-04-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Elon Litman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "The Origin of Edge of Stability" पेपर का सरल भाषा, उपमाओं और रूपकों के साथ विवरण दिया गया है।

बड़ी तस्वीर: AI ट्रेनिंग का "गोल्डिलॉक्स" (Goldilocks) ज़ोन

कल्पना कीजिए कि आप एक रोबोट को चलना सिखा रहे हैं। आप उसे निर्देश देते हैं (जिसे लर्निंग रेट कहा जाता है) कि उसे कितना बड़ा कदम उठाना चाहिए।

बहुत छोटे कदम: रोबोट अविश्वसनीय रूप से धीरे चलता है। वह पहुँच तो जाता है, लेकिन इसमें बहुत समय लगता है।
बहुत बड़े कदम: रोबोट लड़खड़ाता है, गिर जाता है और नियंत्रण खो देता है। वह कभी चलना नहीं सीख पाता।
बिल्कुल सही: रोबोट सुचारू रूप से चलता है।

लंबे समय तक, कंप्यूटर वैज्ञानिकों का मानना था कि "बिल्कुल सही" ज़ोन बहुत सीमित था। उनका मानना था कि यदि रोबोट का रास्ता बहुत अधिक "ऊबड़-खाबड़" (गणितीय रूप से, यदि कर्वेचर/वक्रता बहुत अधिक हो) था, तो आपको बहुत छोटे कदम उठाने ही पड़ते, अन्यथा रोबोट दुर्घटनाग्रस्त हो जाता।

खोज:
2021 में, शोधकर्ताओं ने कुछ अजीब पाया। जब उन्होंने एक निश्चित, मध्यम रूप से बड़े स्टेप साइज का उपयोग किया, तो रोबोट दुर्घटनाग्रस्त नहीं हुआ। इसके बजाय, उसने कुछ अजीब करना शुरू कर दिया: वह आगे बढ़ता, थोड़ा लड़खड़ाता, पीछे हटता, फिर से लड़खड़ाता और फिर आगे बढ़ता रहता। वह नियंत्रित दोलन (controlled oscillation) की स्थिति में आ गया।

उन्होंने इसे एज ऑफ स्टेबिलिटी (Edge of Stability - EoS) कहा। रोबमान की "ऊबड़-खाबड़पन" (तीक्ष्णता/sharpness) एक विशिष्ट दीवार (मान $2/\eta$ ) तक बढ़ती थी, और फिर वह वहीं ठहर जाती, डगमगाती रहती लेकिन कभी गिरती नहीं।

समस्या:
हर कोई जानता था कि यह क्यों होता है, लेकिन कोई नहीं जानता था कि यह कैसे होता है। मौजूदा सिद्धांत ऐसे थे जैसे यह कहना कि "एक बार जब रोबोट डगमगाने लगता है, तो वह खुद को स्थिर कर लेता है।" लेकिन वे यह नहीं समझा सके कि रोबोट को शुरुआत में ही उस विशिष्ट डगमगाती दीवार की ओर जाने के लिए मजबूर क्यों किया गया, जबकि उसकी शुरुआत पूरी तरह से चिकनी और बिना डगमगाहट वाली थी।

पेपर का समाधान: "एज कपलिंग" (Edge Coupling)

लेखक एलोन लिटमैन एक नया गणितीय उपकरण पेश करते हैं जिसे एज कपलिंग कहा जाता है। इसे एक विशेष "ऊर्जा मीटर" के रूप में सोचें जो रोबोट द्वारा लिए गए दो क्रमिक कदमों के बीच के संबंध को मापता है।

1. "दो-कदम वाला नृत्य" (The Two-Step Dance) की उपमा

कल्पना कीजिए कि रोबोट दो कदम लेता है: कदम A और कदम B।

पुराना दृष्टिकोण: हमने कदम A को देखा, फिर B को, फिर C को, एक-एक करके।
नया दृष्टिकोण (एज कपलिंग): हम (A, B) के जोड़े को एक एकल इकाई के रूप में देखते हैं।

पेपर एक विशेष फॉर्मूला (एज कपलिंग) को परिभाषित करता है जो इन दो कदमों के बीच एक तने (tether) की तरह काम करता है।

यदि तना बहुत ढीला है, तो रोबोट बहुत दूर चला जाता है।
यदि तना बहुत सख्त है, तो रोबोट आगे नहीं बढ़ पाता।
गणित दिखाता है कि रोबोट के लिए भौतिकी के नियमों (ग्रेडिएंट डिसेंट) का पालन करने का एकमात्र तरीका यह है कि इस तने में एक विशिष्ट तनाव (tension) हो।

2. "संरक्षण नियम" (The Conservation Law - योग का जादू)

यहाँ पेपर का सबसे बड़ा "आहा!" क्षण है।

कल्पना कीजिए कि आप एक पहाड़ी से नीचे उतर रहे हैं। हर बार जब आप एक कदम लेते हैं, तो आप थोड़ी ऊंचाई (ऊर्जा) खो देते हैं।

पेपर यह सिद्ध करता है कि आप जितनी ऊंचाई खोते हैं, वह सीधे इस बात से जुड़ी है कि आपने आदर्श डगमगाते बिंदु से कितना "ओवरशूट" (ज़्यादा आगे निकल जाना) या "अंडरशूट" (कम रह जाना) किया।
यदि आप डगमगाते बिंदु से दूर हैं, तो आप बहुत तेज़ी से ऊंचाई खो देते हैं।
यदि आप बिल्कुल डगमगाते बिंदु पर हैं, तो आप बहुत धीरे ऊंचाई खोते हैं (आप बस दोलन करते हैं)।

चूंकि रोबोट के पास खोने के लिए सीमित "ऊंचाई" (लॉस) है, इसलिए वह डगमगाते बिंदु से बहुत लंबे समय तक दूर नहीं रह सकता। गणित उसे उस विशिष्ट दीवार ( $2/\eta$ ) की ओर जाने और वहीं रहने के लिए मजबूर करता है। यह एक कीप (funnel) में लुढ़कती गेंद की तरह है; आप उसे कहीं भी गिरा दें, गुरुत्वाकर्षण (गणित) उसे केंद्र की ओर धकेलता है।

3. "पीरियड-टू" (Period-Two) ऑर्बिट

एक बार जब रोबोट उस दीवार से टकरा जाता है, तो वह रुकता नहीं है। वह एक दो-कदम वाला नृत्य शुरू करता है:

आगे कदम बढ़ाना।
पीछे कदम खींचना (लगभग वहीं जहाँ से शुरू किया था)।
फिर से आगे कदम बढ़ाना।

पेपर बताता है कि यह कोई बग (खराबी) नहीं है; यह एक फीचर (विशेषता) है। रोबोट वास्तव में स्थिरता के किनारे पर "सर्फिंग" कर रहा है। वह गिरने के इतने करीब है कि उसे लगातार खुद को सुधारना पड़ता है, जिससे एक लयबद्ध डगमगाहट पैदा होती। यह डगमगाहट वास्तव में रोबोट को परिदृश्य में एक बेहतर, सपाट जगह खोजने में मदद करती है, जिससे AI अधिक स्मार्ट बनता है।

यह क्यों मायने रखता है (इसका महत्व क्या है?)

यह रहस्य को सुलझाता है: इससे पहले, हम सोचते थे कि एज ऑफ स्टेबिलिटी एक अजीब दुर्घटना थी। यह पेपर सिद्ध करता है कि यह AI सीखने का एक सार्वभौमिक नियम है। यदि आप एक बड़ा लर्निंग रेट उपयोग करते हैं, तो गणित आपको इस किनारे की ओर जाने के लिए मजबूर करता है।
तर्क में कोई "अंतराल" नहीं: पिछले सिद्धांतों में "अंतराल" (gaps) थे जहाँ वे संक्रमण (transition) को नहीं समझा सके। यह पेपर एक चतुर तकनीक (मीन वैल्यू थ्योरम) का उपयोग करके यह दिखाता है कि रोबोट का औसत व्यवहार ठीक उसी तरह का है जैसा कि किसी विशिष्ट समय पर उसका व्यवहार होता है। यहाँ कोई अनुमान नहीं है; गणित सटीक है।
भविष्यवाणी करना: यह पेपर हमें यह भविष्यवाणी करने का एक तरीका देता है कि यह डगमगाहट कब शुरू होगी और यह कितनी बड़ी होगी, केवल समस्या के आकार (हेसियन/Hessian) और स्टेप साइज को देखकर।

सारांश उपमा: रस्सी पर चलने वाला (The Tightrope Walker)

कल्पना कीजिए कि एक रस्सी पर चलने वाला (AI) एक घाटी को पार करने की कोशिश कर रहा है।

शास्त्रीय सिद्धांत (Classical Theory): "यदि रस्सी बहुत ऊबड़-खाबड़ है, तो आपको धीरे चलना चाहिए, अन्यथा आप गिर जाएंगे।"
एज ऑफ स्टेबिलिटी: चलने वाला महसूस करता है कि यदि वे एक विशिष्ट गति से चलते हैं, तो ऊबड़-खाबड़ रस्सी उन्हें लयबद्ध रूप से उछालना शुरू कर देती है।
पेपर का अंतर्दृष्टि (Insight): यह पता चलता है कि चलने वाले को इस उछलने वाली लय पर जाने के लिए मजबूर किया जाता है। यदि वे बहुत सुचारू रूप से चलने की कोशिश करते हैं, तो ब्रह्मांड का गणित (लॉस फंक्शन) उन्हें वापस उछलने की ओर धकेलता है। यह उछाल कोई गलती नहीं है; यह घाटी को पार करने का सबसे कुशल तरीका है।

यह पेपर इस बात का ब्लूप्रिंट प्रदान करता है कि क्यों ब्रह्मांड चलने वाले को उस विशिष्ट डगमगाती लय पर जाने के लिए मजबूर करता है, यह सिद्ध करते हुए कि "एज ऑफ स्टेबिलिटी" तेज़ सीखने वाले AI के लिए एक स्वाभाविक, अपरिहार्य गंतव्य है।

यहाँ एलन लिटमैन के शोध पत्र "The Origin of Edge of Stability" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप लर्निंग में, फुल-बैच ग्रेडिएंट डिसेंट (GD) अक्सर एज ऑफ स्टेबिलिटी (EoS) नामक एक घटना प्रदर्शित करता है। शास्त्रीय अनुकूलन सिद्धांत (Classical optimization theory) यह निर्धारित करता है कि अभिसरण (convergence) के लिए, लर्निंग रेट $\eta$ को $\eta < 2/\lambda_{\max}$ को संतुष्ट करना चाहिए, जहाँ $\lambda_{\max}$ हेसियन (hessian) का सबसे बड़ा आइगेनवैल्यू (sharpness) है। हालाँकि, अनुभवजन्य अवलोकन (जैसे, कोहेन एट अल., 2021) दिखाते हैं कि प्रशिक्षण के दौरान, शार्पनेस $2/\eta$ की दहलीज तक बढ़ती है, जहाँ यह संतृप्त (saturate) हो जाती है। इसके बाद प्रशिक्षण हानि (training loss) लंबी अवधि के पैमाने पर घटते हुए, लघु समयावधि पर दोलन (oscillate) करने लगती है।

अंतराल (The Gap): जबकि पिछले कार्यों ने यह स्थापित किया है कि सिस्टम इस किनारे के निकट स्व-नियमन (self-regulate) करता है (जैसे, क्यूबिक टेलर टर्म या ग्रेडिएंट-नॉर्म दंड के माध्यम से), वे यह समझाने में विफल रहे हैं कि ट्रैजेक्टरी को किसी भी प्रारंभिक स्थिति (initialization) से $2/\eta$ दहलीज की ओर वैश्विक रूप से (globally) क्यों धकेला जाता है। मौजूदा स्पष्टीकरण स्वाभाविक रूप से स्थानीय (local) हैं और इस विशिष्ट मान तक वैश्विक अभिसरण की व्याख्या नहीं करते हैं।

2. कार्यप्रणाली: एज कपलिंग (Methodology: The Edge Coupling)

लेखक एक नवीन वेरिएशनल फ्रेमवर्क पेश करते हैं जो एज कपलिंग नामक एक फंक्शनल पर केंद्रित है, जिसे $\mathcal{A}_\eta(x, y)$ द्वारा दर्शाया गया है।

परिभाषा: क्रमिक इटरेट्स (consecutive iterates) $(x, y)$ के लिए, एज कपलिंग को इस प्रकार परिभाषित किया गया है:
$\mathcal{A}_\eta(x, y) \triangleq L(x) + L(y) - \frac{1}{2\eta} \|x - y\|^2$
वेरिएशनल लक्षण (Variational Characterization): इस फंक्शनल के सापेक्ष $x$ की क्रिटिकलिटी कंडीशन (criticality condition) ( $\nabla_x \mathcal{A}_\eta = 0$ ) मानक ग्रेडिएंट डिसेंट अपडेट $y = x - \eta \nabla L(x)$ को तब पुन: प्राप्त करती है जब गुणांक (coefficient) $1/\eta$ पर स्थिर होता है।
हैमिल्टोनियन व्याख्या (Hamiltonian Interpretation): इस फंक्शनल को हैमिल्टोनियन मैकेनिक्स में एक डिस्क्रीट जनरेटिंग फंक्शन के रूप में देखा जाता है, जहाँ क्रिटिकलिटी कंडीशंस बाउंड्री-वैल्यू फॉर्म में ग्रेडिएंट डिसेंट डायनेमिक्स को एनकोड करती हैं।

3. मुख्य योगदान और सैद्धांतिक परिणाम (Key Contributions and Theoretical Results)

A. स्थिरता सीमा का व्युत्पन्न (Derivation of the Stability Boundary)

क्रमिक चरणों के बीच क्रिटिकलिटी कंडीशन $\nabla_x \mathcal{A}_\eta = 0$ के अंतर (differencing) द्वारा, लेखक एक स्टेप-इन्क्रीमेंट प्रोपेगेटर व्युत्पन्न करते हैं:
$d_{k+1} = (I - \eta \bar{H}_k) d_k$
जहाँ $d_k$ स्टेप वेक्टर है और $\bar{H}_k$ स्टेप सेगमेंट के साथ हेसियन का एक समान औसत (uniform average) है।

परिणाम: स्टेप रिवर्सल ( $d_{k+1} \approx -d_k$ ) और टू-स्टेप रिटर्न ( $w_{k+2} \approx w_k$ ) तभी होते हैं जब $\bar{H}_k$ का आइगेनवैल्यू $2/\eta$ के करीब पहुँच जाता है। यह रिकरेंस (recurrence) के लिए $2/\eta$ को स्थिरता की सीमा के रूप में स्थापित करता है।

B. वैश्विक फोर्सिंग मैकेनिज्म (Global Forcing Mechanism - The Origin)

लेखक एज कपलिंग के सेकंड-ऑर्डर एक्सपेंशन के माध्यम से एक लॉस-चेंज फॉर्मूला व्युत्पन्न करते हैं:
$L(w_{k+1}) - L(w_k) = -\frac{\|d_k\|^2}{2\eta} \left( 2 - \eta \tilde{r}_k \right)$
जहाँ $\tilde{r}_k$ हेसियन कर्वेचर का एक ट्रायंगुलरली वेटेड औसत है।

टेलीस्कोपिंग सम (Telescoping Sum): $K$ चरणों पर इस समीकरण को जोड़ने से एक संरक्षण नियम (conservation law) प्राप्त होता है:
$\sum_{k=0}^{K-1} \|d_k\|^2 \left( \frac{2}{\eta} - \tilde{r}_k \right) = 2(L(w_0) - L(w_K))$
फोर्सिंग थ्योरम (Forcing Theorem): चूंकि कुल लॉस ड्रॉप परिमित (finite) है (नीचे से बाध्य है), इसलिए कर्वेचर डेविएशन $(2/\eta - \tilde{r}_k)$ का वेटेड औसत प्रशिक्षण के दौरान शून्य होना चाहिए। यह गणितीय रूप से सिद्ध करता है कि ट्रैजेक्टरी को उन चरणों पर जाने के लिए वैश्विक रूप से मजबूर (globally forced) किया जाता है जहाँ प्रभावी कर्वेचर $2/\eta$ के अत्यंत निकट होता है।

C. वास्तविक हेसियन के लिए स्थानीयकरण (Localization to True Hessian)

एक महत्वपूर्ण तकनीकी योगदान मीन वैल्यू थ्योरम (Mean Value Theorem) का उपयोग है। जबकि फोर्सिंग थ्योरम शुरू में औसत हेसियन ( $\bar{H}_k$ और $\tilde{H}_k$ ) पर लागू होते हैं, लेखक सिद्ध करते हैं कि ये औसत स्टेप सेगमेंट के विशिष्ट आंतरिक बिंदुओं पर दिशात्मक कर्वेचर (directional curvature) के सटीक पॉइंटवाइज मानों के रूप में प्रकट होते हैं।

महत्व: यह औसत किए गए हेसियन और वास्तविक हेसियन आइगेनवैल्यू के बीच के "गैप" को समाप्त करता है। फोर्सिंग सीधे ट्रैजेक्टरी के विशिष्ट बिंदुओं पर वास्तविक शार्पनेस $\lambda_{\max}(\nabla^2 L)$ पर लागू होती है।

D. पीरियड-टू ऑर्बिट्स और बिफर्केशन विश्लेषण (Period-Two Orbits and Bifurcation Analysis)

यह पेपर एज कपलिंग के फिक्स्ड पॉइंट्स और पीरियड-टू ऑर्बिट्स का विश्लेषण करता है।

सेंटर रिडक्शन (Center Reduction): ऑर्बिट को $(m-a, m+a)$ के रूप में पुन: पैरामीटराइज़ करके, समस्या केवल हाफ-एम्प्लीट्यूड $a$ के फलन (function) में बदल जाती है।
बिफर्केशन (Bifurcation): पीरियड-टू ऑर्बिट्स (दोलन) की शुरुआत को एक बिफर्केशन समस्या के रूप में वर्णित किया गया है। लेखक एक चतुर्थ क्रम विस्तार (quartic expansion) व्युत्पन्न करते हैं जो दिखाता है कि जब लर्निंग रेट क्रिटिकल थ्रेशोल्ड $\eta_c = 1/\sigma_1$ (जहाँ $\sigma_1$ हेसियन का सबसे बड़ा सिंगुलर वैल्यू है) को पार करता है, तो पीरियड-डबलिंग शाखाएं शून्य एम्प्लीट्यूड से निरंतर उभरती हैं।
विड्थ इनवेरिएंस (Width Invariance): टू-लेयर लीनियर नेटवर्क्स के लिए, यह बिफर्केशन विश्लेषण विड्थ-इनवेरिएंट पाया गया है, जो पुष्टि करता है कि ओवरपैरामीट्रिज़ेशन केवल फ्लैट दिशाएँ जोड़ता है और ट्रांसवर्स एज डायनेमिक्स (transverse edge dynamics) को नहीं बदलता है।

E. किनारे पर स्थिरता तंत्र (Stability Mechanisms at the Edge)

पेपर यह समझाता है कि सिस्टम किनारे पर पहुँचने के बाद क्यों विचलित (diverge) नहीं होता है:

थ्रेशोल्ड के ऊपर विकास (Growth Above Threshold): यदि कर्वेचर $2/\eta$ से अधिक हो जाता है, तो स्टेप नॉर्म ज्यामितीय रूप से बढ़ता है, जिससे ट्रैजेक्टरी वापस स्थिर क्षेत्र में आती है।
दोलन रद्दीकरण (Oscillatory Cancellation): स्थिरता विंडो के भीतर, स्टेप दिशा बदलती है (मल्टीप्लायर $\approx -1$ )। लेखक सिद्ध करते हैं कि इस बदलाव में छोटी विषमताएं (asymmetries) संचित होने के बजाय एक-दूसरे को रद्द कर देती हैं, जिससे सिस्टम किनारे के पास सीमित रहता है।

4. प्रयोगात्मक सत्यापन (Experimental Validation)

सिद्धांत को निम्नलिखित पर सत्यापित किया गया है:

3-लेयर MLPs: शार्पनेस के $2/\eta$ पर संतृप्ति और लॉस ऑसिलेशन की शुरुआत को प्रदर्शित करना।
Two-layer Linear Networks: पीरियड-डबलिंग शाखाओं के निरंतर उद्भव और बिफर्केशन थ्योरी द्वारा अनुमानित $\sqrt{\eta - \eta_c}$ स्केलिंग की पुष्टि करना।
Mini-batch SGD: फोर्सिंग थ्योरम को स्टोकेस्टिक सेटिंग्स में विस्तारित किया गया है, जो दिखाता है कि अपेक्षा (expectation) में टेलीस्कोपिंग संरचना (एक अतिरिक्त नॉइज़ टर्म के साथ) बनी रहती है।

5. महत्व (Significance)

यह पेपर एज ऑफ स्टेबिलिटी घटना के लिए पहला एकीकृत, वैश्विक स्पष्टीकरण (unified, global explanation) प्रदान करता है।

स्थानीय से वैश्विक तक: यह स्थानीय टेलर-सीरीज अनुमानों से आगे बढ़कर एक वैश्विक संरक्षण नियम (global conservation law) की ओर बढ़ता है जो कर्वेचर को दहलीज की ओर धकेलता है।
सटीकता: मीन वैल्यू थ्योरम का उपयोग करके, यह औसत किए गए कर्वेचर मॉडल और वास्तविक, तात्कालिक हेसियन आइगेनवैल्यू के बीच के अंतर को पाटता है।
मैकेनिस्टिक अंतर्दृष्टि: यह स्टेप प्रोपेगेशन, लॉस डिसेंट और पीरियड-टू बिफर्केशन्स के बीच के अंतर्संबंध को स्पष्ट करता है, जो यह समझने के लिए एक कठोर वेरिएशनल आधार प्रदान करता है कि न्यूरल नेटवर्क प्रशिक्षण के दौरान स्वाभाविक रूप से स्थिरता के किनारे (edge of stability) पर क्यों कार्य करते हैं।

संक्षेप में, लिटमन यह प्रदर्शित करते हैं कि एज ऑफ स्टेबिलिटी कोई आकस्मिक घटना नहीं है, बल्कि एक विशिष्ट वेरिएशनल फंक्शनल के क्रिटिकल पॉइंट के रूप में ग्रेडिएंट डिसेंट अपडेट नियम का एक आवश्यक परिणाम है, जो स्वाभाविक रूप से सिस्टम के कर्वेचर को $2/\eta$ थ्रेशोल्ड की ओर ले जाता है।