🤖 machine learning

Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima

यह शोध पत्र वेक्टर-मूल्य वाले आउटपुट वाले ओवरपैरामीटराइज्ड लीस्ट-स्क्वेयर्स में आइसोलेटेड फ्लैट मिनिमा से फ्लैट मिनिमा के मैनिफोल्ड्स तक बड़े स्टेप साइज़ के साथ ग्रेडिएंट डिसेंट के सिद्धांत का विस्तार करता है, एक सामान्यीकृत नॉर्मल फॉर्म और अभिसरण परिणाम स्थापित करता है जो डीप मैट्रिक्स फैक्टराइजेशन में फ्लैट मिनिमा की फाइबर बंडल संरचना को प्रकट करते हैं।

मूल लेखक: Lachlan Ewen MacDonald, René Vidal

प्रकाशित 2026-07-10

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lachlan Ewen MacDonald, René Vidal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले परिदृश्य में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। यह परिदृश्य एक डीप न्यूरल नेटवर्क के "लॉस" (loss) का प्रतिनिधित्व करता है—जो कि इस बात का माप है कि कंप्यूटर कितना गलत है। लक्ष्य बिल्कुल तल तक पहुँचना है।

लंबे समय तक, कंप्यूटर वैज्ञानिकों का मानना था कि इसे करने का सबसे अच्छा तरीका नीचे की ओर छोटे, सावधानीपूर्ण कदम उठाना है। उनका मानना था कि यदि आप बहुत बड़ा कदम उठाते हैं, तो आप तल को पार कर जाएंगे, वापस ऊपर उछलेंगे, और अंततः आसमान में उड़ जाएंगे (डाइवर्जेंस)। उनका एक सख्त नियम था: आपके कदम का आकार एक विशिष्ट सीमा से छोटा होना चाहिए जो घाटी के "नुकीलेपन" (sharpness) द्वारा निर्धारित होती है। यदि तल एक सुई की नोक जैसा (तीखा) है, तो आपको सूक्ष्म कदम उठाने होंगे। यदि यह एक चौड़ा, सपाट कटोरा है, तो आप थोड़े बड़े कदम ले सकते हैं।

लेकिन यहाँ एक प्लॉट ट्विस्ट है: वास्तविक दुनिया में AI ट्रेनिंग के दौरान, लोगों ने बहुत बड़े कदम उठाना शुरू कर दिया। क्रैश होने के बजाय, AI स्मार्ट, तेज़ और आश्चर्यजनक रूप से बेहतर होता गया, और ऐसा लगा जैसे वह उन तीखे सुई वाले बिंदुओं के बजाय चौड़े, सपाट कटोरे में उतरना पसंद करता है। यह व्यवहार एक रहस्य था। यह एक स्कीयर (skier) को एक विशाल छलांग लगाने, एक नरम बर्फ के ढेर में पूरी तरह से उतरने और फिर रुक जाने जैसा था, जो भौतिकी की उन किताबों को चुनौती दे रहा था जो कहती थीं कि वह क्रैश हो जाएगा।

यह पेपर उन जासूसों की टीम है जिन्होंने अंततः यह सुलझाया कि स्कीयर क्रैश क्यों नहीं हुआ, और वह ठीक कैसे उतरा।

बड़ी खोज: "फ्लिप" (Flip) और "स्लाइड" (Slide)

लेखकों, लैचलन मैकडोनाल्ड और रेने विडाल ने पुराने, सरल सिद्धांतों को लिया और उन्हें आधुनिक AI की अव्यवस्थित, उच्च-आयामी वास्तविकता को संभालने के लिए अपग्रेड किया। उन्होंने खोजा कि जब आप एक बड़ा कदम उठाते हैं, तो AI केवल बेतरतीब ढंग से इधर-उधर नहीं भटकता है। वास्तव में, यह अपने व्यवहार को दो अलग-अलग मोड में विभाजित कर देता है, जैसे एक कार जो आगे चल सकती है और अपनी जगह पर घूम भी सकती है।

1. "फ्लिप" (द बाउंसिंग बॉल - उछलती गेंद):
कल्पना कीजिए कि AI एक ट्रैम्पोलिन पर उछल रहा है। यदि कदम का आकार बिल्कुल सही है, तो AI एक बहुत ही विशिष्ट लय में ऊपर और नीचे उछलता है। यह तुरंत उछलना बंद नहीं करता है; इसके बजाय, यह उछलने और नीचे गिरने के एक स्थिर, दोहराते हुए पैटर्न में बस जाता है। पेपर यह सिद्ध करता है कि यदि कदम का आकार थोड़ा अधिक है (लेकिन बहुत अधिक नहीं), तो AI सपाट तल के ठीक ऊपर एक पूर्ण, अनुमानित लूप में दोलन (oscillate) करेगा। यह कोई गलती नहीं है; यह एक विशेषता (feature) है।

2. "स्लाइड" (द रिवर - नदी):
जबकि AI ऊपर और नीचे उछल रहा है (फ्लिप), वह घाटी के सपाट तल के साथ धीरे-धीरे बगल में फिसल (slide) भी रहा है। लेखक दिखाते हैं कि AI अनिवार्य रूप से इस सपाट सतह पर एक विशेष प्रकार का "रीमानियन ग्रेडिएंट डिसेंट" (Riemannian gradient descent) कर रहा है। इसे एक समतल मैदान पर बहने वाली नदी की तरह समझें। नदी को रेत के छोटे-छोटे उभारों की परवाह नहीं है; वह बस इस परिदृश्य के सबसे सपाट, सबसे स्थिर हिस्से की ओर सुचारू रूप से बहती है।

"सपाट" का आकार

इस पेपर का सबसे रोमांचक हिस्सा यह है कि वे "फ्लैट मिनिमा" (चौड़ी, सुरक्षित घाटियाँ) का वर्णन कैसे करते हैं। पिछले सिद्धांतों ने इन सपाट स्थानों को अलग-थलग द्वीपों के रूप में माना था। लेकिन लेखक दिखाते हैं कि मैट्रिक्स फैक्टराइजेशन (डीप लर्निंग में एक प्रमुख तकनीक) जैसी जटिल समस्याओं में, ये सपाट स्थान केवल एकल बिंदु नहीं हैं। वे वास्तव में स्फेयर्स के प्रोडक्ट के ऊपर एक फाइब्रे बंडल (fibre bundle over a product of spheres) हैं।

आइए इसे सरल हिंदी में अनुवाद करें: कल्पना कीजिए कि सपाट घाटी एक एकल कमरा नहीं है, बल्कि एक विशाल, बहु-स्तरीय संरचना है। इस संरचना का आधार स्फेयर्स (जैसे कि एक गेंद की सतह) का एक संग्रह है। इन स्फेयर्स के प्रत्येक बिंदु पर, समाधानों का एक पूरा "फाइबर" या एक छोटा कमरा है। AI केवल एक समाधान नहीं खोजता; वह समाधानों का एक पूरा जुड़ा हुआ, सुचारू परिवार खोजता है जो समान रूप से अच्छे हैं। पेपर सिद्ध करता है कि "शार्पनेस" (कि किनारे कितने ढालू हैं) इस संरचना के चारों ओर घूमते समय सुचारू रूप से बदलती है, जो "मोर्स-बॉट" (Morse-Bott) नामक एक बहुत ही व्यवस्थित तरीके से व्यवहार करती है।

जो उन्होंने सिद्ध किया बनाम जो उन्होंने सिम्युलेट किया

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने इसे सिद्ध करने के लिए एक कठोर गणितीय ढांचा बनाया।

सिद्धांत (The Theory): उन्होंने सिद्ध किया कि कदम के आकार की एक विस्तृत श्रृंखला के लिए, AI का व्यवहार तीन अलग-अलग श्रेणियों में विभाजित हो जाता है:
- सबक्रिटिकल (सुरक्षित लेकिन धीमा): यदि कदम पर्याप्त छोटा है, तो AI तेजी से एक "सब-ऑप्टिमली फ्लैट" न्यूनतम की ओर अभिसरित (converge) होता है। यह सुरक्षित है, लेकिन शायद सबसे सपाट स्थान नहीं है।
- क्रिटिकल (द स्वीट स्पॉट): यदि कदम का आकार एक विशिष्ट थ्रेशोल्ड (ठीक $2/\lambda_1$ , जहाँ $\lambda_1$ शार्पनेस है) पर पहुँच जाता है, तो AI $t^{-1/2}$ की दर से फ्लैट मिनिमम की ओर अभिसरित होता है। यह एक विशिष्ट, प्रमाणित गणितीय दर है। उन्होंने दिखाया कि मैट्रिक्स फैक्टराइजेशन के सिमुलेशन में ऐसा ही होता है।
- सुपरक्रिटिकल (द डांस - नृत्य): यदि कदम उस थ्रेशोल्ड से थोड़ा बड़ा है, तो AI तल पर नहीं रुकता है। इसके बजाय, यह एक पीरियड-2 ऑर्बिट (period-2 orbit) की ओर अभिसरित होता है। इसका मतलब है कि यह दो बिंदुओं के एक स्थिर, दोहराते हुए चक्र में बस जाता है, जो आपस में दोलन करते हैं। पेपर सिद्ध करता है कि यह चक्र मौजूद है और स्थिर है।
सिमुलेशन (The Simulations): अपने गणित को पुख्ता करने के लिए, उन्होंने मैट्रिक्स फैक्टराइजेशन समस्याओं (विशेष रूप से 3-लेयर, $2 \times 2$ मैट्रिक्स फैक्टराइजेशन) पर प्रयोग किए। इन सिमुलेशन में, उन्होंने देखा कि AI बड़े कदम उठा रहा है। ग्राफ ने ठीक वही दिखाया जो गणित ने भविष्यवाणी की थी: AI उछला, फिर $t^{-1/2}$ स्लाइड की ओर बढ़ा, या पीरियड-2 डांस में लॉक हो गया।

जिसे उन्होंने स्पष्ट रूप से खारिज किया

यह जानना महत्वपूर्ण है कि यह पेपर क्या नहीं कहता है।

यह यादृच्छिक अराजकता (random chaos) नहीं है: पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि बड़े कदमों से इन विशिष्ट श्रेणियों में यादृच्छिक, अप्रत्याशित व्यवहार होता है। दोलन एक संरचित, स्थिर पीरियड-2 ऑर्बिट है, न कि कोई अराजक गड़बड़ी।
यह केवल एकल बिंदुओं के बारे में नहीं है: पेपर इस विचार के विरुद्ध तर्क देता है कि फ्लैट मिनिमा अलग-थलग हैं। वे सिद्ध करते हैं कि इन प्रणालियों में, मिनिमा एक निरंतर, सुचारू मैनिफोल्ड (एक जुड़ा हुआ सतह) बनाते हैं, न कि बिखरे हुए बिंदुओं का संग्रह।
यह एक वैश्विक गारंटी नहीं है: लेखक सावधानी बरतते हुए कहते हैं कि उनके प्रमाण स्थानीय (local) हैं। वे सिद्ध करते हैं कि जब AI पहले से ही फ्लैट मिनिमम के आसपास होता है तो क्या होता है। वे इस रहस्य को हल करने का दावा नहीं करते कि AI एक यादृच्छिक शुरुआती बिंदु से फ्लैट मिनिमम तक कैसे पहुँचता है (जिसे "प्रोग्रेसिव शार्पनिंग" चरण कहा जाता है)। वे केवल यह समझाते हैं कि जब AI पहले से ही फ्लैट स्पॉट के पड़ोस में होता है, तो क्या होता है।

"स्टेबिलिटी का किनारा" (The Edge of Stability)

यह पेपर इसे "एज ऑफ स्टेबिलिटी" नामक घटना से जोड़ता है। यह वह स्थिति है जहाँ AI क्रैश होने के किनारे पर डगमगाता है लेकिन गिरता नहीं है। लेखक दिखाते हैं कि यह कोई बग नहीं है; यह एक विशिष्ट गतिशील अवस्था है जहाँ AI अप्रत्यक्ष रूप से स्वयं शार्पनेस पर "रीमानियन ग्रेडिएंट डिसेंट" करता है। यह ऐसा है जैसे AI उछलकर परिदृश्य को महसूस कर रहा है और सबसे सपाट संभव स्थान की ओर फिसल रहा है।

निचोड़ (The Bottom Line)

यह पेपर एक जटिल, उच्च-आयामी समस्या को लेकर हमें एक स्पष्ट मानचित्र देता है। यह दिखाता है कि जब हम AI को प्रशिक्षित करने में बड़े कदम उठाते हैं, तो हम केवल अनुमान नहीं लगा रहे होते हैं। हम एक परिष्कृत नृत्य में शामिल होते हैं जहाँ AI एक स्थिर लय में उछलता है और साथ ही समाधानों की एक चिकनी, जुड़ी हुई सतह पर फिसलता है।

उन्होंने सिद्ध किया कि मैट्रिक्स फैक्टराइजेशन के लिए, यह सतह एक सुंदर ज्यामितीय संरचना (गोलाकार के ऊपर एक फाइब्रे बंडल) है, और उन्होंने सिद्ध किया कि इस सतह पर AI की गति सख्त, अनुमानित नियमों का पालन करती है। हालाँकि उन्होंने डीप लर्निंग के पूरे रहस्य को हल नहीं किया है (जैसे कि शुरुआत से अंत तक कैसे पहुँचना है), उन्होंने पहली बार एक कठोर, गणितीय स्पष्टीकरण प्रदान किया है कि क्यों बड़े कदम लेना एक बार समाधान के करीब पहुँचने के बाद इतना अच्छा काम करता है।

संक्षेप में: AI क्रैश नहीं हो रहा है; वह नृत्य कर रहा है। और इस पेपर की मदद से, हमारे पास अंततः संगीत की शीट (sheet music) उपलब्ध है।

तकनीकी सारांश: फ्लैट मिनिमा के मैनिफोल्ड के पास बड़े स्टेप साइज के साथ ग्रेडिएंट डिसेंट की गतिशीलता

समस्या विवरण

ग्रेडिएंट डिसेंट (GD) के लिए शास्त्रीय अभिसरण सिद्धांत (convergence theory) स्थिरता की स्थिति $\eta < 2/\lambda_1(x)$ पर निर्भर करता है, जहाँ $\eta$ स्टेप साइज है और $\lambda_1(x)$ ऑब्जेक्टिव हेसियन (Hessian) का सबसे बड़ा आइगेनवैल्यू (शार्पनेस) है। डीप लर्निंग में, इस स्थिति का अक्सर उल्लंघन किया जाता है; फिर भी, बड़े स्टेप साइज के साथ GD अक्सर अभिसरण करता है, जो "एज ऑफ स्टेबिलिटी" (edge of stability) की गतिशीलता और "फ्लैट मिनिमा" (कम शार्पनेस वाले मिनिमा) की ओर निहित पूर्वाग्रह (implicit bias) प्रदर्शित करता है।

मैकडोनाल्ड एट अल. [39] के पिछले कार्य ने को-डायमेंशन 1 वाले लीस्ट-स्क्वायर्स (least-squares) समस्याओं (सिंगल स्केलर आउटपुट) के पास बड़े-स्टेप GD के लिए एक कठोर डायनेमिकल सिस्टम्स विश्लेषण प्रदान किया था। हालांकि, यह सेटिंग व्यावहारिक रूप से सीमित है, क्योंकि यह निम्नलिखित को कवर करने में विफल रहती है:

उच्च को-डायमेंशन समस्याएं: वेक्टर-वैल्यूड आउटपुट और अवलोकनों की मनमानी संख्या के साथ ओवरपैरामिट्राइज्ड रिग्रेशन।
मिनिमा के मैनिफोल्ड: कई डीप लर्निंग समस्याएं, जैसे कि मैट्रिक्स फैक्टराइजेशन, एक आइसोलेटेड पॉइंट के बजाय फ्लैट मिनिमा के एक निरंतर मैनिफोल्ड को रखती हैं।

यह शोध पत्र [39] के सिद्धांत को इन व्यापक सेटिंग्स तक विस्तारित करता है, जो उच्च-आयामी बाइफरकेशन (bifurcations) और मैनिफोल्ड के साथ उत्पन्न होने वाली सिंगुलर पार्शियल डिफरेंशियल इक्वेशंस (PDEs) की तकनीकी चुनौतियोंों को संबोधित करता है।

कार्यप्रणाली

1. ज्यामितीय ढांचा और धारणाएं

लेखक ओवरपैरामिट्राइज्ड लीस्ट-स्क्वायर्स ऑब्जेक्टिव $\ell(w) = \frac{1}{2}\|\tau - f(w)\|^2$ पर विचार करते हैं जहाँ $f: \mathbb{R}^p \to \mathbb{R}^q$ ( $p > q$ )। वे एक नॉर्मल फॉर्म सुनिश्चित करने के लिए ज्यामितीय धारणाओं का एक पदानुक्रम स्थापित करते हैं:

धारणा 3.1: लक्ष्य $\tau$ एक रेगुलर वैल्यू है, जो यह सुनिश्चित करता है कि समाधान सेट $M = f^{-1}(\tau)$ एक स्मूथ सब-मैनिफोल्ड है।
धारणा 3.3: हेसियन का टॉप आइगेनवैल्यू $\lambda_1$ एक गैर-खाली ओपन सबसेट पर सरल ( $\lambda_2$ से भिन्न) है, जिससे एक सुपरिभाषित टॉप आइगेनवेक्टर फील्ड $\nu_1$ प्राप्त होता है।
धारणा 3.4: $F \subset M$ में स्थानीय मिनिमा का एक सब-मैनिफोल्ड है जहाँ $\lambda_1$ मौर-बॉट (Morse-Bott) है (अर्थात $M$ के भीतर $F$ के नॉर्मल दिशाओं में स्ट्रॉन्गली कॉन्वेक्स है)।
धारणा 3.5: $\ell$ के उच्च-क्रम डेरिवेटिव से प्राप्त एक गुणांक $\alpha_\eta$ पर एक रेगुलेरिटी कंडीशन, जो नॉर्मल फॉर्म के लिए आवश्यक सिंगुलर PDE की समाधान क्षमता सुनिश्चित करती है।

2. नॉर्मल फॉर्म व्युत्पत्ति

मुख्य तकनीकी योगदान $F$ के पास GD के लिए एक नॉर्मल फॉर्म का व्युत्पन्न करना है। लेखक निर्देशांक रूपांतरणों (coordinate transformations) का एक क्रम करते हैं:

ट्यूबलर कोऑर्डिनेट्स (Tubular Coordinates): $M$ के पड़ोस को $M \times \mathbb{R}^q$ में मैप करना।
सेंटर मैनिफोल्ड रिडक्शन: $q$ -आयामी ऑर्थोगोनल डायनेमिक्स को 1-डायमेंशनल सिस्टम में कम करने के लिए एक सेंटर मैनिफोल्ड प्रमेय का उपयोग करना, जो $\nu_1$ के टॉप आइगेनडायरेक्शन के अनुरूप है।
एक सिंगुलर PDE को हल करना: एक महत्वपूर्ण चरण $Xu = \alpha u + \beta$ के रूप में एक PDE को हल करना शामिल है जहाँ वेक्टर फील्ड $X$ , मैनिफोल्ड $F$ के साथ शून्य हो जाता है। आइसोलेटेड पॉइंट केस (जैसा कि [39] में था) के विपरीत, यहाँ सिंगुलैरिटी एक मैनिफोल्ड के साथ है। लेखक लॉगैरिद्मिक एक्सपेंशन और इनवेरिएंट फोलिएशंस (invariant foliations) का उपयोग करने वाली नवीन तकनीकों को विकसित करते हैं ताकि एक $C^1$ समाधान का अस्तित्व सिद्ध किया जा सके, जो मैनिफोल्ड कोऑर्डिनेट्स और ऑर्थोगोनल डायनेमिक्स के बीच कपलिंग के संबंध में [39] के त्रुटिपूर्ण प्रमाण को सुधारता है।
स्ट्रॉन्ग-स्टेबल फोलिएशन: सेंटर मैनिफोल्ड पर डायनेमिक्स से कॉन्ट्रैक्टिंग दिशाओं को अलग करना।

परिणामी नॉर्मल फॉर्म GD डायनेमिक्स को निम्नानुसार विभाजित करता है:

$M$ के टेंजेंट के साथ ( $x$ ): $M$ के साथ शार्पनेस $\lambda_1$ पर रिमानियन ग्रेडिएंट डिसेंट (RGD), जिसमें स्टेप साइज $y_1^2$ के ऑर्थोगोनल डिस्टेंस द्वारा नियंत्रित होता है।
टॉप ऑर्थोगोनल दिशा ( $y_1$ ): एक फ्लिप बाइफरकेशन डायनेमिक (पीरियड-डबलिंग बाइफरकेशन के समान) जो $(1 - \eta\lambda_1)y_1 + y_1^3$ द्वारा शासित है।
अन्य ऑर्थोगोनल दिशाएं ( $y_{2:q}$ ): तेजी से कॉन्ट्रैक्ट होने वाली एक्सपोनेंशियल स्टेबल दिशाएं।

3. केस स्टडी: डीप मैट्रिक्स फैक्टराइजेशन

लेखक सत्यापित करते हैं कि डीप मैट्रिक्स फैक्टराइजेशन इस ढांचे में फिट बैठता है। वे सिद्ध करते हैं कि फ्लैट मिनिमा $F$ का सेट स्फेयर्स के प्रोडक्ट के ऊपर एक स्मूथ फाइबर बंडल (fibre bundle) बनाता है। इसके अलावा, वे प्रदर्शित करते हैं कि शार्पनेस $\lambda_1$ , इस मैनिफोल्ड के साथ मौर-बॉट (Morse-Bott) है।

मुख्य योगदान और परिणाम

1. सामान्यीकृत नॉर्मल फॉर्म

यह शोध पत्र किसी भी को-डायमेंशन के लिए फ्लैट मिनिमा के मैनिफोल्ड के पास बड़े स्टेप साइज के लिए GD के लिए एक नॉर्मल फॉर्म स्थापित करता है। यह [39] के परिणामों को को-डायमेंशन 1 में आइसोलेटेड मिनिमा से सामान्यीकृत करके निरंतर मैनिफोल्ड्स और मनमानी आयामों तक ले जाता है।

2. अभिसरण प्रमेय (Convergence Theorems)

लेखक स्टेप साइज $\eta$ और स्थिरता थ्रेशोल्ड $2/\lambda_1|_F$ के सापेक्ष तीन अभिसरण व्यवस्थाएं (regimes) सिद्ध करते हैं:

सबक्रिटिकल रिजीम ( $\eta < 2/\lambda_1|_F$ ):
एक प्रारंभिक ट्रांजिएंट के बाद, इटरेट एक सब-ऑप्टिमली फ्लैट ग्लोबल मिनिमम की ओर एक्सपोनेंशियल रूप से अभिसरित होते हैं। जैसे-जैसे इटरेट मैनिफोल्ड के करीब आते हैं, स्टेप साइज तेजी से घटता है।
क्रिटिकल रिजीम ( $\eta = 2/\lambda_1|_F$ ):
इटरेट फ्लैट मिनिमा मैनिफोल्ड $F$ $F$ में एक बिंदु की ओर नॉन-मोनोटोनिकली अभिसरित होते हैं, जिसकी दर $\Theta(t^{-1/2})$ है।
- नोट: सामान्य मामले के लिए प्रमाण एक अनुमान (Conjecture D.7) पर निर्भर करता है, जो नॉर्मली पैराबोलिक डायनेमिकल सिस्टम्स के लिए एक स्थिर फोलिएशन के अस्तित्व के संबंध में है। यह परिणाम तब कठोर रूप से सिद्ध होता है यदि $\lambda_1$ का हेसियन $F$ के साथ आइडेंटिटी का स्केलर मल्टीपल हो, या यदि वह अनुमान सत्य हो।
सुपरक्रिटिकल रिजीम ( $\eta > 2/\lambda_1|_F$ ):
इटरेट $\nu_1|_F$ के स्पैन के साथ एक स्थिर पीरियड-2 ऑर्बिट की ओर एक्सपोनेंशियल रूप से अभिसरित होते हैं। इस दोलन (oscillation) का आयाम $\Theta(\sqrt{\eta\lambda_1|_F - 2})$ के रूप में स्केल करता है।

3. मैट्रिक्स फैक्टराइजेशन के लिए संरचनात्मक परिणाम

डीप मैट्रिक्स फैक्टराइजेशन के लिए, यह पेपर नवीन संरचनात्मक अंतर्दृष्टि प्रदान करता है:

फ्लैट मिनिमा मैनिफोल्ड $F$ , स्फेयर्स के प्रोडक्ट के ऊपर एक फाइबर बंडल है।
शार्पनेस $\lambda_1$ , $F$ के साथ मौर-बॉट (Morse-Bott) है।
$F$ के नॉर्मल बंडल के सापेक्ष $\lambda_1$ के हेसियन के आइगेनवैल्यूज स्ट्रिक्टली पॉजिटिव हैं, जिनके लिए विशिष्ट लोअर बाउंड्स प्राप्त किए गए हैं (जैसे, $L=2$ के लिए, लोअर बाउंड $4\sigma_1/(\sigma_1 - \sigma_{d_L})$ है)।

4. संख्यात्मक सत्यापन

सैद्धांतिक भविष्यवाणियों को 3-लेयर, $2 \times 2$ मैट्रिक्स फैक्टराइजेशन समस्याओं पर संख्यात्मक प्रयोगों के माध्यम से सत्यापित किया गया है। प्रयोग पुष्टि करते हैं:

सबक्रिटिकल रिजीम में एक्सपोनेंशियल अभिसरण।
क्रिटिकल रिजीम में $t^{-1/2}$ अभिसरण।
सुपरक्रिटिकल रिजीम में पीरियड-2 साइकिल की ओर एक्सपोनेंशियल अभिसरण।

महत्व और दावे

यह शोध पत्र डीप लर्निंग ऑप्टिमाइजेशन की सैद्धांतिक समझ के एक महत्वपूर्ण अंतर को पाटने का दावा करता है:

को-डायमेंशन 1 से परे: यह बड़े-स्टेप GD के सिद्धांत को "सिंगल डेटा" सेटिंग से हटाकर वेक्टर आउटपुट वाले सामान्य ओवरपैरामिट्राइज्ड रिग्रेशन तक ले जाता है।
मिनिमा के मैनिफोल्ड: यह डीप लर्निंग लॉस लैंडस्केप की वास्तविकता को संबोधित करता है कि उनमें अक्सर मिनिमा के मैनिफोल्ड होते हैं, और दिखाता है कि "एज ऑफ स्टेबिलिटी" की गतिशीलता इन उच्च-आयामी, निरंतर सेटिंग्स में भी बनी रहती है।
तकनीकी नवीनता: मैनिफोल्ड के साथ सिंगुलर PDE का समाधान और [39] में समन्वय कपलिंग (coupling of coordinates) के संबंध में प्रमाण का सुधार, डायनेमिकल सिस्टम्स थ्योरी के लिए स्वतंत्र तकनीकी योगदान के रूप में प्रस्तुत किए गए हैं।
निहित पूर्वाग्रह (Implicit Bias): परिणाम कठोरता से इस अवलोकन को औपचारिक रूप देते हैं कि बड़ा-स्टेप GD स्पष्ट रूप से सॉल्यूशन मैनिफोइड के साथ शार्पनेस पर रिमानियन ग्रेडिएंट डिसेंट करता है, जो फ्लैट मिनिमा की ओर पूर्वाग्रह के लिए एक यांत्रिक स्पष्टीकरण प्रदान करता है।

लेखक क्रिटिकल रिजीम के संबंध में विनम्र रहते हैं, यह स्पष्ट रूप से कहते हैं कि सामान्य अभिसरण प्रमाण एक 'पैराबोलिक फोलिएशन' के अनुमान पर निर्भर करता है, जो वर्तमान कार्य के दायरे से बाहर है लेकिन हाइपरबोलिक सिस्टम्स के सादृश्य के आधार पर तर्कसंगत माना जाता है। वे यह भी नोट करते हैं कि उनके परिणाम स्थानीय (मैनिफाल्ड के पास) हैं और अभी तक प्रशिक्षण में देखे जाने वाले वैश्विक "प्रोग्रेसिव शार्पनिंग" चरण की व्याख्या नहीं करते हैं।