📊 statistics

Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

यह शोध पत्र होमोजेनियस न्यूरल नेटवर्क में ग्रेडिएंट फ्लो डायनेमिक्स के विश्लेषण को छोटे इनिशियलाइजेशन रिजीम से आगे बढ़ाते हुए, मूल बिंदु (ओरिजिन) से बाहर निकलने के बाद सामना किए जाने वाले पहले सैडल पॉइंट का लक्षण वर्णन करता है और यह प्रदर्शित करता है कि इस निकास से पूर्व निर्मित स्पर्सिटी स्ट्रक्चर अगले सैडल पॉइंट तक संरक्षित रहता है।

मूल लेखक: Akshay Kumar, Jarvis Haupt

प्रकाशित 2026-08-06

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akshay Kumar, Jarvis Haupt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे लाखों छोटे स्विचों (न्यूरॉन्स) से बना एक विशाल मस्तिष्क देते हैं और उसे 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से सीखने देते हैं, जहाँ वह हर गलती होने पर अपने स्विचों को समायोजित करता है। आधुनिक आर्टिफिशियल इंटेलिजेंस इसी तरह काम करता है। लेकिन यहाँ एक रहस्य है: भले ही रोबोट का मस्तिष्क दुनिया की हर एक फोटो को याद रखने के लिए पर्याप्त बड़ा क्यों न हो, वह आमतौर पर बिल्लियों को देखने का सही तरीका सीख जाता है, न कि केवल तस्वीरों को रट लेता है। वैज्ञानिक इसे "इम्प्लिसिट रेगुलराइजेशन" (implicit regularization) कहते हैं—यह विचार कि सीखने की प्रक्रिया स्वयं एक कोमल हाथ की तरह कार्य करती है, जो रोबोट को अव्यवस्थित और जटिल समाधानों के बजाय सरल और स्मार्ट समाधानों की ओर निर्देशित करती है।

इस जादू को समझने के लिए, शोधकर्ता अक्सर सीखने के एक सरलीकृत संस्करण को देखते हैं जिसे "ग्रेडिएंट फ्लो" (gradient flow) कहा जाता है। कल्पना कीजिए कि रोबोट का मस्तिष्क एक धुंधले पहाड़ पर चढ़ने वाला एक हाइकर (हाइकर) है, जो सबसे निचली घाटी (सर्वश्रेष्ठ समाधान) खोजने की कोशिश कर रहा है। "ग्रेडिएंट" केवल हाइकर के पैरों के नीचे का ढलान है, जो उसे बताता है कि नीचे जाने का रास्ता किस ओर है। आमतौर पर, हम हाइकर को एक बहुत छोटी पहाड़ी (ओरिजिन/मूल बिंदु) के शिखर पर बहुत छोटे कदम के आकार के साथ शुरू करते हैं। लंबे समय तक, हाइकर ऊपर के पास ही डगमगाता रहता है, बहुत कम हिलता-डुलता है। लेकिन अंततः, वे नीचे का रास्ता खोज लेते हैं। बड़ा सवाल यह है कि: उस छोटी पहाड़ी को छोड़ने के बाद क्या होता है? क्या वे बेतरतीब ढंग से भटक जाते हैं, या पहाड़ का आकार उन्हें एक विशिष्ट, व्यवस्थित पथ पर ले जाता है? यह शोध पत्र ठीक उसी क्षण की गहराई में उतरता है जब वे इस पलायन को करते हैं, ताकि यह देख सके कि रोबोट का मस्तिष्क खुद को कैसे व्यवस्थित करता है।

पहाड़ी के शिखर से महान पलायन

इस शोध पत्र में, लेखक अक्षय कुमार और जार्विस हॉप्ट, एक न्यूरल नेटवर्क (एक प्रकार का AI मस्तिष्क) की यात्रा की जांच करने वाले जासूसों की भूमिका निभाते हैं, ठीक उस क्षण के बाद जब वह अपने शुरुआती बिंदु को छोड़ने का निर्णय लेता है। वे एक विशेष प्रकार के AI मस्तिष्क पर ध्यान केंद्रित करते हैं जिसे "होमोजेनियस न्यूरल नेटवर्क" (homogeneous neural network) कहा जाता है। इन्हें ऐसे मस्तिष्क के रूप में सोचें जहाँ यदि आप सभी स्विचों की शक्ति को दोगुना कर देते हैं, तो आउटपुट भी दोगुना (या प्रकार के आधार पर चार गुना) हो जाता है। यह गणितीय गुण उन्हें अध्ययन करने में आसान बनाता है, जैसे वास्तविक ट्रेनों को समझने के लिए मॉडल ट्रेन सेट का उपयोग करना।

कहानी एक ज्ञात तथ्य के साथ शुरू होती है: जब आप इन नेटवर्कों को बहुत छोटे भार (weights) के साथ प्रशिक्षित करते हैं, तो "हाइकर" एक आश्चर्यजनक लंबे समय तक एक छोटी पहाड़ी (ओरिजिन) के शीर्ष के पास फंसा रहता है। इस दौरान, हाइकर बिना किसी दिशा के नहीं भटकता; वे एक विशिष्ट दिशा में संरेखित होना शुरू करते हैं, जो "न्यूरल कोरिलेशन फंक्शन" (NCF) की ओर इशारा करता है। आप NCF को एक मानचित्र के रूप में देख सकते हैं जो यह दिखाता है कि कौन सी दिशा डेटा में सबसे दिलचस्प विशेषताओं की ओर ले जाती है। हाइकर अंततः एक दिशा चुनता है और मजबूत होने लगता है, और अंततः मूल बिंदु से "पलायन" करता है।

लेकिन उनके पलायन के क्षण में क्या होता है? यहीं से इस शोध पत्र की मुख्य खोज आती है।

प्रतिरोध का न्यूनतम पथ

लेखकों ने पाया कि एक बार जब नेटवर्क मूल बिंदु से पलायन कर जाता है, तो वह कहीं भी नहीं जाता। इसके बजाय, वह एक बहुत ही विशिष्ट, अनुमानित पथ का अनुसरण करता है। कल्पना कीजिए कि आप एक स्लाइड (फिसलन पट्टी) से नीचे फिसल रहे हैं। भले ही आप थोड़े अलग धक्के के साथ शुरू करें, यदि स्लाइड का आकार बिल्कुल सही है, तो आप अंततः उसी ट्रैक का अनुसरण करेंगे जिसका अनुसरण हर कोई कर रहा है।

शोध पत्र सिद्ध करता है कि इन विशिष्ट नेटवर्कों के लिए, मूल बिंदु से निकलने के बाद हाइकर जिस पथ का अनुसरण करता है, वह लगभग उस पथ के समान है जो उसने तब लिया होता यदि उसने एक विशिष्ट दिशा में एक छोटे, सटीक धक्के के साथ शुरुआत की होती। यह विशिष्ट दिशा NCF का एक "KKT पॉइंट" है। सरल शब्दों में, यह मानचित्र पर एक विशेष, स्थिर स्थान है जो समस्या को हल करने के एक बहुत ही कुशल तरीके का प्रतिनिधित्व करता है।

शोधकर्ताओं ने दिखाया कि आपका शुरुआती धक्का कितना भी छोटा क्यों न हो, जब तक कि आप सही सामान्य दिशा में हैं, आप अंततः इस "सुपर-हाईवे" पथ पर मिल जाएंगे। यह पथ नेटवर्क को एक "सैडल पॉइंट" (saddle point) की ओर ले जाता है। यदि आप सीखने के परिदृश्य को पहाड़ों की एक श्रृंखला के रूप में देखते हैं, तो सैडल पॉइंट दो चोटियों के बीच का गड्ढा है। यह घाटी का निचला हिस्सा (परफेक्ट समाधान) नहीं है, बल्कि एक ऐसा विश्राम स्थल है जहाँ हाइकर आगे बढ़ने से पहले रुकता है। यह शोध पत्र इस पहले विश्राम स्थल के स्वरूप को सटीक रूप से परिभाषित करता है।

विरलता (Sparsity) का जादू: "शून्य" न्यूरॉन्स

सबसे रोमांचक खोजों में से एक "विरलता" (sparsity) के बारे में है। एक न्यूरल नेटवर्क में, "स्पार्स" का अर्थ है कि कई स्विच (भार) बंद (शून्य पर सेट) हैं, जबकि केवल कुछ ही सक्रिय हैं। यह एक लाइट स्विच पैनल की तरह है जहाँ केवल कुछ ही लाइटें चालू हैं, और बाकी अंधेरे में हैं। यह अच्छा है क्योंकि यह AI को सरल बनाता है और भ्रमित होने की संभावना कम करता है।

शोध पत्र ने एक दिलचस्प नियम की खोज की: "बंद" स्विचों का पैटर्न हमेशा के लिए "बंद" रहता है।

यहाँ उपमा है: कल्पना कीजिए कि नर्तकों का एक समूह है। संगीत शुरू होने से पहले (ओरिजिन पर), वे सभी स्थिर खड़े हैं। जैसे ही संगीत शुरू होता है, वे हिलना शुरू करते हैं। कुछ नर्तकों को एहसास होता है कि उनकी नृत्य में कोई भूमिका नहीं है और वे पूरी तरह से स्थिर रहते हैं (उनके भार शून्य रहते हैं)। लेखकों ने सिद्ध किया कि यदि कोई नर्तक शुरुआत में स्थिर रहता है, तो वह कभी भी बाद में नाचना शुरू नहीं करेगा, भले ही नेटवर्क बहुत बड़ा हो गया हो और शुरुआती पहाड़ी से निकल गया हो। उन विशिष्ट न्यूरॉन्स की "खामोशी" अगले विश्राम स्थल (सैडल पॉइंट) तक बनी रहती है।

यह एक बड़ी बात है क्योंकि यह समझाता है कि न्यूरल नेटवर्क कुशल क्यों बनते हैं। गणित दिखाता है कि नेटवर्क केवल यादृच्छिक रूप से यह नहीं चुनता कि किन न्यूरॉन्स को बंद करना है; नेटवर्क की संरचना ही कुछ न्यूरॉन्स को शांत रहने के लिए मजबूर करती है यदि वे शुरुआत में शांत थे। यह "जीरो-प्रिजर्विंग" (zero-preserving) गुण सुनिश्चित करता है कि शुरुआत में बनने वाली विरलता (खामोशी का पैटर्न) अपनी जगह पर लॉक हो जाती है।

यह हमें क्या नहीं बताता (और यह क्या खारिज करता है)

यह जानना महत्वपूर्ण है कि इस कहानी की सीमाएँ क्या हैं। लेखक बहुत सावधानी से कहते हैं कि उनका गणित उन नेटवर्कों के लिए काम करता है जिनमें सुचारू, निरंतर कार्य (जैसे किसी संख्या का वर्ग करना) होते हैं। यह वर्तमान में सबसे लोकप्रिय प्रकार के AI के लिए सख्ती से एक ही बात सिद्ध नहीं करता है, जो "ReLU" एक्टिवेशन (एक ऐसा फंक्शन जो नकारात्मक संख्याओं को काट देता है) का उपयोग करता है। हालाँकि, लेखकों ने ReLU नेटवर्कों के साथ कंप्यूटर सिमुलेशन चलाए, और परिणाम बहुत समान दिखे। वे सुझाव देते हैं कि समान नियम ReLU नेटवर्कों पर भी लागू हो सकते हैं, लेकिन उन्होंने अभी तक इसे गणितीय रूप से सिद्ध नहीं किया है।

साथ ही, शोध पत्र केवल पहले सैडल पॉइंट तक की यात्रा का वर्णन करता है। यह हाइकर के पहले पहाड़ी से पहली घाटी तक के पथ का वर्णन करने जैसा है। यह हमें यह नहीं बताता कि क्या होता है जब हाइकर उस घाटी को छोड़ देता है और अगली पर्वत श्रृंखला पर चढ़ता है। वह भविष्य के शोध के लिए एक रहस्य है।

निष्कर्ष

तो, हमने क्या सीखा? जब एक न्यूरल नेटवर्क बहुत छोटे भार के साथ शुरू होता है, तो वह शुरुआत के पास काफी समय तक डगमगाता रहता है। लेकिन एक बार जब वह मुक्त हो जाता है, तो वह बेतरतीब ढंग से नहीं भटकता। वह एक विशिष्ट, कुशल पथ पर आ जाता है जो समस्या के आकार द्वारा निर्धारित होता है। इस पथ पर, नेटवर्क स्वाभाविक रूप से यह समझ जाता है कि उसके मस्तिष्क के कौन से हिस्से शांत रहने चाहिए और कौन से सक्रिय, और वह उस पैटर्न को सुरक्षित रखता है।

यह हमें उस "इम्प्लिसिट रेगुलराइजेशन" को समझने में मदद करता है जो AI को इतना अच्छा बनाता है। प्रशिक्षण प्रक्रिया केवल एक अराजक संघर्ष नहीं है; यह एक निर्देशित दौरा है जो स्वाभाविक रूप से शोर को छान देता है और संकेत को बनाए रखता है, यह सुनिश्चित करता है कि अंतिम मस्तिष्क शक्तिशाली और सरल दोनों हो। लेखकों ने इस यात्रा के पहले चरण का मानचित्र तैयार किया है, जिससे हमें पता चलता है कि नेटवर्क ठीक कैसे अपनी पकड़ बनाता है और समाधान की ओर अपना मार्च शुरू करता है।

तकनीकी सारांश: मूल बिंदु (Origin) से परे होमोजेनियस न्यूरल नेटवर्क के ग्रेडिएंट फ्लो डायनेमिक्स को समझने की दिशा में

समस्या विवरण (Problem Statement)
ग्रेडिएंट-आधारित विधियों द्वारा प्रशिक्षित आधुनिक डीप न्यूरल नेटवर्क, ओवर-पैरामीटराइजेशन के बावजूद अक्सर मजबूत सामान्यीकरण (generalization) प्रदर्शित करते हैं, एक ऐसी घटना जिसे प्रशिक्षण एल्गोरिदम द्वारा प्रेरित 'इम्प्लिसिट रेगुलराइजेशन' (implicit regularization) के रूप में माना जाता है। न्यूरल टैनजेंट कर्नेल (NTK) शासन (बड़ी इनिशियलाइजेशन) और प्रशिक्षण के अंतिम चरणों में प्रशिक्षण डायनेमिक्स को समझने में महत्वपूर्ण प्रगति हुई है, लेकिन "स्मॉल इनिशियलाइजेशन" (छोटी इनिशियलाइजेशन) का शासन अभी भी कम समझा गया है। इस शासन में, नेटवर्क फीचर-लर्निंग मोड में कार्य करते हैं, फिर भी भार (weights) का अत्यधिक गैर-रेखीय विकास विश्लेषणात्मक चुनौतियों को जन्म देता है।

पिछले कार्यों (जैसे, Maennel et al., 2018; Kumar and Haupt, 2024, 2025) ने यह स्थापित किया है कि छोटी इनिशियलाइजेशन वाले होमोजेनियस न्यूरल नेटवर्क के लिए, भार एक विस्तारित अवधि तक मूल बिंदु के पास रहते हैं। इस चरण के दौरान, भार एक न्यूरल कोरिलेशन फंक्शन (NCF) के करुश-कुहन-टकर (KKT) बिंदु की ओर दिशा में अभिसरित (converge) होते हैं, जिसे "अर्ली डायरेक्शनल कन्वर्जेंस" (early directional convergence) के रूप में जाना जाता है। इसके अलावा, ये शुरुआती-चरण के KKT बिंदु अक्सर स्पर्सिटी (sparsity) प्रदर्शित करते हैं। हालाँकि, मूल बिंदु से बाहर निकलने के बाद भारों के ग्रेडिएंट फ्लो का व्यवहार और इस उभरते हुए स्पर्सिटी स्ट्रक्चर के संरक्षण को इस संक्रमण के दौरान पूरी तरह से स्पष्ट नहीं किया गया था। यह शोध पत्र इस अंतराल को संबोधित करता है: मूल बिंदु से बाहर निकलने के तुरंत बाद और पहले सैडल पॉइंट (saddle point) तक पहुँचने तक होमोजेनियस न्यूरल नेटवर्क के ग्रेडिएंट फ्लो डायनेमिक्स का विश्लेषण करके।

कार्यप्रणाली और सेटअप (Methodology and Setup)
यह शोध पत्र उन होमोजेनियस न्यूरल नेटवर्क $H(x; w)$ का अध्ययन करता है जो $L$ -पॉजिटिवली होमोजेनियस ( $L \ge 2$ ) हैं, जिसका अर्थ है कि $H(x; cw) = c^L H(x; w)$ जहाँ $c \ge 0$ । विश्लेषण यह मानता है कि नेटवर्क के ग्रेडिएंट्स स्थानीय रूप से लिप्सचिट्ज़ (locally Lipschitz) हैं, जिसमें डीप लीनियर नेटवर्क और पॉलिनोमियलियल ReLU एक्टिवेशन ( $p \ge 2$ ) शामिल हैं, लेकिन यह मानक ReLU नेटवर्क ( $p=1$ ) को स्पष्ट रूप से बाहर करता है क्योंकि मूल बिंदु पर वे नॉन-डिफरेंशिएबल (non-differentiable) होते हैं, हालांकि अनुभवजन्य परिणाम संभावित विस्तार का सुझाव देते हैं।

प्रशिक्षण उद्देश्य एक लॉस फंक्शन $\mathcal{L}(w)$ के न्यूनीकरण (minimization) के माध्यम से ग्रेडिएंट फ्लो है:
$\dot{w} = -\nabla \mathcal{L}(w)$
लेखक न्यूरल कोरिलेशन फंक्शन (NCF) की अवधारणा पर निर्माण करते हैं, जिसे $N(u) = \bar{e}_y^\top H(X; u)$ के रूप में परिभाषित किया गया है, जहाँ $\bar{e}_y = -\ell'(0, y)$ है। वे यूनिट स्फीयर पर $N(u)$ के कन्सट्रेंड ऑप्टिमाइजेशन का विश्लेषण करते हैं।

मुख्य कार्यप्रणाली में शामिल हैं:

लिमिटिंग ट्रजेक्टरी कंस्ट्रक्शन (Limiting Trajectory Construction): एक लिमिटिंग सॉल्यूशन $p(t)$ को परिभाषित करना जो मूल बिंदु से बाहर निकलने के बाद ग्रेडिएंट फ्लो के पथ का प्रतिनिधित्व करता है। इसे $\delta w_0$ (जहाँ $\delta$ इनिशियलाइजेशन स्केल है) को $\ln(1/\delta)$ से संबंधित एक पद द्वारा समय-शिफ्ट करके प्राप्त किया जाता है और $\delta \to 0$ का लिया जाता है।
स्टेबिलिटी एनालिसिस (Stability Analysis): कन्सट्रेंड NCF के $\Delta$ -सेकंड-ऑर्डर पॉजिटिव KKT बिंदुओं के गुणों का उपयोग करना। लेखक यह मानते हैं कि भारों की प्रारंभिक दिशा NCF के ऐसे KKT बिंदु के स्टेबल सेट में स्थित है।
जीरो-प्रिजर्विंग सबसेट्स (Zero-Preserving Subsets): भारों के "जीरो-प्रिजर्विंग सबसेट" की अवधारणा पेश करना—वे भार जो शून्य पर इनिशियलाइज किए गए थे और ग्रेडिएंट फ्लो के तहत प्रशिक्षण के दौरान शून्य ही रहते हैं। इसका उपयोग स्पर्सिटी के संरक्षण का विश्लेषण करने के लिए किया जाता है।

प्रमुख योगदान और परिणाम (Key Contributions and Results)

1. पोस्ट-एस्केप ग्रेडिएंट फ्लो डायनेमिक्स (थ्योरम 4 और 10)
यह शोध पत्र स्थापित करता है कि पर्याप्त छोटी इनिशियलाइजेशन के लिए, मूल बिंदु से बाहर निकलने के बाद ग्रेडिएंट फ्लो का प्रक्षेपवक्र (trajectory) एक विशिष्ट पथ $p(t)$ का बारीकी से अनुसरण करता है, चाहे विशिष्ट छोटी इनिशियलाइजेशन स्केल $\delta$ कुछ भी हो, बशर्ते कि प्रारंभिक दिशा NCF के एक स्थिर सेट के साथ संरेखित (align) हो।

टू-होमोजेनियस नेटवर्क ( $L=2$ ): थ्योरम 4 दिखाता है कि $O(\ln(1/\delta))$ के टाइम स्केलिंग के बाद, प्रक्षेपवक्र $\psi(t, \delta w_0)$ , $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$ की त्रुटि सीमा के साथ $p(t)$ की ओर अभिसरित होता है।
डीप होमोजेनियस नेटवर्क ( $L > 2$ ): थ्योरम 10 $L$ -होमोजेनियस नेटवर्क के लिए इसे विस्तारित करता है। एस्केप टाइम $O(\delta^{-(L-2)})$ स्केल करता है, और प्रक्षेपवक्र समान रूप से एक विशिष्ट त्रुटि सीमा के साथ एक लिमिटिंग पथ $p(t)$ की ओर अभिसरित होता है।
निहितार्थ (Implication): मूल बिंदु से बाहर निकलने के तुरंत बाद ग्रेडिएंट फ्लो का व्यवहार मुख्य रूप से उस NCF के KKT बिंदु द्वारा निर्धारित होता है जिसके करीब भार मूल बिंदु के पास रहते थे।

2. पहले सैडल पॉइंट का लक्षण वर्णन (कोरोलरी 5, 6, 11, 12)
लेखक प्रदर्शित करते हैं कि लिमिटिंग ट्रजेक्टरी $p(t)$ , ट्रेनिंग लॉस के एक स्टेशनरी पॉइंट (सैडल पॉइंट) की ओर अभिसरित होती है। फलस्वरूप, पर्याप्त छोटी इनिशियलाइजेशन के लिए, वास्तविक ग्रेडिएंट फ्लो प्रक्षेपवक्र $\psi(t, \delta w_0)$ मूल बिंदु से बाहर निकलने के बाद इसी सैडल पॉइंट की ओर बढ़ता है।

शोध पत्र उन मामलों के बीच अंतर करता है जहाँ सैडल पॉइंट परिमित (finite/bounded trajectory) है और उन मामलों के बीच जहाँ यह अनंत (infinity/unbounded trajectory) पर है (जो लॉजिस्टिक लॉस के साथ सामान्य है)।
परिणाम यह संकेत देते हैं कि ग्रेडिएंट फ्लो एक "सैडल-टू-सैडल" प्रक्षेपवक्र का पालन करता है, विशेष रूप से मूल बिंदु के बाद मिलने वाले पहले सैडल पॉइंट का लक्षण वर्णन करता है।

3. फीड-फॉरवर्ड नेटवर्क में स्पर्सिटी का संरक्षण (सेक्शन 4 और थ्योरम 18)
एक महत्वपूर्ण योगदान यह प्रमाण है कि "निकट-मूल-बिंदु" चरण के दौरान उभरने वाली स्पर्सिटी संरचना मूल बिंदु से बाहर निकलने के बाद भी पहले सैडल पॉइंट तक संरक्षित रहती है।

जीरो-प्राइविंग सबसेट्स: लेखक सिद्ध करते हैं कि फीड-फॉरवर्ड होमोजेनियस नेटवर्क के लिए, NCF के KKT बिंदु के भार मैट्रिक्स की पंक्तियाँ (rows) और कॉलम, जो शून्य-परिमाण वाली प्रविष्टियों (entries) के अनुरूप हैं, एक "जीरो-प्रिजर्विंग सबसेट" बनाते हैं। यदि ये भार शून्य पर इनिशियलाइज किए गए हैं, तो वे पूरे प्रशिक्षण के दौरान शून्य ही रहते हैं।
स्पर्सिटी प्रिजर्वेशन: चूंकि छोटी इनिशियलाइजेशन के साथ ग्रेडिएंट फ्लो, एक विशिष्ट स्पर्सिटी वाले KKT बिंदु की ओर दिशा में अभिसरित होता है (जहाँ कुछ भार शून्य होते हैं), और ये शून्य भार एक जीरो-प्रिजर्विंग सबसेट बनाते हैं, इसलिए मूल बिंदु से बाहर निकलने और पहले सैडल पॉइंट की ओर बढ़ने के दौरान स्पर्सिटी स्ट्रक्चर बना रहता है।
थ्योरम 18: यह औपचारिक रूप से बताता है कि $L=2$ और $L>2$ दोनों प्रकार के नेटवर्क के लिए, जीरो-प्रिजर्विंग सबसेट में भारों का परिमाण एस्केप टाइम के बाद भी नगण्य ( $O(\delta^{\text{exponent}})$ ) रहता है, जिससे स्पर्सिटी पैटर्न प्रभावी रूप से बना रहता है।

प्रायोगिक सत्यापन (Experimental Validation)
शोध पत्र स्क्वायर एक्टिवेशन फंक्शन्स ( $L=2$ ) और पॉलिनोमियलियल ReLU एक्टिवेशन का उपयोग करके संख्यात्मक प्रयोग (चित्र 1, 4, 5, 6) प्रदान करता है।

स्क्वायर एक्टिवेशन: प्रयोग पुष्टि करते हैं कि भार मूल बिंदु से बाहर निकलने से पहले स्पार्स (sparse) हो जाते हैं और यह स्पर्सिटी अगले सैडल पॉइंट पर भी बनी रहती है।
ReLU एक्टिवेशन: हालांकि सैद्धांतिक ढांचा मानक ReLU ( $L=1$ ) को बाहर करता है, ReLU नेटवर्क पर प्रयोग दिखाते हैं कि हालांकि भार पूरी तरह से स्पार्स नहीं होते (पॉलिनोमियल केस की तुलना में अधिक गैर-शून्य प्रविष्टियाँ), फिर भी सापेक्ष स्पर्सिटी स्ट्रक्चर (जहाँ छोटे भार छोटे ही रहते हैं) संरक्षित रहता है। यह सुझाव देता है कि मूल बिंदु पर स्थानीय लिप्सचिट्ज़ ग्रेडिएंट्स की कमी के बावजूद, निष्कर्ष अनुभवजन्य रूप से ReLU नेटवर्क पर भी लागू हो सकते हैं।

महत्व और दावे (Significance and Claims)
यह शोध पत्र प्रशिक्षण डायनेमिक्स के एक विशिष्ट खंड का कठोर लक्षण वर्णन प्रदान करने का दावा करता है: "निकट-मूल-बिंदु" चरण से पहले सैडल पॉइंट तक का संक्रमण।

इम्प्लिसिट रेगुलराइजेशन का तंत्र: यह NCF की ज्यामिति और विशिष्ट KKT बिंदुओं के साथ जुड़े होने के माध्यम से छोटी इनिशियलाइजेशन शासन में देखे गए इम्प्लिसिट रेगुलराइजेशन को जोड़ता है।
स्पर्सिटी की स्थिरता: यह इस बात का सैद्धांतिक स्पष्टीकरण देता है कि क्यों प्रशिक्षण के शुरुआती चरणों में देखी गई स्पर्सिटी पैटर्न बने रहते हैं, जिसका श्रेय फीड-फॉरवर्ड आर्किटेक्चर में विशिष्ट वेट सबसेट्स के "जीरो-प्रिजर्विंग" स्वभाव को दिया जाता है।
सीमाएँ: लेखक अपने दायरे में विनम्रता व्यक्त करते हैं। परिणाम निम्नलिखित तक सीमित हैं:
1. स्थानीय लिप्सचिट्ज़ ग्रेडिएंट्स वाले होमोजेनियस नेटवर्क (मानक ReLU को छोड़कर)।
2. डायनेमिक्स केवल मूल बिंदु से बाहर निकलने के बाद मिले पहले सैडल पॉइंट तक ही सीमित है। इस बिंदु के बाद का व्यवहार (जैसे, सैडल से ग्लोबल मिनिमम की ओर निकलना) कवर नहीं किया गया है और इसे भविष्य के कार्य के लिए एक दिशा के रूप में पहचाना गया है।
3. यह धारणा कि प्रारंभिक दिशा NCF के दूसरे-क्रम के पॉजिटिव KKT बिंदु के स्टेबल सेट में स्थित है।

संक्षेप में, यह शोध पत्र "निकट-मूल-बिंदु" चरण और उसके बाद के प्रशिक्षण चरण के बीच के अंतर को पाटता है, यह प्रदर्शित करते हुए कि मूल बिंदु के पास स्थापित संरचनात्मक गुण (विशेष रूप से स्पर्सिटी) उस प्रक्षेपवक्र और स्थिरता को निर्धारित करते हैं जब नेटवर्क फीचर्स सीखना शुरू करता है और पहले सैडल पॉइंट की ओर बढ़ता है।

पहाड़ी के शिखर से महान पलायन

प्रतिरोध का न्यूनतम पथ

विरलता (Sparsity) का जादू: "शून्य" न्यूरॉन्स

यह हमें क्या नहीं बताता (और यह क्या खारिज करता है)

निष्कर्ष

इसी तरह के और पेपर