📊 statistics

Optimal Rates for Generalization of Gradient Descent Methods with Deep Neural Networks

यह शोध पत्र डीप रेलु (ReLU) नेटवर्क्स पर लागू ग्रेडिएंट डिसेंट और स्टोकेस्टिक ग्रेडिएंट डिसेंट विधियों के लिए पहले मिनिमैक्स-ऑप्टिमल जनरलाइजेशन रेट्स स्थापित करके डीप लर्निंग में सैद्धांतिक अंतराल को पाटता है, यह प्रदर्शित करते हुए कि पर्याप्त चौड़ाई के साथ, ये विधियाँ कर्नेल विधियों के तुलनीय इष्टतम प्रदर्शन प्राप्त करती हैं।

मूल लेखक: Junyu Zhou, Puyu Wang, Yunwen Lei, Yiming Ying, Ding-Xuan Zhou

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junyu Zhou, Puyu Wang, Yunwen Lei, Yiming Ying, Ding-Xuan Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य तस्वीर: "डीप लर्निंग" का रहस्य

कल्पना कीजिए कि आप एक रोबोट को तस्वीरों में बिल्लियों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे एक विशाल मस्तिष्क (Deep Neural Network) देते हैं जिसमें लाखों सूक्ष्म कनेक्शन होते हैं। आप उसे हजारों तस्वीरें दिखाते हैं और उसे Gradient Descent नामक एक विधि का उपयोग करके परीक्षण और त्रुटि (trial and error) से सीखने देते हैं (मूल रूप से, "यदि मैं गलती करता हूँ, तो अपने मस्तिष्क को थोड़ा विपरीत दिशा में धकेलें")।

आश्चर्यजनक रूप से, भले ही इस रोबोट का मस्तिष्क इस काम के लिए बहुत बड़ा है (यह "overparameterized" है), यह केवल तस्वीरों को रटता नहीं है; बल्कि यह बिल्ली की अवधारणा (concept) को सीख लेता है और उन नई बिल्लियों को भी पहचान सकता है जिन्हें उसने पहले कभी नहीं देखा है। इसे Generalization कहा जाता है।

लंबे समय तक, वैज्ञानिक इस बात से हैरान थे। वे जानते थे कि रोबोट कैसे सीखता है, लेकिन वे गणितीय रूप से यह सिद्ध नहीं कर पा रहे थे कि वह सामान्यीकरण (generalizing) करने में इतना अच्छा क्यों है, खासकर जब मस्तिष्क बहुत गहरा (कई परतों वाला) हो।

पुराना तरीका बनाम नया तरीका

पुरानी थ्योरी (एक "उथला" दृष्टिकोण):
पहले, शोधकर्ता केवल यह सिद्ध कर सकते थे कि यह सीखने का जादू "उथले" (shallow) नेटवर्क के लिए काम करता है (ऐसे मस्तिष्क जिनमें केवल कुछ परतें होती हैं) या बहुत सरल, सुचारू कार्यों के लिए। उन्होंने Neural Tangent Kernel (NTK) नामक एक गणितीय शॉर्टकट का उपयोग किया। NTK को एक "परछाई" या न्यूरल नेटवर्क के "सरलीकृत मानचित्र" के रूप में समझें। इस सरलीकृत दुनिया में, सीखने की प्रक्रिया एक क्लासिक, अच्छी तरह से समझी जाने वाली विधि की तरह दिखती है जिसे Kernel Methods कहा जाता है।

समस्या यह थी: क्या यह "परछाई" वाला मानचित्र गहरे, जटिल नेटवर्क के लिए काम करता है?
गहरे नेटवर्क के लिए इसे सिद्ध करने के पिछले प्रयास विफल रहे। गणित को सही बनाने के लिए, उन्हें यह मानना पड़ा कि नेटवर्क इतना चौड़ा (इसमें इतने न्यूरॉन्स हों) होना चाहिए कि इसकी चौड़ाई गहराई के साथ घातीय (exponentially) रूप से बढ़े।

उपमा: कल्पना कीजिए कि आप एक गगनचुंबी इमारत बनाने की कोशिश कर रहे हैं। पुरानी थ्योरी ने कहा, "100 मंजिला इमारत बनाने के लिए, आपको आधार (foundation) 1,000,000 मील चौड़ा चाहिए।" यह अव्यवहारिक और अवास्तविक है।

नई खोज (यह शोध पत्र):
यह शोध पत्र कहता है: नहीं, आपको इतना चौड़ा आधार चाहिए।
लेखकों ने सिद्ध किया कि "ReLU" एक्टिवेशन (एक विशिष्ट प्रकार का स्विच जो न्यूरॉन्स को चालू या बंद करता है) वाले गहरे नेटवर्क के लिए, सीखने की प्रक्रिया बिल्कुल उस आदर्श "परछाई" वाले मानचित्र की तरह व्यवहार करती है, बशर्ते कि नेटवर्क केवल पॉलीनोमियल (polynomially) रूप से चौड़ा हो।

उपमा: उन्होंने सिद्ध किया कि आप उस 100-मंजिला इमारत को केवल 1,000 मील चौड़े आधार के साथ बना सकते हैं। यह अभी भी विशाल है, लेकिन यह वास्तव में निर्माण योग्य और यथार्थवादी है।

मुख्य उपलब्धि: "इष्टतम दरें" (Optimal Rates)

इस शोध पत्र का मुख्य दावा गति और दक्षता के बारे में है।

सांख्यिकी (statistics) में, "Minimax-Optimal Rate" की एक अवधारणा है। इसे सीखने की "गति सीमा" (speed limit) के रूप में समझें। यह वह सबसे तेज़ गति है जिस पर कोई भी एल्गोरिदम बिना गलती किए किसी विशिष्ट प्रकार की समस्या को सीख सकता है।

दावा: लेखकों ने सिद्ध किया कि इन गहरे नेटवर्क पर Gradient Descent (GD) और Stochastic Gradient Descent (SGD) इस "गति सीमा" को प्राप्त करते हैं।
रूपक: एक दौड़ की कल्पना करें। "Kernel Method" (पुरानी, सरल गणित) एक फेरारी है जो गति सीमा पर चलती है। "Deep Neural Network" को एक जंग लगे ट्रक के रूप में सोचा गया था जो धीमा या अप्रत्याशित हो सकता है। यह पेपर सिद्ध करता है कि, सही परिस्थितियों में, वह जंग लगा ट्रक (deep network) वास्तव में उसी फेरारी की गति से चल रहा है। यह उतना ही तेज़ और सटीक है।

उन्होंने यह कैसे किया (द "सीक्रेट सॉस")

लेखकों को एक बड़े गणितीय अवरोध को पार करना पड़ा। गहरे नेटवर्क में, परतें एक-दूसरे पर एक उलझे हुए तरीके से निर्भर करती हैं। यदि आप पहली परत में एक वजन (weight) बदलते हैं, तो इसका प्रभाव सभी अन्य परतों में फैलता है।

"रैखिक" सन्निकटन (Linear Approximation): उन्होंने जटिल, गैर-रैखिक (non-linear) नेटवर्क को एक सरल, सीधी रेखा (linear) की तरह माना, जो शुरुआती बिंदु के पास होती है।
"अंतराल" की समस्या (The Gap Problem): उन्हें यह सिद्ध करना था कि जटिल गहरा नेटवर्क और "स्वच्छ" सरल मानचित्र (NTK) पूरी प्रशिक्षण प्रक्रिया के दौरान एक-दूसरे के बहुत करीब रहते हैं।
ब्रेकथ्रू: पिछली गणित कहती थी कि ये दोनों बहुत जल्दी अलग हो जाएंगे जब तक कि नेटवर्क असंभव रूप से चौड़ा न हो। लेखकों ने इस विचलन (drift) को मापने के लिए नए, अधिक सटीक उपकरण विकसित किए। उन्होंने दिखाया कि विचलन पर्याप्त रूप से छोटा रहता है जब तक कि नेटवर्क पॉलीनोमियल तरीके से (जैसे, चौड़ाई = गहराई का वर्ग) चौड़ा हो, न कि घातीय (exponential) तरीके से।

परिणामों का सारांश

Gradient Descent (GD) के लिए: उन्होंने सिद्ध किया कि यह गहरे नेटवर्क के लिए सर्वोत्तम संभव सटीकता तक पहुँचता है, बशर्ते नेटवर्क बहुत संकीर्ण न हो।
Stochastic Gradient Descent (SGD) के लिए: यह वह संस्करण है जहाँ रोबोट एक बार में एक फोटो (यादृच्छिक रूप से) से सीखता है। उन्होंने सिद्ध किया कि यह संस्करण भी सटीकता की "गति सीमा" को प्राप्त करता है, और यह पूर्ण GD विधि की तुलना में कम कम्प्यूटेशनल प्रयास के साथ ऐसा करता है।
शर्त: नेटवर्क की चौड़ाई गहराई (depth), डेटा के आकार (data size) और डेटा की जटिलता (complexity of data) के अनुपात में बढ़नी चाहिए, लेकिन केवल एक प्रबंधनीय, पॉलीनोमियल तरीके से।

इसका क्या अर्थ है (शोध पत्र के अनुसार)

शोध पत्र निष्कर्ष निकालता है कि Deep Neural Networks कोई जादुई ब्लैक बॉक्स नहीं हैं। जब मानक विधियों (GD/SGD) के साथ प्रशिक्षित किया जाता है, तो वे सामान्यीकरण (generalize) करने के मामले में सर्वोत्तम संभव शास्त्रीय शिक्षण विधियों (Kernel Methods) के गणितीय रूप से समान होते हैं।

उन्होंने "सरल" लर्निंग और "डीप" लर्निंग के बीच के अंतर को पाट दिया है, यह सिद्ध करते हुए कि डीप लर्निंग उतनी ही सैद्धांतिक रूप से सुदृढ़ है जितनी कि पुरानी विधियाँ, बशर्ते आप नेटवर्क को पर्याप्त (लेकिन असंभव रूप से विशाल नहीं) चौड़ाई दें।

नोट: यह शोध पत्र सख्ती से रिग्रेशन समस्याओं (संख्याओं की भविष्यवाणी करना, जैसे घरों की कीमतें) और Deep ReLU networks पर केंद्रित है। यह दावा नहीं करता कि ये परिणाम अन्य प्रकार के नेटवर्क (जैसे Convolutional या Residual networks) या अन्य एक्टिवेशन फंक्शन पर लागू होते हैं, हालांकि यह सुझाव देता है कि वे भविष्य के दिलचस्प विषय हैं।

तकनीकी सारांश: डीप न्यूरल नेटवर्क के साथ ग्रेडिएंट डिसेंट विधियों के सामान्यीकरण (Generalization) के लिए इष्टतम दरें

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र डीप न्यूरल नेटवर्क (DNNs) के सैद्धांतिक बोध में एक महत्वपूर्ण अंतराल को संबोधित करता है, जिन्हें ग्रेडिएंट डिसेंट द्वारा प्रशिक्षित किया जाता है। जबकि न्यूरल टेंगेंट कर्नेल (NTK) शासन के भीतर हालिया प्रगति ने ओवरपैरामीटराइज्ड नेटवर्क के लिए सांख्यिकीय सामान्यीकरण प्रदर्शन स्थापित किया है, रिग्रेशन समस्याओं पर मौजूदा कार्य मुख्य रूप से उथले (shallow) आर्किटेक्चर तक सीमित हैं या उनके लिए प्रतिबंधात्मक धारणाओं (जैसे कि गहराई $L$ के साथ घातीय चौड़ाई स्केलिंग) की आवश्यकता होती है।

लेखक लीस्ट-स्क्वायर्स रिग्रेशन पर ध्यान केंद्रित करते हैं, जिसमें डीप ReLU नेटवर्क का उपयोग ग्रेडिएंट डिससेंट (GD) और स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) द्वारा किया जाता है। प्राथमिक उद्देश्य यह निर्धारित करना है कि क्या DNNs, शास्त्रीय कर्नेल विधियों के तुलनीय मिनिमैक्स-ऑप्टिमल दरों (minimax-optimal rates) को प्राप्त कर सकते हैं, विशेष रूप से इस धारणा के तहत कि नेटवर्क की चौड़ाई नेटवर्क की गहराई ( $L$ ), नमूना आकार ( $n$ ), और डेटा आयाम ( $d$ ) के संबंध में पॉलिनोमियल (बहुपद) रूप से स्केल करती है, न कि घातीय (exponentially) रूप से।

अतिरिक्त जनसंख्या जोखिम (excess population risk) को $\varepsilon_{\text{risk}}(f_W(T)) = L(f_W(T)) - L(f_\rho) = \frac{1}{2}\|f_W(T) - f_\rho\|_\rho^2$ के रूप में परिभाषित किया गया है, जहाँ $f_\rho$ लक्षित रिग्रेशन फंक्शन है। विश्लेषण दो मानक धारणाओं पर आधारित है:

प्रभावी आयाम (Effective Dimension): हाइपोथीसिस स्पेस की क्षमता को एक पैरामीटर $\gamma \in [0, 1]$ द्वारा अभिलक्षित किया जाता है, जिससे इंटीग्रल ऑपरेटर के रेज़ोलवेंट का ट्रेस $\lambda^{-\gamma}$ के रूप में स्केल होता है।
सोर्स कंडीशन (Source Condition): लक्षित फंक्शन $f_\rho$ में $\beta > 0$ की स्मूथनेस (smoothness) है, जिसे $\|L^{-\beta} f_\rho\|_\rho \leq B$ द्वारा मापा गया है।

2. कार्यप्रणाली और तकनीकी दृष्टिकोण (Methodology and Technical Approach)

मुख्य पद्धतिगत योगदान एक परिष्कृत त्रुटि अपघटन (error decomposition) रणनीति है जो डीप न्यूरल नेटवर्क और कर्नेल विधियों के बीच के अंतर को पाटती है, बिना उन संरचनात्मक गुणों पर निर्भर हुए जो केवल उथले नेटवर्क के लिए मान्य हैं।

2.1 परिष्कृत त्रुटि अपघटन (Refined Error Decomposition)

$T$ इटरेशन के बाद नेटवर्क $f_W(T)$ के लिए, लेखक त्रुटि $\|f_W(T) - f_\rho\|_\rho^2$ को चार पदों में विभाजित करते हैं:
$\|f_W(T) - f_\rho\|_\rho^2 \lesssim \|f_W(T) - f_W^{\text{lin}}(T)\|_\rho^2 + \|f_W^{\text{lin}}(T) - S_m g_T^m\|_\rho^2 + \|S_m g_T^m - S g_T\|_\rho^2 + \|S g_T - f_\rho\|_\rho^2$
जहाँ:

$f_W^{\text{lin}}(T)$ इनिशियलाइजेशन पर नेटवर्क का लीनियर एप्रोक्सिमेशन है।
$g_T^m$ परिमित-चौड़ाई वाले NTK $K_m$ से जुड़े रिप्रोडसिंग कर्नेल हिल्बर्ट स्पेस (RKHS) $\mathcal{H}_m$ में GD/SGD इटरेट है।
$g_T$ अनंत-चौड़ाई वाले NTK $K$ से जुड़े RKHS $\mathcal{H}_K$ में GD इटरेट है।
$S_m$ और $S$ RKHSs से $L^2_{\rho_x}$ में समावेशन मैपिंग (inclusion mappings) हैं।

2.2 प्रमुख तकनीकी चुनौतियाँ और समाधान

शोध पत्र तीन विशिष्ट तकनीकी बाधाओं की पहचान करता है और उन्हें हल करता है जिन्होंने पिछले उथले-नेटवर्क विश्लेषणों को डीप आर्किटेक्चर तक विस्तारित करने से रोका था:

फॉरवर्ड/बैकवर्ड प्रोपेगेशन बाउंड्स: पिछले कार्यों (जैसे [53]) ने गैर-रेखीय नेटवर्क और उसके लीनियर एप्रोक्सिमेशन के बीच विचलन पर बाउंड प्रदान किए थे जो गहराई $L$ के साथ घातीय (exponentially) रूप से स्केल होते थे। लेखक फॉरवर्ड और बैकवर्ड प्रोपेगेशन के विश्लेषण को परिमित प्रशिक्षण सेट से पूरे इनपुट स्पेस $\mathcal{X}$ तक विस्तारित करते हैं। यह उन्हें $\|f_W(T) - f_W^{\text{lin}}(T)\|_\infty^2 \lesssim m^{-1/3} \text{Poly}(L, \eta T)$ का बाउंड स्थापित करने की अनुमति देता है, जिससे चौड़ाई की आवश्यकता $L$ में घातीय से बदलकर पॉलिनोमियल (बहुपद) हो जाती है।
कर्नेल कंसन्ट्रेशन ( $K_m$ बनाम $K$ ): उथले नेटवर्क में, परिमित-चौड़ाई वाला कर्नेल $K_m$ , i.i.d. रैंडम कर्नेल्स का योग होता है, जो मानक कंसन्ट्रेशन तर्क की अनुमति देता है। डीप नेटवर्क में, ग्रेडिएंट्स सभी परतों के भार (weights) पर निर्भर करते हैं, जिससे i.i.d. संरचना टूट जाती है। लेखक $\|K_m - K\|_\infty$ को बाउंड करने के लिए एक परिष्कृत विश्लेषण (Lemma 16) विकसित करते हैं। वे सिद्ध करते हैं कि $m \gtrsim dL^3$ की स्थिति के तहत $\|K_m - K\|_\infty \lesssim m^{-1/6}\sqrt{d}L$ , जो पिछले घातीय स्केलिंग परिणामों की तुलना में ओवरपैरामीटराइजेशन की आवश्यकता को काफी कम कर देता है।
प्रभावी आयाम समानता (Effective Dimension Equivalence): उथले नेटवर्क के लिए, यह दिखाया जा सकता है कि परिमित-चौड़ाई वाले RKHS का प्रभावी आयाम अनंत-चौड़ाई वाली सीमा (limit) से मेल खाता है। डीप नेटवर्क के लिए, यह गैर-तुच्छ (non-trivial) है। सीधे आयामों की तुलना करने के बजाय, लेखक $g_T$ (अनंत-चौड़ाई वाला इटरेट) को एक मध्यवर्ती पद के रूप में पेश करते हैं। वे कर्नेल विसंगति (kernel discrepancy) का उपयोग करके परिमित-चौड़ाई वाले इटरेट और अनंत-चौड़ाई वाले इटरेट के बीच की दूरी ( $\|g_T^m - g_T\|_\rho$ ) को अलग से बाउंड करते हैं, और अनंत-चौड़ाई वाले इटरेट और लक्ष्य के बीच की दूरी ( $\|g_T - f_\rho\|_\rho$ ) को मानक कर्नेल विधि परिणामों का उपयोग करके बाउंड करते हैं। यह डीप केस के लिए सीधे $\tilde{\gamma} = \gamma$ को सिद्ध करने की आवश्यकता को दरकिनार कर देता है।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र निम्नलिखित विशिष्ट योगदान देता है:

डीप नेटवर्क के लिए मिनिमैक्स-ऑप्टिमल दरें: यह डीप ReLU नेटवर्क के लिए दोनों GD और SGD के लिए पहली ज्ञात मिनिमैक्स-ऑप्टिमल अतिरिक्त जनसंख्या जोखिम दर $O(n^{-\frac{2\beta}{2\beta+\gamma}})$ स्थापित करता है।
पॉलिनोमियल विड्थ स्केलिंग: परिणाम इस शर्त के तहत मान्य हैं कि नेटवर्क की चौड़ाई $L, n,$ और $d$ के संबंध में पॉलिनोमियल रूप से स्केल करती है (विशेष रूप से $m \gtrsim \text{Poly}(L, n, d)$ ), जो पिछले डीप रिग्रेशन कार्य द्वारा आवश्यक घातीय चौड़ाई स्केलिंग ( $m \gtrsim \exp(L)$ ) की आवश्यकता को हटा देता है।
NTK ग्राम मैट्रिक्स धारणाओं को हटाना: कुछ पिछले कार्यों के विपरीत, विश्लेषण के लिए NTK ग्राम मैट्रिक्स के न्यूनतम आइगेनवैल्यू के सख्ती से धनात्मक होने की आवश्यकता नहीं है, एक ऐसी स्थिति जो नमूना आकार बढ़ने के साथ अक्सर विफल हो जाती है।
GD और SGD के लिए एकीकृत विश्लेषण: फ्रेमवर्क पूर्ण-बैच GD और वन-पास SGD दोनों के लिए इष्टतम दरें प्रदान करता है, यह प्रदर्शित करते हुए कि SGD कम कम्प्यूटेशनल लागत (ग्रेडिएंट कॉम्प्लेक्सिटी) के साथ समान दरएं प्राप्त कर सकता है।

4. मुख्य परिणाम (Main Results)

धारणा 1 (प्रभावी आयाम) और धारणा 2 (सोर्स कंडीशन) के तहत, और उपयुक्त स्टेप साइज़ और इटरेशन काउंट के साथ:

ग्रेडिएंट डिसेंट (GD): नेटवर्क चौड़ाई $m \gtrsim \text{Poly}(L, d, n)$ के साथ, GD निम्नलिखित अतिरिक्त जोखिम प्राप्त करता है:
$L(f_W(T)) - L(f_\rho) \lesssim n^{-\frac{2\beta}{2\beta+\gamma}} \log^4(n/\delta)$
यह RKHS सेटिंग में कर्नेल विधियों द्वारा प्राप्त की जाने वाली इष्टतम दर से मेल खाता है।
स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD): समान चौड़ाई स्केलिंग और $T \approx n^{\frac{2\beta+1}{2\beta+\gamma}}$ के साथ, SGD प्राप्त करता है:
$\mathbb{E}[L(f_W(T)) - L(f_\rho)] \lesssim n^{-\frac{2\beta}{2\beta+\gamma}} \log^2(n) \log^{2\beta}(n/\delta)$
यह पुष्टि करता है कि SGD भी हल्के ओवरपैरामीटराइजेशन के तहत डीप नेटवर्क के लिए शास्त्रीय कर्नेल परिणामों को दोहरा सकता है।

परिणामों को पेपर की टेबल 1 में संक्षेपित किया गया है, जो पिछले कार्यों के विपरीत है जो उथले नेटवर्क, स्मूथ एक्टिवेशन, या घातीय चौड़ाई तक सीमित थे।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र निम्नलिखित द्वारा डीप लर्निंग में सामान्यीकरण की सैद्धांतिक समझ को महत्वपूर्ण रूप से आगे बढ़ाने का दावा करता है:

डेप्थ गैप को पाटना: यह खुले प्रश्न को हल करता है कि क्या GD/SGD द्वारा प्रशिक्षित DNNs अपने कर्नेल-आधारित समकक्षों के बराबर सामान्यीकरण प्रदर्शन प्राप्त कर सकते हैं। लेखक एक सकारात्मक उत्तर प्रदान करते हैं, यह प्रदर्शित करते हुए कि डीप ReLU नेटवर्क वास्तव में मिनिमैक्स-ऑप्टिमल दरें प्राप्त कर सकते हैं।
व्यावहारिक ओवरपैरामीटराइजेशन: गहराई में नेटवर्क की आवश्यक चौड़ाई को घातीय से पॉलिनोमियल में कम करके, परिणाम व्यावहारिक डीप लर्निंग परिदृश्यों के साथ अधिक निकटता से मेल खाते हैं जहाँ नेटवर्क गहरे हैं लेकिन घातीय रूप से चौड़े नहीं हैं।
एक्टिवेशन फंक्शन्स के प्रति मजबूती: विश्लेषण विशेष रूप से गैर-स्मूथ ReLU एक्टिवेशन को लक्षित करता है, जो अभ्यास में मानक हैं, जबकि पिछले इष्टतम दर परिणाम अक्सर स्मूथ एक्टिवेशन फंक्शन्स तक ही सीमित थे।

लेखक नोट करते हैं कि उनका सिमेट्रिक इनिशियलाइजेशन विश्लेषण को सरल बनाने के लिए एक तकनीकी उपकरण है (यह सुनिश्चित करना कि $f_{W(0)}=0$ ), लेकिन वे सेक्शन 5 में चर्चा करते हैं कि NTK के यूनिफॉर्म कंसन्ट्रेशन गुण सामान्य गैर-सिमेट्रिक इनिशियलाइजेशन के लिए भी मान्य हैं, जो यह सुझाव देते हैं कि परिणाम इस विशिष्ट इनिशियलाइजेशन विकल्प के प्रति मजबूत हैं।

पेपर इन परिणामों को स्मूथ एक्टिवेशन और कनवोल्यूशनल और रेसिडुअल नेटवर्क जैसे अन्य आर्किटेक्चर के साथ डीप नेटवर्क तक विस्तारित करने जैसे भविष्य के दिशा-निर्देशों की पहचान करके समाप्त करता है, लेकिन यह सैद्धांतिक रिग्रेशन सेटिंग से परे कोई प्रयोगात्मक सत्यापन या विशिष्ट अनुप्रयोग डोमेन प्रस्तावित नहीं करता है।