📊 statistics

Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity

यह शोध पत्र डीप न्यूरल नेटवर्क्स के लिए एक एकीकृत फलन स्थान सिद्धांत (unified function space theory) प्रस्तुत करता है जो यह प्रकट करता है कि जब उपयुक्त मानदंडों द्वारा जटिलता को नियंत्रित किया जाता है, तो गहराई सीमित कार्यात्मक विविधता प्रदान करती है, जो इस धारणा को चुनौती देता है कि ऐसे प्रतिबंधों के तहत गहरे नेटवर्क स्वाभाविक रूप से अधिक अभिव्यंजनात्मकता (expressivity) प्रदान करते हैं।

मूल लेखक: Julia Nakhleh, Robert D. Nowak

प्रकाशित 2026-07-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Julia Nakhleh, Robert D. Nowak

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मिट्टी से एक जटिल मूर्ति बनाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये मूर्तियाँ "फंक्शंस" (गणितीय नियम जो इनपुट को आउटपुट में बदलते हैं) हैं, और मिट्टी "न्यूरल नेटवर्क" है।

लंबे समय तक, शोधकर्ताओं का मानना था कि अपनी मूर्ति को और ऊँचा बनाना (परतें जोड़ना, या "डेप्थ" बढ़ाना) उन अविश्वसनीय रूप से जटिल आकृतियों को बनाने का रहस्य है जिन्हें एक छोटी मूर्ति (एक "शैलो" नेटवर्क) कभी नहीं बना सकती। उन्हें लगा कि डेप्थ एक जादुई मल्टीप्लायर की तरह है जो नेटवर्क को बहुत अधिक कुशलता से काम करने की अनुमति देता है।

हालाँकि, जूलिया नखलेह और रॉबर्ट नोवाक द्वारा लिखा गया यह पेपर सुझाव देता है कि जादू मीनार की ऊँचाई में नहीं है, बल्कि इस बात में है कि हम उपयोग की जाने वाली मिट्टी की मात्रा को कैसे मापते हैं।

समस्या: ईंटों को गिनना बनाम वजन को मापना

अधिकांश पिछले अध्ययनों ने एक नेटवर्क की जटिलता को उसके "ईंटों" (पैरामीटर्स, न्यूरॉन्स, या वेट्स) को गिनकर मापा। यह ऐसा ही है जैसे कहना, "यदि मेरे पास 1,000 ईंटें हैं, तो मैं 100 ईंटों की तुलना में एक बड़ा किला बना सकता हूँ।"

लेकिन आधुनिक एआई में, हमारे पास अक्सर ज़रूरत से कहीं ज़्यादा ईंटें होती हैं। पेपर का तर्क है कि ईंटों को गिनना भ्रामक है। इसके बजाय, हमें संरचना के कुल वजन को मापना चाहिए। यदि आपके पास एक निश्चित "वेट बजट" (नेटवर्क के अंदर की संख्याओं के बड़े होने की एक सीमा) है, तो क्या अधिक परतें जोड़ने से वास्तव में आप नए प्रकार की आकृतियाँ बना पाते हैं, या यह केवल उन्हीं आकृतियों को फैलाने की अनुमति देता है?

नया टूल: एक "फंक्शन स्पेस" रूलर

लेखकों ने न्यूरल नेटवर्क की वास्तविक जटिलता को मापने के लिए एक नया गणितीय रूलर (एक "फंक्शन स्पेस नॉर्म") बनाया।

उपमा: कल्पना कीजिए कि आपके पास लेगो (Lego) के निर्देश हैं।
- पुराना दृष्टिकोण: "यदि आपके पास अधिक स्टेप्स (परतें) हैं, तो आप अधिक जटिल चीजें बना सकते हैं।"
- नया दृष्टिकोण: "यदि आप प्लास्टिक के एक विशिष्ट कुल वजन तक सीमित हैं, तो अधिक स्टेप्स जोड़ने से आपको नई आकृतियाँ नहीं मिलतीं; यह केवल मौजूदा आकृतियों को पतला या मोटा करने की अनुमति देता है।"

उन्होंने पाया कि कई सामान्य प्रकार के न्यूरल नेटवर्क्स के लिए (विशेष रूप से जो "ReLU" एक्टिवेशन फंक्शन का उपयोग करते हैं, जो एक साधारण ऑन/ऑफ स्विच की तरह है), यदि आप वजन को नियंत्रित करते हैं, तो डेप्थ वास्तव में कोई नई रचनात्मक शक्ति नहीं जोड़ती है।

"डेप्थ सैचुरेशन" की खोज

पेपर ने एक घटना का वर्णन किया जिसे वे "डेप्थ सैचुरेशन" कहते हैं।

एक शैलो नेटवर्क को कागज के एक एकल शीट के रूप में सोचें। एक डीप नेटवर्क उस कागज को बार-बार मोड़ने जैसा है।

पुराना विश्वास: कागज को मोड़ना (डेप्थ जोड़ना) आपको ऐसी जटिल ओरिगामी क्रेन्स बनाने की अनुमति देता है जिन्हें एक सपाट शीट कभी नहीं बना सकती।
पेपर का निष्कर्ष: यदि आप कागज की मात्रा (वेट नॉर्म) द्वारा सीमित हैं, तो उसे मोड़ने से वास्तव में आप क्रेन नहीं बना पाते। यह केवल उसी सपाट शीट का थोड़ा बड़ा या छोटा संस्करण बनाने की अनुमति देता है।

एक-आयामी डेटा (जैसे संख्याओं की एक एकल रेखा) के विशिष्ट मामले में, लेखकों ने सिद्ध किया कि एक निश्चित वेट बजट वाला डीप नेटवर्क केवल उन फंक्शन्स को दर्शा सकता है जिन्हें एक शैलो नेटवर्क पहले से ही दर्शा सकता था, बस एक बहुत छोटे, स्थिर कारक द्वारा स्केल किया गया। "डेप्थ" ने कोई नई आकृतियाँ नहीं जोड़ीं; इसने केवल पुरानी आकृतियों को री-स्केल किया।

लोग क्यों सोचते हैं कि डेप्थ शक्तिशाली है?

तो, हम वास्तविक दुनिया में डीप नेटवर्क्स को अद्भुत चीजें करते हुए क्यों देखते हैं? पेपर बताता है कि "डेप्थ सुपिरियोरिटी" के कई प्रसिद्ध उदाहरण "कंपाउंडिंग रीस्केलिंग" पर निर्भर करते हैं।

उपमा: कल्पना कीजिए कि आपके पास एक फोटोकॉपी मशीन है।
- यदि आप एक तस्वीर की कॉपी करते हैं, फिर उस कॉपी की कॉपी करते हैं, फिर उस कॉपी की भी कॉपी करते हैं, तो इमेज धुंधली या विकृत हो जाएगी जब तक कि आप हर स्टेप पर ज़ूम को एडजस्ट न करें।
- डीप नेटवर्क्स में, यदि आपको हर लेयर पर संख्याओं को बहुत बड़ी मात्रा में गुणा करने की अनुमति दी जाती है, तो आप बहुत अधिक उतार-चढ़ाव (जैसे एक बहुत ही टेढ़ा-मेढ़ा, सॉ-टूथ वेव) बना सकते हैं।
- कैच (Catch): लेखकों का नया रूलर इस "ज़ूमिंग" को दंडित करता है। यह कहता है, "यदि आप हर स्टेप पर बहुत अधिक ज़ूम करते हैं, तो आप बहुत अधिक 'वेट' का उपयोग कर रहे हैं।" जब वे इस नियम को लागू करते हैं, तो उन उच्च-आवृत्ति वाले तरंगों (high-frequency oscillations) को बनाने की क्षमता गायब हो जाती है। डीप नेटवर्क उन्हें बनाने के लिए शैलो नेटवर्क से बेहतर नहीं है।

अन्य आकृतियों के बारे में क्या?

पेपर ने अन्य प्रकार के "मिट्टी" (GELU या SiLU जैसे एक्टिवेशन फंक्शन, जो सरल ReLU की तुलना में अधिक स्मूथ हैं) को भी देखा।

उन्होंने पाया कि इन स्मूथ आकृतियों के लिए, डेप्थ कुछ नई संरचनाओं की अनुमति देती है, लेकिन लाभ अभी भी बहुत सीमित है। जो "नई आकृतियाँ" हम बना सकते हैं, वे अक्सर उन आकृतियों के थोड़े विकृत संस्करण होते हैं जिन्हें हम पहले से ही कम परतों के साथ बना सकते थे।

निचोड़ (The Bottom Line)

पेपर निष्कर्ष निकालता है कि डीप लर्निंग का "जादू" आवश्यक रूप से यह नहीं है कि डेप्थ पूरी तरह से नई गणितीय क्षमताएं बनाती है। इसके बजाय, डेप्थ की कथित शक्ति अक्सर परतों के माध्यम से संकेतों को एम्प्लीफाई (बढ़ाने) करने की क्षमता से आती है (रीस्केलिंग)।

जब आप उनके नए "वेट" रूलर का उपयोग करके इस एम्प्लीफिकेशन को नियंत्रित करते हैं, तो डेप्थ और जटिलता के बीच का संबंध बदल जाता है:

डेप्थ मुफ्त का उपहार नहीं है: आप केवल संख्याओं (वेट्स) के आकार की कीमत चुकाए बिना अनंत जटिलता प्राप्त करने के लिए परतें नहीं जोड़ सकते।
शैलो अक्सर पर्याप्त होता है: कई कार्यों के लिए, सही वेट बजट के साथ एक शैलो नेटवर्क उतना ही कर सकता है जितना कि एक डीप नेटवर्क।
हाई फ्रीक्वेंसी महंगी है: बहुत तेज़ी से हिलने वाले (हाई फ्रीक्वेंसी) फंक्शन्स बनाने के लिए, एक डीप नेटवर्क में बहुत अधिक "वेट" की आवश्यकता होती है, न कि केवल अधिक परतों की।

संक्षेप में, पेपर सुझाव देता है कि हमें डेप्थ को एक जादुई छड़ी के रूप में देखना बंद कर देना चाहिए जो नई दुनिया बनाती है, और इसे एक ऐसे उपकरण के रूप में देखना चाहिए जो, जब इसे जिम्मेदारी से (नियंत्रित वेट के साथ) उपयोग किया जाता है, तो हम जो बना सकते हैं उसका केवल एक बहुत ही मामूली विस्तार प्रदान करता है।

तकनीकी सारांश: डीप न्यूरल वेरिएशन स्पेसेस (Deep Neural Variation Spaces)

समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क्स में गहराई (depth) की सैद्धांतिक समझ अभी भी अपूर्ण है। हालांकि अनुभवजन्य साक्ष्य (empirical evidence) यह सुझाव देते हैं कि गहराई प्रतिनिधित्व क्षमता (representational capacity) को बढ़ाती है, मौजूदा सैद्धांतिक ढांचे मुख्य रूप से पैरामीटर-आधारित जटिलता मापों (जैसे चौड़ाई, कुल पैरामीटर संख्या, या सम-ऑफ-स्क्वेर्ड-वेट्स) पर निर्भर करते हैं। ये माप सीखे गए प्रेडिक्टर्स की प्रभावी जटिलता को पकड़ने में विफल रहते हैं, विशेष रूप से ओवरपैरामीटराइज्ड (overparameterized) व्यवस्थाओं में जहाँ पैरामीटर्स की संख्या डेटा के आकार से अधिक होती है। इसके अलावा, डीप नेटवर्क्स के लिए मौजूदा फंक्शन स्पेस सिद्धांत खंडित हैं, अक्सर होमोजेनियस एक्टिवेशन (जैसे ReLU) तक सीमित हैं, और विसंगत जटिलता अवधारणाओं का उपयोग करते हैं जिन्हें तुलना करना कठिन है। एक एकीकृत दृष्टिकोण की आवश्यकता है जो गैर-रैखिकता (nonlinearities) के बार-बार संयोजन से उत्पन्न कार्यात्मक जटिलता (functional complexity) और केवल परतों के माध्यम से संचयी रैखिक रीस्केलिंग (compounded linear rescaling) से उत्पन्न जटिलता के बीच अंतर कर सके।

कार्यप्रणाली (Methodology)

लेखक डीप फुली कनेक्टेड न्यूरल नेटवर्क्स के लिए एक एकीकृत फंक्शन स्पेस सिद्धांत विकसित करते हैं, जिसे डीप न्यूरल वेरिएशन स्पेसेस ( $V_L$ ) कहा जाता है। मुख्य कार्यप्रणाली में निम्नलिखित चरण शामिल हैं:

सामान्यीकृत सक्रियण कार्य (Normalized Activation Functions): होमोजेनियस (जैसे ReLU) और गैर-होमोजेनियस (जैसे GELU, SiLU) दोनों को समान रूप से संभालने के लिए, लेखक एक सामान्यीकृत सक्रियण कार्यों का परिवार $\sigma_s(t) = \sigma(st)/s$ (या डिग्री- $m$ होमोजेनियस कार्यों के लिए $\sigma(st)/s^m$ ) पेश करते हैं। यह फीचर के "आकार" (shape) को उसके "आकार" (size) से अलग करता है, जिससे यह सुनिश्चित होता है कि विभिन्न स्केल वाले फीचर्स एक लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) के अनुपात में नॉर्म कॉस्ट (norm cost) वहन करते हैं।
पुनरावर्ती निर्माण (Recursive Construction): फंक्शन स्पेस को पुनरावर्ती रूप से परिभाषित किया गया है। आधार परत $B_1$ एफाइन फंक्शन्स के एक डिक्शनरी से बनी है। आगामी परतें $B_L$ को $\sigma_s \circ f$ के एब्सोल्यूटली कॉन्वेक्स हल (absolutely convex hull) के रूपas परिभाषित किया गया है, जहाँ $f \in B_{L-1}$ है।
वैरिएशनल नॉर्म्स (Variational Norms): $V_L$ को एक एटोमिक (या गेज) नॉर्म $\|f\|_{V_L}$ से सुसज्जित किया गया है, जो $f \in cB_L$ के लिए $c > 0$ का इन्फिमम (infimum) है। यह नॉर्म एक फंक्शन को पिछली परत के सक्रिय फंक्शनों के कॉनवेक्स कॉम्बिनेशन के रूप में प्रदर्शित करने की "लागत" को मापता है।
इंटीग्रल रिप्रेजेंटेशन (Integral Representations): लेखक स्थापित करते हैं कि $V_L$ के फंक्शन पिछली परत के फंक्शनों और स्केलिंग पैरामीटर्स के ऊपर परिमित मापों (finite measures) के सापेक्ष इंटीग्रल रिप्रेजेंटेशन को स्वीकार करते हैं। यह डीप स्पेस को जनरलाइज्ड बैरॉन स्पेस और न्यूरल ट्री स्पेस से जोड़ता है।
मौजूदा लागतों के साथ तुलना: प्रस्तावित नॉर्म की तुलना अन्य रिप्रजेंटेशन लागतों, जिनमें सम-ऑफ-स्क्वेर्ड-वेट्स (SOSW) और विभिन्न ग्रुप नॉर्म्स ( $\ell_{2,1}$ , $\ell_{1,1}$ ) शामिल हैं, से की जाती है। लेखक प्रदर्शित करते हैं कि उनका नॉर्म फंक्शन स्पेस पर एक वास्तविक बानाच नॉर्म (Banach norm) है, जबकि कई मौजूदा लागतें क्वासी-नॉर्म या एडिटिव पेनल्टी के रूप में कार्य करती हैं जो परतों के माध्यम से फंक्शन आउटपुट के घातीय प्रवर्धन (exponential amplification) को ठीक से नहीं पकड़ पाती हैं।

मुख्य योगदान (Key Contributions)

सामान्य एक्टिवेशन के लिए एकीकृत ढांचा: यह पेपर एक एकल फंक्शन-स्पेस फ्रेमवर्क प्रदान करता है जो व्यापक श्रेणी के निरंतर सक्रियण कार्यों, जिनमें गैर-होमोजेनियस भी शामिल हैं, पर लागू होता है। यह सिद्ध करता है कि कई "ReLU-जैसे" एक्टिवेशन के लिए, प्रेरित फंक्शन स्पेस ReLU स्पेस के नॉर्म-इक्विवेलेंट हैं, जिसमें स्पष्ट डेप्थ-डिपेंडेंट इक्विलिवेंस कांस्टेंट (equivalence constants) दिए गए हैं।
नया रिप्रेंटर थ्योरम (Representer Theorem): लेखक एक रिप्रेंटर थ्योरम सिद्ध करते हैं जो दिखाता है कि $V_L$ पर नॉर्म-पेनलाइज्ड डेटा-फिटिंग समस्याओं के समाधान चुड्डे-बाउंडेड (width-bounded) न्यूरल नेटवर्क्स द्वारा प्राप्त किए जाते हैं। विशेष रूप से, होमोजेनियस एक्टिवेशन के लिए, समाधान एक सीमित-चौड़ाई वाला नेटवर्क है; गैर-होमोजेनियस एक्टिवेशन के लिए, समाधान में लिमिटिंग एटम्स ( $\sigma_0, \sigma_\infty$ ) शामिल हो सकते हैं लेकिन यह चौड़ाई-बाउंडेड रहता है।
फंक्शन-स्पेस कॉम्प्लेक्सिटी बाउंड्स: $B_L$ के वर्स्ट-केस एम्पिरिकल रेडमेकर कॉम्प्लेक्सिटी (Rademacher complexity) और $L_p(\mu)$ मेट्रिक एंट्रॉपी के लिए नवीन बाउंड्स निकाले गए हैं। ये बाउंड्स गहराई के साथ केवल मामूली रूप से बढ़ते हैं (अक्सर $L$ में पॉलिनोमियल या लीनियर, और कई मामलों में 1-लिप्सचिट्ज़ एक्टिवेशन के लिए $L$ से स्वतंत्र), जो पैरामीटर-काउंट-आधारित विश्लेषणों द्वारा निहित घातीय वृद्धि के विपरीत है।
डेप्थ सैचुरेशन परिणाम (Depth Saturation Result): यूनिवैरिएट ReLU केस में, लेखक एक "डेप्थ सैचुरेशन" थ्योरम सिद्ध करते हैं: डीप यूनिट बॉल्स $B_2 \subset B_L \subset 2B_2$ संतुष्ट करती हैं, सभी $L \ge 2$ के लिए। इसका तात्पर्य यह है कि गहराई, उथले क्लास (shallow class) के एक निरंतर रीस्केलिंग के अलावा कोई नया कार्यात्मक विविधीकरण (functional diversity) नहीं जोड़ती है।
फ्रीक्वेंसी कंट्रोल: यूनिवैरिएट सैचुरेशन परिणाम के परिणामस्वरूप, वे दिखाते हैं कि मल्टीवेरिएट डीप नॉर्म-कंट्रोल्ड ReLU क्लासेज में इनपुट डोमेन के किसी भी व्यक्तिगत दिशा में उच्च फ्रीक्वेंसी प्रदर्शित नहीं हो सकती है।

मुख्य परिणाम (Key Results)

नॉर्म इक्विलिवेलेंस: चुनिंदा व्यापक रेंज के एक्टिवेशन (Leaky ReLU, GELU, SiLU, आदि) के लिए, डीप वेरिएशन स्पेस $V_L^\sigma$ ही ReLU स्पेस $V_L^{\text{ReLU}}$ के नॉर्म-इक्विवेलेंट हैं। हालांकि, गैर-होमोजेनियस एक्टिवेशन के लिए इक्विलिवेंस कांस्टेंट गहराई के साथ बढ़ सकते हैं।
कॉम्प्लेक्सिटी बाउंड्स:
- रेडमेकर कॉम्प्लेक्सिटी: जटिलता पॉिलॉगारिदमिक कारकों तक $\sqrt{L}$ (या गैर-1-लिप्सचित एक्टिवेशन के लिए $L$ ) के रूप में बढ़ती है, और यह नेटवर्क की चौड़ाई से स्वतंत्र है।
- मेट्रिक एंट्रॉपी: $B_L$ के मेट्रिक एंट्रॉपी के लिए बाउंड भी इसी तरह है, जो गहराई के साथ मामूली रूप से बढ़ता है। $B_2$ से प्राप्त लोअर बाउंड्स दिखाते हैं कि उच्च इनपुट आयामों के लिए अपर और लोअर बाउंड्स के बीच का अंतर छोटा है।
डेप्थ सैचुरेशन (यूनिवैरिएट ReLU): पेपर सिद्ध करता है कि यूनिवैरिएट ReLU नेटवर्क्स के लिए, गहराई बढ़ाने से $B_2$ के उथले क्लास के एक निरंतर कारक (विशेष रूप से, 2 का कारक) से परे प्रतिनिधित्व योग्य फंक्शन का सेट विस्तारित नहीं होता है। टेलगार्स्की सॉ-टूथ (Telgarsky sawtooth) जैसे फंक्शन, जिन्हें अक्सर गहराई के प्रमाण के रूप में उद्धृत किया जाता है, उन्हें दर्शाने के लिए घातीय बड़े वेट्स (फंक्शन स्पेस नॉर्म में) की आवश्यकता होती है, जो प्रभावी रूप से गहराई के लाभ को निष्प्रभावी कर देता है जब जटिलता को न्यूरॉन काउंट के बजाय नॉर्म द्वारा नियंत्रित किया जाता है।
फ्रीक्वेंसी कंस्ट्रेंट्स: मल्टीवेरिएट डीप ReLU क्लासेज के फंक्शन इनपुट डोमेन की किसी भी रेखा के साथ कम फ्रीक्वेंसी प्रदर्शित करने चाहिए। यदि किसी फंक्शन का एक रेखा पर प्रतिबंध (restriction) एक विशिष्ट स्थिरांक से अधिक सेकंड-डेरिवेटिव टोटल वेरिएशन प्रदर्शित करता है, तो उसे किसी भी डीप नॉर्म-बाउंडेड ReLU क्लास में प्रदर्शित नहीं किया जा सकता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि फंक्शन-स्पेस परिप्रेक्ष्य गहराई और जटिलता के बीच संबंध में नए संरचनात्मक अंतर्दृष्टि प्रदान करता है। प्राथमिक महत्व यह प्रदर्शित करने में है कि कई "डेप्थ सेपरेशन" परिणाम—जहाँ गहरे नेटवर्क्स को उथले नेटवर्क्स की तुलना में उच्च-फ्रीक्वेंसी या जटिल फंक्शन को अधिक कुशलता से दर्शाने का दावा किया जाता है—उन प्रतिनिधित्व लागतों (जैसे पैरामीटर काउंट या SOSW) पर निर्भर करते हैं जो परतों के माध्यम से वेट्स के संचयी रीस्केलिंग को दंडित करने में विफल रहते हैं।

जब जटिलता को एक वास्तविक फंक्शन-स्पेस नॉर्म द्वारा नियंत्रित किया जाता है (जो फंक्शन के आउटपुट के परिमाण को ध्यान में रखता है), तो लेखक तर्क देते हैं कि गहराई के संरचनात्मक लाभ पहले की तुलना में बहुत सीमित हैं। विशेष रूप से:

गहराई यूनिवैरिएट ReLU मामले में स्वाभाविक रूप से नए फंक्शनल शेप्स उत्पन्न नहीं करती है; यह केवल रीस्केलिंग की अनुमति देती है।
डीप नेटवर्क्स की उच्च-फ्रीक्वेंसी फंक्शन को दर्शाने की क्षमता वेट्स को गहराई के साथ घातीय रूप से बढ़ने देने पर निर्भर है, जिसे प्रस्तावित नॉर्म द्वारा दंडित किया जाता है।
डीप नॉर्म-कंट्रोल्ड नेटवर्क्स का इंडक्टिव बायस (inductive bias) इनपुट डोमेन की सभी दिशाओं में फ्रीक्वेंसी कंट्रोल करने का है, न कि मनमाने उच्च-फ्रीक्वेंसी दोलन (oscillations) उत्पन्न करने की क्षमता का।

लेखक निष्कर्ष निकालते हैं कि हालांकि विशिष्ट संदर्भों में गहराई के लाभ हो सकते हैं, लेकिन ये लाभ तब गायब हो जाते हैं जब नेटवर्क की जटिलता को एक ऐसे नॉर्म द्वारा मापा जाता है जो उचित रूप से फंक्शन के परिमाण को नियंत्रित करता है, जो यह सुझाव देता है कि गहराई की "एक्सप्रेसिविटी" अक्सर अनियंत्रित पैरामीटर स्केलिंग का एक आर्टिफैक्ट (artifact) है, न कि गैर-रैखिकता के बार-बार अनुप्रयोग का।