🤖 machine learning

A Qualitative Test-Risk Mechanism for Scaling Behavior in Normalized Residual Networks

यह शोध पत्र एक सैद्धांतिक ढांचा स्थापित करता है जो यह सिद्ध करता है कि नॉर्मलाइज्ड नेटवर्क्स में रेसिड्यूअल ब्लॉक्स को सम्मिलित करने से टेस्ट रिस्क में सुधार होता है, क्योंकि यह स्केलिंग लाभ को एक कम-जोखिम वाले "जंपबोर्ड" मॉडल से प्राप्त होने वाले रिप्रेजेंटेशनल गेन्स और नॉर्म-आधारित रेडेमेकर कॉम्प्लेक्सिटी बाउंड्स के माध्यम से नियंत्रित जनरलाइजेशन में विघटित करता है।

मूल लेखक: Daning Cheng, Zeyu Liu, Jun Sun, Fen Xia, Boyang Zhang, Dongping Liu, Yunquan Zhang

प्रकाशित 2026-05-12

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daning Cheng, Zeyu Liu, Jun Sun, Fen Xia, Boyang Zhang, Dongping Liu, Yunquan Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, अच्छी तरह से प्रशिक्षित रोबोट है (आइए इसे ओल्ड मॉडल कहें) जो पहले से ही एक पहेली को हल करने में काफी अच्छा है। आप इसे और भी बेहतर बनाना चाहते हैं। AI की दुनिया में सामान्य प्रवृत्ति यह है कि बस रोबोट को बड़ा बनाया जाए: अधिक परतें (layers) जोड़ें, इसे और गहरा बनाएं, या इसे अधिक "मांसपेशियां" (चौड़ाई) दें। लेकिन केवल चीजों को बड़ा करने से हमेशा यह गारंटी नहीं मिलती कि वे स्मार्ट हो जाएंगी। कभी-कभी, आपको केवल एक बड़ा, भुलक्कड़ रोबोट मिलता है जो भ्रमित हो जाता है।

यह शोध पत्र एक बहुत ही विशिष्ट प्रश्न पूछता है: यदि हम एक प्रशिक्षित रोबोट के मस्तिष्क के बिल्कुल बीच में एक नया, छोटा "सहायक" मॉड्यूल सर्जिकल तरीके से डाल देते हैं, तो क्या हम गणितीय रूप से सिद्ध कर सकते हैं कि नया रोबोट वास्तव में बेहतर प्रदर्शन करेगा?

लेखक कहते हैं "हाँ, लेकिन केवल विशिष्ट स्थितियों के तहत।" उन्होंने यह समझाने के लिए कि कब और क्यों गहराई जोड़ना काम करता है, एक तीन-चरणीय रेसिपी विकसित की है।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. "जंपबोर्ड" की अवधारणा (सुधार की क्षमता)

कल्पना कीजिए कि रोबोट एक सपाट पठार पर खड़ा है। वह ठीक कर रहा है, लेकिन वह और ऊपर जाना चाहता है।

ओल्ड मॉडल: पठार पर खड़ा है।
नया ब्लॉक: आप रोबोट के पथ में एक छोटा, स्प्रिंग-लोडेड "जंपबोर्ड" (एक नया रेसिडुअल ब्लॉक) डालते हैं।
शर्त: इसके काम करने के लिए, जंपबोर्ड को रोबोट को एक ऐसी दिशा में धकेलने में सक्षम होना चाहिए जो वास्तव में "ऊपर की ओर" (त्रुटि कम करने की ओर) ले जाए। यदि जंपबोर्ड टूटा हुआ है या ऐसी दिशा में धकेलता है जो कहीं नहीं ले जाती (लक्ष्य के लंबवत है), तो इसे जोड़ना बेकार है।
दावा: शोध पत्र यह सिद्ध करता है कि जब तक यह नया ब्लॉक एक ऐसी छोटी दिशा खोज सकता है जहाँ रोबोट बेहतर हो सकता है, तब तक "विस्तारित" (expanded) रोबोट में सैद्धांतिक रूप से पुराने वाले से बेहतर संस्करण शामिल होता है। यह ऐसा ही है जैसे कहना, "यदि आप घर में एक नया दरवाजा जोड़ते हैं, तो इस संभावना है कि उस दरवाजे से जाने वाला रास्ता बेहतर दृश्य की ओर ले जाएगा।"

2. सफलता के तीन घटक

लेखक स्केलिंग प्रक्रिया को तीन अलग-अलग भागों में विभाजित करते हैं, जैसे कि एक रिले रेस हो:

घटक A: रिप्रजेंटेशन गेन (मैप/नक्शा)
- उपमा: क्या नए नक्शे में बेहतर मार्ग है?
- व्याख्या: नए ब्लॉक को रोबोट की सोच में एक नया "निर्देश" (direction) बनाना चाहिए जो पहले संभव नहीं था। शोध पत्र सिद्ध करता है कि यदि नया ब्लॉक शुरुआत में "मृत" (जीरो इनिशियलाइजेशन) नहीं है, तो यह बेहतर समाधान का मार्ग बनाता है।
घटक B: ऑप्टिमाइजेशन गेन (धावक)
- उपमा: क्या धावक वास्तव में उस पथ पर दौड़ सकता है?
- व्याख्या: सिर्फ इसलिए कि एक बेहतर पथ मौजूद है, इसका मतलब यह नहीं है कि रोबदान उसे ढूंढ लेगा। प्रशिक्षण एल्गोरिदम (धावक) को वास्तव में उस पथ पर यात्रा करने और त्रुटि को कम करने में सक्षम होना चाहिए। शोध पत्र यह मान लेता है कि प्रशिक्षण इतना अच्छा है कि वह सैद्धांतिक "जंपबोर्ड" पथ के कम से कम बराबर परिणाम खोजने में सक्षम है।
घटक C: जनरलाइजेशन ट्रांसफर (मौसम)
- उपमा: क्या मौसम (डेटा में शोर) दौड़ को खराब कर देगा?
- व्याख्या: भले ही रोबोट अपने प्रशिक्षण डेटा पर एक बेहतर पथ खोज ले, क्या यह नए डेटा पर काम करेगा जिसे उसने पहले नहीं देखा है? रोबोट के हिस्सों को जोड़ने से वह अधिक जटिल हो जाता है, जो आमतौर पर सामान्यीकरण (generalize) करना कठिन बना देता है (यह सीखने के बजाय प्रशिक्षण डेटा को रट सकता है)। शोध पत्र इस जटिलता को जोड़ने के लिए एक "सांख्यिकीय लागत" (statistical cost) की गणना करता है। यदि नए ब्लॉक से होने वाला सुधार, जोड़ी गई जटिलता की लागत से अधिक है, तो रोबोट जीत जाता है।

3. प्रमाण के दो "मार्ग"

शोध पत्र स्थिति के आधार पर नए रोबोट के बेहतर होने को सिद्ध करने के दो अलग-अलग तरीके प्रदान करता है:

मार्ग 1: "सुरक्षित" पथ (पॉपुलेशन रिस्क)
- यह मार्ग मानता है कि हमें दुनिया के बारे में "पूर्ण सत्य" (population) पता है। यह तब बहुत अच्छा काम करता है जब पुराने और नए संभावित अंतर के बीच एक स्पष्ट, स्पष्ट अंतर हो। यह एक स्पष्ट पहाड़ की चोटी को देखने जैसा है।
मार्ग 2: "मजबूत" पथ (ट्रेन/टेस्ट स्तर)
- यह मार्ग उस स्थिति के लिए है जब दृश्य धुंधला हो (सबसे "गहरे" मॉडल जहाँ सुधार बहुत सूक्ष्म होते हैं)। यह पूर्ण सत्य जानने पर निर्भर नहीं करता है। इसके बजाय, यह सीधे प्रशिक्षण डेटा पर रोबोट के प्रदर्शन की तुलना परीक्षण डेटा से करता है। यह तब अधिक मजबूत होता है जब सुधार इतने छोटे होते हैं कि सांख्यिकी का "कोहरा" उन्हें छिपा सकता है।

4. गहराई, चौड़ाई और डेटा की भूमिकाएँ

शोध पत्र स्पष्ट करता है कि स्केलिंग समीकरण का प्रत्येक भाग वास्तव में क्या करता है:

गहराई (वास्तुकार/Architect): गहराई नए विचारों का स्रोत है। एक परत जोड़ने से रोबोट के लिए नए "निर्देश" (directions) खोजने की संभावना पैदा होती है। यह सुधार की संभावना बनाता है।
चौड़ाई (स्पॉटलाइट/Spotlight): चौड़ाई आवर्धक लेंस (magnifying glass) है। जब रोबोट बहुत गहरा होता है, तो नए "विचार" (सुधार के संकेत) बहुत कमजोर और धुंधले हो जाते हैं। एक चौड़ा रोबोट (अधिक समानांतर प्रसंस्करण) एक उज्जवल स्पॉटलाइट की तरह कार्य करता है, जो उन धुंधले संकेतों को दृश्यमान और विश्वसनीय बनाता है। पर्याप्त चौड़ाई के बिना, संकेत शोर में खो जाता है।
डेटा (वॉलेट/बटुआ): डेटा मुद्रा (currency) है। जब भी आप रोबोट को अधिक जटिल बनाते हैं (गहरा या चौड़ा), तो आपको यह सुनिश्चित करने के लिए एक "सांख्यिकीय टैक्स" चुकाना पड़ता है कि वह केवल प्रशिक्षण डेटा को याद न कर ले। आपको इतना डेटा चाहिए ताकि आप इस टैक्स का भुगतान कर सकें। यदि आप जटिलता जोड़ते हैं लेकिन डेटा नहीं बढ़ाते, तो रोबोट भ्रमित हो जाता है और खराब प्रदर्शन करता है।

"सबसे गहरे मॉडल" की सीमा

शोध पत्र एक सीमा के बारे में भी चर्चा करता है। कल्पना कीजिए कि आप परतें जोड़ते जा रहे हैं। अंततः, आप एक ऐसे बिंदु पर पहुँच जाते हैं जहाँ रोबोट इतना अनुकूलित (optimized) हो जाता है कि एक और परत जोड़ने से कोई नया "ऊपर की ओर" जाने वाला मार्ग नहीं मिलता। "जंपबोर्ड" सपाट है।

इस बिंदु पर, अधिक गहराई जोड़ना तब तक बेकार है जब तक कि आप चौड़ाई (धुंधले संकेतों को दृश्यमान बनाने के लिए) और डेटा (टैक्स चुकाने के लिए) को भी नहीं बढ़ाते हैं।
शोध पत्र सुझाव देता है कि "स्केलिंग" केवल चीजों को बड़ा बनाने के बारे में नहीं है; यह गहराई (नए दिशा), चौड़ाई (दिशाओं को देखना), और डेटा (जटिलता के लिए भुगतान करना) के बीच संतुलन बनाने के बारे में है।

सारांश

संक्षेप में, यह शोध पत्र एक गणितीय "नियम पुस्तिका" प्रदान करता है कि कब न्यूरल नेटवर्क में एक नई परत जोड़ने से वास्तव में मदद मिलती है। यह कहता है:

परतें अंधे होकर न जोड़ें। नई परत को सुधार के लिए एक नया पथ खोजने में सक्षम होना चाहिए।
आपको एक संतुलन की आवश्यकता है। यदि आप बहुत गहरे जाते हैं, तो आपको सुधारों को देखने के लिए चौड़ा भी होना चाहिए, और भ्रमित होने से बचने के लिए आपको अधिक डेटा भी जोड़ना होगा।
यह एक व्यापार-बंद (trade-off) है। नई परत का लाभ अतिरिक्त जटिलता की "लागत" से अधिक होना चाहिए।

शोध पत्र यह दावा नहीं करता है कि यह सभी AI समस्याओं को हल कर देगा या सीधे चिकित्सा निदान (medical diagnosis) पर लागू होगा; यह केवल इस बात के पीछे के "मैकेनिक्स" को समझाता है कि क्यों और कब एक न्यूरल नेटवर्क को गहरा बनाना वास्तव में बेहतर प्रदर्शन की ओर ले जाता है।

तकनीकी सारांश: नॉर्मलाइज्ड रेसिडुअल नेटवर्क में स्केलिंग व्यवहार के लिए एक गुणात्मक टेस्ट-रिस्क तंत्र

1. समस्या विवरण

आधुनिक डीप लर्निंग एक मजबूत अनुभवजन्य नियमितता प्रदर्शित करता है: मॉडल का आकार (गहराई और चौड़ाई) और प्रशिक्षण डेटा बढ़ने पर टेस्ट प्रदर्शन अक्सर अनुमानित रूप से सुधरता है। हालांकि, इस "स्केलिंग व्यवहार" का सैद्धांतिक आधार अधूरा है। विशेष रूप से, मौजूदा सिद्धांत अक्सर यह समझाने में विफल रहता है कि कब गहराई बढ़ाना वास्तव में टेस्ट रिस्क (test risk) में सुधार करता है। केवल यह प्रेक्षण करना कि एक गहरा हाइपोथीसिस क्लास (hypothesis class) बड़ा है, पर्याप्त नहीं है; हमें यह प्रदर्शित करना होगा कि विस्तारित क्लास में वास्तव में एक बेहतर फंक्शन मौजूद है, अनुकूलन (optimization) उस लाभ को साकार कर सकता है, और वह लाभ परिमित-नमूना सांख्यिकीय त्रुटि (finite-sample statistical error) के बावजूद बना रहता है।

यह शोध पत्र नॉर्मलाइज्ड रेसिडुअल नेटवर्क में डेप्थ एक्सपेंशन (depth expansion) की विशिष्ट समस्या को संबोधित करता है। एक प्रशिक्षित संदर्भ मॉडल $f^*_{old}$ से शुरू करते हुए, लेखक उन स्थितियों की जांच करते हैं जिनमें एक मध्यवर्ती परत (intermediate layer) पर एक नया रेसिडुअल ब्लॉक डालने से टेस्ट रिस्क में प्रमाणित सुधार होता है।

2. कार्यप्रणाली और ढांचा

लेखक एक एकीकृत विश्लेषणात्मक ढांचे को विकसित करते हैं जो स्केलिंग प्रश्न को तीन अलग-अलग घटकों में विभाजित करता है: रिप्रेजेंटेशनल गेन (representational gain), ऑप्टिमाइज़ेशन गेन (optimization gain), और जनरलाइजेशन ट्रांसफर (generalization transfer)।

2.1 मुख्य परिभाषाएं और सेटअप

मॉडल एक्सपेंशन (Model Expansion): नेटवर्क को एक मध्यवर्ती परत $l^*$ पर $f = f_{top} \circ f_{bot}$ के रूप में विघटित किया जाता है। एक नया रेसिडुअल ब्लॉक $h_\theta$ इस प्रकार डाला जाता है कि नया हाइपोथीसिस क्लास $H_{new} = \{x \mapsto f_{top}(f_{bot}(x) + h_\theta(f_{bot}(x))\}$ बन जाता है।
जीरो इनिशियलाइजेशन (Zero Initialization): डाला गया ब्लॉक इस तरह पैरामीटराइज्ड है कि $h_0 = 0$ , जो यह सुनिश्चित करता है कि विस्तारित क्लास में मूल मॉडल शामिल है।
जंपबोर्ड मॉडल्स (Jumpboard Models): लेखक "जंपबोर्ड मॉडल" की अवधारणा पेश करते हैं, जो $H_{new}$ $H_{n e w}$ में एक नियर-आइडेंटिटी मॉडल है, जो जीरो इनिशियलाइजेशन के पास एक स्थानीय डिसेंट दिशा (descent direction) के साथ $f^*_{old}$ $f_{o l d}^{*}$ में सुधार करता है। दो संस्करण परिभाषित किए गए हैं:
- पॉपुलेशन जंपबोर्ड ( $\tilde{f}_{pop}$ ): जो जनसंख्या के फर्स्ट-ऑर्डर डिसेंट डायरेक्शन से निर्मित है।
- ट्रेनिंग-सेट जंपबोर्ड ( $\tilde{f}_S$ ): जो ट्रेनिंग सेट पर एक एम्पिरिकल फर्स्ट-ऑर्डर डिसेंट डायरेक्शन से निर्मित है।

2.2 मुख्य धारणाएं और शर्तें

सैद्धांतिक परिणाम कई संरचनात्मक धारणाओं पर निर्भर करते हैं:

पाथवाइज डिफरेंशिएबिलिटी (Pathwise Differentiability): लॉस, जीरो इनिशियलाइजेशन के पास रेसिडुअल ब्लॉक पैरामीटर्स के सापेक्ष डिफरेंशिएबल है।
लिप्सचिट्ज़ बाउंडेडनेस (Lipschitz Boundedness): लॉस और टॉप मैप $f_{top}$ लिप्सचिट्ज़ निरंतर (Lipschitz continuous) हैं।
ग्रेडिएंट-कोवेरियेंस कंट्रोल (Gradient-Covariance Control): एक्टिवेशन ग्रेडिएंट्स के स्पेक्ट्रल गुण सीमित हैं (Assumption 3), जिसे लगभग डायगोनल कोवेरियंस स्ट्रक्चर द्वारा अनुभवजन्य रूप से समर्थित किया गया है।
नॉर्मलाइज्ड रेसिडुअल रेगुलैरिटी (Normalized Residual Regularity): नेटवर्क विशिष्ट लिप्सचिट्ज़ और नॉन-डेजेनरेसी गुणों वाले नॉर्मलाइजेशन ऑपरेटर्स (जैसे RMSNorm, LayerNorm) का उपयोग करता है। व्यावहारिक सिंगुलैरिटीज़ को संभालने के लिए एक "इंजीनियरिंग- $\epsilon$ " विकल्प प्रदान किया गया है।
फर्स्ट-ऑर्डर नॉन-डेजेनरेसी (शर्त 1): एक पैरामीटर दिशा $v$ मौजूद है जिससे डाला गया ब्लॉक एक्टिवेशन-ग्रेडिएंट सिग्नल के सापेक्ष एक गैर-तुच्छ (nontrivial) फर्स्ट-ऑर्डर डिसेंट दिशा बनाता है। यह एक सौम्य शर्त है जो "इम्प्रुवेबल रिजीम" (improvable regime) को परिभाषित करती है।
ऑप्टिमाइज़ेशन सिलेक्शन (शर्त 2): अंतिम चयनित मॉडल $f_{new}$ ट्रेनिंग सेट पर जंपबोर्ड मॉडल से खराब नहीं है (इसे फॉलबैक नियम के माध्यम से औपचारिक रूप दिया गया है)।

2.3 सैद्धांतिक मार्ग

पेपर टेस्ट-रिस्क सुधार को सिद्ध करने के लिए दो पूरक मार्ग स्थापित करता है:

रूट A (पॉपुलेशन-रिस्क रूट): यह जनसंख्या जोखिम के माध्यम से गुजरता है। यह एक नियत (deterministic) जनसंख्या मार्जिन $\Delta_R$ पर निर्भर करता है और बाउंड्स को टेस्ट सेट तक स्थानांतरित करने के लिए होफडिंग की असमानता (Hoeffding's inequality) का उपयोग करता है। यह रूट तब अधिक सटीक बाउंड्स देता है जब एक सकारात्मक जनसंख्या मार्जिन उपलब्ध होता है।
रूट B (डायरेक्ट ट्रेन/टेस्ट रूट): यह सीधे ट्रेन/टेस्ट स्तर पर काम करता है, जनसंख्या जोखिम और होफडिंग ट्रांसफर को बायपास करता है। यह दोनों ट्रेनिंग और टेस्ट सेट पर नॉर्म-बेस्ड जनरलाइजेशन बाउंड्स का उपयोग करता है। यह रूट उन "डेजेनरेट रिजीम्स" में अधिक मजबूत है जहाँ जनसंख्या मार्जिन बहुत छोटा हो जाता है।

3. मुख्य योगदान

यह पेपर तीन प्राथमिक योगदान देता है:

एकीकृत विश्लेषणात्मक ढांचा: लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो स्पष्ट रूप से रिप्रेजेंटेशनल गेन (एक बेहतर मॉडल का अस्तित्व), ऑप्टिमाइज़ेशन गेन (उस मॉडल का साकार होना), और जनरलाइजेशन ट्रांसफर (सांख्यिकीय लागत) को अलग करता है। यह बड़े हाइपोथीसिस क्लास को बेहतर प्रदर्शन के समान मानने के सामान्य शॉर्टकट से बचता है।
दो पूरक स्केलिंग-मैकेनिज्म थ्योरम्स:
- थ्योरम 1 और 2 (पॉपुलेशन रूट): यह स्थापित करते हैं कि यदि रिप्रेजेंटेशनल गेन ( $\Delta_R$ ) और ऑप्टिमाइज़ेशन गेन ( $\Delta_{ERM}$ ), जनरलाइजेशन कॉस्ट ( $2\epsilon_M$ ) पर हावी होते हैं, तो टेस्ट रिस्क स्पष्ट रूप से सुधरता है। यह रूट अधिक सटीक है लेकिन इसके लिए एक गैर-लुप्त होने वाले जनसंख्या मार्जिन की आवश्यकता होती है।
- थ्योरम 3 (डायरेक्ट रूट): एक रैंडम फाइनाइट-टेस्ट मार्जिन ( $\Delta_{test}^R$ ) का उपयोग करके एक समान गारंटी स्थापित करता है। यह रूट डेजेनरेट रिजीम्स में अधिक मजबूत है जहाँ जनसंख्या मार्जिन लुप्त हो जाता है, क्योंकि यह होफडिंग बाउंड्स में पाए जाने वाले मार्जिन साइज के घातांकीय (exponential) निर्भरता से बचता है।
स्केलिंग भूमिकाओं का स्पष्टीकरण: विश्लेषण गहराई, चौड़ाई और डेटा की भूमिकाओं को सैद्धांतिक रूप से अलग करता है:
- गहराई (Depth): नए सुधार वाले दिशाओं का निर्माण करती है (अस्तित्व संबंधी भूमिका)।
- चौड़ाई (Width): कमजोर फर्स्ट-ऑर्डर सिग्नल्स की परिमित-नमूना दृश्यता (observability) को बढ़ाती है (स्थिरीकरण भूमिका)।
- डेटा (Data): जनरलाइजेशन पेनल्टी के क्षय को नियंत्रित करता है, यह निर्धारित करता है कि क्या विस्तार की सांख्यिकीय लागत को कम किया जा सकता है।

4. परिणाम और अनुभवजन्य सत्यापन

4.1 सैद्धांतिक परिणाम

मुख्य थ्योरम्स उन स्थितियों को प्रदान करते हैं जिनमें $L_{test}(f_{new}) < L_{test}(f^*_{old})$ होता है।

पॉपुलेशन रूट: $L_{test}(f_{new}) \le L_{test}(f^*_{old}) - \frac{\Delta_R}{2} - \Delta_{ERM} + 2\epsilon_M$ ।
डायरेक्ट रूट: $L_{test}(f_{new}) \le L_{test}(f^*_{old}) - \Delta_{test}^R - \Delta_{ERM} + 2(\epsilon_M + \epsilon_K)$ ।
पेपर एक "डीपेस्ट-मॉडल" (deepest-model) रिजीम भी निकालता है जहाँ फर्स्ट-ऑर्डर सिग्नल लुप्त हो जाता है, जो यह सुझाव देता है कि जब तक चौड़ाई या डेटा क्षतिपूर्ति के लिए स्केल नहीं होता, तब तक और अधिक गहराई विस्तार से कोई सख्त सुधार नहीं होता।

4.2 अनुभवजन्य निष्कर्ष

CIFAR-10, CIFAR-100 और ImageNet पर प्रयोग सैद्धांतिक घटकों की पुष्टि करते हैं:

कोवेरियेंस स्ट्रक्चर: एक्टिवेशन ग्रेडिएंट्स लगभग डायगोनल कोवेरियंस प्रदर्शित करते हैं, जो ग्रेडिएंट-कोवेरियेंस कंट्रोल धारणा का समर्थन करते हैं।
सिग्नल क्षय (Signal Decay): जैसे-जैसे गहराई बढ़ती है, फर्स्ट-ऑर्डर एक्टिवेशन-ग्रेडिएंट सिग्नल का परिमाण घटता है, जो "डीपेस्ट-मॉडल" व्याख्या का समर्थन करता है।
संयुक्त स्केलिंग (Joint Scaling): संयुक्त गहराई और चौड़ाई स्केलिंग के साथ टेस्ट लॉस में सुधार होता है। हालांकि, पर्याप्त चौड़ाई के बिना केवल गहराई बढ़ाने से गैर-मोनोटोनिक प्रदर्शन (टेस्ट लॉस में उछाल) होता है, जो पुष्टि करता है कि गहरे रिजीम्स में लाभों की दृश्यता को स्थिर करने के लिए चौड़ाई आवश्यक है।

4.3 पावर लॉ से संबंध

परिशिष्ट M में, लेखक दिखाते हैं कि फर्स्ट-ऑर्डर सिग्नल के क्षय (Assumptions G और G') के संबंध में अतिरिक्त धारणाओं के तहत, गुणात्मक तंत्र को पावर-लॉ स्केलिंग संबंध में बदला जा सकता है। यह सुझाव देता है कि देखे गए अनुभवजन्य पावर लॉ सिग्नल क्षय के विशिष्ट एसिम्प्टोटिक व्यवहार के साथ मिलकर अंतर्निहित गुणात्मक तंत्र का परिणाम हैं।

5. महत्व और दावे

यह पेपर दावा करता है कि यह एक थ्योरम-ड्रिवन मैकेनिज्म प्रदान करता है जो बताता है कि कब रेसिडुअल डेप्थ एक्सपेंशन टेस्ट प्रदर्शन में सुधार करता है। इसका महत्व निम्नलिखित में निहित है:

अनुभववाद से आगे बढ़ना: यह स्केलिंग कानूनों के लिए एक कठोर सैद्धांतिक औचित्य प्रदान करता है, जो केवल अवलोकन के बजाय रिप्रेजेंटेशनल, ऑप्टिमाइज़ेशन और जनरलाइजेशन कारकों से जुड़ी प्रमाणित स्थितियों को शामिल करता है।
संयुक्त स्केलिंग परिप्रेक्ष्य: यह गहराई, चौड़ाई और डेटा को स्वतंत्र स्केलिंग अक्षों के रूप में देखने की चुनौती देता है। इसके बजाय, यह तर्क देता है कि वे स्वाभाविक रूप से जुड़े हुए हैं: गहराई अवसर बनाती है, चौड़ाई उन्हें दृश्यमान बनाती है, और डेटा सांख्यिकीय लागत चुकाता है।
डेजेनरेट रिजीम्स में मजबूती: एक डायरेक्ट ट्रेन/टेस्ट रूट (थ्योरम 3) प्रदान करके, ढांचा तब भी सार्थक रहता है जब जनसंख्या-स्तर का सिग्नल कमजोर होता है, जो बहुत गहरे या संतृप्त (saturated) मॉडल्स में एक सामान्य परिदृश्य है।

लेखक स्पष्ट रूप से कहते हैं कि उनके परिणाम गुणात्मक (qualitative) हैं और विशिष्ट अनुभवजन्य अनुपात (जैसे चिनचिला में सटीक टोकन-टू-पैरामीटर अनुपात) की भविष्यवाणी नहीं करते हैं। इसके बजाय, वे डेटा ग्रोथ को मॉडल कॉम्प्लेक्सिटी के साथ जोड़ने की संरचनात्मक आवश्यकता का समर्थन करते हैं। यह ढांचा नॉर्मलाइज्ड रेसिडुअल नेटवर्क के लिए डिज़ाइन किया गया है लेकिन तर्क दिया गया है कि यह ट्रांसफॉर्मर-जैसे ब्लॉक्स तक विस्तारित हो सकता है यदि रेगुलरिटी शर्तें लागू हों।