📊 statistics

A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning

यह शोध पत्र एक विश्लेषणात्मक सिद्धांत प्रस्तुत करता है जो यह प्रदर्शित करता है कि नेटवर्क परतों के बीच इनिशियलाइजेशन (आरंभीकरण) का सापेक्ष पैमाना विशिष्ट फाइन-ट्यूनिंग व्यवस्थाओं को निर्धारित करता है, जहाँ शुरुआती परतों में छोटा इनिशियलाइजेशन डाउनस्ट्रीम कार्यों पर बेहतर सामान्यीकरण के लिए उत्कृष्ट फीचर पुन: उपयोग और परिशोधन को सक्षम बनाता है।

मूल लेखक: Nicolas Anguita, Francesco Locatello, Andrew M. Saxe, Marco Mondelli, Flavia Mancini, Samuel Lippl, Clementine Domine

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nicolas Anguita, Francesco Locatello, Andrew M. Saxe, Marco Mondelli, Flavia Mancini, Samuel Lippl, Clementine Domine

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ को प्रशिक्षित कर रहे हैं। पहले, आप उन्हें एक विशाल पाक विद्यालय (यह प्रीट्रेनिंग - Pretraining है) में भेजते हैं जहाँ वे सामग्रियों के एक विशाल पुस्तकालय का उपयोग करके हजारों अलग-अलग व्यंजन बनाना सीखते हैं। फिर, आप उन्हें एक विशिष्ट कार्य के लिए नियुक्त करते हैं, जैसे कि एक छोटी, विशेष बेकरी चलाना (यह फाइन-ट्यूनिंग - Fine-tuning है)।

बड़ा सवाल जो यह शोध पत्र पूछता है वह यह है: हम शेफ की शुरुआती मानसिकता को कैसे सेट करें ताकि वह बड़े स्कूल से छोटी बेकरी में बेहतर ढंग से ढल सके?

लेखकों ने पाया कि उत्तर इस बात में छिपा है कि आप शेफ के मस्तिष्क को कैसे "इनिशियलाइज़" (शुरुआत) करते हैं—विशेष रूप से, उनके मस्तिष्क के विभिन्न हिस्सों में उनके "सामग्रियों" (वजन/weights) के सापेक्ष आकार में। उन्होंने पाया कि आपके द्वारा शुरुआती वजन को कैसे सेट किया जाता है, इसके आधार पर शेफ चार अलग-अलग "मोड्स" (modes) में से एक में गिर जाता है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. सीखने के चार मोड (The Four Modes of Learning)

यह शोध पत्र चार अलग-अलग तरीकों की पहचान करता है जिनसे एक न्यूरल नेटवर्क (हमारा शेफ) प्रीट्रेनिंग से फाइन-ट्यूनिंग में जाने पर व्यवहार करता है। ये मोड शुरुआती वजन के स्केल (कितने बड़े या छोटे नंबर हैं) और सापेक्ष स्केल (दूसरे भाग की तुलना में पहले भाग का आकार कितना है) द्वारा निर्धारित होते हैं।

मोड I: "ताज़ा शुरुआत" (समृद्ध, प्रीट्रेनिंग-स्वतंत्र)
- उपमा: शेफ पाक विद्यालय को पूरी तरह से अनदेखा कर देता है। वे बेकरी को एक पूरी तरह से नई चुनौती मानते हैं और सब कुछ शून्य से सीखते हैं, अपने पिछले ज्ञान को नजरअंदाज करते हुए।
- कब मदद करता है: यह तब बहुत अच्छा है जब बेकरी में ऐसे कौशल की आवश्यकता हो जो शेफ ने स्कूल में कभी नहीं सीखे (जैसे, स्कूल ने फ्रांसीसी व्यंजन सिखाए, लेकिन बेकरी को सुशी बनाने की आवश्यकता है)।
मोड II: "कठोर नकलची" (आलसी, प्रीट्रेनिंग-निर्भर)
- उपमा: शेफ अपने स्कूल के प्रशिक्षण पर इतना अड़ा हुआ है कि वह बदल नहीं सकता। वे सुशी पर अपने फ्रांसीसी तकनीकों को थोपने की कोशिश करते हैं, जिससे बहुत मामूली और कठोर समायोजन होते हैं। वे पुराने फीचर्स का पुन: उपयोग करते हैं लेकिन नए सीखने से इनकार करते हैं।
- कब मदद करता है: यह तब काम करता है जब बेकरी स्कूल के प्रशिक्षण के लगभग समान हो। उन्हें बस कुछ विवरणों को बदलने की आवश्यकता होती है।
मोड III: "कोरा कागज़" (आलसी, प्रीट्रेनिंग-स्वतंत्र)
- उपमा: शेफ अपने शुरुआती ज्ञान के विशाल आकार से इतना अभिभूत हो जाता है कि वह इसका प्रभावी ढंग से उपयोग नहीं कर पाता। वे बेकरी के कार्यों को शून्य से सीखते हैं, लेकिन एक बहुत ही "आलसी" और गैर-स्पार्स (non-sparse) तरीके से (जैसे कि एक साथ हर संभव सामग्री को सीखने की कोशिश करना)।
- कब मदद करता है: यह आमतौर पर किसी भी चीज़ के लिए सबसे अच्छा मोड नहीं है; यह तब होता है जब शुरुआती सेटिंग्स बहुत अधिक "शोर" वाली या बहुत बड़ी होती हैं।
मोड IV: "अनुकूलनशील मास्टर" (समृद्ध, प्रीट्रेनिंग-निर्भर)
- उपमा: यह "गोल्डिलॉक्स" ज़ोन (Goldilocks zone) है। शेफ अपने स्कूल के प्रशिक्षण को याद रखता है लेकिन जानता है कि उसे कैसे परिष्कृत करना है। वे अपने पुराने ज्ञान के अच्छे हिस्सों (जैसे चाकू चलाने के कौशल) का पुन: उपयोग कर सकते हैं और साथ ही नए, विशिष्ट कौशल (जैसे सॉरडो ब्रेड बनाना) सक्रिय रूप से सीख सकते हैं। वे लचीले और कुशल हैं।
- कब मदद करता है: यह सबसे अच्छा मोड है जब बेकरी में कुछ कौशल साझा किए जाते हैं लेकिन कुछ नए कौशल भी चाहिए होते हैं।

2. गुप्त नॉब: सापेक्ष स्केल (The Secret Knob: Relative Scale)

शोध पत्र का सबसे महत्वपूर्ण खोज यह है कि आप एक विशिष्ट "नॉब" को घुमाकर इन मोड्स के बीच स्विच कर सकते हैं: सापेक्ष स्केल का स्केल (relative scale of initialization)।

द नॉब: कल्पना कीजिए कि शेफ के दो हाथ हैं। एक हाथ "कच्ची सामग्री" (नेटवर्क की पहली परत) पकड़ता है, और दूसरा हाथ "अंतिम प्लेटिंग" (दूसरी परत) पकड़ता है।
निष्कर्ष: यदि आप "प्लेटिंग" हाथ की तुलना में "कच्ची सामग्री" वाले हाथ को थोड़ा छोटा (एक विशिष्ट गणितीय सेटिंग जिसे नकारात्मक या छोटा सापेक्ष स्केल कहा जाता है) बनाते हैं, तो आप शेफ को मोड IV (अनुकूलनशील मास्टर) में धकेल देते हैं।
यह क्यों काम करता है: यह सेटिंग नेटवर्क को उसके स्कूल से सीखे गए उपयोगी फीचर्स को बनाए रखने की अनुमति देती है लेकिन उसे उन्हें नया आकार देने और परिष्कृत करने की स्वतंत्रता भी देती है। यह नेटवर्क को बहुत कठोर (मोड II) या बहुत अराजक (मोड III) होने से रोकता है।

3. "ओवरलैप" मायने रखता है (The "Overlap" Matters)

पेपर यह भी समझाता है कि "सर्वश्रेष्ठ" मोड इस बात पर निर्भर करता है कि नया काम पुराने प्रशिक्षण के कितना समान है।

यदि काम पूरी तरह से अलग हैं: आप चाहते हैं कि शेफ पुराने प्रशिक्षण को अनदेखा करे (मोड I)।
यदि काम लगभग समान हैं: आप चाहते हैं कि वे बस पुराने प्रशिक्षण में थोड़ा बदलाव करें (मोड II)।
यदि काम मिश्रित हैं (अधिकांश वास्तविक दुनिया के मामले): आप चाहते हैं कि वे एक अनुकूलनशील मास्टर (मोड IV) बनें। पेपर दिखाता है कि उस "सापेक्ष स्केल" नॉब को समायोजित करके, आप नेटवर्क को इस सही स्थिति (sweet spot) में निर्देशित कर सकते हैं, जिससे यह जो जानता है उसका पुन: उपयोग करने और जो वह नहीं जानता उसे सीखने की क्षमता रखता है।

4. वास्तविक दुनिया का प्रमाण

लेखकों ने केवल कागज पर गणित नहीं किया; उन्होंने इसे वास्तविक, जटिल AI मॉडल (जैसे इमेज रिकग्निशन के लिए उपयोग किए जाने वाले ResNets और गणितीय कार्यों के लिए उपयोग किए जाने वाले Transformers) पर परखा।

परिणाम: जब उन्होंने इन वास्तविक मॉडलों पर अपने "छोटे सापेक्ष स्केल" वाले तरीके को लागू किया, तो मॉडल अपने नए कार्यों में बेहतर हो गए। वे तेजी से सीखे और कम गलतियाँ कीं, ठीक वैसा ही जैसा उनके सिद्धांत ने भविष्यवाणी की थी।

सारांश

संक्षेप में, यह शोध पत्र AI मॉडल को ट्यून करने के लिए एक मैनुअल प्रदान करता है। यह कहता है: "अपने AI को केवल रैंडम नंबरों के साथ शुरू न करें। यदि आप शुरुआती परतों बनाम बाद की परतों में नंबरों के आकार को सावधानीपूर्वक संतुलित करते हैं, तो आप AI को एक आदर्श छात्र बनना सिखा सकते हैं: एक ऐसा जो अपने पिछले पाठों को याद रखता है लेकिन भविष्य के लिए उन्हें अपडेट करने के लिए पर्याप्त स्मार्ट है।"

यह सुनिश्चित करता है कि जब एक AI अपने विशाल सामान्य प्रशिक्षण चरण से एक विशिष्ट, छोटे कार्य की ओर बढ़ता है, तो वह सब कुछ भूल नहीं जाता या पुराने तरीकों पर अड़ा नहीं रहता—बल्कि वह सफल होने के लिए एकदम सही मध्य मार्ग खोज लेता है।

तकनीकी सारांश: एक सिद्धांत कि कैसे प्रीट्रेनिंग फाइन-ट्यूनिंग में इंडक्टिव बायस (Inductive Bias) को आकार देती है

समस्या विवरण (Problem Statement)

आधुनिक डीप लर्निंग प्रीट्रेनिंग-फाइन-ट्यूनिंग (PT+FT) पाइपलाइन पर निर्भर करती है, जहाँ मॉडल बड़े सामान्य-उद्देश्य वाले डेटासेट पर व्यापक विशेषताएं (features) सीखते हैं और तत्पश्चात उन्हें सीमित डेटा के साथ विशिष्ट लक्षित कार्यों (target tasks) के लिए अनुकूलित करते हैं। जबकि व्यावहारिक सफलता प्रलेखित है, वे सैद्धांतिक तंत्र जो यह नियंत्रित करते हैं कि वेट इनिशियलाइजेशन (weight initialization) इन दोनों चरणों के दौरान फीचर लर्निंग, पुन: उपयोग (reuse) और शोधन (refinement) को कैसे प्रभावित करते हैं, अभी भी अस्पष्ट हैं। विशेष रूप से, यह स्पष्ट नहीं है कि वेट इनिशियलाइजेशन कैसे ट्रेनिंग डायनेमिक्स को फाइन-ट्यूनिंग के दौरान "लेजी" (lazy - फिक्स्ड-फीचर/कर्नेल) और "रिच" (rich - फीचर-लर्निंग) व्यवस्थाओं के बीच स्थानांतरित करता है, और ये बदलाव टास्क स्टैटिस्टिक्स (जैसे, फीचर ओवरलैप और स्पर्सिटी) के साथ कैसे इंटरैक्ट करते हैं ताकि जनरलाइजेशन प्रदर्शन निर्धारित किया जा सके।

कार्यप्रणाली (Methodology)

लेखक एक डायगोनल लीनियर नेटवर्क (diagonal linear networks) का उपयोग करके एक एंड-टू-एंड विश्लेणात्मक सिद्धांत विकसित करते हैं, जो एक सुलभ मॉडल है और इनिशियलाइजेशन स्केल्स के आधार पर दोनों लेजी और रिच लर्निंग व्यवहार प्रदर्शित करने के लिए जाना जाता है।

सैद्धांतिक ढांचा (Theoretical Framework):
- आर्किटेक्चर: एक वन-हिडन-लेयर डायगोनल लीनियर नेटवर्क $f_{w,v}(x) = \beta(w,v)^T x$ , जहाँ $\beta$ को पॉजिटिव और नेगेटिव पाथवे ( $w_+, w_-, v_+, v_-$ ) द्वारा पैरामीट्राइज किया गया है ताकि $\beta=0$ पर बिना सैडल पॉइंट्स (saddle points) के इनिशियलाइजेशन संभव हो सके।
- ट्रेनिंग प्रोटोकॉल: मॉडल दो चरणों में ग्रेडिएंट फ्लो ट्रेनिंग से गुजरता है: टास्क $X_{PT}$ पर प्रीट्रेनिंग (PT) और टास्क $X_{FT}$ पर फाइन-ट्यूनिंग (FT)। दोनों चरण जीरो ट्रेनिंग एरर तक प्रशिक्षित होते हैं।
- इनिशियलाइजेशन पैरामीटर्स: सिद्धांत तीन प्रमुख मापदंडों पर ध्यान केंद्रित करता है:
  - $c_{PT}$ : प्रीट्रेनिंग वेट्स का एब्सोल्यूट स्केल।
  - $\lambda_{PT}$ : प्रीट्रेनिंग के दौरान पहले और दूसरे लेयर्स के बीच रिलेटिव स्केल।
  - $\gamma_{FT}$ : फाइन-ट्यूनिंग से पहले रीडआउट वेट्स का री-इनिशियलाइजेशन स्केल।
- डेटा जेनेरेटिव मॉडल: एक टीचर-स्टूडेंट सेटअप जहाँ ग्राउंड-ट्रुथ वेक्टर्स $\beta^*_{PT}$ और $\beta^*_{FT}$ को एक जॉइंट डिस्ट्रीब्यूशन से सैंपल किया जाता है। मॉडल स्पष्ट रूप से स्पर्सिटी (एक्टिव डायमेंशन्स) और ओवरलैप (PT और FT टास्क के बीच साझा एक्टिव डायमेंशन्स) को $\rho_{PT}$ , $\rho^{\text{shared}}_{FT}$ , और $\rho^{\text{new}}_{FT}$ का उपयोग करके अकाउंट में रखता है।
विश्लेषणात्मक उपकरण (Analytical Tools):
- इम्प्लिसिट बायस डेरिवेशन (Implicit Bias Derivation): लेखक PT+FT प्रक्रिया द्वारा प्रेरित सटीक इम्प्लिसिट रेगुलराइजेशन (इंडक्टिव बायस) को व्युत्पन्न करते हैं। वे दिखाते हैं कि ग्रेडिएंट फ्लो सॉल्यूशन डेटा बाधाओं के अधीन एक विशिष्ट पोटेंशियल फंक्शन $Q_k(\beta_{FT})$ के मिनिमाइज़र की ओर अभिसरित (converge) होता है।
- रेप्लिका थ्योरी (Replica Theory): हाई-डायमेंशनल लिमिट ( $D \to \infty$ ) में जनरलाइजेशन एरर को कैरेक्टराइज करने के लिए, लेखक रेप्लिका मेथड का उपयोग करते हैं। यह हाई-डायमेंशनल एस्टीमेशन समस्या को प्रभावी शोर (noise) और रेगुलराइजेशन पैरामीटर्स के लिए फिक्स्ड-पॉइंट इक्वेशंस द्वारा नियंत्रित एक स्केलर डिनोइजिंग समस्या में बदल देता है।

मुख्य योगदान (Key Contributions)

PT+FT बायस का विश्लेषणात्मक लक्षण वर्णन: पेपर इनिशियलाइजेशन पैरामीटर्स ( $c_{PT}, \lambda_{PT}, \gamma_{FT}$ ), टास्क पैरामीटर्स और डेटा स्केल के फलन (function) के रूप में जनरलाइजेशन एरर के सटीक एक्सप्रेशन को व्युत्पन्न करता है। यह PT+FT सेटअप में इम्प्लिसिट बायस का पहला एकीकृत लक्षण वर्णन प्रदान करता है।
चार लर्निंग रेजीम की पहचान: सिद्धांत चार अलग-अलग रेजीम की पहचान करता है, जो दो मेट्रिक्स द्वारा अलग किए गए हैं: $\ell$ -ऑर्डर ( $\ell_1$ $ℓ_{1}$ से $\ell_2$ $ℓ_{2}$ तक रेंज करने वाला स्पर्सिटी बायस मापने के लिए) और प्रीट्रेनिंग डिपेंडेंस (PD) (प्रीट्रेनड फीचर्स पर निर्भरता मापने के लिए)।
- रेजीम I (रिच, प्रीट्रेनिंग-इंडिपेंडेंट): $\ell$ -ऑर्डर $\approx 1$ , PD $\approx 0$ । नेटवर्क नए फीचर्स सीखता है जिसमें स्पार्सिटी बायस होता है, और प्रीट्रेनड फीचर्स को अनदेखा करता है।
- रेजीम II (लेजी, प्रीट्रेनिंग-डिपेंडेंट): $\ell$ -ऑर्डर $\approx 2$ , PD $\approx -1$ । नेटवर्क न्यूनतम अनुकूलन (weighted $\ell_2$ norm) के साथ प्रीट्रेनड फीचर्स का पुन: उपयोग करता है।
- रेजीम III (लेजी, प्रीट्रेनिंग-इंडिपेंडेंट): $\ell$ -ऑर्डर $\approx 2$ , PD $\approx 0$ । नेटवर्क एक मानक कर्नेल मशीन की तरह व्यवहार करता है, जो न तो फीचर्स को पुन: उपयोग करता है और न ही स्पर्सिटी से लाभ उठाता है।
- रेजीम IV (रिच, प्रीट्रेनिंग-डिपेंडेंट): एक मध्यवर्ती रेजीम जहाँ नेटवर्क स्पर्सिटी ( $\ell$ -ऑर्डर $< 2$ ) और फीचर पुन: उपयोग (PD $< 0$ ) दोनों से एक साथ लाभ उठाता है।
यूनिवर्सल ट्रेड-ऑफ: लेखक एक मौलिक ट्रेड-ऑफ की पहचान करते हैं: सीमा (limit) में प्रीट्रेनिंग डिपेंडेंस (PD = -1) और स्पर्सिटी बायस ( $\ell$ -ऑर्डर = 1) को एक साथ मैक्सिमाइज करना असंभव है। हालांकि, मध्यवर्ती इनिशियलाइजेशन स्केल्स नेटवर्क को रेजीम IV में काम करने की अनुमति देते हैं, जो इन गुणों को संतुलित करता है।
रिलेटिव स्केल की भूमिका: पेपर इस बात पर प्रकाश डालता है कि लेयर्स के बीच इनिशियलाइजेशन का रिलेटिव स्केल ( $\lambda_{PT}$ ) इंडक्टिव बायस को नियंत्रित करने के लिए एक महत्वपूर्ण लीवर है। विशेष रूप से, शुरुआती लेयर्स में छोटा इनिशियलाइजेशन स्केल (बाद की लेयर्स के सापेक्ष) नेटवर्क को फीचर्स को पुन: उपयोग करने और रिफाइन करने दोनों में सक्षम बनाता है।

परिणाम (Results)

सैद्धांतिक भविष्यवाणियाँ:
- टास्क ओवरलैप: जब PT और FT टास्क डायमेंशन्स साझा करते हैं, तो रेजीम II (लेजी, प्रीट्रेनिंग-डिपेंडेंट) इष्टतम (optimal) होता है। जब वे कोई डायमेंशन साझा नहीं करते हैं, तो रेजीम I (रिच, प्रीट्रेनिंग-इंडिपेंडेंट) इष्टतम होता है।
- इंटरमीडिएट रेजीम: उन टास्क के लिए जहाँ FT फीचर्स, PT फीचर्स का एक सबसेट हैं, रेजीम IV (रिच, प्रीट्रेनिंग-डिपेंडेंट) बेहतर जनरलाइजेशन देता है। इसे $\lambda_{PT}$ को इंटरमीडिएट वैल्यूज पर ट्यून करके प्राप्त किया जा सकता है।
- इम्पफेक्ट प्रीट्रेनिंग: जब प्रीट्रेनिंग इम्पफेक्ट होती है ( $\alpha_{PT} < 1$ ), तो रिलेटिव स्केल $\lambda_{PT}$ और भी महत्वपूर्ण हो जाता है। नेगेटिव $\lambda_{PT}$ मॉडल को इम्पफेक्टली सीखे गए स्ट्रक्चर्स को रिफाइन करने की अनुमति देता है, जिससे फुल-ओवरलैप परिदृश्यों में भी प्रदर्शन में सुधार होता है जहाँ अन्यथा यह नुकसानदेह होता।
प्रायोगिक सत्यापन (Empirical Validation):
- डायगोनल नेटवर्क: डायगोनल लीनियर नेटवर्क पर सिमुलेशन विभिन्न इनिशियलाइजेशन स्केल्स और टास्क ओवरलैप्स के माध्यम से सैद्धांतिक जनरलाइजेशन कर्व्स की पुष्टि करते हैं।
- विज़न टास्क पर ResNets: CIFAR-100 (प्रीट्रेनिंग) पर प्रशिक्षित और क्लास सबसेट्स या SVHN पर फाइन-ट्यून किए गए ResNet-18 के प्रयोगों से पता चलता है कि:
  - शुरुआती लेयर्स का रिलेटिव स्केल कम करना (नेगेटिव $\lambda_{PT}$ एनालॉग) फाइन-ट्यूनिंग जनरलाइजेशन में सुधार करता है।
  - एब्सोल्यूट स्केल ( $c_{PT}$ ) कम करने से प्रदर्शन घटता है।
  - रीडआउट री-इनिशियलाइजेशन स्केल ( $\gamma_{FT}$ ) कम करने से इंटरमीडिएट सैंपल साइज के लिए प्रदर्शन में सुधार होता है।
- रिप्रेजेंटेशन एनालिसिस: पार्टिसिपेशन रेशियो (PR) और इफेक्टिव नंबर ऑफ शेयर्ड डायमेंशन्स (ENSD) के माप पुष्टि करते हैं कि सफल हस्तक्षेप एक "प्रीट्रेनिंग-डिपेंडेंट रिच" सिग्नेचर प्रेरित करते हैं: रिप्रेजेंटेशन कंप्रेस होता है (लोअर PR) जबकि प्रीट्रेनड स्टेट के साथ अलाइनमेंट बनाए रखता है (हाई ENSD)।
- ट्रांसफॉर्मर्स: मॉड्यूलर अरिथमेटिक टास्क करने वाले ट्रांसफॉर्मर्स के प्रयोग दिखाते हैं कि कम 'बैलेंस्डनेस' (नेगेटिव रिलेटिव स्केल के समान) जनरलाइजेशन में सुधार करती है, विशेष रूप से उन टास्क में जिनमें नए प्राइम फैक्टर्स शामिल हैं।

महत्व और दावे (Significance and Claims)

पेपर यह दावा करता है कि वह इस बात की एंड-टू-एंड विश्लेषणात्मक समझ प्रदान करता है कि डेटा और नेटवर्क इनिशियलाइजेशन कैसे फाइन-ट्यूनिंग जनरलाइजेशन को आकार देने के लिए इंटरैक्ट करते हैं। इसका प्राथमिक महत्व निम्नलिखित में है:

एक्सट्रीम्स से आगे बढ़ना: पूर्ववर्ती कार्य अक्सर चरम मामलों (शुद्ध लेजी या शुद्ध रिच) पर केंद्रित थे। यह सिद्धांत प्रदर्शित करता है कि मध्यवर्ती रेजीम (intermediate regimes) अक्सर इष्टतम होते हैं और विशिष्ट टास्क स्टैटिस्टिक्स (ओवरलैप और स्पर्सिटी) पर निर्भर करते हैं।
एक्शनेबल लीवर्स: यह लेयर्स के बीच इनिशियलाइजेशन के रिलेटिव स्केल को प्रीट्रेनड फीचर्स को पुन: उपयोग करने और निरंतर फीचर लर्निंग को प्रेरित करने के बीच संतुलन बनाने के लिए एक सिद्धांतपूर्ण, एक्शनेबल मैकेनिज्म के रूप में पहचानता है।
थ्योरी और प्रैक्टिस को जोड़ना: डायगोनल लीनियर नेटवर्क से प्राप्त अंतर्दृष्टि को गहरे, नॉनलीनियर आर्किटेक्चर (ResNets, Transformers) और विविध टास्क (विज़न, मॉड्यूलर अरिथमेटिक) पर वैलिडेट करके, यह कार्य सुझाव देता है कि इसके निष्कर्ष व्यावहारिक डीप लर्निंग परिदृश्यों के लिए प्रासंगिक हैं।

लेखक अपनी विनम्रता बनाए रखते हुए नोट करते हैं कि उनका सैद्धांतिक विश्लेषण एक सरलीकृत मॉडल (डायगोनल लीनियर नेटवर्क) पर आधारित है और व्यावहारिक नेटवर्क में नॉनलिनैरिटी, रेसिडुअल कनेक्शन और बैच नॉर्मलाइजेशन शामिल होते हैं। वे स्वीकार करते हैं कि अधिक जटिल सेटिंग्स में इन पैरामीटर्स का अध्ययन करने के लिए भविष्य में काम करने की आवश्यकता है, लेकिन वे जोर देते हैं कि उनके परिणाम फाइन-ट्यूनिंग के दौरान निरंतर फीचर लर्निंग को सक्षम करने के लिए इनिशियलाइजेशन स्केल्स की महत्वपूर्ण भूमिका को उजागर करते हैं।