📊 statistics

Revisiting the Neural Tangent Kernel: the role of large width and depth

यह शोध पत्र इस पारंपरिक दृष्टिकोण को चुनौती देता है कि न्यूरल टैनजेंट कर्नेल (NTK) जटिल ओवरपैरामीटराइज्ड नेटवर्क का वर्णन करने में विफल रहता है, यह प्रदर्शित करते हुए कि "लेज़ी ट्रेनिंग" शासन के विपरीत, एग्रीगेट न्यूरॉन एक्टिवेशन विचलन बने रहते हैं और गहराई तथा प्रशिक्षण समय का उचित स्केलिंग अनंत रूप से चौड़े और गहरे नेटवर्क में भी गैर-तुच्छ, सामान्यीकरण योग्य आउटपुट प्रदान करता है।

मूल लेखक: William St-Arnaud, Margarida Carvalho, Golnoosh Farnadi

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: William St-Arnaud, Margarida Carvalho, Golnoosh Farnadi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल ऑर्केस्ट्रा है जहाँ हर संगीतकार कंप्यूटर मस्तिष्क के एक छोटे से न्यूरॉन की तरह है। वर्षों तक, वैज्ञानिकों का मानना था कि यदि आप इस ऑर्केस्ट्रा को अनंत रूप से बड़ा बना देते हैं (अनंत संगीतकारों को जोड़कर), तो संगीत उबाऊ और स्थिर हो जाएगा। उन्हें लगा कि संगीतकार हमेशा के लिए अपने शुरुआती सुरों पर ही बजते रहेंगे, कभी अपना धुन नहीं बदलेंगे, चाहे वे कितना भी अभ्यास क्यों न कर लें। इसे "लेजी रेजीम" (lazy regime) कहा जाता था।

यह शोध पत्र, "रीविजिटिंग द न्यूरल टेंटेंट कर्नेल" (Revisiting the Neural Tangent Kernel), इस उबाऊ निष्कर्ष को चुनौती देता है। लेखक तर्क देते हैं कि भले ही व्यक्तिगत संगीतकार शायद बहुत कम हिलें, लेकिन पूरा ऑर्केस्ट्रा वास्तव में जटिल तरीकों से नृत्य कर रहा है और विकसित हो रहा है। वे यह भी दिखाते हैं कि यदि आप बहुत अधिक परतों वाले संगीतकारों (नेटवर्क को बहुत गहरा) को जोड़ते हैं, तो संगीत एक एकल, दोहराव वाले नोट में ढह सकता है—जब तक कि आप जानते न हों कि इसका संचालन कैसे करना है।

यहाँ उनके निष्कर्षों का सरल उपमाओं का उपयोग करके विवरण दिया गया है:

1. "लेजी" ऑर्केस्ट्रा वास्तव में नृत्य कर रहा है (चौड़ाई की समस्या)

पुराना विचार: यदि आपके पास एक विशाल समूह (अनंत चौड़ाई) है, तो प्रत्येक गायक अपनी शुरुआती स्थिति में स्थिर रहता है। क्योंकि वे हिलते नहीं हैं, वे नए गाने या पैटर्न नहीं सीख सकते। वे "आलसी" (lazy) हैं।

नई खोज: लेखक कहते हैं कि यह दृष्टिकोण बहुत संकीर्ण है। यह एक विशाल कॉलोनी में एक अकेले चींटी को देखने जैसा है। चींटी शायद बहुत कम हिलती है, लेकिन पूरी कॉलोनी एक जटिल महल बना रही है।

उपमा: कल्पना कीजिए कि रंगीन कार्ड पकड़े हुए लोगों से भरा एक स्टेडियम है। यदि आप एक व्यक्ति को देखते हैं, तो उसका कार्ड मुश्किल से हिलता है। लेकिन यदि आप पूरी भीड़ को देखते हैं, तो रंगों का पैटर्न एक चित्र बनाने के लिए नाटकीय रूप से बदलता और विकसित होता है।
परिणाम: भले ही व्यक्तिगत न्यूरॉन (संगीतकार) अपनी शुरुआत के करीब रहते हैं, लेकिन लाखों न्यूरॉन्स का संयुक्त प्रभाव एक गतिशील, विकसित होने वाला फीचर सेट बनाता है। "लेजी" लेबल भ्रामक है क्योंकि समूह जटिल पैटर्न सीखता है, भले ही व्यक्ति स्थिर प्रतीत होते हों।

2. टॉवर ऑफ बेबेल की समस्या (गहराई की समस्या)

पुराना विचार: यदि आप न्यूरॉन्स की परतों को लगातार जोड़ते जाते हैं (नेटवर्क को गहरा और गहरा बनाते हैं), तो गणित बताता है कि नेटवर्क अंततः डेटा को पूरी तरह से भूल जाता है। यह एक "डेटा-स्वतंत्र" भविष्यवक्ता बन जाता है।

उपमा: कल्पना कीजिए कि 1,000 लोगों के साथ "टेलीफोन" (एक संदेश को आगे बढ़ाने वाला खेल) खेल रहे हैं। यदि आप संदेश को लाइन में आगे बढ़ाते हैं, तो अंत तक पहुँचते-पहुँचते, संदेश इतना विकृत हो जाता है कि वह शोर या एक अर्थहीन गुनगुनाहट जैसा लगता है। नेटवर्क अलग-अलग इनपुट के बीच अंतर करने की अपनी क्षमता खो देता है।

नई खोज: लेखकों ने संदेश को शोर में बदलने से रोकने का एक तरीका खोजा है। आपको इस खेल को अनंत काल तक चलने देने की आवश्यकता नहीं है।

उपमा: नेटवर्क को एक धावक के रूप में सोचें। यदि वे अनंत काल तक दौड़ते हैं (अनंत समय), तो वे खो जाते हैं। लेकिन यदि आप उन्हें सही क्षण पर रुकने के लिए कहते हैं (अर्ली स्टॉपिंग) और ट्रैक की लंबाई (गहराई) को रनर्स की संख्या (डेटासेट का आकार) के आधार पर समायोजित करते हैं, तो वे अभी भी एक सार्थक संदेश दे सकते हैं।
परिणाम: गहराई को सावधानीपूर्वक संतुलित करके, नेटवर्क स्थिर और अभिव्यंजक बना रहता है। यह एक उबाऊ, निरंतर उत्तर में नहीं ढहता; यह अभी भी विभिन्न इनपुट के बीच अंतर कर सकता है।

3. "गोल्डिलॉक्स" ज़ोन (Goldilocks Zone)

यह शोध पत्र सुझाव देता है कि "लेजी रेजीम" एक मृत अंत नहीं है। इसके बजाय, यह एक "गोल्डिलॉक्स" ज़ोन है:

बहुत उथला नहीं: जटिल पैटर्न बनाने के लिए इसमें पर्याप्त चौड़ाई होनी चाहिए।
बिना नियंत्रण के बहुत गहरा नहीं: यदि यह बिना नियंत्रण के बहुत गहरा हो जाता है, तो यह ढह जाता है।
बिल्कुल सही: यदि आप गहराई को स्केल करते हैं और सही समय पर प्रशिक्षण रोकते हैं, तो नेटवर्क एक अच्छी तरह से ट्यून किए गए वाद्य यंत्र की तरह व्यवहार करता है जो नए डेटा के लिए सामान्यीकरण (generalize) कर सकता है, भले ही सैद्धांतिक रूप से वह "लेजी" हो।

सारांश

लेखक हमें कह रहे हैं: "लेजी" सिद्धांत को अभी पूरी तरह से खारिज न करें।

व्यक्तिगत बनाम समूह: केवल इसलिए कि व्यक्तिगत हिस्से बहुत अधिक नहीं बदलते हैं, इसका मतलब यह नहीं है कि पूरा सिस्टम सीख नहीं रहा है। समूह की गतिशीलता समृद्ध और जटिल है।
डेप्थ कंट्रोल (गहराई नियंत्रण): गहरे नेटवर्क विफल नहीं होने चाहिए। यदि आप गहराई का प्रबंधन करते हैं और सही समय पर प्रशिक्षण रोकते हैं, तो वे अभी भी शक्तिशाली और सटीक हो सकते हैं।

अनिवार्य रूप से, वे इन विशाल, अत्यधिक शक्तिशाली कंप्यूटर मस्तिष्क को समझने के हमारे नियमों को फिर से लिख रहे हैं, यह दिखाते हुए कि वे पहले की तुलना में अधिक गतिशील और उपयोगी हैं, बशर्ते हम उनके आकार और गहराई के गणित को समझें।

तकनीकी सारांश: न्यूरल टैनजेंट कर्नेल का पुनरावलोकन

समस्या विवरण

न्यूरल टैनजेंट कर्नेल (NTK) ढांचा अत्यधिक पैरामीटराइज्ड न्यूरल नेटवर्क की सीखने की गतिशीलता का वर्णन करता है, जो यह प्रस्तावित करता है कि अनंत चौड़ाई (infinite width) की सीमा में, नेटवर्क एक स्थिर कर्नेल के साथ एक कर्नेल विधि की तरह व्यवहार करता है। इस शासन (regime) को अक्सर "लेजी ट्रेनिंग" (lazy training) कहा जाता है क्योंकि व्यक्तिगत छिपे हुए न्यूरॉन सक्रियण (hidden neuron activations) अपने प्रारंभिक मानों के अत्यंत निकट रहते हैं। हालांकि, यह लक्षण वर्णन दो महत्वपूर्ण सैद्धांतिक चुनौतियां प्रस्तुत करता है:

चौड़ाई अक्ष (The Width Axis): "लेजी शासन" यह संकेत देता है कि विशेषताएं (छिपे हुए न्यूरॉन सक्रियण) स्थिर और यादृच्छिक हैं, जो व्यावहारिक गहरे नेटवर्क में देखे जाने वाले "फीचर लर्निंग" (feature learning) को समझाने में विफल रहती हैं। पूर्ववर्ती कार्य सुझाव देते हैं कि जबकि NTK जटिल निर्भरताओं को पकड़ता है, वह बिना अर्थपूर्ण विशेषताओं को निकाले ऐसा करता है, जो इसकी सामान्यीकरण सफलता और फीचर विकास की कमी के बीच एक विरोधाभास पैदा करता है।
गहराई अक्ष (The Depth Axis): जैसे-जैसे नेटवर्क की गहराई अनंत-चौड़ाई की सीमा में बढ़ती है, NTK एक डेटा-स्वतंत्र प्रेडिक्टर (एक स्थिर मैट्रिक्स) में परिवर्तित हो जाता है, जिससे मॉडल प्रशिक्षण सेट में मौजूद न होने वाले डेटा बिंदुओं के बीच अंतर करने में असमर्थ हो जाता है। यह मानक NTK स्केलिंग के तहत गहरे नेटवर्क के लिए एक सैद्धांतिक मृत-अंत (dead-end) का सुझाव देता है, जहाँ मॉडल अपनी अभिव्यक्ति क्षमता (expressivity) और सामान्यीकरण क्षमताओं को खो देता है।

यह शोध पत्र उन निष्कर्षों को चुनौती देता है कि NTK पूरी तरह से "लेजी" है (फीचर लर्निंग के संबंध में) और कि गहरे NTK अनिवार्य रूप से तुच्छ प्रेडिक्टर्स में पतन हो जाते हैं।

कार्यप्रणाली

लेखक मानक गॉसियन इनिशियलाइजेशन और मीन स्क्वेर्ड एरर (MSE) लॉस के साथ पूर्णतः-कनेक्टेड ReLU नेटवर्क पर सैद्धांतिक स्पर्शोन्मुख विश्लेषण (asymptotic analysis) और अनुभवजन्य सत्यापन (empirical validation) के संयोजन का उपयोग करते हैं।

सैद्धांतिक ढांचा

प्रतीक और परिभाषाएं: शोध पत्र जैकोट एट अल. (2018a) और अरोरा एट अल. (2019b) द्वारा स्थापित NTK ( $\Theta^{(L)}_\infty$ ) और न्यूरॉन्स के सहप्रसरण ( $\Sigma^{(L)}$ ) की पुनरावर्ती परिभाषाओं का उपयोग करता है। यह उस अनंत-चौड़ाई सीमा पर ध्यान केंद्रित करता है जहाँ NTK एक नियतात्मक कर्नेल में अभिसरित (converge) होता है।
फीचर विश्लेषण (चौड़ाई): लेखक व्यक्तिगत न्यूरॉन्स के बजाय छिपी हुई परतों के समग्र व्यवहार का विश्लेषण करते हैं। वे समय के साथ छिपी हुई परतों के सक्रियण के आंतरिक उत्पाद, $\langle h_t(x), h_t(x') \rangle$ , के लिए एक क्लोज्ड-फॉर्म समाधान व्युत्पन्न करते हैं, यह प्रदर्शित करने के लिए कि जबकि व्यक्तिगत न्यूरॉन विचलन लुप्त हो जाते हैं, विचलन का समग्र मान (aggregate norm) लुप्त नहीं होता है।
गहराई विश्लेषण: शोध पत्र $L \to \infty$ की सीमा की जांच करता है। यह एक सामान्यीकृत कर्नेल $\bar{\Theta}^{(L)}_\infty$ पेश करता है और इसके अभिसरण गुणों का विश्लेषण करता है। लेखक कर्नेल मैट्रिक्स और प्रेडिक्शन फंक्शन $f_t(x)$ के आइजनवैल्यू (eigenvalues) पर स्पर्शोन्मुख सीमाएं व्युत्पन्न करते हैं।
स्केलिंग रणनीति: गहराई की गिरावट (depth degeneracy) को संबोधित करने के लिए, शोध पत्र एक विशिष्ट स्केलिंग शासन प्रस्तावित करता है जहाँ गहराई $L$ , स्टॉपिंग टाइम $t$ , और डेटासेट का आकार $n$ आपस में जुड़े हुए हैं। विशेष रूप से, यह अकेले $t \to \infty$ या $L \to \infty$ मानने से बचता है, इसके बजाय यह आवश्यक बनाता है कि $L$ को कर्नेल डायनेमिक्स के "ऑर्डर्ड फेज" (ordered phase) के भीतर रहने के लिए $n$ और $t$ के साथ उचित रूप से स्केल किया जाए।

अनुभवजन्य सत्यापन (Empirical Validation)

टोय मॉडल्स और डेटासेट: सिंथेटिक डेटा, text8 डेटासेट (वन-हॉट एनकोडिंग का उपयोग करके), और MNIST पर प्रयोग किए गए हैं।
मेट्रिक्स: लेखक अंतिम छिपी हुई परत के अपने इनिशियलाइजेशन से विचलन ( $\|h_t - h_0\|_2$ ) और गहराई बढ़ने के साथ कर्नेल मानों और आइजनवैल्यू के अभिसरण दरों को मापते हैं।

मुख्य योगदान

1. "लेजी शासन" का पुनर्मूल्यांकन (चौड़ाई अक्ष)

शोध पत्र "लेजी" (स्थिर विशेषताएं) और "फीचर लर्निंग" (गतिशील विशेषताएं) के बीच के द्विआधारी अंतर को खारिज करता है।

समग्र गतिशीलता (Aggregate Dynamics): जबकि चौड़ाई बढ़ने के साथ व्यक्तिगत न्यूरॉन सक्रियण अपने इनिशियलाइजेशन मानों की ओर अभिसरित होते हैं, अंतिम छिपी हुई परत में विचलन का समग्र मान (aggregate norm) शून्य नहीं होता है।
सैद्धांतिक प्रमाण (प्रपोजिशन 4): लेखक सिद्ध करते हैं कि कम से कम दो छिपी हुई परतों वाले ReLU नेटवर्क के लिए, अलग-अलग इनपुट के लिए छिपी हुई परतों के सक्रियण का आंतरिक उत्पाद, $\langle h_t(x), h_t(x') \rangle$ , प्रशिक्षण चरण $t$ का एक सख्ती से गैर-स्थिर (non-constant) फलन है। यह प्रदर्शित करता है कि प्रशिक्षण के दौरान डेटा बिंदुओं के बीच सांख्यिकीय सहसंबंध विकसित होते हैं, भले ही अनंत-चौड़ाई की सीमा में भी।
निहितार्थ: "लेजी शासन" फीचर लर्निंग को रोकता नहीं है; बल्कि, विशेषताएं इस तरह विकसित होती हैं जिन्हें व्यक्तिगत न्यूरॉन ट्रैकिंग के बजाय समग्र परत डायनेमिक्स द्वारा कैप्चर किया जाता है।

2. गहरे नेटवर्क में अभिव्यक्ति क्षमता को हल करना (गहराई अक्ष)

शोध पत्र गहराई बढ़ने के साथ NTK के डेटा-स्वतंत्र प्रेडिक्टर में ढलने के मुद्दे को संबोधित करता है।

एक स्थिरांक में अभिसरण: लेखक पुष्टि करते हैं कि सामान्यीकृत कर्नेल $\bar{\Theta}^{(L)}_\infty(x, x')$ $L \to \infty$ होने पर $x \neq x'$ के लिए $1/4$ पर अभिसरित होता है (थ्योरम 2)।
स्केलिंग के माध्यम से स्थिरीकरण (थ्योरम 3): शोध पत्र प्रदर्शित करता है कि प्रेडिक्शन फंक्शन $f_t$ $f_{t}$ स्थिर और अभिव्यंजक रह सकता है यदि गहराई $L$ $L$ को डेटासेट आकार $n$ $n$ के सापेक्ष स्केल किया जाए और स्टॉपिंग टाइम $t$ $t$ को उपयुक्त रूप से चुना जाए (अर्ली स्टॉपिंग)।
- $t \in o(1/\lambda_n)$ (जहाँ $\lambda_n$ न्यूनतम आइजनवैल्यू है) निर्धारित करके और $L$ को इस तरह स्केल करके कि यह कर्नेल को स्थिर करने के लिए पर्याप्त बड़ा हो लेकिन इतना बड़ा न हो कि यह डेटा-स्वतंत्रता उत्पन्न करे, मॉडल डेटा बिंदुओं के बीच अंतर करने की क्षमता बनाए रखता है।
- लेखक डेटा बिंदुओं के पृथक्करण पर निर्भर $L$ के लिए एक सीमा प्रदान करते हैं: $L \in O\left(\frac{1}{\sqrt{1-\rho^{(2)}(x_i^\top x_j)}}\right)$ ।
सामान्यीकरण: ये परिणाम स्फीयर (sphere) पर किसी भी डेटासेट के लिए मान्य हैं, बिना यह माने कि डेटा एक घनत्व फलन (density function) वाले संभाव्यता वितरण से उत्पन्न हुआ है, जो पूर्ववर्ती साहित्य (जैसे, शियाओ एट अल., 2020) में पाई जाने वाली बाधाओं को शिथिल करता है।

परिणाम

फीचर इवोल्यूशन: text8 पर अनुभवजन्य परिणाम दिखाते हैं कि जबकि व्यक्तिगत न्यूरॉन विचलन छोटे हैं (लेजी व्यवहार के अनुरूप), अंतिम छिपी हुई परत का समग्र विचलन प्रशिक्षण के साथ बढ़ता है, जो गैर-स्थिर विशेषताओं की सैद्धांतिक भविष्यवाणी की पुष्टि करता है।
कर्नेल अभिसरण: सिंथेटिक और MNIST डेटा पर प्रयोग पुष्टि करते हैं कि कर्नेल मान $O(1/L)$ की दर से $1/4$ पर अभिसरित होते हैं।
स्थिरता: व्युत्पन्न स्केलिंग कानूनों (थ्योरम 3) को लागू करके, लेखक दिखाते हैं कि क्लोज्ड-फॉर्म समाधान में प्रोजेक्शन ऑपरेटर का नॉर्म $O(n)$ के रूप में सीमित रहता है और मॉडल बड़ी गहराइयों के लिए भी अभिव्यंजक बना रहता है, बशर्ते कि गहराई डेटा बिंदुओं के पृथक्करण की तुलना में अत्यधिक बड़ी न हो।

महत्व और दावे

शोध पत्र दावा करता है कि यह न्यूरल नेटवर्क में स्केलिंग की अधिक सूक्ष्म समझ प्रदान करता है:

"लेजी शासन" को सूक्ष्मता प्रदान करना: यह तर्क देता है कि "लेजी शासन" का वर्णन अपूर्ण है। जबकि व्यक्तिगत न्यूरॉन स्थिर हैं, सामूहिक परत डायनेमिक्स फीचर लर्निंग की अनुमति देते हैं, जो NTK की सामान्यीकरण सफलता और फीचर निष्कर्षण की अवधारणा के बीच सामंजस्य बिठाता है।
गहरे NTK की व्यवहार्यता: यह इस धारणा को चुनौती देता है कि अनंत-गहराई वाले NTK सैद्धांतिक रूप से मृत-अंत हैं। गहराई और स्टॉपिंग टाइम को सही ढंग से स्केल करके, NTK बड़े डेटासेट के लिए सुव्यवस्थित, गैर-तुच्छ आउटपुट दे सकता है।
व्यावहारिक संरेखण: निष्कर्ष बताते हैं कि NTK विश्लेषण के लिए "गोल्डिलॉक्स" (Goldilocks) ज़ोन वह है जहाँ गहराई बड़ी लेकिन परिमित है, और अर्ली स्टॉपिंग का उपयोग किया जाता है, जो उन व्यावहारिक प्रायोगिक सेटिंग्स को दर्शाता है जहाँ $L \ll n$ होता है।
सामान्यीकरण: लेखक गुणों का एक सेट (डायगोनल डोमिनेंस, पर्याप्त गहराई पर पॉजिटिव डेफिनिटनेस) प्रदान करते हैं जो इन परिणामों को अन्य कर्नेल और आर्किटेक्चर, जैसे CNN, में सामान्यीकृत करने की अनुमति देते हैं, हालांकि वे स्पष्ट रूप से नोट करते हैं कि उनका विश्लेषण उन स्टोकेस्टिक उतार-चढ़ाव को कवर नहीं करता है जो उन शासन में पाए जाते हैं जहाँ गहराई चौड़ाई से बहुत अधिक होती है (हनिन और निका, 2020)।

शोध पत्र निष्कर्ष निकालता है कि NTK अत्यधिक पैरामीटराइज्ड नेटवर्क के विश्लेषण के लिए एक मूल्यवान उपकरण बना हुआ है, बशर्ते कि स्थिर फीचर्स और बिना स्केलिंग के अनंत प्रशिक्षण समय/गहराई की धारणा से आगे बढ़ा जाए।