तकनीकी सारांश: डीप न्यूरल नेटवर्क में सामान्यीकरण (Generalization): ग्रेडिएंट विधियों के लिए मिनिमैक्स दरें (Minimax Rates)

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र डीप लर्निंग थ्योरी की एक केंद्रीय खुली समस्या को संबोधित करता है: ग्रेडिएंट-आधारित विधियों (ग्रेडिएंट डिसेंट, GD, और स्टोकेस्टिक ग्रेडिएंट डिसेंट, SGD) द्वारा प्रशिक्षित डीप न्यूरल नेटवर्क्स (DNNs) के सांख्यिकीय सामान्यीकरण गुणों को समझना। जबकि न्यूरल टेंगेंट कर्नल (NTK) फ्रेमवर्क ने उथले (shallow) नेटवर्क्स के व्यवहार को सफलतापूर्वक समझाया है और उनके लिए मिनिमैक्स-ऑप्टिमल दरें स्थापित की हैं, स्मूथ एक्टिवेशन फंक्शन वाले गहरे आर्किटेक्चर का सामान्यीकरण प्रदर्शन अभी भी कम समझा गया है।

विशिष्ट लक्ष्य यह निर्धारित करना है कि क्या GD या SGD द्वारा प्रशिक्षित ओवर-पैरामीटराइज्ड DNNs, अपने कर्नल-आधारित समकक्षों के समान मिनिमैक्स-ऑप्टिमल एक्सीस पॉपुलेशन रिस्क रेट्स (excess population risk rates) प्राप्त कर सकते हैं। लेखक लीस्ट-स्क्वायर्स रिग्रेशन कार्यों पर ध्यान केंद्रित करते हैं जहाँ लक्षित फलन (target function) $f_\rho$ विशिष्ट स्मूथनेस गुणों ($\beta$) को प्रदर्शित करता है और रिप्रोड्यूसिंग कर्नल हिल्बर्ट स्पेस (RKHS) की क्षमता एक पैरामीटर $\gamma$ द्वारा निर्धारित की जाती है।

कार्यप्रणाली (Methodology)

लेखक एक सैद्धांतिक ढांचा विकसित करते हैं जो अनंत-चौड़ाई की सीमा (infinite-width limit) में डीप न्यूरल नेटवर्क और कर्नल विधियों के सीखने के डायनेमिक्स के बीच सेतु का काम करता है। मुख्य कार्यप्रणाली में तीन मुख्य तकनीकी स्तंभ शामिल हैं:

1. परिष्कृत NTK यूनिफॉर्म कंसन्ट्रेशन (Refined NTK Uniform Concentration):
   सीमित डेटा बिंदुओं या विशिष्ट परतों पर ध्यान केंद्रित करने वाले पिछले कार्यों के विपरीत, लेखक यह स्थापित करते हैं कि गाऊसी इनिशियलाइजेशन (Gaussian initialization) पर डीप स्मूथ नेटवर्क्स के लिए NTK पूरे इनपुट स्पेस और सभी परतों में एक नियत (deterministic) कर्नल $K$ पर यूनिफॉर्मली कंसन्ट्रेट (uniformly concentrate) होता है।

   • वे स्मूथ एक्टिवेशन के लिए यूनिफॉर्म कन्वर्जेंस रेट को $O(m^{-1/6})$ (जो पहले ReLU नेटवर्क्स के लिए स्थापित किया गया था) से सुधारकर $O(m^{-1/2})$ करते हैं। यह सटीक दर अनुकूल जोखिम सीमाओं (optimal risk bounds) को प्राप्त करने के लिए महत्वपूर्ण है।

2. नया एरर डिकंपोजिशन (Novel Error Decomposition):
   उथले नेटवर्क्स के लिए मौजूदा एरर डिकंपोजिशन आमतौर पर DNN डायनेमिक्स की तुलना एक सीमित-चौड़ाई वाले कर्नल मेथड ($g_T^m$) से करते हैं और फिर लक्ष्य से दूरी को बाउंड करते हैं। लेखक तर्क देते हैं कि गहरे नेटवर्क्स के लिए यह दृष्टिकोण विफल रहता है क्योंकि जटिल इंटर-लेयर डिपेंडेंसीज़ (inter-layer dependencies) एक सीमित-चौड़ाई वाले कर्नल को सरल i.i.d. रैंडम कर्नल्स के योग के रूप में मानने से रोकती हैं।

   • इसके बजाय, वे एक ऐसा डिकंपोजिशन प्रस्तावित करते हैं जो सीधे DNN डायनेमिक्स ($f_{W(T)}$) की तुलना RKHS $\mathcal{H}_K$ में अनंत-चौड़ाई वाले कर्नल GD इटरेशन ($g_T$) से करता है:
     $$\varepsilon_{\text{risk}}(f_{W(T)}) \lesssim \|f_{W(T)} - Sg_T\|_\rho^2 + \|Sg_T - f_\rho\|_\rho^2$$
   • पहला पद आदर्श कर्नल डायनेमिक्स से DNN के विचलन को मापता है, जबकि दूसरा पद स्वयं कर्नल मेथड की अच्छी तरह से समझी गई त्रुटि है।

3. डबल इंडक्शन के माध्यम से ट्रजेक्टरी कंट्रोल (Trajectory Control via Double Induction):
   DNN और कर्नल डायनेमिक्स के बीच के अंतर (gap) को बाउंड करने के लिए, लेखक एक सावधानीपूर्वक डिज़ाइन किए गए डबल इंडक्शन (double induction) तर्क का उपयोग करते हैं। यह उन्हें यह नियंत्रित करने की अनुमति देता है कि GD/SGD ट्रजेक्टरी इनिशियलाइजेशन से कितनी दूर जाती है, जिससे यह सुनिश्चित होता है कि यह बाउंड नेटवर्क की चौड़ाई $m$ पर एक्सपोनेंशियल रूप से निर्भर न हो, ताकि नेटवर्क पर्याप्त संख्या में इटरेशन के लिए "NTK रिजीम" में बना रहे।

मुख्य योगदान (Key Contributions)

यह शोध पत्र निम्नलिखित विशिष्ट योगदान देता है:

• डीप नेटवर्क्स के लिए प्रथम मिनिमैक्स-ऑप्टिमल दरें: लेखक स्मूथ एक्टिवेशन फंक्शन के साथ डीप न्यूरल नेटवर्क्स पर लागू होने वाले GD और SGD के लिए प्रथम ज्ञात मिनिमैक्स-ऑप्टिमल एक्सीस रिस्क रेट्स प्रदान करते हैं।
• उथले और गहरे आर्किटेक्चर को जोड़ना: वे एक महत्वपूर्ण संबंध स्थापित करते हैं जो यह दर्शाता है कि ग्रेडिएंट विधियों द्वारा प्रशिक्षित ओवर-पैरामीटराइज्ड DNNs पूरी तरह से अपने अनंत-चौड़ाई वाले कर्नल समकक्षों के अनुकूल शिक्षण डायनेमिक्स को विरासत में प्राप्त करते हैं।
• पॉलीनोमियल विड्थ आवश्यकता: वे प्रदर्शित करते हैं कि ये अनुकूल दरें तब प्राप्त की जा सकती हैं जब नेटवर्क की चौड़ाई $m$, सैंपल साइज $n$ और डाइमेंशन $d$ के साथ पॉलीनोमियल (polynomial) रूप से स्केल करती है, विशेष रूप से $m \gtrsim \text{Poly}(n, d)$। यह उथले नेटवर्क्स के पिछले परिणामों की तुलना में एक महत्वपूर्ण सुधार है जिन्हें एक्सपोनेंशियल विड्थ की आवश्यकता थी।
• सामान्य प्रयोज्यता (General Applicability): परिणाम किसी भी $\beta > 0$ के स्मूथनेस पैरामीटर और $\gamma \in [0, 1]$ के कैपेसिटी पैरामीटर के लिए मान्य हैं, जिसमें वे मामले भी शामिल हैं जहाँ लक्षित फलन RKHS के भीतर नहीं होता है ($\beta < 1/2$)।

मुख्य परिणाम (Main Results)

एक्टिवेशन फंक्शन (स्मूथनेस और बाउंडेड डेरिवेटिव्स), RKHS के प्रभावी आयाम (Assumption 2), और लक्षित फलन की सोर्स कंडीशन (Assumption 3) पर मानक धारणाओं के तहत, पेपर सिद्ध करता है:

• इष्टतम जोखिम दर (Optimal Risk Rate): GD और SGD दोनों के लिए, एक्सीस पॉपुलेशन रिस्क इस दर पर अभिसरित (converge) होता है:
  $$O\left(n^{-\frac{2\beta}{2\beta + \gamma}}\right)$$
  बशर्ते कि $2\beta + \gamma > 1$ हो।
• चौड़ाई स्केलिंग (Width Scaling): यह दर तब प्राप्त होती है जब नेटवर्क की चौड़ाई इस प्रकार हो:
  $$m \gtrsim C_\sigma^L d n^{\frac{2\beta+4}{2\beta+\gamma}} \log^2\left(\frac{dL}{\delta}\right)$$
  जहाँ $L$ परतों की संख्या है और $C_\sigma$ एक्टिवेशन फंक्शन पर निर्भर एक स्थिरांक है।
• कर्नल विधियों के साथ तुलना: प्राप्त दरें समान धारणाओं के तहत कर्नल विधियों के लिए क्लासिकल मिनिमैक्स-ऑप्टिमल दरों से मेल खाती हैं, जो पुष्टि करती है कि पर्याप्त रूप से चौड़े होने पर DNNs कर्नल विधियों की तुलना में कोई सामान्यीकरण दंड (generalization penalty) नहीं झेलते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र निम्नलिखित तरीकों से यह समझने में काफी प्रगति करने का दावा करता है कि ग्रेडिएंट विधियाँ डीप न्यूरल नेटवर्क में कैसे सामान्यीकरण करती हैं:

1. एक खुले प्रश्न का उत्तर देना: यह इस बात का सकारात्मक उत्तर प्रदान करता है कि क्या GD/SGD द्वारा प्रशिक्षित DNNs अपने कर्नल-आधारित समकक्षों के समान सामान्यीकरण प्रदर्शन प्राप्त कर सकते हैं।
2. गहराई की सीमाओं को पार करना: एरर डिकंपोजिशन और कंसन्ट्रेशन विश्लेषण को परिष्कृत करके, लेखक उन तकनीकी बाधाओं को दूर करते हैं जिन्होंने पहले उथले से गहरे नेटवर्क्स तक मिनिमैक्स-ऑप्टिमल परिणामों को विस्तारित करने से रोका था।
3. ओवर-पैरामीटराइजेशन के लिए सैद्धांतिक औचित्य: परिणाम ओवर-पैरामीटराइज्ड डीप नेटवर्क्स के उपयोग को सैद्धांतिक रूप से न्यायसंगत ठहराते हैं, यह दिखाते हुए कि पर्याप्त चौड़ाई के साथ, वे कर्नल विधियों के इष्टतम सांख्यिकीय प्रदर्शन को दोहरा सकते हैं।

लेखक नोट करते हैं कि हालांकि उनके परिणाम NTK रिजीम (इनिशियलाइजेशन के आसपास लीनियर एप्रोक्सिमेशन) पर निर्भर करते हैं, जो मध्यम संख्या में इटरेशन के लिए मान्य है, यह फ्रेमवर्क ओवर-पैरामीटराइज्ड सेटिंग में सामान्यीकरण को समझने के लिए एक कठोर आधार प्रदान करता है। वे स्वीकार करते हैं कि जनरलाइजेशन बाउंड्स में गहराई $L$ पर एक्सपोनेंशियल निर्भरता को कम करना भविष्य के कार्य की दिशा है।