From Sublinear to Linear: Local Convergence in Finite-Width Networks via Locally Polyak-Lojasiewicz Regions

तकनीकी सारांश: उप-रैखिक से रैखिक तक: स्थानीय रूप से पॉलीक-लोजासेविक (Polyak-Łojasiewicz) क्षेत्रों के माध्यम से सीमित-चौड़ाई वाले नेटवर्क में अभिसरण

1. समस्या विवरण

डीप न्यूरल नेटवर्क लॉस लैंडस्केप पर ग्रेडिएंट डिसेंट (GD) गैर-उत्तल (non-convex) होता है, फिर भी यह व्यावहारिक रूप से शास्त्रीय सबसे खराब स्थिति वाले उप-रैखिक (sublinear) गारंटियों की तुलना में काफी तेजी से अभिसरित होता है। पूर्ववर्ती सैद्धांतिक कार्य, विशेष रूप से लोकली क्वाजी-कॉन्वेक्स रीजन (LQCR) फ्रेमवर्क (Aich et al., 2025) ने स्थापित किया कि सीमित-चौड़ाई वाले फीडफॉरवर्ड नेटवर्क के लिए, GD एक प्रारंभिक बिंदु (initialization) के आसपास एक स्थानीय क्षेत्र में सीमित रहता है और एक उप-रैखिक दर पर एक स्थिर बिंदु (stationary point) तक अभिसरित होता है। हालांकि, यह फ्रेमवर्क देखे गए निकट-घातांकीय (near-exponential/linear) क्षय की व्याख्या नहीं करता है।

इस शोध पत्र द्वारा संबोधित केंद्रीय प्रश्न यह है: क्या कोई स्वाभाविक अतिरिक्त स्थानीय स्थिति है जिसके तहत समान LQCR के भीतर अभिसरण दर उप-रैखिक से सुधरकर रैखिक (linear) हो जाती है? लेखक एक ऐसी स्थिति की तलाश कर रहे हैं जो अत्यधिक ओवरपैरामीट्राइजेशन की आवश्यकता के बिना, स्पष्ट रूप से LQCR द्वारा चरित्रित स्थानीय क्षेत्र पर लागू होती हो।

2. कार्यप्रणाली और सैद्धांतिक ढांचा

यह शोध पत्र अभिसरण तंत्र को दो अलग-अलग घटकों में विभाजित करने का प्रस्ताव करता है: स्थानीयकरण (localization) और त्रुटि बाउंडिंग (error bounding)।

• स्थानीयकरण (The LQCR): लेखक प्रारंभिक बिंदु $\theta_0$ के आसपास एक ज्यामितीय रूप से चरित्रित क्षेत्र $R$ को परिभाषित करने के लिए LQCR फ्रेमवर्क (Aich et al., 2025) का उपयोग करते हैं, जिसमें एक स्पष्ट त्रिज्या $r(R)$ है। मूल LQCR कार्य में, यह क्षेत्र गारंटी देता है कि एक विशिष्ट घटते हुए स्टेप-साइज शेड्यूल के तहत इटरेट्स (iterates) सीमित रहते हैं। इस शोध पत्र में, LQCR को सख्ती से एक कंटेनमेंट और लोकलाइजेशन डिवाइस के रूप में उपयोग किया गया है।
• लोकल पॉलीक-लोजासेविक (LPL) स्थिति: लेखक इस क्षेत्र के भीतर विशेष रूप से स्क्वेयर्ड एम्पिरिकल लॉस के लिए एक लोकल PL असमानता (inequality) व्युत्पन्न करते हैं।
  • तंत्र (Mechanism): इसका व्युत्पत्ति स्क्वेयर्ड लॉस की एक एक-लाइन पहचान पर आधारित है: $\|\nabla L(\theta)\|^2 = \frac{1}{n}(f_\theta - y)^\top \Theta_\theta (f_\theta - y)$, जहाँ $\Theta_\theta$ एम्पिरिकल न्यूरल टेंगेंट कर्नेल (NTK) है।
  • मान्यताएं (Assumptions): लेखक मानते हैं कि:
    1. पॉइंटवाइज पॉजिटिविटी: एम्पिरिकल NTK इनिशियलाइजेशन पर पॉजिटिव डेफिनिट है ($\lambda_{\min}(\Theta_{\theta_0}) \ge \lambda_0 > 0$)।
    2. लिप्सचिट्ज स्थिरता (Lipschitz Stability): NTK क्षेत्र $R$ पर स्थिरांक $L_\Theta$ के साथ लिप्सचिट्ज निरंतर है।
    3. अनुकूलता (Compatibility): क्षेत्र की त्रिज्या और लिप्सचिट्ज स्थिरांक संतुष्ट करते हैं $L_\Theta r(R) < \lambda_0$।
  • व्युत्पत्ति: वेइल की असमानता (Weyl's inequality) का उपयोग करते हुए, वे इस क्षेत्र में प्रारंभिक स्पेक्ट्रल गैप को प्रसारित करते हैं। इससे NTK आइगेनवैल्यूज़ पर एक समान निचला बाउंड प्राप्त होता है: $\lambda_{\min}(\Theta_\theta) \ge \lambda_0 - L_\Theta r(R) = \lambda_R > 0$।
  • परिणामी PL स्थिरांक: यह स्पेक्ट्रल लोअर बाउंड सीधे एक PL स्थिरांक $\mu = \lambda_R$ में परिवर्तित हो जाता है। फलस्वरूप, स्क्वेयर्ड लॉस स्थानीय PL असमानता को संतुष्ट करता है: $\frac{1}{2}\|\nabla L(\theta)\|^2 \ge \mu (L(\theta) - L^*_R)$ सभी $\theta \in R$ के लिए।
• रैखिक अभिसरण प्रमेय (Linear Convergence Theorem): हाइपोथीसिस कि GD इटरेट्स $R$ के भीतर रहते हैं (फिक्स्ड-स्टेप प्रमेय के लिए एक शर्त के रूप में लागू) के साथ इस व्युत्पन्न PL असमानता को जोड़कर, लेखक सिद्ध करते हैं कि GD स्थानीय न्यूनतम $L^*_R$ की ओर रैखिक रूप से अभिसरित होता है, जिसकी दर $\mu$ और स्टेप साइज $\eta \le 1/L$ द्वारा निर्धारित होती है।

3. मुख्य योगदान

यह शोध पत्र पांच विशिष्ट योगदान देता है:

1. NTK कंडीशनिंग से लोकल PL असमानता: वे सिद्ध करते हैं कि इनिशियलाइजेशन पर एम्पिरिकल NTK की पॉइंटवाइज पॉजिटिविटी, लिप्सचिट्ज निरंतरता के साथ मिलकर, LQCR पर एक PL असमानता प्रदान करती है जिसका स्पष्ट स्थिरांक $\mu = \lambda_0 - L_\Theta r(R)$ है।
2. भूमिकाओं का स्पष्ट विभाजन: लेखक स्पष्ट करते हैं कि LQCR क्षेत्र और कंटेनमेंट प्रदान करता है, जबकि NTK कंडीशनिंग PL असमानता प्रदान करती है। वे स्पष्ट रूप से दावा करने से बचते हैं कि केवल स्थानीय क्वासी-कॉन्वेक्सिटी ही तेज़ दर उत्पन्न करती है।
3. पर्याप्त, न कि आवश्यक: परिणाम को स्क्वेयर्ड लॉस पर रैखिक अभिसरण के लिए एक पर्याप्त स्थानीय स्थिति के रूप में प्रस्तुत किया गया है। लेखक यह दावा नहीं करते कि यह तंत्र डीप नेटवर्क में तेज़ अभिसरण के लिए आवश्यक या एकमात्र व्याख्या है।
4. लेटेंट वेरिएबल एम्पिरिकल कार्यप्रणाली: केवल लॉस कर्व्स के लॉग-लॉग स्लोप को फिट करने के बजाय, लेखक एक ऐसी एम्पिरिकल रणनीति प्रस्तावित करते हैं जो सीधे सिद्धांत के "लेटेंट वेरिएबल्स" को ट्रैक करती है: NTK स्पेक्ट्रल गैप, पैरामीटर ड्रिफ्ट, एम्पिरिकल PL अनुपात, और सब-ऑप्टिमैलिटी डिके (suboptimality decay)।
5. बाउंड्री और रिकवरी प्रदर्शन: विड्थ एब्लेशन (width ablation) के माध्यम से, यह शोध पत्र एक विशिष्ट विफलता मोड प्रदर्शित करता है जहाँ स्थानीय शासन (local regime) टूट जाता है (पैरामीटर ड्रिफ्ट के कारण NTK गैप कम होने से), और यह भी दिखाता है कि स्टेप साइज को कम करने से स्थानीय शासन और सैद्धांतिक डायग्नोस्टिक्स को पुनः प्राप्त किया जा सकता है।

4. प्रयोगात्मक परिणाम

लेखक तीन प्रयोगात्मक सेटअपों का उपयोग करके अपने सिद्धांत को मान्य करते हैं:

• नियंत्रित बाइनरी MNIST (MLP):

  • 512 की चौड़ाई वाले फुली कनेक्टेड नेटवर्क पर, सबसेट एम्पिरिकल NTK आइगेनवैल्यू सकारात्मक रहता है और प्रारंभिक ड्रिफ्ट के बाद स्थिर हो जाता है।
  • पैरामीटर ड्रिफ्ट छोटा रहता है ($\approx 0.17$), जो लेज़ी (lazy) शासन के अनुरूप है।
  • एम्पिरिकल PL अनुपात स्थिर मध्य शासन में एक सकारात्मक निचला एनवेलप ($\approx 6.87$) प्रदर्शित करता है।
  • सब-ऑप्टिमैलिटी डिके एक ज्यामितीय पैटर्न का पालन करता है, जो रैखिक अभिसरण के अनुरूप है।

• विड्थ एब्लेशन (बाउंड्री विश्लेषण):

  • चौड़ाई $m \in \{128, 256, 512\}$ पर, सिस्टम अनुमानित व्यवहार करता है: NTK ड्रिफ्ट कम है, और PL अनुपात सकारात्मक है।
  • चौड़ाई $m=1024$ और स्टेप साइज $\eta=10^{-3}$ पर, सिस्टम स्थानीय शासन को तोड़ देता है: पैरामीटर ड्रिफ्ट बढ़कर $1.87$ हो जाता है, NTK आइगेनवैल्यू 83% गिर जाता है, और PL अनुपात खराब हो जाता है।
  • रिकवरी: $m=1024$ के मामले के लिए स्टेप साइज को घटाकर $\eta=5 \times 10^{-4}$ करने से लेज़ी शासन (ड्रिफ्ट घटकर $0.158$ हो जाता है) बहाल हो जाता है, NTK कंडीशनिंग वापस आ जाती है, और अध्ययन में देखा गया उच्चतम एम्पिरिकल PL अनुपात ($14.39$) प्राप्त होता है। यह कंटेनमेंट हाइपोथीसिस की स्टेप-साइज संवेदनशीलता की पुष्टि करता है।

• CNN रोबस्टनेस चेक (CIFAR-10):

  • एक ResNet-शैली के CNN का उपयोग करते हुए जिसे मिनी-बैच SGD और कोसाइन एनीलिंग के साथ प्रशिक्षित किया गया है (जो सख्त फिक्स्ड-स्टेप, फुल-बैच सैद्धांतिक दायरे से बाहर है), लेखकों ने देखा कि LPLR तंत्र के सिग्नेचर बने रहते हैं: PL अनुपात पर एक सकारात्मक निचला एनवेलप, सीमित पैरामीटर ड्रिफ्ट, और तीन सीड्स में रैखिक-दर सब-ऑप्टिमैलिटी डिके।
  • लेखक नोट करते हैं कि यह एक रोबस्टनेस चेक है; इस पैमाने पर NTK कंडीशनिंग को सीधे सत्यापित नहीं किया गया था, और उनके सैद्धांतिक अनुमानों (फिक्स्ड स्टेप साइज, स्मूथ एक्टिवेशन्स) को शिथिल (relaxed) किया गया था।

5. महत्व और दावे

यह शोध पत्र अपने योगदान को रैखिक अभिसरण के लिए एक स्थानीय, सीमित-चौड़ाई पर्याप्त स्थिति के रूप में प्रस्तुत करता है, जो वैश्विक ओवरपैरामीट्राइजेशन परिणामों से भिन्न है।

• यह क्या दावा करता है: लेखक प्रदर्शित करते हैं कि यदि एक सीमित-चौड़ाई वाला नेटवर्क एक LQCR के भीतर रहता है और एम्पिरिकल NTK विशिष्ट स्पेक्ट्रल और स्थिरता स्थितियों को पूरा करता है, तो स्क्वेयर्ड लॉस एक स्थानीय PL असमानता को संतुष्ट करता है, जो रैखिक अभिसरण की गारंटी देता है। वे प्रमाण देते हैं कि ये स्थितियाँ विशिष्ट शासन में बनी रहती हैं और इन स्थितियों का उल्लंघन (स्टेप साइज या विड्थ के माध्यम से) रैखिक दर को तोड़ देता है।
• यह क्या दावा नहीं करता है:
  • यह दावा नहीं करता कि तेज़ अभिसरण के लिए LPLR तंत्र आवश्यक है।
  • यह दावा नहीं करता कि यह रैखिक दरों के लिए एकमात्र मार्ग है (जैसे कि फीचर लर्निंग या मीन-फील्ड डायनेमिक्स अन्य स्थानों पर लागू हो सकते हैं)।
  • यह दावा नहीं करता कि यह तंत्र सभी लॉस फंक्शन्स (प्रमाण स्क्वेयर्ड लॉस के लिए विशिष्ट है) या सभी आर्किटेक्चर (वर्तमान प्रमाण स्मूथ फुली-कनेक्टेड नेटवर्क मानते हैं) के लिए सार्वभौमिक है।
  • यह दावा नहीं करता कि यह सभी व्यावहारिक डीप लर्निंग परिदृश्यों में तेज़ अभिसरण की व्याख्या करता है, बल्कि एक विशिष्ट स्थानीय शासन की पहचान करता है जहाँ यह सिद्ध रूप से पर्याप्त है।

लेखक इस बात पर जोर देते हैं कि उनकी प्रयोगात्मक कार्यप्रणाली—केवल लॉस कर्व्स के बजाय लेटेंट वेरिएबल्स की जांच करना—उनके सैद्धांतिक अनुमानों के अधिक कठोर सत्यापन की अनुमति देती है, जो यदि लेटेंट वेरिएबल्स भविष्यवाणियों के विपरीत व्यवहार करते हैं, तो फ्रेमवर्क को खारिज करने में सक्षम है।