Large Dimensional Kernel Ridge Regression: Extending to Product Kernels

तकनीकी सारांश: उच्च-आयामी कर्नेल रिज़-रिग्रेशन (Kernel Ridge Regression): उत्पाद कर्नेल (Product Kernels) तक विस्तार

समस्या विवरण
हालिया साहित्य ने उच्च-आयामी कर्नेल रिज़-रिग्रेशन (KRR) में जटिल घटनाओं की पहचान की है, जिनमें संतृप्ति प्रभाव (saturation effects), अभिसरण दरों में आवधिक पठार (periodic plateaus in convergence rates), और बहु-अवनति व्यवहार (multiple descent behavior) शामिल हैं। हालाँकि, ये निष्कर्ष मुख्य रूप से प्रतिबंधित सेटिंग्स के तहत प्राप्त किए गए हैं, विशेष रूप से गोले (sphere) पर परिभाषित इनर प्रोडक्ट कर्नेल या आइगेनफंक्शंस (eigenfunctions) के संबंध में कड़े अनुमानों (जैसे हाइपरकॉन्ट्रैक्टिविटी) के तहत। एक महत्वपूर्ण अंतराल बना हुआ है कि सामान्य कर्नेल, जैसे कि अनबाउंडेड डोमेन पर परिभाषित गाऊसी (Gaussian) कर्नेल, कैसे व्यवहार करते हैं जब नमूना आकार $n$ और आयाम $d$ दोनों बड़े होते हैं (विशेष रूप से जहाँ $n \asymp d^\gamma$)। मौजूदा सैद्धांतिक ढांचे अक्सर इन सामान्य मामलों के लिए लागू होने में विफल रहते हैं क्योंकि वे गोलाकार हार्मोनिक्स (spherical harmonics) के विशिष्ट स्पेक्ट्रल गुणों पर निर्भर करते हैं।

कार्यप्रणाली
लेखक एक सैद्धांतिक ढांचे का प्रस्ताव करते हैं जो KRR विश्लेषण को उच्च-आयामी उत्पाद कर्नेल (large-dimensional product kernels) के एक व्यापक परिवार तक विस्तारित करता है, जो उत्पाद माप स्थानों (product measure spaces) $(X, \mu) = \prod_{i=1}^d (X_i, \mu_i)$ पर परिभाषित हैं। कार्यप्रणाली में शामिल है:

1. कर्नेल वर्ग की परिभाषा: "उच्च-आयामी उत्पाद कर्नेल" (Assumption 4.1) को पेश करना, जहाँ कर्नेल $k_d$, घातीय क्षय (exponential decay) प्रदर्शित करने वाले 1-आयामी कर्नेल का एक उत्पाद है। यह वर्ग सामान्य मापों पर गाऊशियन, मेलर (Mehler), और लैगुएर (Laguerre) कर्नेल जैसे व्यापक रूप से उपयोग किए जाने वाले कर्नेल को समाहित करता है।
2. आइगेनवैल्यू-केंद्रित विश्लेषण: पिछले कार्यों के विपरीत जो विशिष्ट आइगेनफंक्शन गुणों (जैसे हाइपरकॉन्ट्रैक्टिविटी या बहुपद संरचनाओं) पर निर्भर करते हैं, यह शोध पत्र केवल आइगेनवैल्यू (eigenvalues) के स्पर्शोन्मुख व्यवहार (asymptotic behavior) के आधार पर अभिसरण दरें प्राप्त करता है। लेखक स्थापित करते हैं कि इन उत्पाद कर्नेलों में एक "सीढ़ीनुमा अवतलन" (staircase descent) आइगेनवैल्यू संरचना होती है (Proposition 4.3), जहाँ आइगेनवैल्यू उत्पाद घटकों की डिग्री के अनुरूप चरणों में घटते हैं।
3. बायस-वैरिएंस अपघटन (Bias-Variance Decomposition): जनरलाइजेशन एरर (generalization error) का विश्लेषण बायस-वैरिएंस अपघटन के माध्यम से किया जाता है। लेखक $[H]^s$ स्रोत स्थितियों (source conditions) के तहत वेरिएंस टर्म ($N_2(\lambda)/n$) और बायस टर्म ($R_2(\lambda)$) के सटीक क्रम निर्धारित करते हैं।
4. मिनिमैक्स लोअर बाउंड्स (Minimax Lower Bounds): प्राप्त दरों की इष्टतमता को मान्य करने के लिए, यह शोध पत्र पैकिंग और कवरिंग एंट्रॉपी तर्कों का उपयोग करके मिनिमैक्स लोअर बाउंड्स का निर्माण करता है, जो यांग और बैरन (1999) तथा लू एट अल (2023) से अनुकूलित हैं और विशेष रूप से उत्पाद कर्नेल सेटिंग के लिए तैयार किए गए हैं।

प्रमुख योगदान

• घटनाओं का सामान्यीकरण: यह शोध पत्र प्रदर्शित करता है कि गोलाकार इनर प्रोडक्ट कर्नेल में देखे गए "संतृप्ति प्रभाव", "आवधिक पठार घटना", और "बहु-अवनति व्यवहार" भी उच्च-आयामी उत्पाद कर्नेल के बहुत व्यापक वर्ग के लिए सत्य हैं।
• आइगेनफंक्शन धारणाओं का शिथिलन: एक प्राथमिक योगदान आइगेनफंक्शंस (जैसे हाइपरकॉन्ट्रैक्टिविटी) पर प्रतिबंधात्मक धारणाओं को हटाना है। परिणाम विशेष रूप से आइगेनवैल्यू क्षय दरों पर निर्भर करते हैं, जिससे सिद्धांत उन कर्नेल के लिए भी लागू होता है जिनमें जटिल आइगेनफंक्शन संरचनाएं (जैसे हर्मिट और लैगुएर बहुपदों के उत्पाद) होती हैं जहाँ पिछले तरीके विफल रहे थे।
• सटीक अभिसरण दरें: लेखक उच्च-आयामी शासन ($n \asymp d^\gamma$) में विभिन्न $\gamma$ के लिए दोनों $s \ge 1$ और $0 < s < 1$ हेतु जनरलाइजेशन एरर के लिए सटीक दरें प्रदान करते हैं।
• मिनिमैक्स इष्टतमता और संतृप्ति: यह शोध पत्र स्थापित करता है कि जब $s \le 1$ हो तो KRR मिनिमैक्स इष्टतम है। $s > 1$ के लिए, यह "संतृप्ति प्रभाव" को स्पष्ट करता है, जहाँ KRR की अभिसरण दर $\gamma$ की कुछ श्रेणियों के लिए मिनिमैक्स लोअर बाउंड के साथ मेल खाने में विफल रहती है, और यह अंतर $s$ बढ़ने के साथ बढ़ता जाता है।

परिणाम
शोध पत्र उत्पाद कर्नेल के तहत KRR के जनरलाइजेशन एरर के लिए निम्नलिखित विशिष्ट व्यवहार प्राप्त करता है:

1. मिनिमैक्स इष्टतमता ($s \le 1$): जब स्रोत स्थिति $s \le 1$ होती है, तो KRR एस्टिमेटर अधिकांश $\gamma$ मानों के लिए मिनिमैक्स लोअर बाउंड प्राप्त करता है।
2. संतृप्ति प्रभाव ($s > 1$): जब $s > 1$ होता है, तो एक संतृप्ति प्रभाव होता है। $\gamma$ के विशिष्ट अंतरालों के लिए, KRR की अभिसरण दर मिनिमैक्स लोअर बाउंड की तुलना में स्पष्ट रूप से धीमी होती है। यह अंतर बना रहता है और $s$ के बढ़ने पर, विशेष रूप से जब $s \ge 2$ हो, तो बढ़ सकता है।
3. आवधिक पठार घटना (Periodic Plateau Phenomenon): अभिसरण दर $\gamma$ के सापेक्ष एक आवधिक पठार संरचना प्रदर्शित करती है। दर $\gamma$ के कुछ अंतरालों में स्थिर रहती है और अन्य में सुधरती है। इसका तात्पर्य यह है कि नमूना आकार $n$ (और इस प्रकार $\gamma$) को बढ़ाना केवल तभी फायदेमंद होता है जब वह विशिष्ट थ्रेशोल्ड को पार कर ले।
4. बहु-अवनति व्यवहार (Multiple Descent Behavior): जब त्रुटि को नमूना आकार $n$ (या $\gamma$) के फलन के रूप में देखा जाता है, तो अभिसरण दर एक "बहु-अवनति" व्यवहार प्रदर्शित करती है, जो $s$ से संबंधित $\gamma$ के विशिष्ट पूर्णांक मानों पर स्थानीय अधिकतम (सबसे धीमी दरें) और स्थानीय न्यूनतम (सबसे तेज़ दरें) द्वारा चिह्नित होती है।
5. प्रायोगिक सत्यापन: उच्च-आयामी गाऊसी कर्नेल के साथ प्रयोग सैद्धांतिक भविष्यवाणियों की पुष्टि करते हैं। अनुभवजन्य अभिसरण दरें प्राप्त सटीक दरों के साथ संरेखित होती हैं, और जब वास्तविक फलन बहुत स्मूथ ($f^*_\rho \in [H]^\infty$) होता है, तो संतृप्ति प्रभावों की उपस्थिति देखी जाती है।

महत्व
यह शोध पत्र दावा करता है कि ये निष्कर्ष सुझाव देते हैं कि संतृप्ति, आवधिक पठार और बहु-अवनति की घटनाएं उच्च-आयामी कर्नेल विधियों के सामान्य गुण हैं, न कि केवल गोलाकार पर इनर प्रोडक्ट कर्नेल की विशिष्ट विशेषताएं। आइगेनफंक्शन गुणों पर निर्भरता को हटाकर, यह कार्य KSR के सैद्धांतिक समझ को अधिक यथार्थवादी और सामान्य कर्नेल वर्ग तक विस्तारित करता है। यह आधुनिक उच्च-आयामी अनुप्रयोगों में कर्नेल विधियों के विश्लेषण के लिए एक अधिक मजबूत आधार प्रदान करता है जहाँ डेटा गोले पर नहीं हो सकता है और कर्नेल अनबाउंडेड डोमेन पर परिभाषित हो सकते हैं। लेखक नोट करते हैं कि हालांकि वे उत्पाद कर्रलों पर ध्यान केंद्रित करते हैं, भविष्य के कार्य इस विश्लेषण को अन्य कर्नेल-आधारित एल्गोरिदम और अनुकूलित (adaptive) कर्नेल मॉडल तक विस्तारित कर सकते हैं।