Infinite-Dimensional Spherical Kernel ridge Regression

तकनीकी सारांश: अनंत-आयामी गोलाकार कर्नेल रिज़-रिग्रेशन (Infinite-Dimensional Spherical Kernel Ridge Regression)

समस्या विवरण
यह शोध पत्र उस रिग्रेशन समस्या को संबोधित करता है जहाँ प्रतिक्रिया चर (response variable) $Y$, एक हिल्बर्ट स्पेस $Y$ के भीतर एक स्फीयर (गोले) $S$ पर स्थित है, जिसकी आयामीता (dimension) अनिश्चित (परिमित या अनंत) है, और सह-चर (covariate) $X$, एक पोलिश स्पेस (Polish space) में निवास करता है। यह परिवेश कार्यात्मक डेटा विश्लेषण (functional data analysis), सांख्यिकीय आकार विश्लेषण (statistical shape analysis), और प्रायिकता घनत्व फलनों (वर्ग-मूल रूपांतरणों के माध्यम से) के मॉडलिंग में उत्पन्न होता है।

मैनिफोल्ड-मानित (manifold-valued) रिग्रेशन के लिए मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

1. टैंजेंट-स्पेस रिग्रेशन (Tangent-space regression): यह रैखिक विधियों को लागू करने के लिए प्रतिक्रियाओं को एक टैंजेंट स्पेस $T_o S$ में ऊपर उठाता है। हालांकि यह गणनात्मक रूप से सुविधाजनक है, यह अंतर्निहित गोलाकार दूरियों का उल्लंघन करता है, जिससे वक्रता-प्रेरित पूर्वाग्रह (curvature-induced bias) उत्पन्न होता है क्योंकि लॉग-रूपांतरित डेटा का सशर्त माध्य ($E[\text{Log}_o(Y)|X]$), सशर्त फ्रेचेट माध्य ($\mu(x) = \arg\min_q E[d_S^2(q, Y)|X=x]$) से भिन्न होता है।
2. जियोडेसिक रिग्रेशन (Geodesic regression): आमतौर पर परिमित-आयामी मैनिफोल्ड तक सीमित होता है और अक्सर विशिष्ट पैरामेट्रिक रूपों या विशिष्ट प्रेडिक्टर संरचनाओं को मानता है।
3. अनंत-आयामी चुनौतियाँ: अनंत-आयामी गोलों (जैसे घनत्व फलनों के लिए) के लिए इन विधियों का विस्तार करना सैद्धांतिक रूप से कठिन है क्योंकि अनुमानक (estimators) में क्लोज्ड-फॉर्म समाधानों का अभाव होता है, और मानक एम्पिरिकल प्रोसेस तकनीकें अक्सर अंतर्निहित रूप से परिमित आयामीता मान लेती हैं।

कार्यप्रणाली (Methodology)
लेखक एक अंतर्निहित (intrinsic) रिग्रेशन ढांचे का प्रस्ताव करते हैं जो लॉस कैलकुलेशन के लिए कच्चे डेटा को टैंजेंट स्पेस में ऊपर उठाने के बजाय सीधे गोले पर सशर्त फ्रेचेट माध्य $\mu(x)$ को मॉडल करता है।

1. मॉडल सूत्रीकरण (Model Formulation):
   यह मॉडल सशर्त माध्य को एक आधार बिंदु (base point/intercept) $o \in S$ और एक रैखिक प्रेडिक्टर फलन $f: X \to T_o S$ में विभाजित करता है। $\mu(x)$ को एक्सपोनेंशियल मैप के माध्यम से पुनर्गठित किया जाता है:
   $$\mu(x) = \text{Exp}_o(f(x))$$
   यह माना गया है कि फलन $f$, एक वेक्टर-वैल्यूड रिप्रोड्यूसिंग कर्नेल हिल्बर्ट स्पेस (VVRKHS) $\mathcal{H}$ से संबंधित है, जो $X$ से $T_o S$ तक मानचित्रण करने वाले फलनों का समूह है। लेखक सिंपल मल्टीप्लिकेटिव ऑपरेटर (SMO) कर्नेल का उपयोग करते हैं जो $K(x, x') = k(x, x')\text{Id}$ के रूप में होते हैं, जहाँ $k$ एक स्केलर कर्नेल है और $\text{Id}$ $T_o S$ पर आइडेंटिटी है।

2. अनुमान (Estimation):
   अनुमानक $\hat{f}$ को एक नियमितकृत एम्पिरिकल रिस्क (regularized empirical risk) को न्यूनतम करके प्राप्त किया जाता है:
   $$R_n(f, \lambda) = \frac{1}{n} \sum_{i=1}^n d_S^2(\text{Exp}_o(f(X_i)), Y_i) + \lambda^2 \|f\|_{\mathcal{H}}^2$$
   मानक कर्नेल रिज़-रिग्रेशन के विपरीत, एक्सपोनेंशियल मैप की आवधिकता (periodicity) के कारण लॉस टर्म $d_S^2$ पूरे हिल्बर्ट स्पेस पर गैर-उत्तल (non-convex) है।

3. अनुकूलन एल्गोरिदम (Optimization Algorithm):
   चूंकि कोई क्लोज्ड-फॉर्म समाधान मौजूद नहीं है, इसलिए लेखक एक BFG-आधारित अनुकूलन एल्गोरिदम विकसित करते हैं जो एक ड्यूल लो-रैंक सन्निकटन (dual low-rank approximation) के साथ मिलकर काम करता है।

   • रिप्रेजेंटर थ्योरम (Representer Theorem): एक नवीन रिप्रेजेंटर थ्योरम (Theorem 4.1) यह सिद्ध करती है कि न्यूनततम (minimizer) कर्नेल फलनों और लॉग-रूपांतरित प्रतिक्रियाओं पर मूल्यांकित डेटा बिंदुओं द्वारा स्पैन किए गए एक परिमित-आयामी उप-स्थान (subspace) में स्थित है।
   • दक्षता (Efficiency): उच्च आयामीता को संभालने के लिए, एल्गोरिदम समस्या को कर्नेल ग्रैम मैट्रिक्स और रिस्पॉन्स ग्रैम मैट्रिक्स के अग्रणी आइजनवेक्टर्स से प्राप्त लो-रैंक उप-स्थान पर प्रोजेक्ट करता है। यह संख्यात्मक स्थिरता बनाए रखते हुए पैरामीटर स्पेस को $O(n^2)$ से एक प्रबंधनीय आकार में कम कर देता है।

प्रमुख सैद्धांतिक परिणाम
लेखक विशिष्ट नियमितता धारणाओं के तहत कठोर सैद्धांतिक गारंटी स्थापित करते हैं, मुख्य रूप से एक बाउंडेड सपोर्ट कंडीशन (Assumption 4.6): $d_S(o, Y) \leq \pi/4$ लगभग निश्चित रूप से (almost surely)। यह सुनिश्चित करता है कि सशर्त माध्य एक ऐसे जियोडेसिक बॉल के भीतर है जहाँ वर्ग दूरी फलन स्थानीय रूप से उत्तल (locally convex) है।

1. रिप्रेजेंटर थ्योरम (Theorem 4.1): यह सिद्ध करता है कि अनंत-आयामी गोलाकार रिग्रेशन को परिमित-आयामी अनुकूलन में बदला जा सकता है, भले ही गोला और फलन स्थान अनंत-आयामी हों।
2. अभिसरण दरें (Convergence Rates):
   • न्यूनतम धारणाएँ: अनिश्चित पोलिश सह-चर स्थानों और अनंत-आयामी गोलों के लिए, अनुमानक $L^2(P_X)$ नॉर्म में $O_P(n^{-1/2})$ की अभिसरण दर प्राप्त करता है (Theorem 4.8)।
   • स्मूथनेस-निर्भर दरें: जब स्केलर कर्नेल $k$ में विशिष्ट आइजनवैल्यू डिके (eigenvalue decay) गुण होते हैं (जैसे पॉलीनोमियल या स्ट्रेच्ड एक्सपोनेंशियल), तो लेखक तेज़ दरें प्राप्त करते हैं (जैसे पॉलीनोमियल डिके के लिए $O_P(n^{-p/(p+1)})$) (Theorem 4.13)। ये दरें ज्ञात लीनियर वेक्टर-वैल्यूड कर्नेल रिज़-रिग्रेशन और फंक्शनल रिग्रेशन के परिणामों से मेल खाती हैं या उनसे बेहतर हैं।
3. स्ट्रॉन्ग कंसिस्टेंसी (Strong Consistency): कॉम्पैक्टनेस और निरंतरता की धारणाओं के तहत, अनुमानक को आउटर ऑल्मोस्ट एस्योरली कंसिस्टेंट (outer almost surely consistent) दिखाया गया है (Theorem 4.17)।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

1. सिमुलेशन अध्ययन: लेखकों ने एक अनंत-आयामी गोले ($L^2([0,1])$) पर विभिन्न शोर स्तरों के साथ डेटा का सिमुलेशन किया।

   • परिणाम: प्रस्तावित विधि, विशेष रूप से जैसे-जैसे नमूना आकार बढ़ता है और डेटा का फैलाव गोले पर चौड़ा होता है, टैंजेंट-स्पेस रिग्रेशन से बेहतर प्रदर्शन करती है। विधि बाउंडेड सपोर्ट धारणा के उल्लंघन (व्यास $4\pi/5$) के बावजूद मजबूत प्रदर्शन प्रदर्शित करती है।
   • दरें: देखे गए अभिसरण दरें सैद्धांतिक भविष्यवाणियों (जैसे गाऊसी कर्नेल के लिए $O(\log(n)^2/n)$) के अनुरूप हैं।

2. अनुप्रयोग: शहरी प्रदूषण घनत्व रिग्रेशन (Urban Pollution Density Regression):

   • डेटा: नीदरलैंड के 14 निगरानी स्टेशनों से एरोसोल पार्टिकल लाइट एब्जॉर्प्शन कोएफिशिएंट्स (AAC) का डेटा। प्रतिक्रिया AAC मापों का वर्ग-मूल घनत्व है।
   • तुलना: विधि की तुलना फ्रेचेट रिग्रेशन (2-वॉसरस्टीन स्पेस), बेयस हिल्बर्ट रिग्रेशन, और लॉगनॉर्मल-नॉर्मल कन्वोल्यूशन मॉडल से की गई है।
   • प्रदर्शन: गोलाकार कर्नेल रिज़-रिग्रेशन विधि गोलाकार दूरी और बेयस-स्पेस दूरी में प्रतिस्पर्धी भविष्यवाणी त्रुटियां प्राप्त करती है। महत्वपूर्ण रूप से, यह बेयस हिल्बर्ट और लॉगनॉर्मल-नॉर्मल मॉडल की तुलना में कई गुना अधिक तेज़ है, जो बेहतर गणनात्मक दक्षता और स्थिरता प्रदान करती है।

महत्व और योगदान
लेखक साहित्य में कई विशिष्ट योगदानों का दावा करते हैं:

1. समुदायों को जोड़ना: यह गैर-रैखिक प्रतिक्रिया स्थानों के लिए कार्यात्मक डेटा विश्लेषण समुदाय में VVRKHS रिग्रेशन विधियों को पेश करता है।
2. सैद्धांतिक नवीनता: यह एक नया रिप्रेजेंटर थ्योरम प्रदान करता है जो अनंत-आयामी गोलाकार रिग्रेशन को परिमित-आयामी अनुकूलन में बदल देता है, एक ऐसा परिणाम जो इस विशिष्ट गैर-रेखीय सेटिंग के लिए पहले स्थापित नहीं किया गया था।
3. अंतर्निहित ज्यामिति (Intrinsic Geometry): लॉस फंक्शन के लिए टैंजेंट-स्पेस लिफ्ट से बचकर, यह विधि वक्रित स्थानों के रैखिकीकरण (linearization) से उत्पन्न होने वाले ज्यामितिक पूर्वाग्रह से बचती है, जो गोले की अंतर्निहित ज्यामिति के अनुरूप है।
4. व्यावहारिक उपयोगिता: यह एक गणनात्मक रूप से कुशल एल्गोरिदम (BFGS और लो-रैंक सन्निकटन के माध्यम से) और एक तैयार उपयोग योग्य R पैकेज (sphereg) प्रदान करता है, जिससे घनत्व अनुमान जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए अनंत-आयामी गोलाकार रिग्रेशन संभव हो जाता है।

लेखक बाउंडेड सपोर्ट धारणा के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि हालांकि यह प्रतिबंधात्मक है, यह मौजूदा मेट्रिक स्पेस रिग्रेशन साहित्य में धारणाओं के तुलनीय है। वे सुझाव देते हैं कि भविष्य के कार्य के लिए संख्यात्मक तर्कों या एक "पैचवर्क" दृष्टिकोण (सह-चर स्थान का विभाजन) के माध्यम से इस धारणा को शिथिल किया जा सकता है।