Riemannian Stochastic Optimization for Sufficient Dimension Reduction

तकनीकी सारांश: पर्याप्त आयामी न्यूनीकरण के लिए रीमानियन स्टोकेस्टिक अनुकूलन (Riemannian Stochastic Optimization for Sufficient Dimension Reduction)

समस्या विवरण
पर्याप्त आयामी न्यूनीकरण (Sufficient Dimension Reduction - SDR) का लक्ष्य उच्च-आयामी सहचरों (covariates) $X \in \mathbb{R}^p$ का एक निम्न-आयामी रैखिक प्रक्षेप (linear projection) $B_*^\top X$ खोजना है, जो प्रतिक्रिया (response) $Y$ के सप्रतिबंध माध्य (conditional mean) को संरक्षित करता है, अर्थात $E[Y|X] = E[Y|B_*^\top X]$। जबकि यह $\mathbb{R}^p$ में प्रतिगमन फलन (regression function) के अनुमान की जटिल समस्या को $\mathbb{R}^d$ में कम कर देता है (जहाँ $d \ll p$), मौजूदा ग्रेडिएंट-आधारित अनुमानकों को सांख्यिकीय लचीलेपन और कम्प्यूटेशनल स्केलेबिलिटी के बीच एक मौलिक समझौते (trade-off) का सामना करना पड़ता है।

इनवर्स रिग्रेशन विधियाँ (जैसे SIR, SAVE) कम्प्यूटेशनल रूप से कुशल हैं लेकिन वे प्रतिबंधात्मक रैखिकता या स्थिर विचरण (constant variance) धारणाओं पर निर्भर करती हैं। ग्रेडिएंट-आधारित विधियाँ जैसे कि आउटर प्रोडक्ट ऑफ ग्रेडिएंट्स (OPG) और मिनिमम एवरेज वेरिएंस एस्टीमेशन (MAVE), वितरण संबंधी धारणाओं के बिना स्थानीय डेरिवेटिव जानकारी से सीधे उप-स्थान (subspace) का अनुमान लगाकर अधिक लचीलापन प्रदान करती हैं। हालाँकि, ये विधियाँ परिवेशी स्थान (ambient space) $X \in \mathbb{R}^p$ में कार्य करते समय "आयामों के अभिशाप" (curse of dimensionality) से ग्रस्त होती हैं। परिष्कृत संस्करण जैसे कि RMAVE (Refined MAVE), प्रक्षिप्त स्थान (projected space) $\mathbb{R}^d$ में स्थानीयकरण करके इस समस्या का समाधान करते हैं, लेकिन उन्हें $n$ नमूनों के लिए घने युग्मवार कर्नेल भार (dense pairwise kernel weights) की गणना करने और कोऑर्डिनेट-डिसेंट (coordinate-descent) उप-समस्याओं को हल करने के कारण प्रति बाहरी पुनरावृत्ति (outer iteration) कम से कम $O(n^2)$ का कम्प्यूटेशनल खर्च उठाना पड़ता है।

कार्यप्रणाली: SMAVE
लेखक SMAVE (स्टोकेस्टिक MAVE) प्रस्तावित करते हैं, जो सांख्यिकीय दक्षता और कम्प्यूटेशनल लागत के बीच के तनाव को हल करने के लिए रीमानियन स्टोकेस्टिक अनुकूलन और अनुकूली विरल स्थानीयकरण (adaptive sparse localization) को जोड़ता है।

1. सैद्धांतिक एकीकरण: शोध पत्र स्थापित करता है कि जनसंख्या MAVE जोखिम के मिनिमाइज़र (minimizers) OPG विधि (ग्रेडिएंट के आउटर प्रोडक्ट का स्पैन) के समान ही ग्रासमियनियन लक्ष्य (Grassmannian target) का अनुमान लगाते हैं। हालाँकि, MAVE इसे परिवेशी-स्थान ग्रेडिएंट एकत्रीकरण के बजाय प्रक्षिप्त-स्थान स्थानीय प्रतिगमन (projected-space local regression) के माध्यम से प्राप्त करता है। यह अंतर्दृष्टि MAVE उद्देश्य को ग्रासमियन मैनिफोल्ड (Grassmannian manifold) पर एक सुचारू फलन के रूप में मानने के लिए प्रेरित करती है।
2. रीमानियन पुनर्गठन (Riemannian Reformulation): अनुभवजन्य MAVE मानदंड को स्टिफ़ल मैनिफोल्ड (Stiefel manifold) $\text{St}(p, d) = \{B \in \mathbb{R}^{p \times d} : B^\top B = I_d\}$ पर एक मैक्सिमाइजेशन समस्या के रूप में पुनर्गठित किया गया है। लेखक इस उद्देश्य के लिए एक क्लोज्ड-फॉर्म अभिव्यक्ति (closed-form expression) प्राप्त करते हैं, जो स्पष्ट ऑर्थोगोनैलिटी बाधाओं के बिना सीधे मैनिफोल्ड पर अनुकूलन की अनुमति देती है।
3. स्केलेबल एल्गोरिदम:
   • विरल स्थानीयकरण (Sparse Localization): सभी $n^2$ जोड़ों के लिए घने कर्नेल भार की गणना करने के बजाय, SMAVE प्रक्षिप्त स्थान $\mathbb{R}^d$ में विरल $k$-निकटतम पड़ोसी ($k$-NN) भारों का उपयोग करता है। पड़ोस की परिभाषा वर्तमान उप-स्थान अनुमान $B$ पर निर्भर करती है, और $k$-NN इंडेक्स को विकसित होते उप-स्थान के अनुकूल होने के लिए आवधिक रूप से ($\tau$ पुनरावृत्तियों के बाद) रिफ्रेश किया जाता है।
   • स्टोकेस्टिक अनुकूलन: एल्गोरिदम मिनी-बैच रीमानियन स्टोकेस्टिक ग्रेडिएंट एसेंट (stochastic gradient ascent) का उपयोग करता है। प्रत्येक पुनरावृत्ति में, एंकर्स (anchors) का एक मिनी-बैच लिया जाता है, और ग्रेडिएंट की गणना केवल स्थानीय $k$-NN पड़ोसियों का उपयोग करके की जाती है।
   • आरंभीकरण (Initialization): RMAVE के विपरीत, जो एक OPG अनुमान से वार्म-स्टार्ट (warm-starts) होता है (जो उच्च आयामों में खराब हो जाता है), SMAVE स्टिफ़ल मैनिफोल्ड पर एक समान यादृच्छिक ड्रॉ (uniform random draw) के साथ आरंभीकरण करता है, जिससे यह संभावित रूप से खराब OPG बेसिन से अलग हो जाता है।

प्रमुख योगदान

1. सैद्धांतिक लक्षण वर्णन: लेखक सिद्ध करते हैं कि MAVE मिनिमाइज़र OPG (ग्रेडिएंट आउटर प्रोडक्ट मैट्रिक्स के शीर्ष आइजनस्पेस) के समान उप-स्थान को लक्षित करते हैं, लेकिन एक भिन्न तंत्र (स्थानीय प्रतिगमन बनाम ग्रेडिएंट एकत्रीकरण) के माध्यम से। यह दो प्रमुख SDR परिवारों को एकीकृत करता है और MAVE उद्देश्य की अंतर्निहित ग्रासमियन प्रकृति को प्रकट करता है।
2. रीमानियन पुनर्गठन: वे स्टिफ़ल मैनिफोल्ड पर MAVE उद्देश्य के लिए एक क्लोज्ड-फॉर्म रीमानियन ग्रेडिएंट प्रदान करते हैं, जो कुशल मैनिफोल्ड अनुकूलन को सक्षम बनाता है।
3. गारंटी के साथ स्केलेबल एल्गोरिदम: SMAVE विरल $k$-NN भारों और स्टोकेस्टिक ग्रेडिएंट्स का लाभ उठाकर RMAVE के $O(n^2)$ स्केलिंग को $O(n)$ (नमूना आकार में रैखिक) तक कम करता है। शोध पत्र प्रदान करता है:
   • एल्गोरिदम के एक सरलीकृत संस्करण के लिए एक क्रिटिकल पॉइंट (critical point) की लगभग-निश्चित अभिसरण (almost-sure convergence) प्रमाण।
   • $O(1/\sqrt{T})$ की गैर-एसिम्प्टोटिक अभिसरण दर, जो गैर-कॉन्वेक्स स्टोकेस्टिक फर्स्ट-ऑर्डर विधियों के लिए इष्टतम दर से मेल खाती है।
4. अनुभवजन्य सत्यापन: व्यापक प्रयोग प्रदर्शित करते हैं कि SMAVE मध्यम-से-उच्च परिवेशी आयामों में उप-स्थान रिकवरी सटीकता में RMAVE की तुलना में बेहतर या उसके बराबर प्रदर्शन करता है, जबकि यह 10 से 35 गुना तेज़ चलता है।

परिणाम

• सिंथेटिक बेंचमार्क: $p \in \{50, 100, 200\}$ और $n \in \{1000, 2000, 5000\}$ के साथ सिमुलेशन में, SMAVE ने RMAVE की तुलना में उप-स्थान अनुमान त्रुटि को 2–9 गुना कम कर दिया। प्रदर्शन का अंतर $p$ बढ़ने के साथ बढ़ गया, मुख्य रूप से इसलिए क्योंकि RMAVE का आरंभीकरण (OPG पर आधारित) $p$ के साथ तेजी से घटता है, जबकि SMAVE का यादृच्छिक आरंभीकरण और स्टोकेस्टिक अन्वेषण इसे उप-इष्टतम बेसिन से बाहर निकलने की अनुमति देता है।
• वास्तविक दुनिया के डेटासेट: चार डेटासेट (Wine Quality, Seoul Bike, Pumadyn, Gas Sensor) पर, जिनके आयाम $p=11$ से $p=128$ तक हैं, SMAVE ने एकरूपता से OPG को पछाड़ दिया। यह भविष्यवाणी सटीकता (टेस्ट MSE द्वारा मापा गया) में RMAVE के प्रतिस्पर्धी रहा या उससे बेहतर रहा, जबकि रनटाइम में आदेश-परिमाण (orders-of-magnitude) की कमी हासिल की। विशेष रूप से, उच्च-आयामी Gas Sensor डेटासेट ($p=128$) पर, SMAVE ने RMAVE से काफी बेहतर प्रदर्शन किया।
• दक्षता: SMAVE ने सर्वोत्तम सटीकता-दक्षता ट्रेड-ऑफ प्राप्त किया, जो किसेरेटो फ्रंटियर (Pareto frontier) के "अनुकूल निचले-बाएँ क्षेत्र" (कम त्रुटि, कम रनटाइम) में स्थित है।

महत्व और दावे
शोध पत्र का दावा है कि SMAVE स्केलेबल रीमानियन स्टोकेस्टिक अनुकूलन को एक मौलिक समस्या पर लागू करके नॉनपैरामीट्रिक सांख्यिकी के लिए सांख्यिकीय और कम्प्यूटेशनल दोनों लाभों को अनलॉक करता है। प्राथमिक महत्व यह प्रदर्शित करने में निहित है कि ग्रेडिएंट-आधारित SDR के कम्प्यूटेशनल बॉटलनेक (घने स्थानीयकरण और कोऑर्डिनेट डिसेंट की द्विघातीय लागत) को सांख्यिकीय निरंतरता (statistical consistency) से समझौता किए बिना दूर किया जा सकता है। अपने अनुकूलन को स्टिफ़ल मैनिफोल्ड पर स्थानांतरित करके और विरल स्थानीयकरण के साथ स्टोकेस्टिक ग्रेडिएंट्स का उपयोग करके, SMAVE पर्याप्त आयामी न्यूनीकरण को उन उच्च-आयामी सेटिंग्स के लिए व्यावहारिक बनाता है जहाँ पिछले तरीके या तो बहुत धीमे थे या आरंभीकरण समस्याओं के कारण सांख्यिकीय रूप से अविश्वसनीय थे। लेखक नोट करते हैं कि उनका दृष्टिकोण सामान्य-उद्देश्य वाला है और इसे अन्य उद्देश्य कार्यों, जैसे कि गैर-गौसियन प्रतिगमन (MADE) या वर्गीकरण के लिए भी विस्तारित किया जा सकता है, हालांकि इन विस्तारों को भविष्य के कार्य के रूप में छोड़ दिया गया है।