Proximal Projection for Doubly Sparse Regularized Models

तकनीकी सारांश: दोहरी विरल नियमित मॉडलों के लिए प्रॉक्सिमल प्रोजेक्शन (Proximal Projection for Doubly Sparse Regularized Models)

समस्या विवरण
उच्च-आयामी प्रतिगमन (high-dimensional regression) परिवेश में जहाँ भविष्यवक्ताओं (predictors) की संख्या ($p$) नमूना आकार ($n$) से अधिक होती है, मानक साधारण न्यूनतम वर्ग (OLS) सिंगुलैरिटी और मल्टीकोलिनैरिटी के कारण विफल हो जाता है। जबकि LASSO ($l_1$ पेनल्टी) और Ridge ($l_2$ पेनल्टी) जैसे नियमितीकरण (regularization) तरीके स्पर्सिटी (sparsity) और स्थिरता को संबोधित करते हैं, वे अक्सर भविष्यवक्ताओं के बीच अंतर्निहित संरचनात्मक संबंधों को अनदेखा कर देते हैं। जब भविष्यवक्ताओं को एक गाऊसी ग्राफिकल मॉडल द्वारा दर्शाया जा सकता है, तो इस संरचना का लाभ उठाना अनुमान (estimation) में सुधार करता है।

मौजूदा दृष्टिकोण, जैसे कि स्पार्स रिग्रेशन इनकॉर्पोरेटिंग ग्राफिकल स्ट्रक्चर (SRIG) और इसका दोहरी विरल विस्तार (DSRIG), गुणांक वेक्टर $\beta$ को नोड योगदान और भविष्यवक्ताओं के अनुरूप गुप्त चरों (latent variables) में विघटित करते हैं और इन गुप्त चरों पर नियमितीकरण लागू करते हैं। हालाँकि, DSRIG मॉडल, जो "दोहरी विरलता" (समूहों के बीच और समूहों के भीतर स्पर्सिटी) प्राप्त करता है, ओवरलैपिंग समूहों को संभालने के लिए भविक्ता डुप्लीकेशन (predictor duplication) पर निर्भर करता है। यह दृष्टिकोण उच्च-आयामी डेटा या घने ग्राफ के लिए गणनात्मक रूप से अत्यधिक कठिन हो जाता है, क्योंकि यह अनुकूलन समस्या की आयामिता (dimensionality) को काफी बढ़ा देता है। इसके अलावा, DSRIG को समूह और समूह-भीतर स्पर्सिटी के बीच संतुलन बनाने के लिए दो मापदंडों ($\lambda$ और $\xi$) को ट्यून करने की आवश्यकता होती है, जिससे इष्टतम समाधानों की खोज जटिल हो जाती है।

कार्यप्रणाली
लेखक स्पार्स ओवरलैपिंग ग्रुप LASSO इनकॉर्पोरेटिंग ग्राफिकल स्ट्रक्चर (SGLIG) मॉडल प्रस्तावित करते हैं। यह मॉडल दोहरी विरलता बनाए रखते हुए गणनात्मक जटिलता और ट्यूनिंग मापदंडों की संख्या को कम करने के लिए DSRIG ढांचे को पुन: पैरामीटराइज़ करता है।

1. मॉडल सूत्रीकरण (Model Formulation):
   SGLIG मॉडल निम्नलिखित उद्देश्य फलन (objective function) को न्यूनतम करता है:
   $$\min_{\beta, V^{(1)}, \dots, V^{(p)}} \frac{1}{2n}\|Y - X\beta\|_2^2 + \lambda^* \sum_{i=1}^p \left( \alpha \tau_i \|V^{(i)}\|_2 + (1-\alpha) \frac{1}{\sqrt{d_i}} \|V^{(i)}\|_1 \right)$$
   जहाँ $\beta = \sum V^{(i)}$, $V^{(i)}$ भविष्यवक्ता $i$ के योगदान को दर्शाता है, $d_i$ पड़ोस की डिग्री है, और $\alpha \in [0, 1]$ $l_2$ (समूह) और $l_1$ (समूह-भीतर) दंड के बीच ट्रेड-ऑफ को नियंत्रित करता है। DSRIG के विपरीत, SGLIG एक एकल ट्यूनिंग पैरामीटर $\alpha$ का उपयोग करता है (जहाँ $\lambda^*$ को $\lambda_{max}$ के आधार पर एक स्थिरांक के रूप में $\lambda^*$ निर्धारित किया गया है), जो अनुकूलन ग्रिड सर्च को सरल बनाता है।

2. डबली प्रोजेक्टेड प्रॉक्सिमल एल्गोरिदम (Doubly Projected Proximal Algorithm):
   SGLIG उद्देश्य को अनुकूलित करने के लिए, लेखक FISTA (फास्ट इटरेटिव श्रिंकेज-थ्रेशोल्डिंग एल्गोरिदम) पर आधारित एक डबली प्रोजेक्टेड प्रॉक्सिमल एल्गोरिदम विकसित करते हैं।

   • सक्रिय समूह रणनीति (Active Group Strategy): एल्गोरिदम वर्तमान ग्रेडिएंट स्टेप्स के आधार पर सक्रिय समूहों के एक सक्रिय सेट $\hat{G}_m$ की पहचान करता है।
   • प्रतिच्छेदन पर प्रोजेक्शन (Projection onto Intersection): भविष्यवक्ता डुप्लीकेशन के बजाय, एल्गोरिदम $l_2$ और $l_\infty$ नॉर्म बॉल्स द्वारा परिभाषित उत्तल सेट्स (convex sets) के प्रतिच्छेदन पर प्रोजेक्शन द्वारा प्रॉक्सिमल ऑपरेटर की गणना करता है।
   • दो-चरणीय प्रोजेक्शन (Two-Stage Projection): प्रोजेक्शन को क्रमिक रूप से कंप्यूट किया जाता है: पहले समूह-भीतर स्पर्सिटी ($l_1/l_\infty$) के लिए सॉफ्ट थ्रेशोल्डिंग लागू करना, उसके बाद समूह-बीच की स्पर्सिटी ($l_2$) के लिए ग्रुप सॉफ्ट थ्रेशोल्डिंग करना। इसे POCS (अनुक्रमिक कंपोजिशन) के अनुक्रम का उपयोग करके लागू किया जाता है, न कि पैरेलल डिकस्ट्रा-जैसे एल्गोरिदम का, जिसे लेखक अपने सक्रिय सेट रणनीति के लिए अधिक कुशल तर्क देते हैं।

3. सैद्धांतिक गुण (Theoretical Properties):
   लेखक इष्टतम अपघटन (optimal decomposition), प्रतिबंधित मजबूत सुदृढ़ता (restricted strong convexity - RSC), और भार $\tau_i$ एवं नोड डिग्री पर विशिष्ट सीमाओं के तहत SGLIG एस्टीमेटर के लिए एक परिमित नमूना त्रुटि सीमा (finite sample error bound) व्युत्पन्न करते हैं। इसके अतिरिक्त, लेखक $n \to \infty$ के साथ निश्चित $p$ के लिए एस्टीमेटर की स्पर्शोन्मुख सामान्यता (asymptotic normality) को सिद्ध करते हैं, जो $l_1$ पेनल्टी के अतिरिक्त होने के बावजूद SRIG मॉडल के साथ इसकी निरंतरता (consistency) को दर्शाता है।

प्रमुख योगदान

• एल्गोरिद्मिक नवाचार: एक नवीन डबली प्रोजेक्टेड प्रॉक्सिमल एल्गोरिदम का विकास जो भविष्यवक्ता डुप्लीकेशन से बचता है। यह विधि उत्तल सेट्स के प्रतिच्छेदन पर पुनरावृत्ति (iteratively) के माध्यम से प्रोजेक्शन की गणना करती है, जो उच्च-आयामी और घने ग्राफ संरचनाओं के लिए कंप्यूटिंग संसाधनों को संरक्षित करती है।
• मॉडल दक्षता: SGLIG मॉडल केवल एक ट्यूनिंग पैरामीटर ($\alpha$) के साथ दोहरी विरलता प्राप्त करता है, जो दो-पैरामीटर DSRIG की तुलना में हाइपरपैरामीटर चयन के गणनात्मक बोझ को कम करता है।
• सैद्धांतिक गारंटी: SGLIG एस्टीमेटर के लिए परिमित नमूना त्रुटि सीमाओं का व्युत्पंदन और स्पर्शोन्मुख सामान्यता का प्रमाण, जो मानक मान्यताओं के तहत इसकी सांख्यिकीय वैधता स्थापित करता है।
• अनुभवजन्य सत्यापन (Empirical Validation): पाँच अलग-अलग ग्राफ संरचनाओं (Two-Class, Bipartite, Random, Blockwise, Band) और दो वास्तविक दुनिया के डेटासेट (Blood-Brain Barrier और Alzheimer's Disease Neuroimaging Initiative) पर व्यापक मूल्यांकन।

परिणाम

• सिमुलेशन अध्ययन:

  • सटीकता (Accuracy): DSRIG मॉडल ने आम तौर पर सबसे कम माध्य वर्ग त्रुटि (MSE) और $l_2$ दूरी प्राप्त की। हालाँकि, SGLIG मॉडल प्रतिस्पर्धी रहा, जो अक्सर DSRIG की सटीकता के करीब प्रदर्शन करता है और एकल-स्पर्सिटी SRIG मॉडल से काफी बेहतर प्रदर्शन करता है।
  • दक्षता (Efficiency): SGLIG मॉडल ने DSRIG की तुलना में गणना समय में पर्याप्त कमी प्रदर्शित की। उच्च-आयामी परिदृश्यों (जैसे 800 भविष्यवक्ता) में, DSRIG को 2,900 सेकंड से अधिक समय लगा, जबकि SGLIG को लगभग 60 सेकंड और SRIG को 40 सेकंड की आवश्यकता थी। SGLIG प्रभावी रूप से SRIG की गति और DSRIG की सटीकता के बीच के अंतर को पाटता है।
  • ग्राफ संवेदनशीलता (Graph Sensitivity): SGLIG विभिन्न ग्राफ टोपोलॉजी में मजबूत रहा, सिवाय "Band" ग्राफ के, जहाँ रैखिक कनेक्टिविटी संरचना के कारण समूह-भीतर स्पर्सिटी कम फायदेमंद थी।

• वास्तविक-दुनिया का डेटा:

  • Blood-Brain Barrier डेटासेट पर, SGLIG ने तीन मॉडलों में सबसे कम MSE प्राप्त किया, जबकि SRIG के समान गणना समय बनाए रखा और DSRIG से काफी कम समय लिया।
  • वेरिएबल चयन विश्लेषण ने दिखाया कि SGLIG और DSRIG (दोनों दोहरी विरल) ने कण आवेश (particle charge) से संबंधित चरों को चुना, जबकि SRIG ने सतह क्षेत्र माप (surface area measures) पर अधिक ध्यान केंद्रित किया, जो बताता है कि दोहरी विरल संरचना अलग सूक्ष्मताओं को पकड़ती है।

महत्व और दावे
लेख का दावा है कि SGLIG मॉडल ग्राफिकल संरचना वाले उच्च-आयामी प्रतिगमन के लिए एक व्यावहारिक समझौता प्रदान करता है। भविष्यवक्ता डुप्लीकेशन को एक नवीन प्रॉक्सिमल प्रोजेक्शन तकनीक से बदलकर, लेखक का तर्क है कि उनकी विधि दोहरी विरलता के लाभों से समझौता किए बिना कंप्यूटिंग संसाधनों को संरक्षित करती है। परिणाम बताते हैं कि SGLIG एकल या दोहरी विरल ग्राफिकल रिग्रेशन मॉडलों के सापेक्ष स्थिर प्रदर्शन प्रदर्शित करता है, जिससे यह उन परिदृश्यों के लिए एक व्यवहार्य विकल्प बन जाता है जहाँ DSRIG गणनात्मक रूप से अव्यवहार्य है। लेखक इस बात पर जोर देते हैं कि उनका कार्यान्वयन विशेष रूप से घने भविष्यवक्ता ग्राफ वाले उच्च-आयामी डेटा के लिए फायदेमंद है।