तकनीकी सारांश: संरचित उच्च-आयामी प्रतिगमन (High-Dimensional Regression) के लिए न्यूरल एडेप्टिव श्रिंकेज (Nash)

1. समस्या की परिभाषा

यह शोध पत्र पारंपरिक विरल रैखिक प्रतिगमन (sparse linear regression) विधियों (जैसे, Lasso, Ridge) की सीमाओं को संबोधित करता है जब उन्हें उच्च-आयामी डेटा ($p \gg n$) पर लागू किया जाता है जहाँ सहचर (covariates) संरचनात्मक गुणों को प्रदर्शित करते हैं या विषम स्रोतों से उत्पन्न होते हैं। शास्त्रीय विधियाँ आमतौर पर सभी सहचरों पर समान दंड (uniform penalties) लागू करती हैं, जो तब उप-इष्टतम (suboptimal) होता है जब भविष्यवक्ताओं (predictors) के पास विशिष्ट प्रकार (जैसे, विभिन्न आनुवंशिक मोडालिटीज़) या संरचनात्मक संबंध (जैसे, स्थानिक निकटता, ग्राफ कनेक्टिविटी, या समूह सदस्यता) होते हैं।

मौजूदा दृष्टिकोण जो सहचर पार्श्व सूचना (side information) का लाभ उठाने का प्रयास करते हैं (जैसे, Group Lasso, Fused Lasso, या IPF-Lasso), अक्सर दो मुख्य कमियों से ग्रस्त होते हैं:

1. अनुप्रयोग-विशिष्ट कठोरता (Application-specific rigidity): वे पूर्व-निर्धारित दंड संरचनाओं (जैसे, विशिष्ट समूहीकरण या ग्राफ टोपोलॉजी) पर निर्भर करते हैं जो डेटा में जटिल, गैर-रेखीय निर्भरताओं को कैप्चर करने में सक्षम नहीं हो सकते हैं।
2. संगणनात्मक अक्षमता (Computational inefficiency): वे विधियाँ जो एम्पीरिकल बेयस (Empirical Bayes - EB) के माध्यम से पार्श्व सूचना को शामिल करती हैं, उन्हें अक्सर हाइपरपैरामीटर चयन के लिए क्रॉस-वैलिडेशन की आवश्यकता होती है, या वेरिएशनल इन्फरेंस (variational inference) के मामले में, वे संगणनात्मक रूप से अव्यवहार्य (intractable) हो जाती हैं। विशेष रूप से, मानक कोऑर्डिनेट एसेंट वेरिएशनल इन्फरेंस (CAVI) जो न्यूरल नेटवर्क-आधारित प्रायर्स (priors) के साथ जुड़ा होता है, उसे प्रत्येक स्वीप (sweep) के लिए $O(p)$ न्यूरल नेटवर्क बैकवर्ड पास की आवश्यकता होती है, जो उन्हें बड़े $p$ (जैसे, $10^4$ प्रेडिक्टर्स) के लिए अव्यावहारिक बनाता है।

लक्ष्य एक एकीकृत ढांचा विकसित करना है जो क्रॉस-वैलिडेशन के बिना, सहचर-विशिष्ट पार्श्व सूचना के आधार पर दंड के रूप में और नियमितीकरण (regularization) की मात्रा को स्वचालित रूप से सीख सके, जबकि संगणनात्मक स्केलेबिलिटी बनाए रखी जा सके।

2. कार्यप्रणाली: न्यूरल एडेप्टिव श्रिंकेज (Nash)

2.1 मॉडल फॉर्मूलेशन

Nash, रिस्पॉन्स $y$ और प्रेडिक्टर्स $X$ को एक गाऊसी रैखिक मॉडल (Gaussian linear model) के माध्यम से मॉडल करता है:
$$y | X, \beta, \sigma^2 \sim \mathcal{N}(X\beta, \sigma^2)$$
महत्वपूर्ण रूप से, प्रतिगमन गुणांकों $\beta_j$ पर प्राय (prior) स्थिर नहीं है, बल्कि यह $j$-वें सहचर से जुड़ी पार्श्व सूचना $d_j$ पर निर्भर करता है:
$$\beta_j \sim g(d_j, \theta)$$
यहाँ, $g(\cdot, \cdot)$ एक लचीला फलन (जिसे $\theta$ द्वारा पैरामीटराइज किया गया है) है जो पार्श्व सूचना $d_j$ को प्राय वितरण (prior distribution) में मैप करता है। पार्श्व सूचना $d_j$ एक भी न्यूरल नेटवर्क द्वारा संसाधित की जाने वाली कोई भी मनमाना डेटा हो सकती है (जैसे, ग्रुप इंडिकेटर्स, निरंतर इंडेक्स, ग्राफ मैट्रिसेस, या इमेज)।

2.2 स्प्लिट वेरिएशनल एम्पीरिकल बेयस (Split VEB)

मुख्य एल्गोरिद्मिक योगदान एक नवीन स्प्लिट वेरिएशनल एम्पीरिकल बेयस (Split VEB) दृष्टिकोण है। सीधे लक्षित मॉडल पर लागू किया गया मानक CAVI, प्राय लर्निंग ( $\theta$ को अपडेट करना) को पोस्टीरियर इन्फरेंस ($\beta$ को अपडेट करना) के साथ जोड़ देता है। यदि $g$, पार्श्व सूचना के माध्यम से न्यूरल नेटवर्क पर निर्भर है, तो $\theta$ को अपडेट करने के लिए प्रत्येक कोऑर्डिनेट $j$ के लिए पोस्टीरियर का पुनर्मूल्यांकन करना आवश्यक होता है, जिससे प्रति स्वीप $p$ न्यूरल नेटवर्क पास की आवश्यकता होती है।

इन चरणों को अलग करने के लिए, Nash एक ऑगमेंटेड मॉडल पेश करता है जिसमें एक लेटेंट वेरिएबल (latent variable) $b_j$ होता है:

1. $\beta_j | b_j \sim \mathcal{N}(b_j, \sigma_0^2)$
2. $b_j \sim g(d_j, \theta)$

यह "गाऊसी बॉटलनेक" (Gaussian bottleneck) एविडेंस लोअर बाउंड (ELBO) को दो अलग-अलग चरणों में विभाजित करने की अनुमति देता है:

• चरण 1 (पोस्टीरियर अपडेट): वर्तमान प्राय मापदंडों का उपयोग करके वेरिएशनल पोस्टीरियर $q(\beta)$ और $q(b)$ को अपडेट करें। इस चरण में सरल संयुग्मी अपडेट (OLS-जैसे कंप्यूटेशन) शामिल हैं और इसके लिए न्यूरल नेटवर्क की आवश्यकता नहीं होती है।
• चरण 2 (प्राय लर्निंग): वर्तमान पोस्टीरियर माध्य $\bar{\beta}_j$ के दिए गए लेटेंट वेरिएबल्स $b_j$ के मार्जिनल लाइकलीहुड को अधिकतम करके न्यूरल नेटवर्क के मापदंडों $\theta$ को अपडेट करें। इसे एक कोवेरिएट-मॉडरेटेड एम्पीरिकल बेयस नॉर्मल मीन्स (cEBNM) समस्या के रूप में तैयार किया गया है।

प्रमुख दक्षता लाभ: क्योंकि प्राय लर्निंग चरण (चरण 2) व्यक्तिगत कोऑर्डिनेट के बजाय एकत्रित पर्याप्त सांख्यिकी ($\bar{\beta}_j$) पर कार्य करता है, इसलिए न्यूरल नेटवर्क को एक एकल बैचड फॉरवर्ड-बैकवर्ड पास के माध्यम से प्रति कोऑर्डिनेट एसेंट स्वीप केवल एक बार अपडेट किया जाता है। यह M-स्टेप की संगणनात्मक जटिलता को $O(p)$ अनुक्रमिक पास से घटाकर $O(1)$ बैचड पास तक कम कर देता है, जिससे $p \in [10^2, 10^4]$ के लिए डायरेक्ट CAVI की तुलना में 74$\times$ से 106$\times$ की गति वृद्धि प्राप्त होती है।

2.3 प्राय की लचीलापन (Flexibility of the Prior)

ढांचा विभिन्न प्राय परिवारों $g$ का समर्थन करता है:

• मिक्सचर डेंसिटी नेटवर्क (MDN): यह गाऊसी मिश्रण (स्पाइक-एंड-स्लैब) के मिश्रण को आउटपुट करता है जहाँ मिश्रण भार (mixture weights), माध्य और विचरण $d_j$ के फलन होते हैं। यह एडेप्टिव श्रिंकेज पैटर्न (जैसे, विभिन्न समूहों के लिए अलग-अलग स्पैरसिटी स्तर) की अनुमति देता है।
• ग्राफ न्यूरल नेटवर्क (GNN): ग्राफ-संरचित पार्श्व सूचना के लिए, Nash ऐसे दंड सीख सकता है जो ग्राफ टोपोलॉजी के आधार पर स्मूथनेस या स्पैरसिटी को प्रोत्साहित करते हैं (जैसे, Fused Lasso की नकल करना या इसे जटिल ग्राफ तक विस्तारित करना)।
• सामान्य संभाव्यता मॉडल: कोई भी मॉडल जहाँ मार्जिनल लाइकलीहुड और पोस्टीरियर मोमेंट्स ट्रैक्टेबल (tractable) हैं, उसे एकीकृत किया जा सकता है।

3. प्रमुख योगदान

1. प्रथम न्यूरल नेटवर्क-आधारित दंड लर्निंग: लेखकों की जानकारी के अनुसार, Nash पहला रैखिक प्रतिगमन ढांचा है जो प्रतिगमन प्रभावों पर प्राय वितरण को न्यूरल नेटवर्क का उपयोग करके सहचर पार्श्व सूचना के एक मनमाने फलन के रूप में पैरामीटराइज करता है।
2. Split VEB एल्गोरिदम: प्राय लर्निंग को पोस्टीरियर इन्फरेंस से अलग करने के लिए लेटेंट गाऊसी लेयर का परिचय। यह न्यूरल-नेटवर्क-आधारित प्राय्स को उच्च-आयामी प्रतिगमन के लिए व्यवहार्य बनाता है, जिससे M-स्टेप की लागत $O(p)$ से घटकर एक एकल बैचड अपडेट हो जाती है।
3. एकीकृत ढांचा: Nash मौजूदा विधियों (Group Lasso, Fused Lasso, IPF-Lasso) को एक ही संभाव्यता ढांचे के भीतर विशेष मामलों या अनुमानों के रूप में सामान्यीकृत करता है और उन्हें गैर-रेखीय, डेटा-संचालित दंड संरचनाओं को संभालने के लिए विस्तारित करता है।
4. मॉड्यूलरिटी: विधि मॉड्यूलर है; उपयोगकर्ताओं को केवल अपने चुने हुए प्राय परिवार के तहत cEBNM समस्या के लिए एक सॉल्वर प्रदान करने की आवश्यकता होती है, जिससे विविध मशीन लर्निंग दृष्टिकोणों (जैसे, XGBoost, GNN) का एकीकरण संभव होता है।

4. प्रयोगात्मक परिणाम

4.1 सिमुलेशन अध्ययन

• बेसलाइन तुलना: विभिन्न सिमुलेशन सेटिंग्स (स्पैरसिटी, सिग्नल-टू-नॉइज़ रेशियो, डाइमेंशनलिटी और कोरिलेशन में भिन्नता) में Nash की तुलना सात विधियों (Mr.ASH, Elastic Net, Lasso, Ridge, SCAD, MCP, L0Learn) के विरुद्ध की गई।
• प्रदर्शन: Nash ने लगभग सभी सेटिंग्स में स्टेट-ऑफ-द-आर्ट (Mr.ASH) के साथ प्रदर्शन किया और कोरिलेटेड-प्रेडिक्टर परिदृश्यों में उससे बेहतर प्रदर्शन किया। इसने विषम सिग्नल प्रोफाइल वाले सेटिंग्स में शास्त्रीय विधियों से काफी बेहतर प्रदर्शन किया।
• पार्श्व सूचना प्रयोग: ज्ञात समूहों और निरंतर इंडेक्स के साथ सिंथेटिक प्रयोगों में, पार्श्व सूचना के साथ Nash (Nash-mdn) ने बिना पार्श्व सूचना वाले तरीकों (Nash-no-cov) और पारंपरिक विधियों (Group Lasso, IPF-Lasso) की तुलना में काफी बेहतर प्रदर्शन किया।
  • एब्लेशन (Ablation): न्यूरल नेटवर्क को लीनियर मैपिंग (Nash-linear) से बदलने पर निरंतर-इंडेक्स सेटिंग्स में प्रदर्शन गिर गया, जो जटिल संरचनाओं के लिए गैर-रेखीय मॉडलिंग की आवश्यकता की पुष्टि करता है।
  • मजबूती (Robustness): पार्श्व सूचना को शफल (shuffle) करने से प्रदर्शन वैसा ही रहा जैसा कि बिना पार्श्व सूचना के होता, जो पुष्टि करता है कि मॉडल शोर (noise) पर ओवरफिट नहीं होता है।

4.2 संगणनात्मक दक्षता

• गति वृद्धि: प्रयोगों ने दिखाया कि डायरेक्ट CAVI की तुलना में M-स्टेप के लिए $p=100$ पर 74$\times$ और $p=10,000$ पर 106$\times$ की गति वृद्धि हुई।
• स्केलेबिलिटी: Nash का M-स्टेप $p$ के साथ लगभग रैखिक रूप से स्केल करता है (एकल बैचड पास), जबकि डायरेक्ट CAVI अनुक्रमिक प्रसंस्करण के कारण सुपर-लीनियरली स्केल करता है। $p=10,000$ पर, डायरेक्ट CAVI को प्रति M-स्टेप चार मिनट से अधिक समय लगा, जिससे यह अव्यावहारिक हो गया, जबकि Nash को ~2.5 सेकंड की आवश्यकता थी।

4.3 वास्तविक डेटा अनुप्रयोग

Nash का पार्श्व सूचना के साथ चार डेटासेट्स पर मूल्यांकन किया गया:

1. SNP500: इंडस्ट्री सेक्टर को पार्श्व सूचना के रूप में उपयोग करके AAPL रिटर्न्स की भविष्यवाणी करना।
2. Airpassenger: टाइम इंडेक्स का उपयोग करके यात्री गणना की भविष्यवाणी करना।
3. GSE40279: प्रोब एनोटेशन का उपयोग करके मिथाइलेशन डेटा से उम्र की भविष्यवाणी करना।
4. TCGA: KEGG पाथवे का उपयोग करके BRCA1 एक्सप्रेशन की भविष्यवाणी करना।

• परिणाम: Nash (विशेष रूप से Nash-mdn) ने बेसलाइन्स (Mr.ASH, Lasso, Ridge, XGBoost, MLP) और बिना पार्श्व सूचना वाले Nash की तुलना में लगातार कम RMSE प्राप्त किया। विशेष रूप से, GSE40279 डेटासेट (n=679, p=489,503) में, Nash ने सबसे कम त्रुटि (5.03) प्राप्त की, जबकि Mr.ASH (5.25) और Ridge (7.21) अधिक थे।

4.4 इमेज डिनोइज़िंग (MNIST)

MNIST छवियों के डिनोइज़िंग के लिए पिक्सेल एडजसेंसी को मॉडल करने हेतु एक ग्राफ़ न्यूरल नेटवर्क (GNN) द्वारा पैरामीटराइज्ड "फ्यूज्ड" प्राय का उपयोग करके Nash को लागू किया गया।

• प्रदर्शन: Nash-fused ने RMSE के मामले में शास्त्रीय डिनोइज़िंग विधियों (Fused Lasso, Total Variation, Non-Local Means) और Noise2Self से बेहतर प्रदर्शन किया।
• दक्षता: GNN-आधारित दृष्टिकोण CNN-आधारित Noise2Self मॉडल की तुलना में काफी तेज़ था।

5. महत्व और दावे

शोध पत्र का दावा है कि Nash एक एकीकृत, अभिव्यंजक और संगणनात्मक रूप से कुशल ढांचा प्रदान करता है जो उच्च-आयामी प्रतिगमन के लिए पार्श्व सूचना का लाभ उठाता है।

• अनुकूलन क्षमता (Adaptability): यह डेटा से सीधे दंड संरचना को सीखकर क्रॉस-वैलिडेशन की आवश्यकता को समाप्त करता है।
• व्यापकता (Generality): यह विभिन्न मौजूदा नियमितीकरण तकनीकों (Ridge, Lasso, Group Lasso, Fused Lasso) को एक ही संभाव्यता ढांचे के भीतर विशेष मामलों या अनुमानों के रूप में समाहित करता है।
• स्केलेबिलिटी: Split VEB एल्गोरिदम जटिल, न्यूरल-नेटवर्क-आधारित प्राय्स को दस-हजारों प्रेडिक्टर्स वाली समस्याओं पर लागू करना संभव बनाता है, जो कि पिछले वेरिएशनल दृष्टिकोणों के लिए संगणनात्मक रूप से निषेधात्मक था।

स्वीकृत सीमाएँ:

• वर्तमान कार्यान्वयन गाऊसी लाइकलीहुड (Gaussian likelihoods) तक सीमित है।
• इसके लिए चुने गए प्राय परिवार के लिए एक ट्रैक्टेबल cEBNM सॉल्वर की आवश्यकता होती है, जिसके लिए मार्जिनल लॉग-लाइकेलीहुड के क्लोज्ड-फॉर्म समाधान या तेज़ अनुमान की आवश्यकता होती है, जो सभी संभाव्यता मॉडलों के लिए उपलब्ध नहीं हो सकते हैं।