Causally-Guided Diffusion for Stable Feature Selection

यहाँ पेपर "Causally-Guided Diffusion for Stable Feature Selection" (CGDFS) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

चुनौती: पारंपरिक फीचर सिलेक्शन विधियाँ (जैसे LASSO, Mutual Information, Random Forests) एकल प्रशिक्षण डेटा वितरण के तहत भविष्य कहनेवाला प्रदर्शन (predictive performance) के लिए अनुकूलन करती हैं। फलस्वरूप, वे अक्सर ऐसे भ्रामक फीचर्स (spurious features) चुन लेती हैं जो केवल विशिष्ट पर्यावरणीय स्थितियों के कारण लक्ष्य (target) के साथ सह-संबंधित होते हैं। जब इन मॉडलों को नए वातावरण में तैनात किया जाता है जहाँ वितरण परिवर्तन (distribution shifts) होते हैं, तो उनका प्रदर्शन काफी गिर जाता है क्योंकि चयनित फीचर्स में कारण अपरिवर्तनीयता (causal invariance) की कमी होती है।

मौजूदा समाधानों की सीमाएँ:

• सहसंबंध-आधारित विधियाँ (Correlation-based methods): स्थिर कारणत्मक फीचर्स (stable causal features) और अस्थिर भ्रामक सहसंबंधों (unstable spurious correlations) के बीच अंतर करने में विफल रहती हैं।
• इनवेरिएंट रिस्क मिनिमाइजेशन (IRM) / इनवेरिएंट कॉज़ल प्रेडिक्शन (ICP): सिद्धांततः सुदृढ़ होने के बावजूद, ये विधियाँ दो प्रमुख बाधाओं का सामना करती हैं:
  1. गैर-उत्तल अनुकूलन (Non-convex Optimization): स्थिरता-संचालित उद्देश्य (stability-driven objectives) अत्यधिक गैर-उत्तल परिदृश्य (non-convex landscapes) बनाते हैं जहाँ ग्रेडिएंट-आधारित विधियाँ खराब स्थानीय इष्टतम (local optima) में फंस जाती हैं।
  2. संयोजन जटिलता (Combinatorial Complexity): फीचर सिलेक्शन स्वाभाविक रूप से असतत (discrete) होता है ($2^p$ संभावित उपसमुच्चय), जिससे संरचनात्मक निर्भरताओं को खोए बिना मानक निरंतर अनुकूलन तकनीकों को सीधे लागू करना कठिन हो जाता है।

लक्ष्य: एक ऐसा फीचर सिलेक्शन फ्रेमवर्क विकसित करना जो उन फीचर उपसमुच्चयों (subsets) की पहचान करे जो न केवल भविष्य कहनेवाला (predictive) हों, बल्कि कई वातावरणों में स्थिर (stable) भी हों, जबकि संयोजन खोज स्थान (combinatorial search space) को प्रभावी ढंग से संभाल सके और अनिश्चितता को माप सके।

---

2. कार्यप्रणाली: CGDFS फ्रेमवर्क (Methodology: CGDFS Framework)

लेखक Causally-Guided Diffusion for Stable Feature Selection (CGDFS) का प्रस्ताव करते हैं, जो फीचर सिलेक्शन को फीचर उपसमुच्चयों पर अनुमानित पश्च वितरण अनुमान (approximate posterior inference) के रूप में पुनर्गठित करता है। एक एकल इष्टतम उपसमुच्चय खोजने के बजाय, CGDFS संभावित उपसमुच्चयों के वितरण से नमूने (samples) लेता है।

यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

A. फीचर प्रतिनिधित्व और डिफ्यूजन प्रायर (Feature Representation and Diffusion Prior)

• निरंतर विश्राम (Continuous Relaxation): एक असतत बाइनरी वेक्टर $z \in \{0,1\}^p$ को अनुकूलित करने के बजाय, CGDFS एक निरंतर चयन मास्क $s \in [0,1]^p$ का उपयोग करता है। यह ग्रेडिएंट-आधारित अनुमान की अनुमति देता है।
• मास्क पूल निर्माण (Mask Pool Construction): विभिन्न ह्यूरिस्टिक्स (रैंडम चयन, LASSO, Mutual Information, Random Forest, आदि) का उपयोग करके उम्मीदवार मास्क का एक विविध पूल बनाया जाता है ताकि विभिन्न संरचनात्मक पूर्वाग्रहों (structural biases) को कैप्चर किया जा सके।
• डिफ्यूजन मॉडल एक सीखे गए प्रायर के रूप में (Diffusion Model as a Learned Prior): इस मास्क पूल पर एक स्कोर-आधारित डिफ्यूजन मॉडल को प्रशिक्षित किया जाता है।
  • फॉरवर्ड प्रोसेस (Forward Process): वैध मास्क में गॉसियन शोर (Gaussian noise) जोड़ता है।
  • रिवर्स प्रोसेस (Reverse Process): मॉडल शोर का अनुमान लगाना सीखता है, जो प्रभावी रूप से स्कोर फंक्शन $\nabla_s \log p(s)$ को सीखता है।
  • भूमिका: यह सीखा गया प्रायर फीचर्स के बीच जटिल संरचनात्मक निर्भरताओं (अतिरेक/redundancy, पूरकता/complementarity) को कैप्चर करता है, जो खोज को स्पष्ट गणना (explicit enumeration) के बिना संभाव्य क्षेत्रों की ओर निर्देशित करता है।

B. स्थिरता-आधारित संभावना (Stability-Based Likelihood)

लाइखली फंक्शन $E$ अलग-अलग वातावरणों में दो मानदंडों के आधार पर फीचर उपसमुच्चयों का मूल्यांकन करता है:

1. भविष्य कहनेवाला प्रदर्शन (Predictive Performance): वातावरणों में औसत हानि (mean loss) $\bar{\ell}(s)$।
2. स्थिरता (Stability/Robustness): वातावरणों में हानि का विचरण (variance of the loss) $\text{Var}_e(\ell_e(s))$।

उद्देश्य फलन $U(s)$ को इस प्रकार परिभाषित किया गया है:
$$U(s) = \bar{\ell}(s) + \lambda_{var} \cdot \text{Var}_e(\ell_e(s))$$
संभावना (Likelihood) को अंतर्निहित रूप से $p(D|s) \propto \exp(-U(s))$ के रूप में परिभाषित किया गया है। यह सुनिश्चित करता है कि उच्च विचरण (variance) वाले उपसमुच्चयों (जो वातावरणों में अस्थिर हैं) को दंडित किया जाए, भले ही उनकी औसत सटीकता अधिक हो।

C. गाइडेड पोस्टीरियर सैंपलिंग (Guided Posterior Sampling - Annealed Langevin Dynamics)

$p(s|D) \propto p(D|s)p(s)$ का अनुमान लगाने के लिए, CGDFS Annealed Langevin Dynamics का उपयोग करता है:
$$s^{(k+1)} = s^{(k)} + \eta_k \left( \nabla_s \log p(s^{(k)}) + \beta \nabla_s \log p(D|s^{(k)}) \right) + \sqrt{2\eta_k}\epsilon^{(k)}$$

• ग्रेडिएंट अपघटन (Gradient Decomposition): अपडेट प्रक्रिया प्रायर स्कोर (डिफ्यूजन मॉडल से संरचनात्मक संभाव्यता) और लाइखली ग्रेडिएंट (पर्यावरण-विशिष्ट भविष्यवक्ताओं से स्थिरता और प्रदर्शन) को जोड़ती है।
• कॉज़ल गाइडेंस (सॉफ्ट बायस) (Causal Guidance - Soft Bias): फ्रेमवर्क इनवेरिएंट कॉज़ल प्रेडिक्शन (ICP) स्कोर को कठोर बाधाओं के रूप में नहीं, बल्कि मास्क पूल निर्माण के दौरान एक सॉफ्ट बायस के रूपв में शामिल करता है। जिन फीचर्स का इनवेरिएंस स्कोर अधिक होता है, उनके डिफ्यूजन मॉडल के लिए प्रशिक्षण पूल में दिखने की संभावना अधिक होती है, जो प्रायर को कठोर नियमों को लागू किए बिना सूक्ष्म रूप से कारण संरचनाओं (causal structures) की ओर निर्देशित करता है।
• सैंपलिंग (Sampling): कई स्वतंत्र श्रृंखलाओं (independent chains) को चलाया जाता है ताकि अनिश्चितता को कैप्चर किया जा सके।

D. विविक्तीकरण और एकत्रीकरण (Discretization and Aggregation)

• पोस्टीरियर इंक्लूजन फ्रीक्वेंसी (Posterior Inclusion Frequencies): एक एकल नमूना चुनने के बजाय, विधि कई पोस्टीरियर नमूनों से प्राप्त परिणामों को एकत्रित करती है। प्रत्येक फीचर $j$ के लिए, यह गणना करती है कि सभी नमूनों में शीर्ष-$k$ चयनित फीचर्स में वह कितनी बार दिखाई देता है ($\pi_j$)।
• अंतिम चयन (Final Selection): अंतिम फीचर उपसमुच्चय उन $k$ फीचर्स का होता है जिनकी उच्चतम समावेश आवृत्ति (inclusion frequencies) होती है, जो एक स्थिर और व्याख्या योग्य चयन प्रदान करता है जो अनिश्चितता को दर्शाता है।

---

3. मुख्य योगदान (Key Contributions)

1. संभाव्यता प्रारूप (Probabilistic Formulation): वितरण परिवर्तन के तहत फीचर सिलेक्शन को अनुमानित पश्च अनुमान (approximate posterior inference) के रूप में पुनर्गठित किया, जो नियतात्मक बिंदु-अनुमानों (deterministic point-estimates) से हटकर उपसमुच्चयों के वितरण की ओर बढ़ता है।
2. डिफ्यूजन-आधारित प्रायर (Diffusion-Based Prior): फीचर मास्क पर एक संरचित प्रायर सीखने के लिए एक डेटा-संचालित डिफ्यूजन मॉडल पेश किया, जो संयोजन स्थान (combinatorial space) के स्केलेबल अन्वेषण को सक्षम बनाता है और फीचर निर्भरताओं (अतिरेक/पूरकता) को कैप्चर करता है।
3. स्थिरता-जागरूक लाइखली (Stability-Aware Likelihood): एक ऐसी लाइखली को परिभाषित किया जो सटीकता और क्रॉस-एनवायरनमेंट विचरण को संयुक्त रूप से अनुकूलित करती है, जो 'कारण अपरिवर्तनीयता' को एक सॉफ्ट इंडक्टिव बायस के रूप में संचालित करती है।
4. गाइडेड सैंपलिंग (Guided Sampling): एक गाइडेड एनेल्ड लैंग्विन डायनेमिक्स प्रक्रिया विकसित की जो सीखे गए प्रायर को स्थिरता उद्देश्य के साथ जोड़ती है, जिससे असतत अनुकूलन की समस्याओं से बचा जा सके।
5. सॉफ्ट कॉज़ल इंटीग्रेशन (Soft Causal Integration): यह प्रदर्शित किया कि कैसे कॉज़ल सिग्नल्स (ICP) को एक संभाव्य ढांचे के भीतर सॉफ्ट गाइडेंस के रूप में एकीकृत किया जा सकता है, जिससे सिस्टम अपूर्ण कॉज़ल धारणाओं के प्रति भी मजबूत बनता है।

---

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने वर्गीकरण (classification) और प्रतिगमन (regression) कार्यों को कवर करने वाले 12 वास्तविक दुनिया के सारणीबद्ध डेटासेट्स (UCI और OpenML) पर CGDFS का मूल्यांकन किया, जिसमें कृत्रिम रूप से निर्मित वितरण परिवर्तन (distribution shifts) बनाए गए थे।

• भविष्य कहनेवाला प्रदर्शन (RQ1): CGDFS ने बेसलाइन्स (LASSO, MI, Random Forest, Stability Selection, Greedy Forward, और ICP) की तुलना में लगातार उच्चतम F1-macro (वर्गीकरण के लिए) और न्यूनतम MSE (प्रतिगमन के लिए) प्राप्त किया।
• मजबूती और स्थिरता (RQ2): CGDFS ने अन्य विधियों की तुलना में वातावरणों में प्रदर्शन का काफी कम विचरण (lower variance) प्रदर्शित किया। इसने उच्च सटीकता और स्थिरता के बीच सफलतापूर्वक संतुलन बनाया, जबकि ICP जैसी विधियाँ अक्सर औसत सटीकता की कीमत पर विचरण को कम करती हैं।
• एब्लेशन अध्ययन (RQ3):
  • डिफ्यूजन प्रायर को हटाना: प्रदर्शन में भारी गिरावट आई, जो सिद्ध करता है कि संयोजन स्थान में नेविगेट करने के लिए प्रायर महत्वपूर्ण है।
  • सैंपलिंग को अनुकूलन (Grad-Stab) से बदलना: उच्च विचरण और प्रारंभिक स्थिति (initialization) के प्रति संवेदनशीलता देखी गई, जो कई उच्च-संभाव्यता समाधानों के नमूने लेने के लाभ को उजागर करती है।
  • कॉज़ल गाइडेंस (ICP) को हटाना: प्रदर्शन प्रतिस्पर्धी बना रहा, जो पुष्टि करता है कि स्थिरता लाइखली (stability likelihood) प्राथमिक चालक है, जबकि ICP एक सहायक त्वरक के रूप में कार्य करता है।
• अनिश्चितता और व्याख्यात्मकता (RQ4): पोस्टीरियर इंक्लूजन फ्रीक्वेंसी ने फीचर अनिश्चितता का एक मापने योग्य माप प्रदान किया। CGDFS ने अन्य बेसलाइन्स की तुलना में अलग-अलग रैंडम सीड्स के बीच चयनित फीचर्स में अधिक ओवरलैप दिखाया, जो बेहतर पुनरुत्पादकता (reproducibility) का संकेत देता है।

---

5. महत्व और प्रभाव (Significance and Impact)

• मजबूत AI (Robust AI): CGDFS उन गतिशील, वास्तविक दुनिया के वातावरणों में AI को तैनात करने के अंतराल को संबोधित करता है जहाँ डेटा वितरण बदलता रहता है। यह उन फीचर्स को चुनने का एक व्यवस्थित तरीका प्रदान करता है जो प्रशिक्षण सेट से परे सामान्यीकरण (generalize) कर सकते हैं।
• नियतिवाद से परे (Beyond Determinism): फीचर सिलेक्शन को एक संभाव्य अनुमान समस्या के रूप में मानकर, यह विधि उच्च-आयामी डेटा में निहित अनिश्चितता को स्वीकार करती है, जिससे एकल "सर्वश्रेष्ठ" उपसमुच्चय चुनने की भंगुरता (brittleness) से बचा जा जा सकता है।
• स्केलेबिलिटी (Scalability): डिफ्यूजन मॉडल और निरंतर विश्राम (continuous relaxation) का उपयोग इस विधि को उन उच्च-आयामी डेटासेट्स पर स्केल करने की अनुमति देता जहाँ पारंपरिक संयोजन खोज या सख्त कॉज़ल डिस्कवरी कम्प्यूटेशनल रूप से अव्यवहार्य है।
• व्यावहारिक अनुप्रयोग (Practical Applicability): इस फ्रेमवर्क के लिए इंटरवेंशनल डेटा या स्पष्ट कॉज़ल ग्राफ की आवश्यकता नहीं है, जिससे यह स्वास्थ्य सेवा, वित्त और एल्गोरिथमिक फेयरनेस जैसे क्षेत्रों में लागू करने योग्य बनता है जहाँ कॉज़ल संरचनाएं अक्सर अज्ञात होती हैं।

संक्षेप में, CGDFS कारण अपरिवर्तनीयता सिद्धांतों (causal invariance principles), डिफ्यूजन जेनेरेटिव मॉडल्स और बेयसियन अनुमान (Bayesian inference) को एकीकृत करके वितरण परिवर्तन के तहत फीचर सिलेक्शन की समस्या को हल करने के लिए एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।