2D Stability Selection: Design Jittering for Doubly Stable Feature Selection

तकनीकी सारांश: 2D स्थिरता चयन (Stability Selection): दोहरी स्थिर विशेषता चयन के लिए डिज़ाइन जिटरिंग (Design Jittering)

समस्या विवरण
उच्च-आयामी प्रतिगमन (high-dimensional regression) में, विशेषता चयन (feature selection) प्रक्रियाएं अक्सर दो अलग-अलग स्रोतों से उत्पन्न अस्थिरता से ग्रस्त होती हैं: (1) नमूना परिवर्तनशीलता (sampling variability), जहाँ एक ही वितरण से प्राप्त विभिन्न नमूने अलग-अलग चुनी गई विशेषताओं के सेट प्रदान करते हैं, और (2) मापन त्रुटि (measurement error/errors-in-variables), जहाँ डिज़ाइन मैट्रिक्स $X$ में शोर (noise) प्रभावी भविष्यवक्ताओं (predictors) को बदल देता है। मौजूदा विधियाँ जैसे कि 'स्टेबिलिटी सिलेक्शन' (Stability Selection), सब-सैंपलिंग और एकत्रीकरण के माध्यम से नमूना परिवर्तनशीलता को संबोधित करती हैं, लेकिन वे शोर वाले भविष्यवक्ताओं के विरुद्ध चुनी गई विशेषताओं की मजबूती का परीक्षण करने के लिए स्पष्ट रूप से प्रयास नहीं करती हैं। लेखक तर्क देते हैं कि अस्थिर चयन को पुनरुत्पादित करना कठिन होता है और वे सामान्यीकरण करने में विफल रहते हैं, जिसके लिए एक ऐसे ढांचे की आवश्यकता है जो रैंडमाइजेशन (randomization) और डिज़ाइन शोर के बढ़ते स्तरों, दोनों के विरुद्ध स्थिरता को लागू करे।

कार्यप्रणाली: दोहरी स्थिर विशेषता चयन (Doubly Stable Feature Selection)
यह शोध पत्र एक "परटर्ब-एंड-अग्रेगेट" (perturb-and-aggregate) ढांचे को प्रस्तुत करता है जो दो अक्षों पर विशेषता स्थिरता का मूल्यांकन करता है:

1. रैंडमाइजेशन स्थिरता (Randomization Stability): एक निश्चित शोर स्तर पर रैंडमाइज्ड वास्तविकताओं के बीच स्थिरता।
2. मापन त्रुटि स्थिरता (Measurement Error Stability): जैसे-जैसे मापन त्रुटि (परिवर्तन/perturbation) का परिमाण बढ़ता है, स्थिरता।

मुख्य प्रक्रिया में शामिल है:

• डिज़ाइन जिटरिंग (Design Jittering): डिज़ाइन मैट्रिक्स $X$ में नियंत्रित योगात्मक गाऊसी शोर (additive Gaussian noise) $W$ को इंजेक्ट करना, जिससे एक परिवर्तित मैट्रिक्स $X(\delta) = X + W$ बनता है, जहाँ $W$ के प्रविष्टियों (entries) के मान i.i.d. $N(0, \delta^2)$ हैं।
• एकत्रीकरण (Aggregation): एक निश्चित परिवर्तन स्तर $\delta$ के लिए, परिवर्तित डेटासेट पर बेस सेलेक्टर (जैसे, Lasso, Elastic Net, SCAD) को $B$ बार फिट किया जाता है। प्रत्येक विशेषता के लिए चयन आवृत्ति (selection frequency) की गणना की जाती है।
• नॉइज़ पाथ विश्लेषण (Noise Path Analysis): इस प्रक्रिया को बढ़ते शोर स्तरों $\delta \in [0, \infty)$ के ग्रिड पर दोहराया जाता है। यह एक पारंपरिक रेगुलाइजेशन पाथ (समाधान बनाम $\lambda$) के बजाय एक "स्थिरता पथ" (चयन आवृत्ति बनाम $\delta$) उत्पन्न करता है।
• $\delta$-औसत चयन ($\delta$-Averaged Selection): अंतिम विशेषता सेट निर्धारित करने के लिए, यह विधि $\delta$ के ग्रिड पर चयन आवृत्तियों को एकत्रित करती है। विशेषताओं को उनके $\delta$-औसत चयन आवृत्ति ($\bar{f}_j$) के आधार पर चुना जाता है।
• थ्रेशोल्डिंग (Thresholding): वास्तविक मॉडल आकार का अनुमान लगाने के लिए, सॉर्ट किए गए $\delta$-औसत आवृत्तियों में सबसे बड़े ड्रॉप (गिरावट) की पहचान की जाती है, जिससे वास्तविक सक्रिय सेट (active set) के आकार के लिए ऑरेकल ज्ञान की आवश्यकता के बिना एक डेटा-संचालित थ्रेशोल्ड प्राप्त होता है।

सैद्धांतिक योगदान
लेखक मुख्य रूप से 'इरेप्रेजेंटेबल कंडीशन' (Irrepresentable Condition - IC) के तहत Lasso के लिए सैद्धांतिक गारंटी प्रदान करते हैं:

• लघु-परिवर्तन मजबूती (Small-Perturbation Robustness): वे सिद्ध करते हैं (लेम्मा 1) कि यदि मूल डिज़ाइन IC का पालन करता है, तो पर्याप्त छोटे योगात्मक परिवर्तन इस स्थिति को बनाए रखते हैं, हालांकि एक कम मार्जिन के साथ।
• उच्च-संभाव्यता विस्तार (High-Probability Extension): प्रमेय 1 इसे गाऊसी परिवर्तनों तक विस्तारित करता है, यह दिखाते हुए कि छोटे शोर स्तरों के लिए IC उच्च संभाव्यता के साथ बना रहता है।
• सपोर्ट रिकवरी (Support Recovery): एक पृथक्करण धारणा (Assumption 1) के तहत, जहाँ सक्रिय विशेषताओं की औसत चयन आवृत्ति निष्क्रिय विशेषताओं की तुलना में $\gamma$ मार्जिन से अधिक होती है, प्रमेय 2 गारंटी देता है कि $\delta$-औसत अनुभवजन्य आवृत्तियों का थ्रेशोल्डिंग उच्च संभाव्यता के साथ वास्तविक सपोर्ट $S$ को पुनर्प्राप्त करता है। त्रुटि सीमा $B$ (परिवर्तनों की संख्या) और $m$ (ग्रिड पॉइंट्स) के बढ़ने के साथ घटती है।

अनुभवजन्य परिणाम (Empirical Results)
सिंथेटिक डेटा ($n=100, p=1000$) और एक वास्तविक दुनिया के एफ़िलेट्रिक्स रैट जीनोम माइक्रोएरे डेटासेट ($n=120, p=3083$) पर प्रयोग किए गए।

• सिंथेटिक डेटा: इस विधि की तुलना विभिन्न मापन त्रुटि स्तरों ($\delta_{obs}$) पर मानक Lasso, Elastic Net और स्टेबिलिटी सिलेक्शन (सब-सैंपलिंग आधारित) के विरुद्ध की गई।
  • शोर-मुक्त या कम-शोर वाले शासन (regimes) में, एकत्रीकरण-आधारित विधियाँ (स्टेबिलिटी सिलेक्शन सहित) अच्छा प्रदर्शन करती हैं।
  • जैसे-जैसे मापन त्रुटि बढ़ती है ($\delta_{obs} \ge 1$), मानक सिंगल-फिट विधियाँ विफल हो जाती हैं। स्टेबिलिटी सिलेक्शन मजबूत रहता है लेकिन थ्रेशोल्ड चयन के प्रति संवेदनशील हो जाता है।
  • प्रस्तावित "जिटर" (Jitter) विधि लगातार उच्च या उच्चतम F1 स्कोर और स्थिरता मेट्रिक्स प्राप्त करती है, जो सब-सैंपलिंग दृष्टिकोणों की तुलना में मापन त्रुटि के विरुद्ध बेहतर मजबूती प्रदर्शित करती है।
• वास्तविक डेटा: रैट जीन एक्सप्रेशन डेटासेट पर, प्रस्तावित जिटर प्रक्रिया ने TRIM32 जीन से जुड़े चार प्रोब्स को चुना। इसके विपरीत, Lasso के साथ सब-सैंपलिंग आधारित स्टेबिलिटी सिलेक्शन ने उदार थ्रेशोल्ड के बावजूद कोई भी विशेषता नहीं चुनी, जो पारंपरिक स्थिरता चयन की विफलता के विरुद्ध इस विधि की क्षमता को उजागर करता है।

महत्व और दावे
लेखक दावा करते हैं कि यह ढांचा तीन प्राथमिक लाभ प्रदान करता है:

1. विधि-अज्ञेयवादी (Method-Agnostic): यह किसी भी ऐसी चयन प्रक्रिया पर लागू होता है जो हल्की नियमितता शर्तों (regularity conditions) को पूरा करती है।
2. पूर्ण नमूना उपयोग (Full Sample Utilization): सब-सैंपलिंग दृष्टिकोणों (जैसे, स्टेबिलिटी सिलेक्शन) के विपरीत, यह डेटा को हटाने के बजाय डिज़ाइन को परिवर्तित करके पूर्ण नमूना आकार $n$ को सुरक्षित रखता है।
3. नैदानिक उपयोगिता (Diagnostic Utility): यह एक नैदानिक उपकरण (नॉइज़ पाथ) प्रदान करता है जो स्पष्ट रूप से दिखाता है कि मापन त्रुटि के तहत विशेषता चयन कैसे कम होता है, जो डिज़ाइन परिवर्तनों के प्रभाव को अलग करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि यह विधि बेहतर मजबूती दिखाती है, उच्च-शोर वाले शासन में इसका प्रदर्शन मॉडल आकार के अनुमान (थ्रेशोल्डिंग चरण) की सटीकता द्वारा सीमित है। वे गैर-गाऊसी शोर के लिए सिद्धांत को विस्तारित करने और अधिक मजबूत मॉडल-आकार अनुमान रणनीतियों को विकसित करने को भविष्य के कार्य के लिए प्रमुख दिशाओं के रूप में पहचानते हैं।