StackFeat RL: Reinforcement Learning over Iterative Dual Criterion Feature Selection for Stable Biomarker Discovery

तकनीकी सारांश: StackFeat-RL

शीर्षक: StackFeat-RL: स्थिर बायोमार्कर खोज के लिए पुनरावृत्ति द्वैत-मानदंड विशेषता चयन पर सुदृढीकरण शिक्षण (Reinforcement Learning)
लेखक: ए. येरेमोव और डी. ए. हेरेरा-मार्टी (2026)

1. समस्या विवरण

उच्च-आयामी जीनोमिक अध्ययनों में, जहाँ विशेषताओं की संख्या ($d$) नमूनों की संख्या ($n$) से बहुत अधिक होती है, वहाँ नैदानिक बायोमार्कर की पहचान करने के लिए विशेषता चयन (feature selection) अत्यंत महत्वपूर्ण है। हालाँकि, मौजूदा विधियाँ प्रतिस्पर्धी आवश्यकताओं के एक "त्रिशंकु" (trilemma) का सामना करती हैं:

• सटीकता (Accuracy): फेनोटाइप की सही भविष्यवाणी करने की क्षमता।
• विरलता (Sparsity): छोटे, संक्षिप्त जीन पैनल बनाने की क्षमता जो नैदानिक सत्यापन (जैसे, qPCR) के अनुकूल हों।
• स्थिरता (Stability): डेटा में मामूली परिवर्तनों के बावजूद समान विशेषताओं को चुनने की क्षमता।

वर्तमान विधियाँ विशिष्ट तरीकों से विफल होती हैं: Lasso/ElasticNet सह-संबंधित विशेषताओं के कारण अस्थिर हो सकते हैं; mRMR के लिए मैनुअल थ्रेशोल्डिंग की आवश्यकता होती है; Boruta अक्सर बहुत बड़े पैनल तैयार करता है; और Stability Selection उन विशेषताओं को चुन सकता है जो बार-बार चुनी जाती हैं लेकिन जिनका संकेत (directionality) असंगत होता है, जिससे जैविक गलत व्याख्या हो सकती है।

2. कार्यप्रणाली

लेखक StackFeat-RL का प्रस्ताव करते हैं, जो सुदृढीकरण शिक्षण (Reinforcement Learning - RL) का उपयोग करके एक पुनरावृत्ति विशेषता चयन प्रक्रिया को अनुकूलित करने वाला एक मेटा-लर्निंग फ्रेमवर्क है।

A. द्वैत-मानदंड तंत्र (The Dual-Criterion Mechanism):
एल्गोरिदम का मूल आधार कई डेटा विभाजनों (partitions) में दो सांख्यिकीओं का पुनरावृत्ति संचय है:

1. गुणांक निरंतरता ($S_w$): प्रतिगमन गुणांकों (regression coefficients) का परिमाण और संकेत (यह सुनिश्चित करना कि जीन का प्रभाव की दिशा सुसंगत है)।
2. चयन आवृत्ति ($S_c$): विभिन्न फोल्ड्स (folds) में जीन कितनी बार चुना जाता है (विश्वसनीयता सुनिश्चित करना)।
   इन दोनों सेटों के प्रतिच्छेदन (intersection) को चुनकर, यह विधि "संकेत-असंगत" शोर और "दुर्लभ-लेकिन-सुसंगत" आउटलेयर्स को फ़िल्टर करती है। इसकी पुनरावृत्ति प्रकृति बड़ी संख्याओं के नियम (Law of Large Numbers - LLN) के माध्यम से अभिसरण (convergence) की गारंटी देती है।

B. सुदृढीकरण शिक्षण (REINFORCE):
मैनुअल हाइपरपैरामीटर ट्यूनिंग को समाप्त करने के लिए, लेखक अनुकूलन को एक पॉलिसी ग्रेडिएंट समस्या के रूप में पुनर्गठित करते हैं। एक REINFORCE पॉलिसी ($\pi_\theta$) निम्नलिखित को नियंत्रित करना सीखती है:

• प्रति-जीन दंड ($\lambda_{i,t}$): एक स्टेट रिप्रजेंटेशन का उपयोग करते हुए जिसमें चयन आवृत्ति, गुणांक माध्य, STRING प्रोटीन इंटरेक्शन स्कोर और सह-चयन आवृत्ति शामिल है।
• विशेषता प्रतिधारण अंश ($m_{frac}$): यह स्वचालित रूप से निर्धारित करना कि जीनों को कितनी आक्रामकता से फ़िल्टर किया जाए।

C. कम्प्यूटेशनल दक्षता:
पिछले संस्करणों के विपरीत, जिन्हें प्रत्येक चरण पर महंगे नेस्टेड क्रॉस-वैलिडेशन की आवश्यकता थी, StackFeat-RL एक ElasticNetCV-एंकर दृष्टिकोण का उपयोग करता है। यह शुरुआत में एक एकल वैश्विक रेगुलाइजेशन सर्च करता है, जिससे कम्प्यूटेशनल बोझ 10–17 गुना कम हो जाता है, जो इसे जीनोम-व्यापी डेटासेट ($d > 10,000$) के लिए स्केलेबल बनाता है।

3. मुख्य योगदान

• स्वचालित हाइपरपैरामीटर अनुकूलन: पैनल आकार, रेगुलाइजेशन स्ट्रेंथ, या स्टॉपिंग क्राइटेरिया को निर्दिष्ट करने की आवश्यकता को समाप्त करता है।
• जैविक पूर्व सूचना का एकीकरण (Biological Prior Integration): RL स्टेट रिप्रजेंटेशन STRING प्रोटीन-प्रोटीन इंटरेक्शन नेटवर्क को शामिल करता है, जिससे मॉडल मौजूदा जैविक ज्ञान का लाभ उठाने में सक्षम होता है।
• पोस्टीरियर नेटवर्क फ़िल्टरिंग: विधि एक "पोस्टीरियर नेटवर्क" ($M^*$) तैयार करती है जो केवल उन्हीं प्रोटीन इंटरैक्शन को बनाए रखती है जो लगातार सह-चयनित (co-selected) थे, जिससे रोग-विशिष्ट मॉड्यूल के लिए इंटरेक्टोम को प्रभावी ढंग से फ़िल्टर किया जाता है।
• पारेटो डोमिनेंस (Pareto Dominance): फ्रेमवर्क को AUC (सटीकता) और विशेषताओं की संख्या (विरलता) के बीच संतुलन को अनुकूलित करने के लिए डिज़ाइन किया गया है।

4. परिणाम

विधि को COVID-19 miRNA डेटा और अल्जाइमर रोग (AD) के तीन वर्गीकरण कार्यों पर मान्य किया गया।

• प्रदर्शन: StackFeat-RL ने सभी AD कार्यों में उच्चतम औसत AUC प्राप्त किया। विशेष रूप से, "Probable AD" कार्य पर, इसने ElasticNet ($0.882$बनाम$0.835$, $p = 0.004$) की तुलना में काफी बेहतर प्रदर्शन किया।
• विरलता (Sparsity): इसने ElasticNet और Boruta की तुलना में 3–4 गुना कम जीन की आवश्यकता के साथ बेहतर सटीकता प्राप्त की।
• जैविक प्रासंगिकता: चयनित AD जीनों के पाथवे एनरिचमेंट ने स्थापित विकारों में उनकी भागीदारी की पुष्टि की: ऑटोफैगी (autophagy), NRF2-मध्यस्थ ऑक्सीडेटिव स्ट्रेस, और BDNF सिग्नलिंग। STRING नेटवर्क विश्लेषण ने तीन सुसंगत कार्यात्मक मॉड्यूल (हीमोग्लोबिन बायोसिंथेसिस, ऑक्सीडेटिव स्ट्रेस, और ऑटोफैगी) का खुलासा किया।
• पॉलिसी अंतर्दृष्टि: दिलचस्प बात यह है कि RL पॉलिसी ने सीखा कि इन डेटासेट्स के लिए प्रति-जीन दंड मॉड्यूलेशन ($\theta_1$–$\theta_4$) अनावश्यक था, लेकिन इसने विशेषता प्रतिधारण अंश ($m_{frac}$) को महत्वपूर्ण रूप से अनुकूलित किया, जिसने प्रतिच्छेदन की गुणवत्ता में सुधार करने के लिए डिफ़ॉल्ट ह्यूरिस्टिक को लगभग दोगुना कर दिया।

5. महत्व

StackFeat-RL मशीन लर्निंग दक्षता और जैविक व्याख्यात्मकता के बीच के अंतर को पाटकर बायोइन्फॉर्मेटिक्स में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। एक पूर्णतः स्वचालित, स्थिर और विरल चयन तंत्र प्रदान करके, यह दोहराने योग्य जीन हस्ताक्षरों (gene signatures) की खोज के लिए एक मजबूत पाइपलाइन प्रदान करता है जो सांख्यिकीय रूप से सुदृढ़ और जैविक रूप से सार्थक दोनों हैं, जो व्यावहारिक नैदानिक बायोमार्कर कार्यान्वयन के लक्ष्य के करीब ले जाता है।