📊 statistics

Linear Models, Variable Selection, Artificial Intelligence

यह शोध पत्र लीनियर रिग्रेशन मॉडल में वेरिएबल सिलेक्शन के लिए एक नवीन आर्टिफिशियल न्यूरल नेटवर्क दृष्टिकोण प्रस्तावित करता है जो वेरिएबल महत्व निर्धारित करने के लिए ओएलएस (OLS) अनुमानों का लाभ उठाता है, और सिमुलेशन अध्ययनों तथा डब्ल्यूएचओ (WHO) जीवन प्रत्याशा डेटा के एक वास्तविक अनुप्रयोग के माध्यम से स्टेपवाइज रिग्रेशन, एआईसी (AIC), बीआईसी (BIC) और लासो (LASSO) जैसे पारंपरिक तरीकों के विरुद्ध अपने बेहतर प्रदर्शन को प्रदर्शित करता है।

मूल लेखक: By Riyadh Alrawkan, Edward Boone, Ryad Ghanam, Anton Westveld

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: By Riyadh Alrawkan, Edward Boone, Ryad Ghanam, Anton Westveld

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक बेहतरीन सूप बनाने की कोशिश कर रहे हैं। आपके पास 100 अलग-अलग सामग्रियों (variables) से भरी एक पेंट्री है, लेकिन आप केवल उन्हीं का उपयोग करना चाहते हैं जो वास्तव में सूप का स्वाद बढ़ाते हैं। यदि आप सब कुछ डाल देते हैं, तो सूप एक गड़बड़ बन जाएगा। यदि आप एक मुख्य सामग्री छोड़ देते हैं, तो स्वाद फीका रह जाएगा।

द दशकों से, सांख्यिकीविदों (statisticians) के पास कुछ "रेसिपी" का एक सेट है जिससे यह पता लगाया जा सके कि किन सामग्रियों को रखना है। वे फॉरवर्ड सिलेक्शन (एक बार में एक सामग्री जोड़ना और चखना), बैकवर्ड एलिमिनेशन (सब कुछ के साथ शुरू करना और एक-एक करके सबसे खराब को हटाना), या AIC/BIC (गणितीय सूत्र जो स्वाद और सरलता के बीच संतुलन बनाने की कोशिश करते हैं) जैसे तरीकों का उपयोग करते हैं। इसमें LASSO जैसे नए तरीके भी शामिल हैं, जो एक सख्त डाइट कोच की तरह काम करते हैं, जो सामग्रियों की मात्रा को तब तक कम करते रहते हैं जब तक कि कुछ पूरी तरह से गायब न हो जाएं।

समस्या यह है कि ये पुरानी रेसिपी बहुत नाजुक हो सकती हैं। यदि सामग्रियां एक-दूसरे के समान हैं (जैसे नमक और सोया सॉस), या यदि स्वाद परीक्षण थोड़ा शोर वाला (noisy) है, तो ये तरीके गलत सामग्री चुन सकते हैं या डेटा में थोड़ा बदलाव होने पर अपना मन बदल सकते हैं।

नया दृष्टिकोण: एक "स्वाद-प्रशिक्षण" AI

यह पेपर इस सूप की समस्या को हल करने के लिए आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करने का एक नया तरीका पेश करता है। एक कठोर रेसिपी का पालन करने के बजाय, लेखकों ने एक डिजिटल "चखने वाले" (एक न्यूरल नेटवर्क) को प्रशिक्षित किया ताकि वह सीख सके कि एक अच्छी सामग्री कैसी दिखती है।

यहाँ बताया गया है कि उन्होंने AI को कैसे सिखाया:

सिमुलेशन किचन: शोधकर्ताओं ने केवल वास्तविक डेटा का उपयोग नहीं किया। उन्होंने एक विशाल आभासी रसोई बनाई जहाँ उन्होंने 1,00,000 अलग-अलग सूप तैयार किए। कुछ सूपों में, उन्हें ठीक से पता था कि कौन सी सामग्रियां "सक्रिय" (अच्छी) थीं और कौन सी "निष्क्रिय" (शोर/noise) थीं।
प्रशिक्षण: उन्होंने AI को इन आभासी सूपों के परिणाम दिए। उन्होंने AI को प्रत्येक सामग्री के "स्वाद स्कोर" (t-values नामक सांख्यिकीय संख्याएं) दिखाए और पूछा, "क्या यह सामग्री वास्तव में महत्वपूर्ण थी?"
सीखना: समय के साथ, AI उन पैटर्न को पहचानने में माहिर हो गया जिन्हें मानव शेफ (और पारंपरिक गणितीय सूत्र) मिस कर सकते थे। इसने सीखा कि कभी-कभी एक हल्का स्वाद वाली सामग्री भी महत्वपूर्ण होती है, और कभी-कभी एक मजबूत स्वाद वाली चीज़ केवल एक इत्तेफाक होती है।

यह व्यवहार में कैसे काम करता है

एक बार जब AI प्रशिक्षित हो जाता है, तो आपको हर नए सूप के लिए इसे फिर से सिखाने की आवश्यकता नहीं होती है। आप बस इसे अपने नए डेटासेट से "स्वाद स्कोर" देते हैं, और यह तुरंत एक सूची निकाल देता है: "इन सामग्रियों को रखें, उन्हें फेंक दें।"

लेखकों ने अपने AI का परीक्षण पुराने व्यंजनों (फॉरवर्ड, बैकवर्ड, AIC, BIC और LASSO) के विरुद्ध दो प्रकार के परीक्षणों का उपयोग करके किया:

वर्चुअल टेस्ट: उन्होंने विभिन्न मात्रा में डेटा और "शोर" (रसोई में अराजकता) के विभिन्न स्तरों के साथ हजारों सिम्युलेटेड परिदृश्यों को चलाया।
- परिणाम: AI खराब सामग्रियां न चुनने में अविश्वसनीय रूप से अच्छा था (इसने शायद ही कभी सूप में शोर जोड़ा)। हालांकि, जब रसोई बहुत अराजक (उच्च शोर) थी, तो AI थोड़ा अधिक सतर्क था और कभी-कभी एक अच्छी सामग्री को छोड़ दिया जिसे अन्य तरीकों ने पकड़ लिया था। लेकिन जब डेटा साफ था, तो AI का प्रदर्शन अन्य सर्वोत्तम पारंपरिक तरीकों के समान ही था।
- गति: AI तेज़ था, हालांकि LASSO जितना तत्काल नहीं। यह AIC और BIC विधियों की तुलना में बहुत तेज़ था, जिन्हें लाखों संभावित संयोजनों की जांच करनी पड़ती थी।
रियल-वर्ल्ड टेस्ट: उन्होंने इसे विश्व स्वास्थ्य संगठन (WHO) के जीवन प्रत्याशा (Life Expectancy) से संबंधित एक वास्तविक डेटासेट पर लागू किया। वे जानना चाहते थे कि कौन से स्वास्थ्य कारक (जैसे वयस्क मृत्यु दर, खसरा के मामले, या आय) वास्तव में यह भविष्यवाणी करते हैं कि लोग कितने समय तक जीवित रहेंगे।
- परिणाम: अलग-अलग तरीकों ने अलग-अलग कारकों को चुना। AI सबसे रूढ़िवादी (conservative) था (सतर्क)। इसने अन्य तरीकों की तुलना में कम वेरिएबल्स चुने, केवल उन्हीं पर टिके रहे जिनके बारे में वह सबसे अधिक आश्वस्त था। उदाहरण के लिए, एक वर्ष के डेटा में, इसने केवल "HIV/AIDS" और "आय" को प्रमुख चालक के रूप में चिह्नित किया, जबकि अन्य तरीकों ने कई और चीजें जोड़ी थीं।

"मैजिक स्केलेबिलिटी ट्रिक"

इस पेपर का सबसे शानदार हिस्सा यह है कि उन्होंने सामग्रियों की संख्या को कैसे संभाला। आमतौर पर, यदि आपके पास 10 सामग्रियों के लिए प्रशिक्षित मॉडल है, तो यह टूट जाता है यदि आप इसे 50 दे देते हैं।

लेखकों ने "पैडिंग" (Padding) नामक एक ट्रिक का उपयोग किया। कल्पना कीजिए कि AI एक मशीन है जिसे ठीक 100 स्लॉट रखने के लिए बनाया गया है। यदि आपके पास केवल 10 सामग्रियां हैं, तो आप पहले 10 स्लॉट को अपने डेटा से भरते हैं और बाकी 90 स्लॉट खाली (शून्य से भरे हुए) छोड़ देते हैं। AI को इससे फर्क नहीं पड़ता; यह पूरे 100-स्लॉट ट्रे को प्रोसेस करता है। इसका मतलब है कि एक ही प्रशिक्षित AI मॉडल बिना पुन: प्रशिक्षण के 1 से 100 वेरिएबल्स तक कहीं भी संभाल सकता है।

निचोड़

यह पेपर सांख्यिकीविदों के लिए एक नया उपकरण प्रस्तावित करता है: एक पूर्व-प्रशिक्षित AI जो वेरिएबल चयन के लिए एक अत्यधिक अनुभवी, सतर्क फिल्टर के रूप में कार्य करता है।

यह लचीला है: यह वेरिएबल्स की विभिन्न संख्या के साथ काम करता है।
यह सतर्क है: यह शायद ही कभी "कचरा" वेरिएबल्स को शामिल करता है, हालांकि यह बहुत शोर वाले डेटा में कभी-कभी एक कमजोर संकेत को मिस कर सकता है।
यह उपयोग के लिए तैयार है: लेखकों ने एक लिंक भी प्रदान किया है जहाँ शोधकर्ता तुरंत उपयोग के लिए एक पूर्व-प्रशिक्षित AI मॉडल प्राप्त कर सकते हैं।

संक्षेप में, उन्होंने कठोर, चरण-दर-चरण रेसिपी को एक स्मार्ट, प्रशिक्षित डिजिटल सहायक से बदल दिया है जिसने हजारों आभासी सूपों का "स्वाद चखा" है और जानता है कि बर्तन में क्या रखना है।

यहाँ अलरवाकन (Alrawkan) और अन्य द्वारा लिखित शोध पत्र "Linear Models, Variable Selection, Artificial Intelligence" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लीनियर रिग्रेशन में वेरिएबल सिलेक्शन (चर चयन) सांख्यिकी में एक मौलिक चुनौती है, विशेष रूप से "सक्रिय" (महत्वपूर्ण) और "निष्क्रिय" (शोर/noise) प्रेडिक्टर्स के बीच अंतर करने के मामले में। पारंपरिक विधियाँ कई सीमाओं का सामना करती हैं:

स्टेपवाइज मेथड्स (फॉरवर्ड/बैकवर्ड/स्टेपवाइज): ये क्रमिक परिकल्पना परीक्षण (sequential hypothesis testing) पर निर्भर करते हैं, जिससे ये कोलीनियैरिटी (collinearity), वेरिएबल प्रविष्टि के क्रम और p-वैल्यू की अस्थिरता के प्रति संवेदनशील हो जाते हैं। ये अक्सर थोड़े से परिवर्तित डेटासेट के लिए अलग-अलग मॉडल प्रदान करते हैं।
इन्फॉर्मेशन क्राइटेरिया (AIC/BIC): हालांकि ये जटिलता के लिए दंड (penalize) लगाते हैं, लेकिन इनके लिए बड़ी संख्या में संभावित मॉडलों ( $2^p$ ) का मूल्यांकन करना आवश्यक होता है और ये स्पष्ट मॉडलिंग के बिना गैर-रेखीय संरचनाओं या मल्टीकोलिनियैरिटी को स्वाभाविक रूप से नहीं संभाल पाते।
पेनलाइज्ड रिग्रेशन (LASSO/Elastic Net): ये गुणांकों (coefficients) को शून्य की ओर सिकोड़ते हैं (shrink) लेकिन इनके लिए हाइपरपैरामीटर ( $\lambda$ ) के सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है और अत्यधिक सहसंबंधित प्रेडिक्टर्स होने पर ये वेरिएबल सिलेक्शन में असंगत हो सकते हैं।
मुख्य मुद्दा: शास्त्रीय थ्रेशोल्ड-आधारित नियम (जैसे, $|t| > 2$ वाले वेरिएबल्स का चयन करना) अक्सर विफल हो जाते हैं क्योंकि सक्रिय और निष्क्रिय प्रेडिक्टर्स के लिए $t$ -सांख्यिकी (t-statistics) के वितरण काफी हद तक ओवरलैप होते हैं, विशेष रूप से उच्च-शोर (high-noise) या छोटे-सैंपल वाले परिदृश्यों में।

2. कार्यप्रणाली (Methodology)

लेखक वेरिएबल सिलेक्शन को आर्टिफिशियल न्यूरल नेटवर्क्स (ANNs) का उपयोग करके एक बाइनरी क्लासिफिकेशन समस्या के रूप में पुनर्गठित करने का प्रस्ताव करते हैं। एक नया विश्लेषणात्मक नियम बनाने के बजाय, यह विधि कृत्रिम डेटा (simulated data) से सक्रिय और निष्क्रिय वेरिएबल्स के बीच निर्णय सीमा (decision boundary) को सीखती है।

A. डेटा जनरेशन और ट्रेनिंग रणनीति

मुख्य नवाचार सिंथेटिक डेटा-संचालित दृष्टिकोण का उपयोग है:

सिमुलेशन: विभिन्न सैंपल साइज ( $n$ ), एरर वेरिएंस ( $\sigma^2$ ), और प्रेडिक्टर्स की संख्या ( $p$ ) के साथ हजारों लीनियर रिग्रेशन डेटासेट उत्पन्न किए गए।
ग्राउंड ट्रुथ (Ground Truth): प्रत्येक डेटासेट के लिए, एक वास्तविक बाइनरी इंडिकेटर वेक्टर ( $\Gamma$ ) पूर्व-निर्धारित किया गया है, जो निर्दिष्ट करता है कि कौन से वेरिएबल्स सक्रिय ( $\beta \neq 0$ ) हैं और कौन से निष्क्रिय ( $\beta = 0$ ) हैं।
फीचर एक्सट्रैक्शन: प्रत्येक सिम्युलेटेड डेटासेट के लिए, एक ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) रिग्रेशन फिट किया जाता है (स्टैंडर्डाइज्ड डेटा पर इंटरसेप्ट के बिना)। ANN के लिए इनपुट फीचर्स प्रत्येक गुणांक के परिणामी $t$ -सांख्यिकी हैं: $T = \{t_{\hat{\beta}_1}, t_{\hat{\beta}_2}, \dots, t_{\hat{\beta}_p}\}$ ।
टारगेट: आउटपुट बाइनरी वेक्टर $\Gamma$ (सक्रिय के लिए 1, निष्क्रिय के लिए 0) है।
ट्रेनिंग: एक ANN (Keras/TensorFlow का उपयोग करके) को बैकप्रोपैगेशन के माध्यम से प्रशिक्षित किया जाता है ताकि $t$ -सांख्यिकी वेक्टर को वास्तविक समावेशन संकेतकों (inclusion indicators) से मैप किया जा सके। नेटवर्क विविध शोर और सैंपल साइज स्थितियों में $t$ -वैल्यू और वेरिएबल महत्व के बीच जटिल, गैर-रेखीय संबंध को सीखता है।

B. पैडिंग के माध्यम से स्केलेबिलिटी (Scalability via Padding)

विभिन्न संख्या में प्रेडिक्टर्स को संभालने के लिए, बिना पुन: प्रशिक्षण के, लेखक एक पैडिंग तंत्र का उपयोग करते हैं:

ANN को 100 प्रेडिक्टर्स के निश्चित इनपुट आकार को स्वीकार करने के लिए डिज़ाइन किया गया है।
यदि किसी डेटासेट में $p < 100$ प्रेडिक्टर्स हैं, तो $t$ -वैल्यू वेक्टर को 100 की लंबाई तक पहुँचने के लिए शून्य (zeros) के साथ पैड किया जाता है।
आउटपुट भी 100-लंबाई का बाइनरी वेक्टर है, जहाँ पहले $p$ प्रविष्टियाँ वास्तविक वेरिएबल्स के अनुरूप होती हैं, और शेष को अनदेखा कर दिया जाता है।
यह एक ही प्री-ट्रेंड मॉडल को 100 प्रेडिक्टर्स तक के किसी भी डेटासेट को संभालने की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

AI-संचालित वेरिएबल सिलेक्शन: एक ऐसा नया ढांचा पेश करता है जहाँ एक ANN एक यूनिवर्सल सेलेक्टर के रूप में कार्य करता है, जो OLS $t$ -सांख्यिकी के आधार पर सिग्नल और शोर के बीच अंतर करना सीखता है, जिससे स्टेपवाइज ह्यूरिस्टिक्स या मैनुअल ट्यूनिंग की आवश्यकता समाप्त हो जाती है।
ओवरलैप के प्रति मजबूती: विविध परिदृश्यों पर प्रशिक्षण लेकर जहाँ सक्रिय और निष्क्रिय $t$ -वितरण ओवरलैप होते हैं, ANN एक लचीला निर्णय नियम विकसित करता है जो फिक्स्ड थ्रेशोल्ड से बेहतर है।
स्केलेबिलिटी: पैडिंग तकनीक वेरिएबल संख्या में प्रेडिक्टर्स को संभालने (100 तक) में सक्षम बनाती है, जो फिक्स्ड-आर्किटेक्चर न्यूरल नेटवर्क्स की एक सामान्य सीमा को हल करती है।
ओपन सोर्स: लेखक एक प्री-ट्रेंड ANN मॉडल, सिमुलेशन कोड और सत्यापन के लिए उपयोग किया गया WHO डेटासेट प्रदान करते हैं।

4. परिणाम (Results)

A. सिमुलेशन अध्ययन (प्रदर्शन मेट्रिक्स)

इस पद्धति की तुलना LASSO, फॉरवर्ड सिलेक्शन, बैकवर्ड एलिमिनेशन, AIC और BIC से विभिन्न सैंपल साइज ( $n=50, 250, 1000$ ) और वेरिएंस ( $\sigma^2 = 0.01, 0.1, 0.5$ ) के तहत की गई।

फॉल्स पॉजिटिव (FP): ANN ने अत्यंत कम फॉल्स पॉजिटिव दर (उच्च करेक्ट नेगेटिव दर) प्रदर्शित की। उदाहरण के लिए, $n=50, \sigma^2=0.5$ पर, ANN की FP दर 0.011 थी, जबकि LASSO की 0.882 थी।
ट्रू पॉजिटिव (TP): उच्च-शोर, छोटे-सैंपल वाले परिदृश्यों में ANN ने LASSO की तुलना में कम ट्रू पॉजिटिव दर (करेक्ट पॉजिटिव) दिखाई। उदाहरण के लिए, $n=50, \sigma^2=0.5$ पर, ANN का CP 0.391 था बनाम LASSO का 0.949।
ट्रेड-ऑफ (Trade-off): ANN रूढ़िवादी (conservative) है। यह हर कमजोर सिग्नल को पकड़ने (Type II errors) के बजाय गलत समावेश (Type I errors) से बचने को प्राथमिकता देता है। जैसे-जैसे सैंपल साइज बढ़ता है, विधियों के बीच प्रदर्शन का अंतर कम होता जाता है।
कंप्यूटेशनल दक्षता:
- LASSO: सबसे तेज़ (< 0.001s)।
- ANN: बहुत तेज़ (~~0.067s), जो व्यापक मॉडल खोज की आवश्यकता वाले AIC/BIC (~~1.0s) की तुलना में काफी तेज़ है।
- Stepwise: मध्यम गति।

B. वास्तविक दुनिया का अनुप्रयोग (WHO डेटासेट)

इस पद्धति को जीवन प्रत्याशा (Life Expectancy) की भविष्यवाणी करने वाले विश्व स्वास्थ्य संगठन (WHO) के डेटा (141 देश, 2000 और 2015) पर लागू किया गया।

निरंतरता: ANN ने अन्य विधियों की तुलना में एक छोटा, अधिक संक्षिप्त (parsimonious) वेरिएबल सेट चुना।
- 2000 का डेटा: ANN ने केवल HIV/AIDS और ICR को चुना; LASSO ने लगभग सभी वेरिएबल्स को चुना; स्टेपवाइज विधियों ने 5 चुने।
- 2015 का डेटा: ANN ने Adult Mortality, HIV/AIDS, Thinness 1-19, और ICR को चुना।
व्याख्या: ANN का रूढ़िवादी चयन यह सुझाव देता है कि यह उन वेरिएबल्स को फ़िल्टर कर देता है जो स्टेपवाइज टेस्ट में सांख्यिकीय रूप से महत्वपूर्ण हो सकते हैं लेकिन मल्टीकोलिनियैरिटी की उपस्थिति में मजबूत प्रेडिक्टिव शक्ति की कमी रखते हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

पूरक उपकरण (Complementary Tool): यह दृष्टिकोण शास्त्रीय सांख्यिकी को प्रतिस्थापित नहीं करता है, बल्कि उन स्थितियों के लिए एक शक्तिशाली, डेटा-संचालित विकल्प प्रदान करता है जहाँ पारंपरिक विधियाँ अस्थिर या विरोधाभासी परिणाम देती हैं।
स्थिरता: ANN एक स्थिर चयन नियम प्रदान करता है जो स्टेपवाइज़ रिग्रेशन की तुलना में वेरिएबल्स के विशिष्ट क्रम या डेटा के मामूली परिवर्तनों के प्रति कम संवेदनशील है।
भविष्य की दिशाएं: लेखक इस ढांचे को मिसिंग डेटा, कैटेगोरिकल वेरिएबल्स, नॉन-लीनियर रिग्रेशन और टाइम-सीरीज मॉडल को संभालने के लिए विस्तारित करने का सुझाव देते हैं। वे हाई-डायमेंशनल मामलों ( $n < p$ ) के लिए अटेंशन मैकेनिज्म (attention mechanisms) का पता लगाने का भी प्रस्ताव करते हैं।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि सिंथेटिक लीनियर मॉडल पर प्रशिक्षित एक ANN प्रभावी रूप से वेरिएबल सिग्निफिकेंस के "आकार" को सीख सकता है, जो जटिल रिग्रेशन सेटिंग्स में फॉल्स पॉजिटिव को कम करने के लिए एक तेज़, स्केलेबल और अत्यधिक रूढ़िवादी विधि प्रदान करता है।