A Comparative Study of Methods for Handling Missing Data in Longitudinal Data with Implications for Causal Inference
यह अध्ययन अनुदैर्ध्य कारण अनुमान (longitudinal causal inference) के लिए लुप्त डेटा प्रतिस्थापन (missing data imputation) और कन्फाउंडर नियंत्रण रणनीतियों के इष्टतम संयोजनों की पहचान करने के लिए मोंटे कार्लो सिमुलेशन और अनुभवजन्य सत्यापन का उपयोग करता है, जो यह प्रदर्शित करता है कि अनमापित कन्फाउंडिंग (unmeasured confounding) के बिना विषम प्रभावों (heterogeneous effects) के लिए मल्टीपल इम्प्यूटेशन या रैंडम फॉरेस्ट को डबली रोबस्ट एस्टीमेशन के साथ जोड़ना सर्वोत्तम प्रदर्शन प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या हर दिन एक गिलास वाइन पीना वास्तव में लोगों को खुश बनाता है या दुखी। आप इसका उत्तर खोजने के लिए कई वर्षों तक लोगों के एक समूह पर नज़र रखने का निर्णय लेते हैं। इसे शोधकर्ता "अनुदैर्ध्य अध्ययन" (longitudinal study) कहते हैं।
हालाँकि, जीवन अस्त-व्यस्त होता है। लोग सर्वेक्षण भरना भूल जाते हैं, वे कहीं और चले जाते हैं, या वे बस अपने मूड के बारे में सवाल पूछना बंद कर देते हैं। यह लुप्त डेटा (missing data) है। साथ ही, अन्य चीजें भी परिणामों को प्रभावित कर रही हैं, जैसे कि वे कितना पैसा कमाते हैं या उनकी उम्र क्या है। ये कन्फाउंडर्स (confounders) (वे "छिपे हुए चर" जो स्थिति को धुंधला कर देते हैं) हैं।
यह शोध पत्र एक विशाल, हाई-टेक कुकिंग कॉम्पिटिशन की तरह है। शोधकर्ताओं ने केवल एक व्यंजन नहीं बनाया; उन्होंने हजारों अलग-अलग परिदृश्यों का अनुकरण (simulate) किया यह देखने के लिए कि कौन सा "नुस्खा" (सांख्यिकीय विधि) सबसे अच्छा काम करता है जब सामग्री गायब हो जाती है और रसोई अराजक होती है।
यहाँ उनके निष्कर्षों का सरल शब्दों में विवरण दिया गया है:
समस्या: एक साथ दो मुश्किलें
वास्तविक दुनिया के अध्ययनों में, आमतौर पर आपके पास एक साथ दो समस्याएं होती हैं:
- लुप्त डेटा (Missing Data): कुछ लोग अध्ययन से बाहर हो गए या उन्होंने सवाल छोड़ दिए।
- कन्फाउंडिंग (Confounding): यह बताना कठिन है कि शराब के कारण मूड में बदलाव आया, या किसी और चीज़ (जैसे तनाव या आय) ने दोनों को प्रभावित किया।
अधिकांश पिछले अध्ययनों ने इन समस्याओं को एक समय में एक करके ठीक करने की कोशिश की। इस अध्ययन ने पूछा: "यदि हमारे पास एक अस्त-व्यस्त डेटासेट है, तो लुप्त टुकड़ों को ठीक करने और वास्तविक कारण को शोर (noise) से अलग करने के लिए उपकरणों का सबसे अच्छा संयोजन क्या है?"
प्रयोग: द सिमुलेशन किचन
शोधकर्ताओं ने एक कंप्यूटर का उपयोग करके एक आभासी दुनिया बनाई। उन्होंने नकली लोग, नकली जीवन, नकली पीने की आदतें और नकली मूड बनाए। फिर, उन्होंने डेटा को जानबूझकर "खराब" किया:
- कुछ लोगों को गायब कर दिया (लुप्त डेटा)।
- लोगों के गायब होने के पीछे अलग-अलग कारण थे (कुछ यादृच्छिक थे, कुछ इसलिए क्योंकि वे नाखुश थे)।
- उन्हें ट्रैक करने के वर्षों की संख्या बदल दी।
- विभिन्न संख्या में "छिपे हुए चरों" (confounders) को जोड़ा।
फिर उन्होंने लुप्त डेटा को ठीक करने के 7 अलग-अलग तरीकों (जैसे गायब संख्याओं का अनुमान लगाना) और छिपे हुए चरों को नियंत्रित करने के 6 अलग-अलग तरीकों (जैसे रेसिपी को एडजस्ट करना) का परीक्षण किया। उन्होंने प्रत्येक संयोजन के लिए इस सिमुलेशन को 1,000 बार चलाया ताकि यह देखा जा सके कि कौन सा सबसे सटीक उत्तर देता है।
सामग्रियां: परीक्षण की गई विधियाँ
लुप्त डेटा को ठीक करने के लिए ("खाली जगह भरने वाली" टीम):
- कम्प्लीट केस एनालिसिस (Complete Case Analysis): बस उन सभी को हटा दें जिनका कोई हिस्सा गायब है। (जैसे एक पूरा केक फेंक देना क्योंकि उसमें एक अंडा कम है)।
- मीन इम्प्यूटेशन (Mean Imputation): खाली जगह को औसत (average) से भर दें। (जैसे यह अनुमान लगाना कि क्लास का औसत स्कोर ही गायब टेस्ट स्कोर है)।
- मल्टीपल इम्प्यूटेशन (MI): लुप्त डेटा के कई अलग-अलग "क्या होगा अगर" वाले संस्करण बनाएं और परिणामों का औसत निकालें। (जैसे 10 अलग-अलग शेफ से गायब सामग्री का अनुमान लगाने के लिए कहना, फिर उनके औसत अनुमान को लेना)।
- रैंडम फॉरेस्ट (Random Forest) और KNN: स्मार्ट कंप्यूटर एल्गोरिदम जो गायब मानों का अनुमान लगाने के लिए समान लोगों को देखते हैं।
कन्फाउंडर्स को नियंत्रित करने के लिए ("शोर-रद्द करने वाली" टीम):
- मल्टीवेरिएट एडजस्टमेंट (MA): बस सभी ज्ञात चरों को गणितीय समीकरण में जोड़ना।
- प्रोपेंसिटी स्कोर मेथड्स (PSM, IPW): शराब पीने वालों को ऐसे गैर-पीने वालों के साथ मिलाने की कोशिश करना जो कागज़ पर बिल्कुल उनके जैसे दिखते हैं, या दुर्लभ प्रकार के लोगों को अधिक महत्व देना।
- डबली रोबस्ट एस्टीमेशन (DRE): एक "डबल-चेक" प्रणाली। यह दो अलग-अलग गणितीय मॉडल का उपयोग करता है; यदि एक गलत है, तो दूसरा काम संभाल लेता है।
- इंस्ट्रूमेंटल वेरिएबल (IV): एक तीसरे कारक का उपयोग करना (जैसे एक आनुवंशिक लक्षण या एक यादृच्छिक घटना) जो शराब पीने को प्रभावित करता है लेकिन मूड को सीधे नहीं, बल्कि एक प्राकृतिक प्रयोग के रूप में कार्य करता है।
परिणाम: प्रतियोगिता किसने जीती?
1. "लुप्त तंत्र" (Missing Mechanism) का मिथक
शोधकर्ताओं ने पाया कि डेटा क्यों गायब था (चाहे वह यादृच्छिक था या इसलिए कि लोग दुखी थे) इससे अंतिम उत्तर में वास्तव में बहुत अधिक बदलाव नहीं आया। सबसे महत्वपूर्ण बात यह थी कि कितना डेटा गायब था। डेटा जितना अधिक गायब होता, परिणाम उतना ही खराब होता जाता, चाहे आप किसी भी विधि का उपयोग करें।
2. सबसे अच्छी "खाली जगह भरने वाली" टीम
कारण संबंधी निष्कर्ष (causal inference) के लिए, विजेता थे:
- मल्टीपल इम्प्यूटेशन (MI): यह स्वर्ण मानक (gold standard) है। यह अनिश्चितता को अच्छी तरह से संभालता है।
- मीन इम्प्यूटेशन: इस विशिष्ट लक्ष्य के लिए आश्चर्यजनक रूप से अच्छा, भले ही यह सरल है।
- रैंडम फॉरेस्ट: स्मार्ट एल्गोरिदम जो पैटर्न सीखता है।
बचें: लोगों को गायब डेटा के साथ फेंक देना (Complete Case Analysis) सबसे खराब प्रदर्शन करने वाला था। इसने सबसे अधिक त्रुटियां पैदा कीं।
3. सबसे अच्छी "शोर-रद्द करने वाली" टीम
यह स्थिति पर निर्भर करता था:
- परिदृश्य A (जटिल, वास्तविक दुनिया के प्रभाव): यदि शराब का प्रभाव व्यक्ति दर व्यक्ति भिन्न होता है (heterogeneous) और कोई छिपे हुए रहस्य नहीं हैं, तो डबली रोबस्ट एस्टीमेशन (DRE) स्पष्ट विजेता था। यह सबसे सटीक और स्थिर था।
- परिदृश्य B (सरल प्रभाव या छिपे हुए रहस्य): यदि प्रभाव सभी के लिए समान है, या यदि वहां अपरिभाषित कन्फाउंडर्स (छिपे हुए चर जिनके बारे में शोधकर्ताओं को नहीं पता था) हैं, तो इंस्ट्रूमेंटल वेरिएबल (IV) विधि सबसे अच्छी थी। यह एकमात्र तरीका है जो छिपे हुए चरों के पर्दे के पीछे झांक सकता है।
4. स्वर्णिम संयोजन (The Golden Combination)
अध्ययन ने पाया कि अधिकांश वास्तविक दुनिया के परिदृश्यों के लिए (जहाँ प्रभाव भिन्न होते हैं और हम मानते हैं कि हमें मुख्य कन्फाउंडर्स का पता है) सबसे अच्छी रणनीति है:
मल्टीपल इम्प्यूटेशन (या रैंडम फॉरेस्ट) + डबली रोबस्ट एस्टीमेशन।
यह संयोजन एक मास्टर शेफ (MI) और एक डबल-चेक सिस्टम (DRE) होने जैसा था। इसने सबसे कम त्रुटि के साथ सबसे सटीक परिणाम दिए।
वास्तविक दुनिया का टेस्ट
यह साबित करने के लिए कि उनका सिमुलेशन केवल एक कंप्यूटर कल्पना नहीं थी, उन्होंने वास्तविक डेटा चाइना हेल्थ एंड रिटायरमेंट लॉन्जिट्यूडिनल स्टडी (CHARLS) पर इन विधियों को लागू किया। उन्होंने वृद्ध चीनी वयस्कों में शराब और अवसाद के बीच संबंध को देखा।
परिणाम? वास्तविक दुनिया का डेटा बिल्कुल उनके सिमुलेशन की तरह व्यवहार करता है।
- सभी विधियों ने शराब और अवसाद के बीच एक संबंध पाया।
- "डबली रोबस्ट" विधियों के साथ "मल्टीपल इम्प्यूटेशन" ने सबसे स्थिर और विश्वसनीय संख्याएँ दीं।
- "लुप्त डेटा को फेंक देने वाला" (Complete Case) तरीका "इनवर्स प्रोबेबिलिटी वेटिंग" के साथ मिलकर सबसे अस्थिर और बढ़ा-चढ़ाकर दिखाए गए परिणाम देता था।
निचोड़ (The Bottom Line)
यदि आप एक शोधकर्ता हैं जो दीर्घकालिक अध्ययनों में कारण-और-प्रभाव का पता लगाने की कोशिश कर रहे हैं:
- सिर्फ डेटा को डिलीट न करें। मल्टीपल इम्प्यूटेशन या रैंडम फॉरेस्ट जैसे स्मार्ट फिलिंग तरीकों का उपयोग करें।
- एक "डबल-चेक" सिस्टम का उपयोग करें। यदि आपको लगता है कि प्रभाव लोगों के बीच भिन्न होता है, तो डबली रोबस्ट एस्टीमेशन का उपयोग करें।
- रहस्यों के प्रति सावधान रहें। यदि आपको संदेह है कि वहां छिपे हुए कारक हैं जिन्हें आप माप नहीं सकते, तो आपको इंस्ट्रूमेंटल वेरिएबल की आवश्यकता हो सकती है, लेकिन सावधान रहें—यदि फॉलो-अप के वर्ष बहुत अधिक हैं तो इसकी शक्ति कम हो जाती है।
शोध पत्र निष्कर्ष निकालता है कि सही "फिल-इन" टूल को सही "शोर-रद्द करने वाले" टूल के साथ मिलाकर, शोधकर्ता अस्त-व्यस्त, वास्तविक दुनिया के डेटा से बहुत स्पष्ट और अधिक भरोसेमंद उत्तर प्राप्त कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।