The Smallest Standard Error Is the Wrong One: Selection Among Multiple Imputations Invalidates Inference
यह शोध पत्र प्रदर्शित करता है कि सबसे कम मानक त्रुटि (standard error) वाले मल्टीपल इम्प्यूटेड विश्लेषण का चयन करना अनिवार्य रूप से आवश्यक 'बिटवीन-इम्प्यूटेशन वेरिएन्स' (between-imputation variance) को त्यागकर और कृत्रिम रूप से 'विदिन-इम्प्यूटेशन वेरिएन्स' (within-imputation variance) को कम करके सांख्यिकीय अनुमान को व्यवस्थित रूप से अमान्य कर देता है, जिससे आत्मविश्वास अंतराल (confidence intervals) गंभीर रूप से कम-कवर्ड और अनुमान पक्षपाती हो जाते हैं, जबकि रुबिन के पूलिंग नियम सही ढंग से अंशांकन (calibration) को संरक्षित करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डेटा विश्लेषण की दुनिया में, लुप्त जानकारी एक निरंतर साथी है। चाहे वह अस्पताल में रोगी की रिकवरी को ट्रैक करना हो, खेत में फसल की पैदावार को मापना हो, या आर्थिक रुझानों का अध्ययन करना हो, शोधकर्ताओं के पास शायद ही कभी संख्याओं का एक सटीक सेट होता है। कुछ प्रविष्टियाँ खाली होती हैं, खो जाती हैं, या कभी दर्ज ही नहीं की जातीं। इन अंतरालों को समझने के लिए, सांख्यिकीविद् 'मल्टीपल इम्प्यूटेशन' (multiple imputation) नामक एक तकनीक का उपयोग करते हैं। खाली स्थान को भरने के लिए किसी एक अनुमान लगाने के बजाय, वे लुप्त डेटा के कई अलग-अलग, संभावित संस्करण बनाते हैं। फिर वे प्रत्येक संस्करण पर अलग से अपना विश्लेषण चलाते हैं। यह दृष्टिकोण इस बात को स्वीकार करता है कि लुप्त संख्याएँ अज्ञात हैं और विभिन्न अनुमानों से थोड़े अलग निष्कर्ष निकल सकते हैं। इन सभी संस्करणों के परिणामों को जोड़कर, विश्लेषक एक अंतिम उत्तर दे सकते हैं जो ईमानदारी से उस डेटा को दर्शाता है जो उनके पास है और उस अनिश्चितता को भी, जो उस जानकारी के बारे में है जो उनके पास नहीं है। लक्ष्य यह सुनिश्चित करना है कि परिणाम में रिपोर्ट की गई विश्वसनीयता, स्थिति की वास्तविकता के अनुरूप हो।
दक्षिण अफ्रीका के शोधकर्ताओं की एक टीम ने हाल ही में खोजा कि इस प्रक्रिया में एक स्पष्ट रूप से तार्किक दिखने वाला शॉर्टकट वास्तव में गणित को तोड़ देता है। उन्होंने पाया कि जब विश्लेषक अपने डेटा के कई संस्करण बनाते हैं और फिर उनमें से उस एकल संस्करण को चुनते हैं जो सबसे सटीक दिखता है—विशेष रूप से, वह जिसका मार्जिन ऑफ एरर (त्रुटि का अंतर) सबसे कम है—तो वे खुद को धोखा दे रहे होते हैं। यह चुनाव, जो एक अध्ययन को अधिक केंद्रित बनाने का एक तरीका लगता है, व्यवस्थित रूप से अनिश्चितता की वास्तविक मात्रा को छिपा देता है। शोधकर्ताओं ने दिखाया कि उम्मीदवारों के एक समूह में से "सबसे अच्छे दिखने वाले" परिणाम को चुनकर, विश्लेषक उसी जानकारी को त्याग देते हैं जो इस पद्धति को विश्वसनीय बनाती है। उन्होंने सिद्ध किया कि उम्मीदवारों के समूह में से सबसे अच्छा दिखने वाला विकल्प चुनने से कॉन्फिडेंस इंटरवल (विश्वास अंतराल) बहुत संकीर्ण हो जाते हैं और पॉइंट एस्टिमेट (बिंदु अनुमान) सूक्ष्म रूप से पक्षपाती हो जाते हैं, जिससे निष्कर्ष वास्तविक स्थिति की तुलना में अधिक निश्चित प्रतीत होते हैं।
अध्ययन की शुरुआत सांख्यिकीय कार्य में एक स्वाभाविक प्रलोभन की जांच से हुई। जब एक शोधकर्ता के पास बीस अलग-अलग पूर्ण डेटासेट होते हैं, जिनमें से प्रत्येक का अपना अनुमान और उस अनुमान में होने वाले बदलाव का एक माप होता है, तो उस एक को चुनना लुभावना होता है जिसमें सबसे कम भिन्नता हो। एक छोटी भिन्नता एक अधिक सटीक परिणाम का संकेत देती है, जो आमतौर पर वैज्ञानिक रिपोर्ट करना चाहते हैं। शोधकर्ताओं ने, जिन्होंने पहले इस दृष्टिकोण का बचाव किया था, स्वयं इसका कड़ाई से परीक्षण करने का निर्णय लिया। उन्होंने एक नियंत्रित सिमुलेशन तैयार किया जहाँ वे पहले से ही वास्तविक उत्तर जानते थे। उन्होंने लुप्त मानों वाले हजारों डेटासेट बनाए, प्रत्येक के लिए बीस अलग-अलग इम्प्यूटेड संस्करण बनाए, और फिर चयन नियम लागू किया: उस संस्करण को चुनें जिसमें अनुमानित त्रुटि सबसे कम हो।
परिणाम स्पष्ट थे। उनके सिमुलेशन में, जहाँ वास्तविक उत्तर ज्ञात था, सबसे कम त्रुटि चुनने की विधि ने ऐसे कॉन्फिडेंस इंटरवल बनाए जो केवल लगभग 84.5% बार वास्तविक उत्तर को कवर कर पाए, जबकि उन्हें 95% बार कवर करना चाहिए था। इसका अर्थ है कि यह विधि सत्य को पकड़ने में उम्मीद से अधिक बार विफल रही। शोधकर्ताओं ने इस विफलता के तीन अलग-अलग कारणों की पहचान की। पहला, केवल एक डेटासेट को चुनकर और उसे ही एकमात्र वास्तविक डेटा मानकर, यह विधि विभिन्न अनुमानों के बीच की भिन्नता को फेंक देती है। यह भिन्नता महत्वपूर्ण है क्योंकि यह लुप्त संख्याओं के बारे में अनिश्चितता का प्रतिनिधित्व करती है। दूसरा, बीस के समूह में से सबसे छोटी संख्या को चुनने का कार्य स्वाभाविक रूप से परिणाम को नीचे की ओर झुका देता है। जिस तरह बीस लोगों के कमरे में सबसे छोटा व्यक्ति सामान्य जनसंख्या के औसत व्यक्ति से छोटा होने की संभावना रखता है, बीस के समूह से प्राप्त सबसे छोटी त्रुटि का अनुमान वास्तविक औसत त्रुटि से छोटा होने की संभावना होती है। तीसरा, क्योंकि मान का अनुमान और उसके त्रुटि का अनुमान अक्सर आपस में जुड़े होते हैं, सबसे छोटी त्रुटि चुनना अनजाने में एक विशिष्ट प्रकार के मान को चुन लेता है, जिससे अंतिम उत्तर सत्य से दूर चला जाता है।
समस्या की गंभीरता को समझाने के लिए, शोधकर्ताओं ने मल्टीपल इम्प्यूटेशन को संभालने के मानक, स्वीकृत तरीके की तुलना की, जिसे 'रुबिन्स रूल्स' (Rubin's rules) के रूप में जाना जाता है। एक विजेता चुनने के बजाय, रुबिन्स रूल्स सभी बीस अनुमानों को एक एकल, औसत परिणाम में मिला देते हैं। जब शोधकर्ताओं ने ठीक उसी बीस अनुमानों पर इस मानक पद्धति को लागू किया, तो परिणाम पूरी तरह से सटीक थे। उन कॉन्फिडेंस इंटरवल्स ने वास्तविक उत्तर को 94.6% बार कवर किया, जो बिल्कुल सटीक था। इसके विपरीत, चयन पद्धति ने कागज पर अधिक सटीक दिखते हुए भी, अनिश्चितता की एक संकीर्ण सीमा रिपोर्ट की, लेकिन वह सटीकता एक भ्रम थी जो शुद्धता की कीमत पर खरीदी गई थी।
अध्ययन ने यह भी पता लगाया कि क्या होता है जब शोधकर्ता उत्पन्न किए जाने वाले अनुमानों की संख्या बढ़ाते हैं। मानक सलाह सुझाव देती है कि अधिक इम्प्यूटेशन का उपयोग करने से बेहतर, अधिक स्थिर परिणाम मिलते हैं। हालाँकि, चयन पद्धति के लिए, इसके विपरीत हुआ। जैसे-जैसे शोधकर्ताओं ने उम्मीदवार डेटासेट की संख्या दो से बढ़ाकर सौ कर दी, चयन पद्धति का प्रदर्शन और खराब होता गया। कॉन्फिडेंस इंटरवल्स और भी कम विश्वसनीय हो गए, जो केवल 81.7% बार वास्तविक उत्तर को कवर कर पाए, जबकि अंतिम उत्तर में पक्षपात भी बढ़ गया। इसके विपरीत, सभी अनुमानों को मिलाने वाली मानक पद्धति कितने भी अनुमानों का उपयोग किया जाए, स्थिर और सटीक बनी रही। इसने एक खतरनाक जाल को उजागर किया: एक विश्लेषक जो अधिक सावधान रहने के लिए अधिक डेटा का उपयोग करने की सलाह का पालन करता है, वह चयन पद्धति का उपयोग करके, बिना किसी चेतावनी संकेत के, अपने निष्कर्ष को वास्तव में कम विश्वसनीय बना रहा होगा।
शोधकर्ताओं ने निष्कर्ष निकाला कि मानक त्रुटि (standard error) विश्लेषण के लक्ष्य और उसकी सफलता के निर्णायक, दोनों के रूप में कार्य नहीं कर सकती। आप सबसे छोटी त्रुटि के लिए अनुकूलित (optimize) नहीं हो सकते और फिर उस त्रुटि को अनिश्चितता के ईमानदार माप के रूप में विश्वास नहीं कर सकते। उन्होंने सांख्यिकीय विधियों के मूल्यांकन के लिए एक नया प्रोटोकॉल प्रस्तावित किया: इससे पहले कि विभिन्न विधियों की सटीकता की तुलना की जाए, शोधकर्ताओं को पहले यह जांचना चाहिए कि उनकी रिपोर्ट की गई अनिश्चितता वास्तविक परिवर्तनशीलता से मेल खाती है या नहीं। उन्होंने इसे "कैलिब्रेशन-फर्स्ट" (calibration-first) दृष्टिकोण कहा। यदि कोई विधि वास्तविक सत्य की तुलना में बहुत छोटी त्रुटि रिपोर्ट करती है, तो उसे तुरंत खारिज कर दिया जाना चाहिए, चाहे उसके कॉन्फिडेंस इंटरवल कितने भी संकीर्ण क्यों न दिखें। यह नियम चयन पद्धति को कभी भी एक निष्पक्ष तुलना में विजेता के रूप में उभरने से रोक देगा।
यह कार्य डेटा साइंस के एक विशिष्ट, आकर्षक विचार के सुधार के रूप में कार्य करता है। शोधकर्ताओं ने स्वीकार किया कि उन्होंने स्वयं पहले चयन पद्धति का प्रस्ताव दिया था, यह विश्वास करते हुए कि यह एक वैध सुधार है। अपने स्वयं के कार्य की कठोर सिमुलेशन के साथ पुन: जांच करके, उन्होंने प्रदर्शित किया कि वह पद्धति मौलिक रूप से त्रुटिपूर्ण है। उन्होंने जोर देकर कहा कि यह विफलता कोई मामूली तकनीकी खामी नहीं है बल्कि एक संरचनात्मक मुद्दा है जो सांख्यिकीय निष्कर्ष को अमान्य कर देता है। उनके द्वारा दिया गया समाधान सरल है: विजेता न चुनें। इसके बजाय, सभी उम्मीदवारों को मिलाएं। परिणामों को मिलाकर, यह पद्धति आवश्यक अनिश्चितता को सुरक्षित रखती है और वैध, विश्वसनीय निष्कर्ष प्रदान करती है। यह अध्ययन एक अनुस्मारक है कि सटीकता की खोज में, सबसे आकर्षक शॉर्टकट कभी-कभी वह रास्ता हो सकता है जो सत्य से दूर ले जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।