Predicting missing values: A good idea?

तकनीकी सारांश: लुप्त मानों की भविष्यवाणी करना। क्या यह एक अच्छा विचार है?

समस्या विवरण
यह शोध पत्र मशीन लर्निंग और सांख्यिकीय विश्लेषण के भीतर लुप्त डेटा (missing data) को संभालने के तरीके में मौजूद एक महत्वपूर्ण विसंगति को संबोधित करता है। जबकि इम्प्यूटेशन (imputation) विधियों के मूल्यांकन के लिए मीन स्क्वेर्ड एरर (MSE) को न्यूनतम करना सबसे प्रमुख मानदंड है—जो कि पॉइंट एस्टिमेट्स की सटीकता को प्राथमिकता देता है—यह दृष्टिकोण व्यवस्थित रूप से डाउनस्ट्रीम विश्लेषणों में पूर्वाग्रह (biases) उत्पन्न करता है। मुख्य समस्या यह है कि MSE-अनुकूलित इम्प्यूटेशन अनिवार्य रूप से कंडीशनल मीन्स (औसत) होते हैं। इन नियतात्मक औततों (deterministic averages) द्वारा लुप्त मानों को बदलने से, डेटा की स्वाभाविक परिवर्तनशीलता (variability) कृत्रिम रूप से कम हो जाती है। यह कमी प्रमुख सांख्यिकीय मापदंडों को विकृत करती है, जिसमें वेरिएंस (variance), प्रवलता (prevalence), सहसंबंध (correlation), रिग्रेशन स्लोप (regression slopes), और स्पष्ट भिन्नता ($R^2$) शामिल हैं, जिससे बाद के मॉडलिंग में अमान्य निष्कर्ष और अत्यधिक आत्मविश्वासी अनुमान प्राप्त होते हैं।

कार्यप्रणाली (Methodology)
लेखक एक मल्टीवेरिएट नॉर्मल सेटिंग के भीतर दो अलग-अलग इम्प्यूटेशन रणनीतियों की तुलना करने के लिए एक सैद्धांतिक ढांचे और सिमुलेशन अध्ययनों का उपयोग करते हैं:

1. प्रेडिक्टिव इम्प्यूटेशन (Predict): यह विधि देखे गए प्रेडिक्टर्स के आधार पर अपेक्षित मान ($\hat{y}$) को इम्प्यूट करके MSE को न्यूनतम करती है। यह नियतात्मक (deterministic) है और रिग्रेशन इम्प्यूटेशन या कंडीशनल मीन इम्प्यूटेशन के अनुरूप है।
2. स्टोकेस्टिक इम्प्यूटेशन (Draw): यह विधि प्रेडिक्टेड मान में रैंडम नॉइज़ ($\epsilon$) जोड़ती है, ताकि $\dot{y} = \hat{y} + \epsilon$ हो सके। यह नॉइज़ इम्प्यूटेशन मॉडल के रेसिडुअल डिस्ट्रीब्यूशन से ली जाती है। यह दृष्टिकोण लुप्त डेटा की अंतर्निहित अनिश्चितता को स्वीकार करता है।

अध्ययन एक सिंथेटिक पॉपुलेशन के साथ सिमुलेशन सेटअप का उपयोग करता है जो "हाई-सिग्नल" ($R^2=0.8$) और "लो-सिग्नल" ($R^2=0.2$) डेटा का प्रतिनिधित्व करता है। लुप्तता (missingness) को दो तंत्रों के माध्यम से पेश किया गया है: मिसिंग कम्प्लीटली एट रैंडम (MCAR) और मिसिंग एट रैंडम (MAR)। इनका प्रदर्शन केवल MSE द्वारा नहीं, बल्कि उन डाउनस्ट्रीम मापदंडों ($\mu, \sigma, P90, \rho, \gamma, R^2$) पर उनके प्रभाव के आधार पर किया जाता है जहाँ इम्प्यूटेड वेरिएबल एक प्रेडिक्टर और आउटकम दोनों के रूप में कार्य करता है।

इसके अलावा, यह पत्र यह आकलन करने के लिए तीन लोकप्रिय सॉफ्टवेयर टूल्स—missForest, softImpute, और mice—का मूल्यांकन करता है कि क्या उनके डिफॉल्ट व्यवहार प्रेडिक्टिव या स्टोकेस्टिक प्रतिमानों के अनुरूप हैं।

मुख्य परिणाम

• प्रेडिक्टिव विधियों में पूर्वाग्रह (Bias): "predict" विधि लगातार मानक विचलन ($\sigma$) और 90वें पर्सेंटाइल से अधिक मामलों के अनुपात ($P90$) को कम करती है। इसके विपरीत, यह सहसंबंधों ($\rho$), रिग्रेशन स्लोप ($\delta$), और स्पष्ट भिन्नता ($R^2$) के अनुपात को बढ़ा देती है। ये पूर्वाग्रह लो-सिग्नल परिदृश्यों में सबसे गंभीर होते हैं जहाँ चरों के बीच संबंध कमजोर होता है।
• स्टोकेस्टिक विधियों की वैधता: "draw" विधि, जो नॉइज़ को शामिल करती है, वेरिएंस, सहसंबंध और स्लोप के लिए ऐसे अनुमान उत्पन्न करती है जो वास्तविक जनसंख्या मापदंडों के काफी करीब होते हैं, जिससे प्रेडिक्टिव विधियों द्वारा उत्पन्न व्यवस्थित पूर्वाग्रह प्रभावी रूप से समाप्त हो जाते हैं।
• MSE का विरोधाभास (The MSE Paradox): जबकि "draw" विधि अनबायस्ड डाउनस्ट्रीम अनुमान प्रदान करती है, यह "predict" विधि की तुलना में लगभग दोगुना बड़ा MSE ($MSE_{draw} \approx 2 \times MSE_{predict}$) दर्शाती है। केवल MSE पर भरोसा करने से गलत तरीके से प्रेडिक्टिव विधि को श्रेष्ठ माना जाएगा।
• सॉफ्टवेयर मूल्यांकन:
  • missForest प्रेडिक्टिव विधि के समान व्यवहार करता है, जिससे महत्वपूर्ण पूर्वाग्रह उत्पन्न होता है।
  • softImpute मिश्रित परिणाम दिखाता है; यह हाई-सिग्नल सेटिंग्स में वेरिएंस के लिए अच्छा प्रदर्शन करता है लेकिन लो-सिग्नल सेटिंग्स में अत्यधिक प्रसार और उच्च MSE प्रदर्शित करता है, साथ ही स्पष्ट भिन्नता को भी बढ़ा देता है।
  • mice (अपने डिफॉल्ट बेयसियन ढांचे का उपयोग करते हुए) सबसे सटीक डाउनस्ट्रीम अनुमान उत्पन्न करता है, जो डेटा की परिवर्तनशीलता को बनाए रखता है। लेख में नोट किया गया है कि प्रेडिक्टिव मीन मैचिंग का उपयोग करते समय mice में $P90$ के साथ एक मामूली समस्या होती है, जिसे नॉर्मल इम्प्यूटेशन में स्विच करके हल किया जा सकता है।

मुख्य योगदान

1. व्यवस्थित पूर्वाग्रह का प्रदर्शन: यह पत्र इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि लुप्त मानों के लिए MSE को न्यूनतम करना व्यवस्थित रूप से डाउनस्ट्रीम सांख्यिकीय गुणों को विकृत करता है, विशेष रूप से डेटा वितरण को कंडीशनल मीन की ओर संकुचित करके।
2. समाधान के रूप में नॉइज़ (Noise as a Solution): यह डेटा की स्वाभाविक परिवर्तनशीलता को बहाल करने और अनबायस्ड डाउनस्ट्रीम विश्लेषण सुनिश्चित करने के लिए नॉइज़ जोड़ने (स्टोकेस्टिक इम्प्यूटेशन) को एक सरल, प्रभावी तंत्र के रूप में प्रस्तावित और मान्य करता है।
3. मूल्यांकन मेट्रिक्स की आलोचना: यह कार्य इम्प्यूटेशन की गुणवत्ता के लिए प्राथमिक मेट्रिक के रूप में मशीन लर्निंग समुदाय के MSE पर निर्भरता को चुनौती देता है, यह तर्क देते हुए कि यह डेटा वितरण की सांख्यिकीय वैधता के बजाय पॉइंट सटीकता को प्राथमिकता देता है।
4. व्यावहारिक टूल मूल्यांकन: यह व्यापक रूप से उपयोग किए जाने वाले इम्प्यूटेशन टूल्स का तुलनात्मक विश्लेषण प्रदान करता है, यह उजागर करते हुए कि कई लोकप्रिय "ब्लैक बॉक्स" विधियाँ (जैसे missForest) अनजाने में नियतात्मक इम्प्यूटेशन के पूर्वाग्रहों को कायम रखती हैं।

महत्व और दावे
यह पत्र तर्क देता है कि इम्प्यूटेशन का लक्ष्य लुप्त मानों को पूरी तरह से फिर से बनाना नहीं होना चाहिए (जो असंभव है), बल्कि वैध और सूचनात्मक डाउनस्ट्रीम विश्लेषण को सुगम बनाना होना चाहिए। लेखक का दावा है कि "लुप्त मानों की भविष्यवाणी करना" तभी एक "अच्छा विचार" है यदि भविष्यवाणी प्रक्रिया डेटा परिवर्तनशीलता को बनाए रखने के लिए नॉइज़ जोड़ने को स्वीकार करती है।

इसका महत्व सटीकता (MSE को न्यूनतम करना) से बदलकर वैधता (परिवर्तनशीलता को बनाए रखना) की ओर शिफ्ट होने में निहित है। पत्र निष्कर्ष निकालता है कि डेटा परिवर्तनशीलता को बनाए रखने के लिए नॉइज़ को शामिल करना आवश्यक है ताकि वेरिएंस, सहसंबंध और स्लोप अनुमानों में पूर्वाग्रहों को रोका जा सके। यह स्वीकार करते हुए कि नॉइज़ जोड़ने से MSE बढ़ जाता है, लेखक का तर्क है कि यह लुप्त डेटा में अंतर्निहित अपरिहार्य त्रुटि (irreducible error) को ध्यान में रखने के लिए एक आवश्यक समझौता है। यह कार्य सांख्यिकीय कठोरता को व्यावहारिक उपयोगिता के साथ जोड़ता है, यह सुझाव देता है कि विश्वसनीय निष्कर्षों के लिए आवश्यक परिदृश्यों में स्टोकेस्टिक दृष्टिकोण बेहतर हैं।