तकनीकी सारांश: लुप्त डेटा इम्प्यूटेशन (Imputation) में वितरण बदलाव (Distribution Shift)

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र लुप्त डेटा इम्प्यूटेशन (missing data imputation) की मौलिक चुनौती को संबोधित करता है, जो विशेष रूप से प्रशिक्षण के लिए उपयोग किए गए प्रेक्षित डेटा (observed data) के वितरण और मूल्यांकन के लिए आवश्यक पूर्ण डेटा वितरण के बीच के अंतर पर केंद्रित है। जबकि कई अत्याधुनिक इम्प्यूटेशन विधियाँ (जैसे GAIN, MIWAE, MICE, MissForest) जोखिम न्यूनीकरण (risk minimisation) ढांचे के तहत कार्य करती हैं, वे आमतौर पर लुप्तता तंत्र (missingness mechanism) द्वारा प्रेरित वितरण संबंधी बदलाव (distributional shift) को स्पष्ट रूप से ठीक किए बिना केवल प्रेक्षित प्रविष्टियों पर प्रशिक्षित होती हैं।

लेखक इस समस्या को पूर्ण डेटा वितरण पर माध्य वर्ग त्रुटि (Mean Squared Error - MSE) जोखिम को कम करने के रूप में औपचारिक रूप देते हैं। वे यह प्रदर्शित करते हैं कि जब लुप्त होने की संभावना डेटा पर निर्भर करती है (विशेष रूप से Missing At Random (MAR) धारणा के तहत), तो प्रशिक्षण वितरण (प्रेक्षित डेटा) और लक्ष्य वितरण (पूर्ण डेटा) भिन्न होते हैं। यह एक कोवेरिएट शिफ्ट (covariate shift) समस्या पैदा करता है जहाँ प्रेक्षित डेटा पर मानक अनुभवजन्य जोखिम न्यूनीकरण (empirical risk minimisation) पूर्ण डेटा जोखिम के लिए पक्षपाती अनुमानक (biased estimators) प्रदान करता है।

कार्यप्रणाली (Methodology)

सैद्धांतिक आधार (Theoretical Foundation)

मुख्य सैद्धांतिक योगदान लुप्त डेटा इम्प्यूटेशन जोखिम को प्रेक्षित डेटा पर एक महत्व-भारित प्रत्याशा (importance-weighted expectation) के रूप में व्युत्पन्न करना है।

• जोखिम अपघटन (Risk Decomposition): वैश्विक MSE जोखिम को समन्वय-वार (coordinate-wise) जोखिमों के योग में विभाजित किया गया है। एक विशिष्ट समन्वय $i$ के लिए जिसमें लुप्तता है, जोखिम $J_i(g_i)$ अनपेक्षित उप-जनसंख्या ($R_i=0$) पर परिभाषित है।
• कोवेरिएट शिफ्ट संबंध: MAR धारणा ($p(r|x) = p(r|x_{obs})$) और ओवरलैप स्थिति के तहत, लेखक दिखाते हैं कि अनपेक्षित उप-जनसंख्या पर जोखिम को एक महत्व कारक (importance factor) द्वारा भारित करके प्रेक्षित उप-जनसंख्या ($R_i=1$) पर एक प्रत्याशा के रूप में फिर से लिखा जा सकता है:
  $$w_i(x_{obs}, r_{\neg i}) = \frac{p(x_{obs}, r_{\neg i} | R_i = 0)}{p(x_{obs}, r_{\neg i} | R_i = 1)}$$
  यह भार प्रेक्षित और अनपेक्षित समूहों के बीच कोवेरिएट्स के मार्जिनल वितरण में बदलाव को ठीक करता है। मौजूदा विधियों को इस भारित पद को स्पष्ट रूप से छोड़ते हुए दिखाया गया है, जो प्रभावी रूप से गलत वितरण के लिए अनुकूलन (optimising) करती हैं।

प्रस्तावित एल्गोरिदम: भारित पुनरावृत्ति इम्प्यूटेशन (Weighted Iterative Imputation)

इस सिद्धांत को क्रियान्वित करने के लिए, लेखक एक भारित पुनरावृत्ति इम्प्यूटेशन एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं, जो मानक राउंड-रॉबिन पुनरावृत्ति दृष्टिकोण (जैसे MICE, HyperImpute) का विस्तार है।

1. पुनरावृत्ति ढांचा (Iterative Framework): एल्गोरिदम आंशिक रूप से प्रेक्षित चरों के चक्रों से गुजरता है। प्रत्येक चरण में, लक्षित चर के लिए एक सशर्त इम्प्यूटेशन मॉडल $g_i$ को अन्य सभी चरों के वर्तमान मूल्यों का उपयोग करके प्रेडिक्टर्स के रूप में फिट किया जाता है।
2. सरोगेट जोखिम (Surrogate Risk): मानक पुनर्निर्माण हानि (reconstruction loss) को कम करने के बजाय, एल्गोरिदम एक सरोगेट जोखिम को कम करता है जिसमें अनुमानित महत्व भार शामिल होते हैं:
   $$J_i^{(t)}(g_i) = \mathbb{E}\left[ w_i(\hat{X}_{\neg i}^{(t)}) (g_i(\hat{X}_{\neg i}^{(t)}) - X_i)^2 \mid R_i = 1 \right]$$
3. भार अनुमान (Weight Estimation): चूंकि वास्तविक भार अज्ञात वितरणों पर निर्भर करते हैं, इसलिए उन्हें प्रत्येक पुनरावृत्ति (Iteration) में (एल्गोरिदम 2) लुप्तता की संभावना $p(R_i=1 | \hat{X}_{\neg i})$ का अनुमान लगाने के लिए एक बाइनरी क्लासिफिकेशन मॉडल (लॉजिस्टिक्स रिग्रेशन) का उपयोग करके अनुमानित किया जाता है। भारों को फिर व्युत्क्रम संभाव्यता अनुपात (inverse probability ratio) के रूप में गणना किया जाता है।
4. व्यावहारिक स्थिरीकरण (Practical Stabilisation): महत्व भार (importance weighting) से जुड़े उच्च विचरण (variance) को प्रबंधित करने के लिए, लेखक कई स्थिरीकरण तकनीकों का उपयोग करते हैं:
   • भारों को 5वें और 95वें पर्सेंटाइल पर क्लिपिंग करना।
   • लगभग शून्य विचरण वाले फीचर्स को हटाना।
   • एक टेम्परिंग पैरामीटर (tempering parameter) $\gamma$ पेश करना (जहाँ भार $w_i^\gamma$ बन जाते हैं), जिसे क्रॉस-वैलिडेशन के माध्यम से ट्यून किया जाता है।
   • कम्प्यूटेशनल ओवरहेड को कम करने के लिए $\gamma$ को ट्यून करने के लिए एक "वार्म-स्टार्टिंग" रणनीति।

मुख्य योगदान (Key Contributions)

1. सैद्धांतिक सूत्रबद्धता (Theoretical Formulation): यह शोध पत्र दृढ़ता से स्थापित करता है कि MAR के तहत इम्प्यूटेशन, कोवेरिएट शिफ्ट समस्याओं के एक संग्रह के समान है, जो प्रेक्षित डेटा वितरण को पूर्ण डेटा वितरण के साथ संरेखित करने के लिए आवश्यक विशिष्ट महत्व भारों को व्युत्पन्न करता है।
2. नवीन एल्गोरिदम: यह एक व्यावहारिक, राउंड-रॉबिन पुनरावृत्ति एल्गोरिदम पेश करता है जो इन महत्व भारों को प्रशिक्षण उद्देश्य में एकीकृत करता है, जिससे वितरण संबंधी बदलाव को स्पष्ट रूप से ठीक किया जाता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): उनकी विधि को विविध डेटासेट (टेबुलर, टाइम-सीरीज और इमेज डेटा) और मॉडल क्लासेज (लीनियर, रैंडम फॉरेस्ट, MLP) पर अन-वेटेड बेसलाइन्स (समान सशर्त मॉडल क्लासेज के साथ) और अत्याधुनिक विधियों के विरुद्ध बेंचमार्क किया गया है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने आठ डेटासेट पर अपने तरीके का मूल्यांकन किया, जो प्रेक्षित कोवेरिएट्स और लुप्तता के बीच निर्भरता की विभिन्न शक्तियों के साथ MAR स्थितियों का अनुकरण करते हैं।

• प्रदर्शन लाभ: भारित दृष्टिकोण ने अन-वेटेड बेसलाइन्स की तुलना में रूट मीन स्क्वेर्ड एरर (RMSE) और वासेरस्टीन डिस्टेंस (WD) को लगातार कम किया।
  • RMSE में औसतन 3% की कमी और वासेरस्टीन डिस्टेंस में 7% की कमी।
  • सुधार सरल मॉडलों (लीनियर) के लिए और उच्च कोवेरिएट शिफ्ट (उच्च MAR निर्भरता) वाले सेटिंग्स में सबसे अधिक स्पष्ट थे।
• मॉडल अभिव्यक्तता (Model Expressivity): सैद्धांतिक विश्लेषण और अनुभवजन्य परिणाम संकेत देते हैं कि जैसे-जैसे सशर्त मॉडल की अभिव्यक्तता (expressivity) बढ़ती है (जैसे रैंडम फॉरेस्ट और MLP), भारण का लाभ कम होता जाता है। इसका श्रेय बायस-वेरिएंस ट्रेड-ऑफ को दिया जाता है; अत्यधिक अभिव्यंजक मॉडल स्पष्ट भारण के बिना भी लक्ष्य फलन (target function) का अच्छा अनुमान लगा सकते हैं, जबकि सरल मॉडल सुधार के लिए अधिक भारित होने पर निर्भर करते हैं।
• डाउनस्ट्रीम कार्य (Downstream Tasks): डाउनस्ट्रीम रिग्रेशन और क्लासिफिकेशन कार्यों में, भारित इम्प्यूटेशन आमतौर पर सांख्यिकीय रूप से महत्वपूर्ण बेहतर भविष्य कहनेवाला प्रदर्शन (predictive performance) की ओर ले गया, विशेष रूप से लीनियर मॉडलों के लिए और अन-इम्प्यूटेड बेसलाइन्स की तुलना में।
• मजबूती (Robustness): विधि ने MAR धारणा के उल्लंघन (MNAR) या वेट मॉडल मिसस्पेसिफिकेशन के तहत अचानक विफलता के बजाय क्रमिक प्रदर्शन गिरावट दिखाई, बशर्ते कि लुप्तता के प्राथमिक चालक प्रेक्षित डेटा में कैप्चर किए गए हों।
• दक्षता (Efficiency): कम्प्यूटेशनल लागत प्रबंधनीय थी, जिसमें जटिल मॉडलों (RF/MLP) के लिए रनटाइम केवल ~10% बढ़ा और लीनियर मॉडलों के लिए विशिष्ट कार्यान्वयन विवरणों के कारण महत्वपूर्ण गति वृद्धि देखी गई।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि वितरण संबंधी बदलाव (distributional shift) एक अंतर्निहित और अक्सर अनदेखा किया जाने वाला मुद्दा है। इम्प्यूटेशन को कोवेरिएट शिफ्ट समस्या के रूप में फ्रेम करके, लेखक महत्व भारण (importance weighting) के उपयोग के लिए एक सिद्धांत आधारित औचित्य प्रदान करते हैं।

• इसका महत्व यह प्रदर्शित करने में निहित है कि बदलाव को स्पष्ट रूप से ध्यान में रखने से अधिक सटीक इम्प्यूटेशन प्राप्त होता है और अंतर्निच डेटा वितरण का बेहतर संरक्षण (fidelity) होता है।
• लेखक अपने कार्य को मौजूदा जोखिम-न्यूनीकरण ढांचों के एक आवश्यक परिशोधन के रूप में प्रस्तुत करते हैं, उनका तर्क है कि इस सुधार के बिना, इम्प्यूटेशन मॉडल वास्तविक डेटा वितरण के बजाय केवल प्रेक्षित डेटा वितरण के लिए अनुकूलित होते हैं।
• शोध पत्र अपनी सीमाओं के संबंध में विनम्र बना हुआ है, यह स्वीकार करते हुए कि विधि कमजोर-MAR व्यवस्था में या अत्यधिक अभिव्यंजक मॉडलों के साथ सीमित लाभ दे सकती है जहाँ सन्निकटन त्रुटि (approximation error) पहले से ही कम है, और इसका प्रदर्शन वेट अनुमान की गुणवत्ता पर निर्भर करता है।