तकनीकी सारांश: Diff-Joint – सार्थक अनुपलब्धता (Meaningful Missingness) के लिए एक अनिश्चितता-जागरूक डिफ्यूजन फ्रेमवर्क

1. समस्या की परिभाषा

मानक लुप्त मान प्रतिस्थापन (missing value imputation) विधियाँ इस धारणा पर कार्य करती हैं कि डेटासेट में सभी लुप्त प्रविष्टियाँ उन अपरिहार्य नियमित मानों के अनुरूप हैं जिन्हें रिकवर किया जाना चाहिए। हालाँकि, कई वास्तविक दुनिया के परिदृश्यों में, अनुपलब्धता दो अलग-अलग स्रोतों से उत्पन्न होती है:

1. सार्थक रूप से अनुपलब्ध (Meaningfully Missing - MM): ऐसी प्रविष्टियाँ जो स्वाभाविक रूप से अनुपस्थित हैं और अर्थपूर्ण रूप से वैध हैं (जैसे, एक बेरोजगार उत्तरदाता के लिए आय के लिए "N/A", या क्लिनिकल रिकॉर्ड में आदेशित न किया गया लैब टेस्ट)। इन प्रविष्टियों को नियमित मानों के साथ प्रतिस्थापित करना डेटा वितरण को विकृत करता है और अर्थ संबंधी जानकारी को हटा देता है।
2. अवलोकन-प्रेरित अनुपलब्धता (Observation-Induced Missing): ऐसी प्रविष्टियाँ जो अवलोकन प्रक्रिया के कारण लुप्त हैं (जैसे, रिकॉर्डिंग त्रुटियाँ, डेटा ट्रांसफर विफलताएं) और जिन्हें प्रतिस्थापित किया जाना चाहिए।

मुख्य चुनौती यह है कि इन दोनों स्रोतों को देखे गए डेटा में सीधे लेबल नहीं किया जा सकता है; वे दोनों एक ही लुप्त टोकन (जैसे, NA) के रूप में दिखाई देते हैं। मौजूदा विधियाँ आमतौर पर सभी लुप्त प्रविष्टियों को रिकवरेबल मानती हैं, जिससे वे उन प्रविष्टियों के बीच अंतर करने में विफल रहती हैं जिन्हें NA के रूप में संरक्षित किया जाना चाहिए और जिन्हें प्रतिस्थापित किया जाना चाहिए। यह शोध पत्र इसे एक चयनात्मक प्रतिस्थापन समस्या (selective imputation problem) के रूप में औपचारिक रूप देता है: लक्ष्य यह संयुक्त रूप से निष्कर्ष निकालना है कि कौन सी लुप्त प्रविष्टियाँ सार्थक रूप से अनुपलब्ध हैं (और संरक्षित की जानी चाहिए) और कौन सी अवलोकन-प्रेरित हैं (और प्रतिस्थापित की जानी चाहिए)।

2. कार्यप्रणाली: Diff-Joint

लेखक Diff-Joint का प्रस्ताव करते हैं, जो एक डिफ्यूजन-आधारित फ्रेमवर्क है जिसे टैबुलर डेटा और एक लेटेंट मिसिंगनेस मास्क को संयुक्त रूप से मॉडल करके चयनात्मक प्रतिस्थापन करने के लिए डिज़ाइन किया गया है।

2.1 संयुक्त डिफ्यूजन स्टेट (Joint Diffusion State)

यह विधि एक संयुक्त डिफ्यूजन स्टेट $s = (x, c)$ को परिभाषित करती है, जहाँ:

• $x$ पूर्ण टैबुलर मानों का प्रतिनिधित्व करता है।
• $c$ एक बाइनरी मास्क है जो यह संकेत देता है कि कौन सी प्रविष्टियाँ सार्थक रूप से अनुपलब्ध ($c_j=1$) हैं बनाम अवलोकन-प्रेरित अनुपलब्ध ($c_j=0$) हैं।

2.2 पुनरावृत्ति परिशोधन ढांचा (Iterative Refinement Framework)

Diff-Joint एक पुनरावृत्ति योजना के रूप में कार्य करता है जो मॉडल प्रशिक्षण और लेटेंट स्टेट अपडेट के बीच बारी-बारी से चलता है:

1. प्रारंभीकरण (Initialization): देखे गए लुप्त मानों को यादृच्छिक रूप से भरा जाता है ताकि एक प्रारंभिक संयुक्त अवस्था बनाई जा सके, जिसमें सभी लुप्त प्रविष्टियों को अवलोकन-प्रेरित ($c=0$) माना जाता है।
2. मॉडल अपडेट (Model Update): वर्तमान संयुक्त अवस्था $\{(\hat{x}^{(t)}, \hat{c}^{(t)})\}$ पर एक डिफ्यूजन मॉडल को प्रशिक्षित किया जाता है ताकि डेटा मानों और सार्थक-अनुपलब्धता पैटर्न के बीच निर्भरता को कैप्चर किया जा सके।
3. लेटेंट-स्टेट अपडेट (कंडीशनल सैंपलिंग और एग्रीगेशन):
   • सैंपलिंग (Sampling): देखे गए डेटा को देखते हुए, मॉडल संयुक्त अवस्था $(x, c)$ के $K$ कंडीशनल सैंपल खींचता है।
   • इम्प्यूटेशन अपडेट (Imputation Update): लुप्त प्रविष्टियों के लिए, प्रतिस्थापित मान को $K$ नमूनों के मोड (डिस्क्रीट) या माध्य (कंटीन्यूअस) का उपयोग करके अपडेट किया जाता है।
   • अनिश्चितता-जागरूक एकत्रीकरण (Uncertainty-Aware Aggregation): MM और अवलोकन-प्रेरित अनुपलब्धता के बीच अंतर करने के लिए, यह विधि $K$ नमूनों के विचरण (variance - continuous) या एंट्रॉपी (entropy - discrete) के आधार पर प्रत्येक लुप्त प्रविष्टि के लिए एक अनिश्चितता स्कोर (uncertainty score) की गणना करती है।
     • परिकल्पना (Hypothesis): अवलोकन-प्रेरित अनुपलब्ध प्रविष्टियाँ रिकवरेबल नियमित मानों के अनुरूप होती हैं और इस प्रकार कम अनिश्चितता (केंद्रित प्रेडिक्टिव डिस्ट्रीब्यूशन) प्रदर्शित करती हैं। सार्थक रूप से अनुपलब्ध प्रविष्टियाँ किसी एक नियमित अवस्था द्वारा अच्छी तरह से स्पष्ट नहीं होती हैं, जिससे उच्च अनिश्चितता उत्पन्न होती है।
   • मास्क अपडेट (Mask Update): विधि $\hat{c}$ को अपडेट करने के लिए दो संकेतों को जोड़ती है:
     1. अनिश्चितता सिग्नल (Uncertainity Signal): उच्च अनिश्चितता स्कोर वाली प्रविष्टियों को क्लस्टर (k-means के माध्यम से) किया जाता है और संभावित MM के रूप में चिह्नित किया जाता है।
     2. सैंपलड मास्क सिग्नल (Sampled Mask Signal): सैंपलड मास्क $c^{(k)}$ का बहुमत वोट।
     3. फ्यूजन नियम (Fusion Rule): अंतिम मास्क को एक लॉजिकल OR ऑपरेशन का उपयोग करके अपडेट किया जाता है: एक प्रविष्टि को MM के रूप में वर्गीकृत किया जाता है यदि अनिश्चितता पैटर्न या सैंपलड मास्क में से कोई भी MM व्याख्या का समर्थन करता है।

2.3 पहचान क्षमता (Identifiability)

यह शोध पत्र (प्रपोजिशन 3.1) में सैद्धांतिक अंतर्दृष्टि प्रदान करता है, जो उन स्थितियों को स्थापित करता है जिनमें देखे गए डेटा से सार्थक अनुपलब्धता की पहचान की जा सकती है। विशेष रूप से, पहचान क्षमता तब बनी रहती है जब अवलोकन-प्रेरित अनुपलब्धता तंत्र ज्ञात हो (जैसे, ज्ञात संभावनाओं के साथ MCAR) या यदि डेटा के संरचनात्मक प्रतिबंध दो तंत्रों को अलग करने की अनुमति देते हैं।

3. मुख्य योगदान

1. समस्या का औपचारिक रूप (Problem Formulation): लेखक टैबुलर डेटा के लिए चयनात्मक प्रतिस्थापन समस्या को औपचारिक रूप देते हैं, जो सार्थक रूप से अनुपलब्ध प्रविष्टियों (जिन्हें संरक्षित किया जाना चाहिए) और अवलोकन-प्रेरित अनुपलब्धता (जिन्हें प्रतिस्थापित किया जाना चाहिए) के बीच अंतर करती है।
2. Diff-Joint फ्रेमवर्क: वे एक डिफ्यूजन-आधारित फ्रेमवर्क पेश करते है जो पूर्ण मानों और एक सार्थक-अनुपलब्धता मास्क को संयुक्त रूप से मॉडल करता है। यह विधि कंडीशनल सैंपलिंग और अनिश्चितता-जागरूक एकत्रीकरण के माध्यम से दोनों (इम्प्यूटेड वैल्यू और MM लेबल) को पुनरावृत्ति से परिष्कृत करती है।
3. अनुभवजन्य सत्यापन (Empirical Validation): विधि का मूल्यांकन एक सिंथेटिक बेयसियन-नेटवर्क डेटासेट और एक वास्तविक दुनिया के MIMIC-IV-ED डेटासेट पर किया गया है। परिणाम दर्शाते हैं कि Diff-Joint प्रभावी रूप से सार्थक रूप से अनुपलब्ध प्रविष्टियों की पहचान करता है और प्रतिस्पर्धी प्रतिस्थापन सटीकता बनाए रखते हुए डाउनस्ट्रीम टास्क प्रदर्शन में सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने सरल सांख्यिकीय प्रतिस्थापन (Mean/Mode), क्लासिकल इटरेटिव मेथड्स (missForest), मास्क ऑटोएनकोडर (CACTI/CMAE), और डिफ्यूजन-आधारित इम्प्यूटेशन (DiffPuter) सहित बेसलाइन्स के विरुद्ध Diff-Joint का मूल्यांकन किया।

• सिंथेटिक डेटासेट (Bayesian Network):

  • MM पहचान: Diff-Joint एकमात्र विधि है जो स्पष्ट रूप से MM की पहचान करती है। इसने विभिन्न लुप्त अनुपातों (10%–40%) में उच्च रिकॉल (76.99%–92.02%) प्राप्त किया।
  • प्रतिस्थापन सटीकता (Imputation Accuracy): Diff-Joint ने सभी अनुपातों के लिए डिस्क्रीट वेरिएबल्स के लिए सर्वश्रेष्ठ टोकन-लेवल रिकवरी सटीकता प्राप्त की। कंटीन्यूअस वेरिएबल्स के लिए, यह प्रतिस्पर्धी बना रहा, जिससे MM पहचान और वैल्यू रिकवरी के दोहरे उद्देश्यों के बीच संतुलन बना रहा।
  • डाउनस्ट्रीम प्रदर्शन: मल्टी-क्लास क्लासिफिकेशन कार्यों में, Diff-Joint ने सभी बेसलाइन्स को महत्वपूर्ण रूप से पछाड़ दिया (जैसे, मैक्रो-F1 75.54% बनाम अगले सर्वश्रेष्ठ के लिए ~46%), जो यह दर्शाता है कि MM अवस्थाओं को संरक्षित करने से भविष्यवाणात्मक उपयोगिता में सुधार होता है।

• वास्तविक दुनिया का डेटासेट (MIMIC-IV-ED):

  • MM पहचान: Diff-Joint ने क्लिनिकल आउटकम वेरिएबल्स पर सिंथेटिक MM लेबल को सफलतापूर्वक पहचाना।
  • प्रतिस्थापन (Imputation): इसने कम लुप्त अनुपातों पर डिस्क्रीट टोकन-लेवल रिकवरी के लिए सर्वश्रेष्ठ सटीकता प्राप्त की और कंटीनूअस इम्प्यूटेशन के लिए प्रतिस्पर्धी बना रहा (अक्सर सर्वश्रेष्ठ से मामूली अंतर के साथ दूसरा सर्वश्रेष्ठ)।
  • डाउनस्ट्रीम प्रदर्शन: Diff-Just ने क्लिनिकल परिणामों (जैसे, क्रिटिकल स्टेटस, ICU ट्रांसफर) की भविष्यवाणी करने के लिए मैक्रो-F1 और ROC-AUC में निरंतर लाभ दिखाया, विशेष रूप से गंभीर परिणामों के लिए जहाँ "सार्थक रूप से अनुपलब्ध" सिग्नल को संरक्षित करना महत्वपूर्ण था।

5. महत्व और दावे

शोध पत्र का दावा है कि Diff-Joint लुप्त डेटा हैंडलिंग में एक महत्वपूर्ण अंतर को संबोधित करता है: वर्तमान विधियों की यह अक्षमता कि वे "इसलिए अनुपलब्ध क्योंकि यह लागू नहीं होता" और "इसलिए अनुपलब्ध क्योंकि इसे रिकॉर्ड नहीं किया गया" के बीच अंतर नहीं कर पाती हैं।

• सिमेंटिक संरक्षण (Semantic Preservation): "सार्थक रूप से अनुपलब्ध" अवस्था को स्पष्ट रूप से मॉडल करके, फ्रेमवर्क डेटा वितरण के उस विरूपण को रोकता है जो तब होता है जब NA को लापरवाही से एक नियमित मान के साथ प्रतिस्थापित किया जाता है।
• डाउनस्ट्रीम उपयोगिता (Downstream Utility): लेखक तर्क देते हैं कि NA को एक त्रुटि के बजाय एक वैध सिमेंटिक अवस्था के रूप में मानना, भविष्यवाणात्मक संकेतों को प्रदान करता है जो निर्णय लेने में सुधार करता है, विशेष रूप से स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले क्षेत्रों में।
• मजबूती (Robustness): विधि विभिन्न अनुपलब्धता तंत्रों (MCAR, MAR, MNAR) के तहत मजबूत रहती है और इसे प्रशिक्षण के दौरान अनुपलब्धता के प्रकार के लिए ग्राउंड-ट्रुथ लेबल की आवश्यकता नहीं होती है।

लेखक सीमाओं को स्वीकार करते हुए, यह नोट करते हैं कि फ्रेमवर्क यह मान लेता है कि MM के लिए उम्मीदवार कॉलम ज्ञात हैं और इसके लिए एक पता लगाने योग्य अनिश्चितता अंतराल (uncertainty gap) की आवश्यकता होती है। उन्होंने यह भी उल्लेख किया कि पुनरावृत्ति डिफ्यूजन प्रक्रिया गैर-पुनरावृत्ति बेसलाइन्स की तुलना में कम्प्यूटेशनल रूप से अधिक महंगी है, हालांकि इस लागत को पुनरावृत्ति की संख्या द्वारा नियंत्रित किया जा सकता है। भविष्य के कार्य के रूप में पहचान क्षमता की शर्तों को शिथिल करने और स्केलेबिलिटी में सुधार करने का सुझाव दिया गया है।