📊 statistics

Identifiable Deep Latent Variable Models for MNAR Data

यह शोध पत्र इम्पॉर्टेंस-वेटेड ऑटोएनकोडर्स का उपयोग करते हुए एक नवीन, सैद्धांतिक रूप से पहचान योग्य (identifiable) डीप लेटेंट वेरिएबल फ्रेमवर्क प्रस्तावित करता है ताकि संयुक्त वितरणों को सटीक रूप से पुनर्प्राप्त किया जा सके और मिसिंग-नॉट-एट-रैंडम (MNAR) डेटा को इम्प्यूट किया जा सके, जो मौजूदा विधियों की सीमाओं को दूर करता है जो अक्सर नॉनपैरामीट्रिक पहचान योग्यता (nonparametric identifiability) की उपेक्षा करती हैं।

मूल लेखक: Huiming Xie, Fei Xue, Xiao Wang

प्रकाशित 2026-03-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Huiming Xie, Fei Xue, Xiao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को सुलझाने की कोशिश कर रहे हैं, लेकिन किसी ने चुपके से कई टुकड़ों को निकाल दिया है। इससे भी बुरा यह है कि उन्होंने टुकड़े केवल बेतरतीब ढंग से नहीं निकाले; बल्कि उन्होंने विशेष रूप से उन टुकड़ों को निकाला है जो सबसे अधिक रंगीन या सबसे अधिक भ्रमित करने वाले थे। यदि आप केवल बचे हुए टुकड़ों के आधार पर गायब टुकड़ों के स्वरूप का अनुमान लगाने की कोशिश करते हैं, तो आप एक ऐसी तस्वीर बना सकते हैं जो दिखने में तो ठीक हो सकती है, लेकिन वास्तव में गलत होगी।

यह मिसिंग नॉट एट रैंडम (Missing Not At Random - MNAR) डेटा की समस्या है। वास्तविक दुनिया में, डेटा अक्सर अपने स्वयं के गुणों के कारण गायब हो जाता है।

उदाहरण: आय (income) के बारे में किए गए एक सर्वेक्षण में, अमीर लोग जवाब देने की कम संभावना रखते हैं। यदि आप केवल प्राप्त उत्तरों का औसत निकालते हैं, तो आप यह मान लेंगे कि सभी लोग वास्तव में आपसे अधिक गरीब हैं।

पुराना तरीका बनाम नया तरीका

पुराना तरीका ("अंधा अनुमान"):
अधिकांश पारंपरिक विधियाँ यह मानती हैं कि गायब हुए टुकड़े बेतरतीब ढंग से खो गए थे (जैसे हवा के एक झोंके से कुछ उड़ जाना)। वे आसपास के टुकड़ों को देखकर खाली जगहों को भरने की कोशिश करते हैं। लेकिन यदि गायब हुए टुकड़े इसलिए खो गए क्योंकि वे विशेष थे (जैसे कि रंगीन टुकड़े), तो ये विधियाँ विफल हो जाती हैं। वे एक पक्षपाती और विकृत तस्वीर बना देते हैं।

डीप लर्निंग का तरीका ("स्मार्ट अनुमान"):
हाल ही में, वैज्ञानिकों ने गायब टुकड़ों का अनुमान लगाने के लिए "डीप लर्निंग" (सुपर-स्मार्ट AI) का उपयोग करना शुरू किया है। AI मॉडल पैटर्न खोजने में बहुत कुशल होते हैं। हालाँकि, एक समस्या थी: AI कई अलग-अलग "सही" तस्वीरें सीख सकता था जो दिखाई देने वाले टुकड़ों के साथ फिट बैठती थीं, लेकिन उनमें से केवल एक ही वास्तविक सत्य थी। बिना यह जाने कि कौन सी तस्वीर असली है, AI आत्मविश्वास के साथ एक नकली तस्वीर बना सकता था। इसे आइडेंटिफिएबिलिटी (identifiability - पहचान योग्यता) की कमी कहा जाता है।

शोध पत्र का समाधान: "सीक्रेट डिकोडर रिंग"

इस शोध पत्र के लेखकों, हुइमिंग ज़ी, फी जू और जिओ वांग ने IM-IWAE नामक एक नया AI मॉडल बनाया है। इसे एक जासूस की तरह समझें जिसके पास एक विशेष "सीक्रेट डिकोडर रिंग" है जो यह गारंटी देती है कि वह एकमात्र वास्तविक तस्वीर को खोज लेगा।

उन्होंने इसे सरल उपमाओं का उपयोग करके यहाँ समझाया है:

1. "छिपा हुआ निर्देशक" (Latent Variables)

कल्पना कीजिए कि पहेली के टुकड़े मंच पर अभिनेता हैं। "छिपा हुआ निर्देशक" (लेटेंट वेरिएबल) वह व्यक्ति है जो पर्दे के पीछे से अभिनेताओं को निर्देश देता है।

डेटा: मंच पर मौजूद अभिनेता।
मिसिंगनेस (Missingness): क्यों कुछ अभिनेता पर्दे के पीछे छिप जाते हैं।
अंतर्दृष्टि: लेखकों ने महसूस किया कि यदि हम यह मान लें कि "निर्देशक" अभिनेताओं और उनके छिपने के कारणों, दोनों को नियंत्रित करता है, तो हम पूरी कहानी का पता लगा सकते हैं। भले ही एक अभिनेता छिपा हुआ हो, दूसरे अभिनेताओं के लिए निर्देशक के निर्देश हमें छिपे हुए अभिनेता के बारे में सुराग दे सकते हैं।

2. "नो सेल्फ-सेन्सरिंग" (स्व-निषेध न करने का) नियम

यह इस शोध पत्र का सबसे महत्वपूर्ण नियम है। कल्पना कीजिए कि एक शर्मीला अभिनेता (वेरिएबल A) जो असुरक्षित महसूस करने पर छिप जाता है।

समस्या: यदि अभिनेता केवल अपनी असुरक्षा के कारण छिपता है, तो हम कभी नहीं जान पाएंगे कि वह कितना असुरक्षित था।
समाधान: लेखक यह मानते हैं कि किसी अभिनेता का छिपने का निर्णय केवल उसकी अपनी भावनाओं पर आधारित नहीं है, बल्कि अन्य अभिनेताओं की भावनाओं और निर्देशक के निर्देशों पर आधारित है।
- उपमा: यदि आप किसी पार्टी में हैं और जल्दी जाने का निर्णय लेते हैं, तो यह संभवतः इसलिए है क्योंकि संगीत बंद हो गया या आपका दोस्त चला गया (बाहरी कारक), न कि केवल इसलिए कि आप अचानक असहज महसूस करने लगे (स्व-निषेध)।
- यह मानते हुए कि लोग केवल अपने कारण नहीं छिपते, गणित काम करता है, और AI गणितीय रूप से यह सिद्ध कर सकता है कि उसने एकमात्र सही उत्तर खोज लिया है।

3. "सुपर-स्कैनर" (Importance-Weighted Autoencoders)

पहेली को वास्तव में हल करने के लिए, लेखकों ने इम्पॉर्टेंस-वेटेड ऑटोएनकोडर (IWAE) नामक एक मशीन बनाई।

इसे एक ऐसे स्कैनर के रूप में सोचें जो पहेली को केवल एक बार नहीं देखता है। यह इसे हजारों बार देखता है, अलग-अलग कोणों और प्रकाश स्थितियों (सैंपलिंग) के साथ प्रयास करता है।
यह प्रत्येक अनुमान को इस आधार पर महत्व देता है कि उसके सच होने की कितनी संभावना है।
इन हजारों "वेटेड अनुमानों" को जोड़कर, यह गायब टुकड़ों की एक सटीक पुनर्रचना बनाता है, जिससे यह सुनिश्चित होता है कि अंतिम तस्वीर सटीक है।

यह क्यों मायने रखता है?

लेखकों ने अपने "सीक्रेट डिकोडर रिंग" का परीक्षण इन पर किया:

नकली पहेलियाँ: उन्होंने कंप्यूटर पहेलियाँ बनाईं जहाँ उन्हें उत्तर पता था। उनकी विधि हर बार सही उत्तर पाती है, जबकि अन्य विधियाँ गलत हो जाती हैं।
वास्तविक जीवन: उन्होंने इसका उपयोग वास्तविक डेटा पर किया, जैसे:
- मेडिकल रिकॉर्ड: यह पता लगाना कि कुछ स्वास्थ्य संबंधी डेटा क्यों गायब है (जैसे, बीमार मरीज शायद परीक्षण नहीं करा पाते)।
- म्यूजिक रेटिंग्स: यह समझना कि लोग केवल उन्हीं गानों को रेटिंग क्यों देते हैं जिन्हें वे पसंद करते हैं (और उन्हें अनदेखा करते हैं जिन्हें वे नापसंद करते हैं)।

निष्कर्ष

यह शोध पत्र हमें टूटे हुए डेटा को ठीक करने का एक नया, गणितीय रूप से सिद्ध तरीका देता है। यह कहता है: "यदि हम यह मान लें कि लोग केवल अपने कारण नहीं छिपते, और हम एक स्मार्ट AI का उपयोग करें जो 'निर्देशक' के निर्देशों को देखता है, तो हम पूरे विश्वास के साथ सत्य की पुनर्रचना कर सकते हैं।"

यह अंततः उस स्थिति में पूरी जिग्सॉ पहेली को देखने का एक तरीका है, जब सबसे महत्वपूर्ण टुकड़े गायब हों, बिना अंधेरे में अनुमान लगाए।

यहाँ ज़ी (Xie), ज़ू (Xue), और वांग (Wang) के शोध पत्र "Identifiable Deep Latent Variable Models for MNAR Data" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डेटा का गायब होना (Missing data) सांख्यिकीय विश्लेषण में एक व्यापक चुनौती है। पारंपरिक प्रतिस्थापन (imputation) विधियाँ आमतौर पर Missing-At-Random (MAR) धारणा पर निर्भर करती हैं, जहाँ किसी मान के गायब होने की संभावना केवल देखे गए डेटा पर निर्भर करती है। हालाँकि, कई वास्तविक दुनिया के परिदृश्यों में (जैसे चिकित्सा रिकॉर्ड, सर्वेक्षण, अनुशंसा प्रणाली), डेटा Missing-Not-At-Random (MNAR) होता है, जिसका अर्थ है कि गायब होने का तंत्र (missingness mechanism) स्वयं अनदेखी (unobserved) मानों पर निर्भर करता है।

यद्यपि डीप जेनरेटिव मॉडल (जैसे VAEs, not-MIWAE) को MNAR डेटा के लिए लागू किया गया है, वे एक गंभीर सैद्धांतिक दोष से ग्रस्त हैं: गैर-पहचानियता (non-identifiability)। विशिष्ट बाधाओं के बिना, कई अलग-अलग पूर्ण-डेटा वितरण (complete-data distributions) एक ही देखे गए डेटा वितरण को उत्पन्न कर सकते हैं, जिससे पक्षपाती और अविश्वसनीय प्रतिस्थापन (imputations) होते हैं। मौजूदा समाधान अक्सर सहायक चरों (auxiliary variables) की आवश्यकता रखते हैं (जो मौजूद नहीं हो सकते) या कठोर पैरामीट्रिक धारणाएँ थोपते हैं जो मॉडल मिसस्पेसिफिकेशन (misspecification) का जोखिम उठाते हैं।

2. कार्यप्रणाली: IM-IWAE (Methodology: IM-IWAE)

लेखक IM-IWAE (Identifiable Missing-Not-At-Random Importance-Weighted Autoencoder) प्रस्तावित करते हैं, जो एक ढांचा है जो नॉनपैरामीट्रिक पहचानियता (nonparametric identifiability) सुनिश्चित करने के लिए एक विशिष्ट संरचनात्मक धारणा के साथ डीप लेटेंट वेरिएबल मॉडल को जोड़ता है।

A. सैद्धांतिक आधार: कंडीशनल नो सेल्फ-सेन्सोरिंग (Theoretical Foundation: Conditional No Self-Censoring)

मुख्य नवाचार गायब होने के तंत्र के संबंध में एक नई धारणा है, जिसे लेटेंट वेरिएबल्स के दिए गए 'कंडीशनल नो सेल्फ-सेन्सोरिंग' (Conditional No Self-Censoring given Latent Variables) कहा जाता है:

धारणा: किसी भी चर $X_j$ के लिए, उसका मिसिंगनेस इंडिकेटर (missingness indicator) $R_j$ , अन्य सभी देखे गए चरों $X_{-j}$ और एक लेटेंट वेरिएबल $\tilde{Z}$ के दिए गए, $X_j$ और अन्य मिसिंगनेस इंडिकेटर्स $R_{-j}$ से स्वतंत्र है।
गणितीय रूप: $R_j \perp\!\!\!\perp (X_j, R_{-j}) \mid X_{-j}, \tilde{Z}$ ।
महत्व: यह धारणा मॉडल को लेटेंट वेरिएबल $\tilde{Z}$ के माध्यम से मिसिंगनेस इंडिकेटर्स के बीच सहसंबंधों (correlations) को कैप्चर करने की अनुमति देती है, जबकि एक चर और उसके अपने मिसिंगनेस के बीच प्रत्यक्ष निर्भरता को तोड़ती है। लेखक सिद्ध करते हैं कि इस धारणा (साथ ही एक पॉजिटिविटी स्थिति) के तहत, वास्तविक पूर्ण-डेटा वितरण नॉनपैरामीट्रिक रूप से पहचान योग्य (nonparametrically identifiable) है।

B. मॉडल आर्किटेक्चर (Model Architecture)

मॉडल डेटा $X$ और मिसिंगनेस इंडिकेटर्स $R$ के संयुक्त वितरण को दो लेटेंट वेरिएबल घटकों में विभाजित करता है:

डेटा जनरेशन: $X$ को एक लेटेंट वेरिएबल $Z$ से उत्पन्न किया जाता है (मानक VAE संरचना)।
मिसिंगनेस मैकेनिज्म: $R$ को $X$ और एक अलग लेटेंट वेरिएबल $\tilde{Z}$ से उत्पन्न किया जाता है। महत्वपूर्ण रूप से, $R_j$ के लिए डिकोडर $X_{-j}$ और $\tilde{Z}$ पर निर्भर करता है, लेकिन स्पष्ट रूप से $X_j$ को बाहर रखता है।

संयुक्त वितरण को इस प्रकार मॉडल किया गया है:
$p_{\theta, \psi}(x, r) = \int \int p_\theta(x|z) p_\psi(r|x, \tilde{z}) p(z) p(\tilde{z}) \, dz \, d\tilde{z}$

C. अनुमान एल्गोरिदम (Estimation Algorithm)

लापता और लेटेंट वेरिएबल्स पर कठिन इंटीग्रल्स (intractable integrals) को संभालने के लिए, लेखक इम्पॉर्टेंस-वेटेड ऑटोएनकोडर्स (IWAE) का उपयोग करते हैं:

उद्देश्य: मानक VAEs की तुलना में एक कड़े लोअर बाउंड (ELBO) का उपयोग करके देखे गए डेटा के लॉग-लाइक्लीहुड (log-likelihood) को अधिकतम करना।
वेरिएशनल इन्फरेंस (Variational Inference): वे वास्तविक पोस्टीरियर्स (posteriors) को अनुमानित करने के लिए वेरिएशनल पोस्टीरियर्स $q_\phi(z|x_{obs}, r)$ और $q_\lambda(\tilde{z}|x_{obs}, r)$ पेश करते हैं।
ऑप्टिमाइज़ेशन: ऑब्जेक्टिव फंक्शन $K$ इम्पॉर्टेंस सैंपल्स का उपयोग करके लाइक्लीहुड का अनुमान लगाता है, जिससे $K$ बढ़ने के साथ बायस (bias) कम हो जाता है। मापदंडों को रीपैरामीट्रिज़ेशन ट्रिक्स के साथ स्टोकेस्टिक ग्रेडिएंट डिसेंट के माध्यम से अनुकूलित किया जाता है।

D. प्रतिस्थापन और जनरेशन (Imputation and Generation)

प्रतिस्थापन (Imputation): लापता मानों को सेल्फ-नॉर्मलाइज्ड इम्पॉर्टेंस सैंपलिंग का उपयोग करके कंडीशनल मीन $E[X_{miss} | X_{obs}, R]$ का अनुमान लगाकर प्रतिस्थापित किया जाता है।
जनरेशन (Generation): मॉडल सीखे गए लेटेंट डिस्ट्रीब्यूशंस से सैंपलिंग करके सिंथेटिक पूर्ण डेटा उत्पन्न कर सकता है, जिससे वास्तविक अंतर्निहित डेटा वितरण को प्राप्त किया जा सकता है।

3. मुख्य योगदान (Key Contributions)

नॉनपैरामीट्रिक पहचानियता (Nonparametric Identifiability): यह पेपर डीप लेटेंट वेरिएबल फ्रेमवर्क के भीतर MNAR डेटा के लिए पहली नॉनपैरामीट्रिक पहचानियता की सैद्धांतिक पुष्टि स्थापित करता है, जिसमें न तो सहायक चरों की आवश्यकता है और न ही ग्राउंड ट्रुथ के लिए विशिष्ट पैरामीट्रिक रूपों की।
नया अनुमान (Novel Assumption): "कंडीशनल नो सेल्फ-सेन्सोरिंग गिवेन लेटेंट वेरिएबल्स" का परिचय पहचानियता की शर्तों (जैसे नो सेल्फ-सेन्सोरिंग) और डीप जेनरेटिव मॉडल्स की व्यावहारिक आवश्यकताओं के बीच के अंतर को पाटता है।
IM-IWAE एल्गोरिदम: एक व्यावहारिक, स्केलेबल एल्गोरिदम जो डेटा वितरण और मिसिंगनेस मैकेनिज्म को संयुक्त रूप से सीखता है, जो हल्के रेगुलरिटी कंडीशंस के तहत ग्राउंड-ट्रुथ वितरण को रिकवर करने में सक्षम है।
मजबूती (Robustness): विधि तब भी मजबूती प्रदर्शित करती है जब "नो सेल्फ-सेन्सोरिंग" धारणा का थोड़ा उल्लंघन होता है (उदाहरण के लिए, कुछ सेल्फ-सेन्सोरिंग की उपस्थिति में), जो संभवतः लेटेंट वेरिएबल्स द्वारा कैप्चर किए गए सहसंबंधों के कारण है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिमुलेशन और वास्तविक दुनिया के डेटासेटों में IM-IWAE का मूल्यांकन अत्याधुनिक तरीकों (GINA, not-MIWAE) और क्लासिकल बेसलाइन्स (MICE, missForest) के विरुद्ध किया।

सिमुलेशन (Simulations):
- प्रतिस्थापन सटीकता (Imputation Accuracy): विभिन्न MNAR परिदृश्यों (लीनियर/नॉन-लीनियर, लेटेंट वेरिएबल्स के साथ/बिना) में लापता मानों को प्रतिस्थापित करने में IM-IWAE ने लगातार सबसे कम रूट मीन स्क्वेर्ड एरर (RMSE) प्राप्त किया।
- डिस्ट्रीब्यूशन रिकवरी (Distribution Recovery): मैक्सिमम मीन डिसक्रीपेंसी (MMD) के संदर्भ में, IM-IWAE द्वारा उत्पन्न डेटा डिस्ट्रीब्यूशन, GINA या not-MIWAE की तुलना में ग्राउंड ट्रुथ के काफी करीब था, जो अक्सर गैर-पहचानियता के कारण पक्षपाती (biased) रहते हैं।
- उच्च आयाम (High Dimensions): विधि ब्लॉक-वाइज मिसिंगनेस के साथ उच्च-आयामी सेटिंग्स (100 वेरिएबल्स तक) में स्थिर रही, जबकि अन्य MNAR-विशिष्ट मॉडल काफी खराब प्रदर्शन करते हैं।
- पैरामीटर अनुमान (Parameter Estimation): एक गॉसियन मिक्सचर सेटिंग में, IM-IWAE ने वेरिएबल्स के वास्तविक माध्य (mean) को सटीक रूप से रिकवर किया, जबकि अन्य विधियों ने पक्षपाती अनुमान दिए।
वास्तविक दुनिया का डेटा (Real-World Data):
- UCI डेटासेट्स: कृत्रिम MNAR मैकेनिज्म वाले छह UCI डेटासेट्स पर, IM-IWAE ने सभी प्रतिस्पर्धियों को पछाड़ दिया, यहाँ तक कि जब मिसिंगनेस मैकेनिज्म में सेल्फ-सेन्सोरिंग (धारणा का उल्लंघन) शामिल था, तब भी इसने व्यावहारिक मजबूती दिखाई।
- HIV डेटा (बोत्स्वाना): HIV-पॉजिटिव माताओं के डेटासेट पर लागू करते हुए, मॉडल ने HAART उपयोग, CD4 काउंट और प्रीटर्म डिलीवरी के संयुक्त वितरण का अनुमान लगाया। परिणाम अर्ध-पैरामीट्रिक विधियों (AIPW) के तुलनीय थे और कम्पलीट केस एनालिसिस से भिन्न थे, जो महामारी विज्ञान के अध्ययन में इसकी उपयोगिता को प्रमाणित करते हैं।
- Yahoo! R3 म्यूजिक रेटिंग्स: एक विशाल, स्पार्स यूजर-रेटिंग डेटासेट (98% गायब) पर, IM-IWAE ने ऐसे प्रतिस्थापित डिस्ट्रीब्यूशन बनाए जो अनबायस्ड टेस्ट सेट से निकटता से मेल खाते थे, जिसने वास्तविक रेटिंग डिस्ट्रीब्यूशन को रिकवर करने में GINA और not-MIWAE से बेहतर प्रदर्शन किया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र मिसिंग डेटा के लिए डीप लर्निंग की एक मौलिक सीमा को संबोधित करता है: MNAR सेटिंग्स में पहचानियता (identifiability) का अभाव। एक विशिष्ट इंडिपेंडेंस धारणा को सिद्ध करके, लेखक यह सैद्धांतिक गारंटी प्रदान करते हैं कि उनका मॉडल वास्तविक डेटा वितरण को रिकवर कर सकता है।

महत्व:

सैद्धांतिक: यह MNAR मॉडलिंग को ह्यूरिस्टिक दृष्टिकोणों से हटाकर एक सैद्धांतिक रूप से सुदृढ़ ढांचे की ओर ले जाता है।
व्यावहारिक: यह उन डोमेन के लिए एक मजबूत उपकरण प्रदान करता है जहाँ मिसिंगनेस संभवतः सूचनात्मक (informative) होती है (जैसे स्वास्थ्य सेवा, सामाजिक विज्ञान), बिना किसी सहायक डेटा की आवश्यकता के।
सामान्यीकरण (Generalizability): यह विधि प्रभावी ढंग से काम करती है भले ही सटीक मिसिंगनेस मैकेनिज्म अज्ञात हो या थोड़ा मिसस्पेसिफाइड हो, जो इसे वास्तविक दुनिया के अनुप्रयोगों के लिए एक व्यवहार्य समाधान बनाता है जहाँ धारणाएं शायद ही कभी पूर्ण होती हैं।

लेखक निष्कर्ष निकालते हैं कि IM-IWAE, डीप जेनरेटिव मॉडल्स के लचीलेपन के साथ सैद्धांतिक कठोरता को संतुलित करते हुए, MNAR प्रतिस्थापन के लिए एक नया मानक स्थापित करता है।