📊 statistics

Missing data and cluster graphs: cluster-level missingness vs variable-level missingness

यह शोध पत्र मोटे संरचनात्मक सूचना (coarse structural information) से रिकवरेबिलिटी (recoverability) का विश्लेषण करने के लिए क्लस्टर-आधारित मिसिंगनेस ग्राफ्स के दो वर्गों को प्रस्तुत करता है, जो संयुक्त वितरण (joint distributions) और कारण प्रभावों (causal effects) को पुनः प्राप्त करने के लिए ग्राफिकल स्थितियों को स्थापित करता है ताकि यह स्पष्ट किया जा सके कि वैध अनुमान के लिए क्लस्टर-स्तरीय मिसिंग डेटा कब पर्याप्त है बनाम कब अधिक सूक्ष्म-स्तरीय मॉडलिंग की आवश्यकता होती है।

मूल लेखक: Willow Scott, Eugenio Valdano, Charles Assaad

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Willow Scott, Eugenio Valdano, Charles Assaad

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल जिग्सॉ पज़ल (jigsaw puzzle) को हल करने की कोशिश कर रहे हैं ताकि यह समझ सकें कि विभिन्न प्रणालियों के हिस्से एक साथ कैसे काम करते हैं—जैसे कि मानसिक स्वास्थ्य, यौन आदतें और एचआईवी (HIV) स्थिति आपस में कैसे जुड़े हो सकते हैं। लेकिन एक समस्या है: पज़ल के कुछ टुकड़े गायब हैं। डेटा साइंस की दुनिया में, इसे "मिसिंग डेटा" (missing data) कहा जाता है।

आमतौर पर, वैज्ञानिक इस समस्या को हल करने के लिए हर एक गायब टुकड़े को व्यक्तिगत रूप से देखने की कोशिश करते हैं। वे पूछते हैं, "यह विशिष्ट टुकड़ा क्यों गायब है? क्या यह अपने बगल वाले टुकड़े के कारण है? या कमरे के दूसरी ओर वाले के कारण?" यह एक शहर की हर एक गली का विस्तृत मानचित्र रखने जैसा है।

हालाँकि, वास्तविक जीवन में, हमारे पास अक्सर उस स्तर का विवरण नहीं होता है। हमें केवल यह पता हो सकता है कि सूचना के पूरे पड़ोस (clusters) गायब हैं, बिना यह जाने कि उस पड़ोस में कौन सा विशिष्ट घर खाली है। विलो स्कॉट और सहयोगियों द्वारा लिखित यह शोध पत्र पूछता है: क्या हम केवल पड़ोस के मानचित्र का उपयोग करके पज़ल को हल कर सकते हैं, न कि व्यक्तिगत गलियों के मानचित्र का?

दो प्रकार के मानचित्र

लेखक इन "पड़ोस के मानचित्रों" को बनाने के दो तरीके पेश करते हैं ताकि गायब डेटा को संभाला जा सके:

"विस्तृत पड़ोस" वाला मानचित्र (m-C-DMG):
कल्पना कीजिए कि आपको पता है कि "यौन व्यवहार" (Sexual Behavior) का पड़ोस गायब है। इस मानचित्र पर, आप अभी भी ट्रैक रखते हैं कि उस पड़ोस में कौन सा विशिष्ट घर खाली है। आप जानते हैं कि "कंडोम का उपयोग" वाला घर गायब है, लेकिन "साझेदारों की संख्या" वाला घर वहां मौजूद है। आप गायब होने के व्यक्तिगत संकेतकों को अलग रखते हैं, भले ही आप उन्हें एक पड़ोस में समूहबद्ध करते हों।
- उपमा: आप जानते हैं कि "डाउनटाउन" जिले में बिजली गुल है, लेकिन आपके पास अभी भी इस सूची के साथ एक लिस्ट है कि वास्तव में कौन सी विशिष्ट स्ट्रीटलाइट्स बंद हैं।
"धुंधला पड़ोस" वाला मानचित्र (cm-C-DMG):
यह एक अधिक मोटा (coarser) मानचित्र है। यहाँ, आपको बस इतना पता है कि पूरा "यौन व्यवहार" का पड़ोस समस्याओं का सामना कर रहा है। आपको यह नहीं पता कि "कंडोम का उपयोग" वाला घर गायब है या "साझेदारों की संख्या" वाला घर गायब है; आप बस पूरे जिले के ऊपर एक बड़ा "Missing" (गायब) का साइन देखते हैं।
- उपमा: आप "डाउनटाउन डिस्ट्रिक्ट आउटेज" का साइन देखते हैं, लेकिन आपको यह पता नहीं है कि कौन सी विशिष्ट स्ट्रीटलाइट्स प्रभावित हैं।

बड़ी खोज: हम अभी भी क्या सीख सकते हैं?

यह शोध पत्र यह पता लगाता है कि क्या हम इन धुंधले मानचित्रों का उपयोग करके पूरी तस्वीर (joint distribution) या कारण-और-प्रभाव (cause-and-effect) के संबंधों को समझ सकते हैं (जैसे, "क्या व्यवहार A परिणाम B का कारण बनता है?")।

1. "धुंधला" मानचित्र कम शक्तिशाली है
लेखकों ने पाया कि "धुंधला पड़ोस" वाला मानचित्र (cm-C-DMG) थोड़ा कमजोर है। क्योंकि यह सभी गायब विवरणों को एक बड़े ब्लॉक में मिला देता है, इसलिए यह कभी-कभी उन सुरागों को छिपा देता है जो पज़ल को हल करने के लिए आवश्यक होते हैं।

रूपक: यदि आप केवल यह जानते हैं कि "डाउनटाउन" जिला गायब है, तो आप मान सकते हैं कि पूरा जिला अविश्वसनीय है। लेकिन "विस्तृत" मानचित्र पर, आप यह जान सकते हैं कि केवल एक विशिष्ट घर गायब है, और बाकी का जिला वास्तव में ठीक है। धुंधला मानचित्र शायद आपको अच्छा डेटा फेंकने के लिए मजबूर कर दे यह सोचकर कि वह सब खराब है, जबकि विस्तृत मानचित्र आपको उसे बचाने की अनुमति देता है।
नियम: यदि आप धुंधले मानचित्र का उपयोग करके पज़ल हल कर सकते हैं, तो आप निश्चित रूप से विस्तृत मानचित्र के साथ भी इसे हल कर सकते हैं। लेकिन इसका उल्टा सच नहीं है। कभी-कभी, विस्तृत मानचित्र उस पहेली को भी हल करने में मदद करता है जिसे धुंधला मानचित्र असंभव बना देता है।

2. पहेली को सुलझाना (Joint Distribution को पुनः प्राप्त करना)
यह शोध पत्र एक विशिष्ट सेट के नियम (एक चेकलिस्ट) देता है कि क्या आप गायब डेटा से पूरी तस्वीर को फिर से बना सकते हैं।

नियम: आप पूरी तस्वीर को तब पुनः प्राप्त कर सकते हैं जब "Missing" (गायब) के संकेत उन डेटाओं से सीधे तौर पर नहीं जुड़े हों जिन्हें उन्हें छिपाना चाहिए।
उपमा: कल्पना कीजिए कि एक जासूस चोरी हुई घड़ी को खोजने की कोशिश कर रहा है। यदि चोर (missing data mechanism) घड़ी के बिल्कुल पास खड़ा है और उसे गुप्त बातें बता रहा है, तो जासूस यह नहीं समझ पाएगा कि क्या हुआ था। लेकिन यदि चोर दूसरे कमरे में है और उनके बीच का एकमात्र रास्ता एक "कोलाइडर" (collider - एक तीसरा व्यक्ति जो रास्ता रोकता है) द्वारा बाधित है, तो जासूस मामला सुलझा सकता है। शोध पत्र कहता है कि जब तक "Missing" के संकेत सीधे डेटा से बात नहीं कर रहे हैं या किसी विशिष्ट प्रकार के गुप्त पथ से जुड़े नहीं हैं, तब तक आप पूरी कहानी को फिर से बना सकते हैं।

3. कारण और प्रभाव को समझना (Macro Causal Effects)
लेखकों ने यह भी देखा कि क्या हम गायब डेटा होने पर भी कारण-और-प्रभाव (जैसे, "क्या व्यवहार X को बदलने से परिणाम Y में बदलाव आता है?") का पता लगा सकते हैं।

आश्चर्य: आपको प्रभाव जानने के लिए हमेशा पूरी पहेली को फिर से बनाने की आवश्यकता नहीं होती है।
उपमा: आप शायद शहर की पूरी जिग्सॉ तस्वीर को फिर से नहीं बना पाएं, लेकिन आप केवल ट्रैफिक और घड़ी के टुकड़ों को देखकर यह साबित कर सकते हैं कि "ट्रैफिक जाम के कारण देरी होती है।"
शोध पत्र दिखाता है कि भले ही धुंधला मानचित्र पूरी प्रणाली की पूरी स्थिति जानने को असंभव बना दे, लेकिन तार्किक नियमों (जिसे "do-calculus" कहा जाता है) के एक सेट का उपयोग करके विशिष्ट कारण-और-प्रभाव संबंधों को समझना अभी भी संभव हो सकता है।

यह क्यों मायने रखता है?

वास्तविक दुनिया में, वैज्ञानिकों के पास अक्सर पूर्ण डेटा नहीं होता है। वे जान सकते हैं कि "मानसिक स्वास्थ्य" और "यौन व्यवहार" जुड़े हुए हैं, लेकिन वे प्रत्येक सर्वेक्षण प्रश्न के बीच के सटीक संबंध को नहीं जानते हैं।

यह शोध पत्र हमें बताता है:

यदि हमें आवश्यकता है, तो डेटा को समूहों (clusters) में बांटना ठीक है, लेकिन हमें सावधान रहने की जरूरत है।
यदि हम बहुत अधिक समूह बनाते हैं (धुंधले मानचित्र का उपयोग करके), तो हम कुछ सवालों के जवाब देने की क्षमता खो सकते हैं।
हालाँकि, एक धुंधले मानचित्र के साथ भी, हम अक्सर कारण और प्रभाव के बारे में महत्वपूर्ण "क्या होगा अगर?" वाले सवालों का जवाब दे सकते हैं, बशर्ते हम सही तार्किक चरणों का पालन करें।

संक्षेप में, यह शोध पत्र वैज्ञानिकों को एक टूलकिट प्रदान करता है जिससे उन्हें यह पता चल सके कि उन्हें कितने विवरण एकत्र करने की आवश्यकता है। यदि उनके पास एक "धुंधला" मानचित्र है, तो अब वे जानते हैं कि वे किन सवालों के जवाब दे सकते हैं और किन सवालों के लिए उन्हें वापस जाकर "विस्तृत" मानचित्र प्राप्त करने की आवश्यकता है।

तकनीकी सारांश: लुप्त डेटा और क्लस्टर ग्राफ (Missing Data and Cluster Graphs)

समस्या विवरण
लुप्त डेटा (Missing data) सार्वजनिक स्वास्थ्य, पर्यावरण विज्ञान और सामाजिक विज्ञान जैसे वैज्ञानिक क्षेत्रों में एक व्यापक चुनौती है। जबकि शास्त्रीय लुप्त डेटा सिद्धांत (जैसे, रुबिन [1976], मोहन आदि [2013]) पूर्णतः निर्दिष्ट चर-स्तरीय मिसिंगनेस मॉडल (विशेष रूप से m-ADMGs) का उपयोग करके रिकवरेबिलिटी (recoverability) के लिए कठोर ढांचा प्रदान करते हैं, कई आधुनिक अनुप्रयोगों में उन सूक्ष्म विवरणों के ज्ञान का अभाव होता है जो इन मॉडलों को निर्दिष्ट करने के लिए आवश्यक हैं। व्यवहार में, सीमित ज्ञान, व्याख्यात्मक आवश्यकताओं या केवल एकत्रित संरचनात्मक जानकारी की उपलब्धता के कारण चरों को अक्सर समूहों (clusters) में वर्गीकृत किया जाता है। उदाहरण के लिए, एचआईवी (HIV) जोखिम अध्ययनों में, "यौन व्यवहार" को मापों के एक क्लस्टर (जैसे, कंडोम का उपयोग, साथियों की संख्या) के रूप में माना जा सकता है जहाँ आंतरिक संबंध अनिर्दिष्ट होते हैं। मौजूदा पद्धतियाँ संघर्ष करती हैं जब केवल इन अमूर्त, क्लस्टर-स्तरीय मिसिंगनेस तंत्रों के प्रतिनिधित्व ही उपलब्ध होते हैं।

कार्यप्रणाली (Methodology)
लेखक दो प्रकार के अमूर्त मिसिंगनेस ग्राफ पेश करते हैं जिन्हें क्लस्टर स्तर पर संचालित करने के लिए डिज़ाइन किया गया है, जबकि वे अंतर्नि는 चर-स्तरीय स्ट्रक्चरल कॉज़ल मॉडल्स (SCMs) के साथ संगतता बनाए रखते हैं:

m-C-DMG (missingness-C-DMG): यह एब्स्ट्रैक्शन क्लस्टर के भीतर प्रत्येक चर के लिए विशिष्ट मिसिंगनेस इंडिकेटर्स ( $R_X$ ) को बनाए रखता है लेकिन चरों के बीच के कारण संबंधों को क्लस्टर स्तर पर दर्शाता है। यह एक ही क्लस्टर के भीतर व्यक्तिगत चरों के मिसिंगनेस तंत्र के बीच के अंतर को सुरक्षित रखता है।
cm-C-DMG (clustered-missingness-C-DMG): यह एक अधिक मोटा (coarser) एब्स्ट्रैक्शन है जहाँ एक विशिष्ट क्लस्टर के भीतर सभी चर-स्तरीय मिसिंगनेस इंडिकेटर्स को एक एकल क्लस्टर-स्तरीय मिसिंगनेस वर्टेक्स ( $R_C$ ) में मिला दिया जाता है। यह प्रतिनिधित्व मिसिंगनेस तंत्रों को एकत्रित करता है, जिससे विशिष्ट चरों के मिसिंगनेस कारणों के बीच का अंतर समाप्त हो जाता है।

लेखक इन अमूर्त ग्राफों और उनके संगत चर-स्तरीय m-ADMGs के बीच संगतता (compatibility) की अवधारणा को औपचारिक रूप देते हैं। एक क्वेरी को एक अमूर्त ग्राफ में तभी रिकवरेबल (recoverable) माना जाता है यदि इसे उस अमूर्त ग्राफ के संगत प्रत्येक चर-स्तरीय m-ADMG के लिए सुसंगत रूप से अनुमानित किया जा सकता है। लेखक कॉज़ल इन्फरेंस (causal inference) के उपकरणों का उपयोग करते हैं, जिसमें d-separation, म्यूटिलेटेड ग्राफ्स (mutilated graphs), और do-calculus शामिल हैं, जिन्हें इन क्लस्टर-आधारित ग्राफों (जो मानक ADMGs के विपरीत चक्र/cycles युक्त हो सकते हैं) के लिए अनुकूलित किया गया है।

मुख्य योगदान और परिणाम

एब्स्ट्रैक्शन और रिकवरेबिलिटी का पदानुक्रम (Hierarchy of Abstraction and Recoverability): लेखक दोनों ग्राफों की संगतता वर्गों के बीच एक सख्त समावेशन संबंध (inclusion relationship) स्थापित करते हैं। एक m-C-DMG की संगतता श्रेणी उसके संगत cm-C-DMG की श्रेणी का एक उपसमुच्चय (subset) है। फलस्वरूप, यदि कोई क्वेरी एक cm-C-DMG से रिकवरेबल है, तो वह स्वाभाविक रूप से संगत m-C-DMG से भी रिकवरेबल होगी। हालांकि, इसका विलोम सत्य नहीं है; cm-C-DMG उन चर-विशिष्ट भेदों को दबा सकता है जो रिकवरी के लिए आवश्यक हैं, जिससे कुछ क्वेरी क्लस्टर स्तर पर गैर-रिकवरेबल हो जाती हैं भले ही वे चर स्तर पर रिकवरेबल हों।
संयुक्त वितरण की रिकवरेबिलिटी (Recoverability of Joint Distributions): शोध पत्र m-C-DMGs और cm-C-DMGs दोनों से क्लस्टरों के संयुक्त वितरण ($Pr(C) $) को रिकवर करने के लिए आवश्यक और पर्याप्त ग्राफिकल स्थितियाँ प्रदान करता है। इसके लिए शर्त यह है कि किसी आंशिक रूप से प्रेक्षित क्लस्टर$ C_X $के लिए,$ C_X $और उससे जुड़ा मिसिंगनेस इंडिकेटर$ R_X$ पड़ोसी नहीं होने चाहिए, और उनके बीच ऐसा कोई पथ नहीं होना चाहिए जहाँ सभी मध्यवर्ती वर्टिक्स आंशिक या पूर्ण रूप से प्रेक्षित क्लस्टरों के कोलाइडर (colliders) हों। यह परिणाम मोहन और पर्ल [2014] की रिकवरेबिलिटी मानदंडों को क्लस्टर ग्राफों तक विस्तारित करता है, यह प्रदर्शित करते हुए कि इस विशिष्ट प्रकार की रिकवरेबिलिटी के लिए अचक्रीयता (acyclicity) आवश्यक नहीं है।
मैक्रो कॉज़ल इफेक्ट्स की रिकवरेबिलिटी (Recoverability of Macro Causal Effects): लेखक क्लस्टर ग्राफों के लिए अनुकूलित do-calculus का उपयोग करके मैक्रो कॉज़ल इफेक्ट्स (जैसे, एक क्लस्टर $C_X$ का एक क्लस्टर $C_Y$ पर प्रभाव) को रिकवर करने की स्थितियाँ व्युत्पन्न करते हैं। वे उदाहरणों के माध्यम से प्रदर्शित करते हैं कि मैक्रो कॉज़ल इफेक्ट की रिकवरेबिलिटी पूरी तरह से संयुक्त वितरण की रिकवरेबिलिटी पर निर्भर नहीं करती है। एक कॉज़ल इफेक्ट भी पहचाना जा सकता है भले ही संयुक्त वितरण रिकवरेबल न हो, बशर्ते म्यूटिलेटेड ग्राफ्स में विशिष्ट d-separation स्थितियाँ do-ऑपरेटर्स और मिसिंगनेस इंडिकेटर्स को हटाने की अनुमति दें।

महत्व और दावे
यह शोध पत्र संरचनात्मक एब्स्ट्रैक्शन के तहत लुप्त डेटा समस्याओं की सैद्धांतिक समझ में योगदान देने का दावा करता है। इसका प्राथमिक महत्व इस बात को स्पष्ट करने में है कि कब क्लस्टर-स्तरीय मिसिंगनेस जानकारी वैध निष्कर्ष के लिए पर्याप्त है और कब सूक्ष्म-स्तरीय मॉडलिंग की आवश्यकता होती है। अमूर्त प्रतिनिधित्व की सरलता और विशिष्ट मिसिंगनेस तंत्रों के संबंध में सूचना की हानि के बीच के व्यापार-बंद (trade-off) को औपचारिक रूप देकर, यह कार्य उन स्थितियों का विश्लेषण करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है जहाँ केवल मोटे संरचनात्मक ज्ञान की उपलब्धता होती है।

लेखक उल्लेख करते हैं कि उनके परिणाम रूढ़िवादी (conservative) हैं: एक क्वेरी जिसे अमूर्त ग्राफ से गैर-रिकवरेबल माना जाता है, वह अभी भी विशिष्ट संगत चर-स्तरीय ग्राफों में रिकवरेबल हो सकती है। इसके अतिरिक्त, cm-C-DMG की उपयोगिता इस बात पर निर्भर करती है कि चुना गया क्लस्टरिंग लक्षित क्वेरी के लिए प्रासंगिक मिसिंगनेस जानकारी को संरक्षित करता है या नहीं। शोध पत्र इन खुले प्रश्नों की पहचान करके समाप्त होता है, जिनमें मैक्रो कॉज़ल इफेक्ट्स के लिए व्युत्पन्न स्थितियों की पूर्णता और इन अमूर्त ग्राफों पर रिकवरेबिलिटी के लिए प्रत्यक्ष एल्गोरिदम का विकास शामिल है।

दो प्रकार के मानचित्र

बड़ी खोज: हम अभी भी क्या सीख सकते हैं?

यह क्यों मायने रखता है?

इसी तरह के और पेपर