📊 statistics

Robust estimation of occupation probabilities for coarsened multistate processes

यह शोध पत्र राइट-सेंसरिंग (right-censoring) और बेसलाइन एक्सपोज़र कोसर्सेनिंग (baseline exposure coarsening) के अधीन मल्टीस्टेट मॉडल्स में ऑक्यूपेशन प्रोबेबिलिटीज (occupation probabilities) के लिए संवर्धित इनवर्स प्रोबेबिलिटी वेटेडेड एस्टिमेटर्स (augmented inverse probability weighted estimators) व्युत्पन्न करता है, जो मार्कोव गुणों (Markov properties) की आवश्यकता के बिना कोसर्सेनिंग-एट-रैंडम (coarsening-at-random) धारणा के तहत उनकी मजबूती और दक्षता स्थापित करता है।

मूल लेखक: Niklas Nyboe Maltzahn, Gergely Dániel Lukáts, Kjetil Røysland

प्रकाशित 2026-06-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Niklas Nyboe Maltzahn, Gergely Dániel Lukáts, Kjetil Røysland

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल इमारत के विभिन्न "कमरों" में घूम रहे लोगों के जीवन की कहानी को ट्रैक करने की कोशिश कर रहे हैं। कुछ कमरे अस्थायी हैं (जैसे "स्वस्थ" या "बीमार") और कुछ अंतिम निकास हैं (जैसे "मृत्यु")। सांख्यिकी (statistics) में, इसे एक मल्टीस्टेट प्रोसेस (multistate process) कहा जाता है।

इस शोध पत्र का लक्ष्य एक सरल प्रश्न का उत्तर देना है: "किसी दिए गए समय पर, कितने प्रतिशत लोग एक विशिष्ट कमरे में हैं?" इसे ऑक्यूपेशन प्रोबेबिलिटी (occupation probability) कहा जाता है।

हालाँकि, इसे वास्तविक दुनिया में सटीक रूप से गणना करने में दो बड़ी समस्याएँ आती हैं जो इसे कठिन बनाती हैं:

लोग बाहर निकल जाते हैं: कुछ लोग अंतिम निकास तक पहुँचने से पहले ही इमारत से बाहर चले जाते हैं (इसे राइट-सेंसरिंग (right-censoring) कहा जाता है)। शायद वे कहीं और चले गए, या अध्ययन समाप्त हो गया।
छिपे हुए कारक: लोगों के बाहर जाने या उनके द्वारा तय किए जाने वाले रास्ते का कारण उन चीजों पर निर्भर हो सकता है जिन्हें हमने पूरी तरह से नहीं मापा है, या ऐसी चीजें जो समय के साथ बदलती रहती हैं (जैसे उनकी सेहत का बिगड़ना)।

लेखक, निकलास नायबो माल्टज़ान और उनकी टीम ने इस पहेली को सुलझाने के लिए गणितीय उपकरणों (एस्टिमेटर्स) का एक नया सेट बनाया है। यहाँ इसे उपमाओं (analogies) के माध्यम से समझाया गया है।

समस्या: "टूटा हुआ नक्शा" (The Broken Map)

कल्पना कीजिए कि आप इमारत में हर कोई कहाँ है, इसका एक नक्शा बनाने की कोशिश कर रहे हैं। लेकिन आपका नक्शा धुंधला है क्योंकि:

कुछ लोग आपकी दृष्टि से ओझल हो गए (सेंसरिंग)।
आपके पास इस बारे में केवल एक मोटा अनुमान है कि कौन से लोग बाहर जाने की संभावना रखते थे (ट्रीटमेंट असाइनमेंट)।

यदि आप केवल उन लोगों को गिनते हैं जिन्हें आप देख सकते हैं, तो आपका नक्शा गलत होगा। आपको लग सकता है कि "बीमार" कमरे में कम लोग हैं क्योंकि सबसे बीमार लोग अध्ययन से जल्दी बाहर हो गए।

समाधान: "डबल-चेक" सिस्टम

लेखक एक विधि प्रस्तावित करते हैं जिसे ऑगमेंटेड इनवर्स प्रोबेबिलिटी वेटिंग (AIPW) कहा जाता है। इसे एक "डबल-चेक" सिस्टम के रूप में सोचें जो नक्शे के लापता हिस्सों का अनुमान लगाने के लिए दो अलग-अलग तरीकों का उपयोग करता है। यदि एक तरीका गलत है, तो दूसरा काम बचा सकता है।

वे वास्तव में इस उपकरण के पाँच अलग-अलग संस्करण सुझाते हैं, लेकिन दो मुख्य हैं:

"वेटेड काउंट" (IPW):
कल्पना कीजिए कि आपके पास उन लोगों की एक सूची है जो अध्ययन में बने रहे। आप उन लोगों को एक "भारी वजन" (heavier weight) देते हैं जो उन लोगों जैसे दिखते हैं जो बाहर निकल गए। यदि एक स्वस्थ व्यक्ति अध्ययन में रहा, लेकिन कई बीमार लोग बाहर निकल गए, तो आप उस स्वस्थ व्यक्ति को इस तरह गिनते हैं जैसे कि वह कई बीमार लोगों का प्रतिनिधित्व कर रहा हो। यह लापता डेटा को गणितीय रूप से "भरने" की कोशिश करके अंतराल को ठीक करने का प्रयास करता है।
- कमजोरी: यदि आपका यह अनुमान कि लोग क्यों बाहर निकले, गलत है, तो आपका पूरा नक्शा गलत होगा।
"ऑगमेंटेड" संस्करण (AIPW):
यह इस शोध पत्र की असली शक्ति है। यह "वेटेड काउंट" को लेता है और इसमें एक दूसरा स्तर जोड़ता है: एक प्रेडिक्शन मॉडल (prediction model)।
- यह पूछता है: "उन लोगों के बारे में जो अध्ययन में बचे रहे, उनके आधार पर, जो लोग बाहर निकल गए होंगे वे कैसे दिखते होंगे?"
- यह "वेटेड काउंट" को इस "प्रेडिक्शन" के साथ जोड़ता है।
- जादू: यदि आपका यह अनुमान कि लोग क्यों बाहर निकले, गलत है, लेकिन आपका प्रेडिक्शन मॉडल सही है, तो उत्तर अभी भी सही होगा। यदि आपका प्रेडिक्शन गलत है लेकिन यह अनुमान कि वे क्यों बाहर निकले, सही है, तो उत्तर अभी भी सही होगा। यह केवल तभी विफल होता है जब दोनों अनुमान गलत हों। इसे डबल रोबस्टनेस (Double Robustness) कहा जाता है।

"वन-स्टेप" अपग्रेड

लेखकों ने एक "वन-स्टेप" एस्टिमेटर भी बनाया है। कल्पना कीजिए कि आप एक लक्ष्य (bullseye) पर निशाना साध रहे हैं।

बुनियादी विधि एक शॉट लेती है।
"वन-स्टेप" विधि एक शॉट लेती है, देखती है कि वह लक्ष्य से कितनी दूर थी, और तुरंत एक सटीक समायोजन (adjustment) करती है ताकि वह बिल्कुल केंद्र पर लग सके।
यह परिणाम को अधिक कुशल (कम उतार-चढ़ाव वाला) और अधिक विश्वसनीय बनाता है, भले ही डेटा अव्यवस्थित हो।

"मॉडिफाइड" संस्करण

कभी-कभी, प्रेडिक्शन मॉडल थोड़े "अस्थिर" या पक्षपाती (biased) हो जाते हैं। लेखों ने अपने उपकरणों के "मॉडिफाइड" संस्करण जोड़े हैं।

इसे एक स्व-सुधारने वाले स्टीयरिंग व्हील के रूप में सोचें। यदि सड़क फिसलन भरी होने के कारण कार भटकने लगती है (पक्षपाती डेटा), तो स्टीयरिंग व्हील स्वचालित रूप से कोण को समायोजित करता है ताकि कार सीधे पथ पर बनी रहे।
यह सुनिश्चित करता है कि उपकरण सटीक बना रहे, भले ही डेटा आदर्श न हो।

सिमुलेशन टेस्ट

अपने उपकरणों को सिद्ध करने के लिए, लेखकों ने एक विशाल कंप्यूटर सिमुलेशन चलाया।

उन्होंने एक काल्पनिक दुनिया बनाई जहाँ 9,000 लोग "स्वस्थ," "बीमार," और "मृत्यु" अवस्थाओं के बीच घूम रहे थे।
उन्होंने कुछ लोगों को यादृच्छिक (random) समय पर अध्ययन से बाहर होने के लिए बनाया।
फिर उन्होंने यह पता लगाने के लिए अपने पाँचों उपकरणों का उपयोग किया कि वास्तव में लोग कहाँ होने चाहिए थे।

परिणाम:

जब डेटा एकदम सही था, तो सभी उपकरण काम कर रहे थे, लेकिन "वन-स्टेप" और "मॉडिफाइड" उपकरण सबसे सटीक थे (उनमें त्रुटि सबसे कम थी)।
जब उन्होंने जानबूझकर डेटा को बिगाड़ा (यह अनुमान गलत लगाकर कि लोग क्यों बाहर निकले), तो बुनियादी उपकरण बुरी तरह विफल रहे।
हालाँकि, ऑगमेंटेड (AIPW) उपकरण पूरी तरह से काम करते रहे। वे "रोबस्ट" थे, जिसका अर्थ है कि डेटा खराब होने पर भी वे टूटे नहीं।

मुख्य निष्कर्ष (Bottom Line)

यह शोध पत्र सांख्यिकीविदों को लोगों के विभिन्न चरणों (जैसे स्वास्थ्य स्थिति) के माध्यम से समय के साथ कैसे चलते हैं, इसे ट्रैक करने के लिए एक नया, अत्यंत शक्तिशाली सेट प्रदान करता है, भले ही लोग अध्ययन से बाहर निकल जाएं या बाहर निकलने के कारण जटिल हों।

मुख्य बात रिडंडेंसी (redundancy) है: लापता जानकारी का अनुमान लगाने के लिए दो अलग-अलग तरीकों का उपयोग करके, लेखकों ने एक ऐसा सिस्टम बनाया है जिसे धोखा देना बहुत कठिन है। इसके लिए इस जटिल धारणा की आवश्यकता नहीं है कि लोगों का भविष्य का मार्ग केवल उनकी वर्तमान स्थिति पर निर्भर करता है (मार्कोव धारणा), जिससे यह वास्तविक दुनिया के व्यापक परिदृश्यों के लिए लागू होता है जहाँ इतिहास मायने रखता है।

तकनीकी सारांश: कोर्शन्ड मल्टीस्टेट प्रक्रियाओं के लिए ऑक्यूपेशन प्रोबेबिलिटी का सुदृढ़ अनुमान

समस्या विवरण
मल्टीस्टेट मॉडल उन घटनाओं के विश्लेषण के लिए एक सामान्य ढांचा प्रदान करते हैं जहाँ संस्थाएँ समय के साथ सुस्पष्ट अवस्थाओं के बीच संक्रमण करती हैं, जैसे कि रोग की प्रगति, रोजगार की स्थिति, या क्रेडिट रेटिंग। इन मॉडलों में एक प्राथमिक रुचि वाला पैरामीटर ऑक्यूपेशन प्रोबेबिलिटी (व्यावसायीकरण प्रायिकता) है—अर्थात किसी दिए गए समय $t_0$ पर एक विशिष्ट अवस्था में प्रक्रिया के होने की प्रायिकता। व्यवहार में, ये प्रक्रियाएँ दो स्तरों पर 'कोर्शनिंग' (coarsening) के अधीन होती हैं: राइट-सेंसरिंग (जैसे कि ड्रॉप-आउट) और बेसलाइन एक्सपोजर (उपचार असाइनमेंट)।

मल्टीस्टेट मॉडलों पर मौजूदा साहित्य अक्सर प्रतिबंधात्मक धारणाओं पर निर्भर करता है, जैसे कि अवस्था संक्रमण के लिए मार्कोव गुण (Markov property), या बेसलाइन कोवेरिएट्स के सापेक्ष प्रक्रिया के इतिहास से सेंसिंग की स्वतंत्रता। यह शोध पत्र काउंटरफैक्चुअल मल्टीस्टेट प्रक्रियाओं के लिए ऑक्यूपेशन प्रोबेबिलिटी के अनुमान की चुनौती को कमजोर धारणाओं के तहत संबोधित करता है। विशेष रूप से, लेखक गैर-मार्कोवियन (non-Markovian) अवस्था संक्रमणों को संभालने का लक्ष्य रखते हैं और राइट-सेंसरिंग तंत्र को बेसलाइन कोवेरिएट्स और समय-निर्भर कोवेरिएट्स दोनों पर निर्भर होने की अनुमति देते हैं, बशर्ते कि कोर्सनिंग एट रैंडम (CAR) धारणा बनी रहे।

कार्यप्रणाली
लेखक कारण संबंधी अनुमान (causal inference) और मिसिंग डेटा साहित्य की तकनीकों का उपयोग करके ऑक्यूपेशन प्रोबेबिलिटी के लिए ऑगमेंटेड इनवर्स प्रोबेबिलिटी वेटेड (AIPW) एस्टिमेटर्स व्युत्पन्न करते हैं।

डेटा संरचना और पहचान योग्यता (Identifiability):
- पूर्ण डेटा प्रक्रिया को एक काल्पनिक हस्तक्षेप $a \in \{0, 1\}$ के तहत एक cadlag मल्टीस्टेट प्रक्रिया $Z_a$ के रूप में परिभाषित किया गया है, जिसके साथ संबद्ध समय-निर्भर कोवेरिएट्स $L_a$ और बेसलाइन कोवेरिएट्स $W$ हैं।
- प्रेक्षित डेटा एक लेटेंट राइट-सेंसिंग समय $C_a$ और प्रेक्षित उपचार $A$ द्वारा कोर्शन्ड (coarsened) है।
- पहचान योग्यता मानदंड: लेखक मानते हैं:
  - कंसिस्टेंसी (Consistency): प्रेक्षित डेटा पूर्ण काउंटरफैक्चुअल डेटा का एक सुसंगत कोर्शन्ड रूप है।
  - पॉजिटिविटी (Positivity): उपचार असाइनमेंट और अनसेंसर्ड रहने की प्रायिकता सकारात्मक है।
  - एक्सचेंजेबिलिटी (CAR): कोर्शनिंग तंत्र (उपचार और सेंसिंग) बेसलाइन कोवेरिएट्स और वर्तमान समय तक के इतिहास के सापेक्ष पूर्ण काउंटरफैक्चुअल डेटा से स्वतंत्र है। महत्वपूर्ण रूप से, यह सेंसिंग को प्रक्रिया के इतिहास पर निर्भर होने की अनुमति देता है, जो मानक स्वतंत्र सेंसिंग धारणाओं के विपरीत है।
एफिशिएंट इन्फ्लुएंस फंक्शन (EIF):
- लक्षित पैरामीटर को IPW एस्टिमेंड के माध्यम से पहचाना जाता है।
- लेखक प्रेक्षित डेटा एस्टिमेंड के लिए एफिशिएंट इन्फ्लुएंस फंक्शन (EIF) व्युत्पन्न करते हैं। इसमें पूर्ण-डेटा मैपिंग के स्कोर को उपचार प्रोपेंसिटी स्कोर ( $\pi$ ) और सेंसिंग तंत्र ( $G$ ) से जुड़े न्युसेंस टेंगेंट स्पेस पर प्रोजेक्शन पर प्रोजेक्ट करना और न्युसेंस टेंगेंट स्पेस से संबंधित ऑर्थोगोनल प्रोजेक्शन को घटाना शामिल है।
- EIF न्युसेंस पैरामीटर्स पर निर्भर करता है: प्रोपेंसिटी स्कोर $\pi$ , सेंसिंग सर्वाइवल फंक्शन $G$ , और दो कंडीशनल एक्सपेक्टेशन फंक्शन, $Q$ और $\eta$ , जो सेंसिंग की प्रायिकता के व्युत्क्रम द्वारा भारित अपेक्षित परिणामों का प्रतिनिधित्व करते हैं।
प्रस्तावित एस्टिमेटर्स:
EIF के आधार पर, पाँच एस्टिमेटर्स प्रस्तावित किए गए हैं:
- IPW एस्टिमेटर ( $\hat{\psi}^0_n$ ): एक सरल इनवर्स प्रोबेबिलिटी वेटेड एस्टिमेटर।
- ऑगमेंटेड IPW एस्टिमेटर्स ( $\hat{\psi}^\nu_n$ और $\hat{\psi}^\mu_n$ ): ये सुधार पदों (augmentation terms) को शामिल करते हैं जो EIF प्रोजेक्शन से प्राप्त होते हैं। $\hat{\psi}^\mu_n$ एक वन-स्टेप एस्टिमेटर है जिसमें उपचार और सेंसिंग दोनों ऑगमेंटेशन टर्म शामिल हैं।
- मॉडिफाइड AIPW एस्टिमेटर्स ( $\hat{\psi}^{\nu, mod}_n$ और $\hat{\psi}^{\mu, mod}_n$ ): ये मानक AIPW एस्टिमेटर्स को संशोधित करते हैं, जिसमें ऑगमेंटेशन टर्म्स के लिए रिग्रेशन कोएफिशिएंट्स (OLS के माध्यम से) का उपयोग किया जाता है। इसका उद्देश्य ऑर्थोगोनैलिटी को मजबूर करना है जब न्युसेंस पैरामीटर एस्टिमेटर्स बायस्ड हों, जिससे दक्षता में सुधार हो सके।
न्युसेंस पैरामीटर अनुमान:
- $\pi$ और $G$ को वर्किंग मॉडल्स (प्रोपेंसिटी स्कोर के लिए लॉजिस्टिक रिग्रेशन और सेंसिंग हैजार्ड्स के लिए कॉक्स मॉडल) का उपयोग करके अनुमानित किया जाता है।
- $Q$ और $\eta$ को कंडीशनिंग सेट के सारांशों के विरुद्ध भारित अवलोकनों (pseudo-outcomes) के रिग्रेशन के माध्यम से अनुमानित किया जाता है।

प्रमुख परिणाम
पाँच एस्टिमेटर्स के प्रदर्शन का मूल्यांकन एक तीन-अवस्था वाले इलनेस-डेथ मॉडल (जिसमें पुनरावृत्ति शामिल है) के माध्यम से एक सिमुलेशन अध्ययन में किया गया था, जहाँ संक्रमण दर बेसलाइन कोवेरिएट्स पर निर्भर थी और सेंसिंग बेसलाइन और समय-निर्भर इतिहास दोनों पर निर्भर थी।

सही विनिर्देश (Correct Specification): जब सभी न्युसेंस पैरामीटर्स को सुसंगत रूप से अनुमानित किया गया, तो सभी एस्टिमेटर्स अनबायस्ड थे। हालांकि, वन-स्टेप एस्टिमेटर ( $\hat{\psi}^\mu_n$ ) ने सबसे कम रूट मीन स्क्वायर एरर (RMSE) प्रदर्शित किया, जो साधारण IPW और आंशिक रूप से ऑगमेंटेड एस्टिमेटर्स की तुलना में इसकी दक्षता लाभ की पुष्टि करता है।
मिसस्पेसिफिकेशन के प्रति मजबूती (Robustness to Misspecification):
- बायस्ड प्रोपेंसिटी स्कोर ( $\pi$ ) या सेंसिंग ( $G$ ): साधारण IPW एस्टिमेटर ने महत्वपूर्ण बायस दिखाया। पूरी तरह से ऑगमेंटेड एस्टिमेटर्स ( $\hat{\psi}^\mu_n$ ) मिसस्पेसिफिकेशन के बावजूद अनबायस्ड रहे, बशर्ते कि अन्य घटक सही ढंग से निर्दिष्ट हों।
- बायस्ड रिग्रेशन टर्म्स ( $Q$ या $\eta$ ): जब रिग्रेशन-आधारित न्युसेंस पैरामीटर्स मिसस्पेसिफाइड थे, तब भी पूरी तरह से ऑगमेंटेड एस्टिमेटर्स अनबायस्ड रहे लेकिन उन्होंने कुछ दक्षता खो दी। मॉडिफाइड एस्टिमेटर्स ( $\hat{\psi}^{\mu, mod}_n$ ) ने विशिष्ट परिदृश्यों में RMSE में मामूली सुधार दिखाया, जो यह सुझाव देता है कि वे ऑगमेंटेशन टर्म्स के बायस के कारण होने वाले दक्षता नुकसान को आंशिक रूप से कम कर सकते हैं।
अभिसरण (Convergence): सिमुलेशन परिणामों ने दक्षता के सैद्धांतिक पदानुक्रम की पुष्टि की: $\hat{\psi}^\mu_n$ (वन-स्टेप) > $\hat{\psi}^\nu_n$ (आंशिक रूप से ऑगमेंटेड) > $\hat{\psi}^0_n$ (IPW)।

महत्व और दावे
यह शोध पत्र दावा करता है कि प्रस्तावित एस्टिमेटर्स पिछले साहित्य में सामान्य तुलनात्मक रूप से कमजोर धारणाओं के तहत मल्टीस्टेट मॉडलों में ऑक्यूपेशन प्रोबेबिलिटी के अनुमान के लिए एक सुदृढ़ और कुशल दृष्टिकोण प्रदान करते हैं।

व्यापकता (Generality): विशिष्ट मॉडलों (जैसे पुनरावृत्ति के बिना इलनेस-डेथ या मार्कोव धारणाओं के तहत कॉम्पिटिंग रिस्क) के लिए तैयार किए गए पिछले तरीकों के विपरीत, ये एस्टिमेटर्स मनमाने संख्या में अवस्थाओं वाले मल्टीस्टेट मॉडलों पर लागू होते हैं और गैर-मार्कोवियन संक्रमणों तथा समय-निर्भर कन्फाउंडिंग की अनुमति देते हैं।
सेंसिंग धारणाओं में ढील: यह ढांचा स्पष्ट रूप से अनुमति देता है कि राइट-सेंसिंग प्रक्रिया के आंतरिक इतिहास पर निर्भर हो सकती है, जो वास्तविक मॉडलिंग (जैसे पुनरावृत्ति के साथ इलनेस-डेथ मॉडल) के लिए आवश्यक है, लेकिन मानक स्वतंत्रता धारणाओं के तहत इसे संभालना कठिन है।
डबल रोबस्टनेस (Double Robustness): वन-स्टेप एस्टिमेटर में डबल रोबस्टनेस गुण हैं; यह तब भी सुसंगत रहता है जब या तो उपचार/सेंसिंग मॉडल ( $\pi, G$ ) या आउटकम रिग्रेशन मॉडल ( $Q, \eta$ ) सही ढंग से निर्दिष्ट होते हैं।
व्यावहारिक उपयोगिता: लेखक नोट करते हैं कि हालांकि वन-स्टेप एस्टिमेटर को प्रत्येक सेंसिंग समय पर जटिल न्युसेंस पैरामीटर्स ( $\eta$ ) का अनुमान लगाने के लिए पर्याप्त नमूना आकार की आवश्यकता होती है, फिर भी यह मध्यम आकार के डेटासेट (जैसे 2,500–9,000 व्यक्ति) के लिए स्थिर रहता है और मॉडल मिसस्पेसिफिकेशन की उपस्थिति में IPW की तुलना में बेहतर प्रदर्शन करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि कोर्सनिंग एट रैंड (CAR) एक मजबूत स्थिति है (जो क्रॉस-वर्ल्ड धारणाओं को दर्शाती है), यह जटिल मिसिंग डेटा संरचनाओं की उपस्थिति में लाइकलीहुड-आधारित अनुमानों को सक्षम करने और सेमी-पैरामेट्रिक मॉडल बनाने के लिए एक आवश्यक उपकरण है। प्रस्तावित विधियाँ वास्तविक दुनिया के मल्टीस्टेट डेटा विश्लेषण के लिए इन सैद्धांतिक प्रगति के व्यावहारिक कार्यान्वयन प्रदान करती हैं।