📊 statistics

Learning Who to Treat When Treatment is Missing

यह शोध पत्र 'मिसिंग एट रैंडम' (MAR) और 'मिसिंग कम्प्लीटली कंडिशनली एट रैंडम' (MCCAR) मान्यताओं के तहत औसत और सशर्त उपचार प्रभावों के लिए कुशल अनुमानकों का विस्तार करके पॉलिसी लर्निंग में लुप्त उपचार डेटा की चुनौती को संबोधित करता है, यह सिद्ध करते हुए कि MAR-आधारित अनुमानक वैध और अधिक कुशल दोनों हैं और प्रयोगों के माध्यम से यह प्रदर्शित करता है कि निकट-ओरेकलल प्रदर्शन प्राप्त करने के लिए लुप्त होने वाले तंत्र को सही ढंग से निर्दिष्ट करना अत्यंत महत्वपूर्ण है।

मूल लेखक: Johnna Sundberg, Rayid Ghani, Eli Ben-Michael, Edward Kennedy

प्रकाशित 2026-07-17

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Johnna Sundberg, Rayid Ghani, Eli Ben-Michael, Edward Kennedy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं जिसके पास ईंधन की सीमित आपूर्ति है, और आपका मिशन अधिक से अधिक ग्रहों को बचाना है। आपके पास एक मानचित्र है जो दिखाता है कि कौन से ग्रह संकट में हैं, लेकिन एक पेंच है: आपके कुछ सेंसर खराब हैं। कभी-कभी, सेंसर बताता है कि एक ग्रह संकट में है; अन्य समय में, यह बस खाली हो जाता है। आपको यह तय करने की आवश्यकता है कि किन ग्रहों पर जाना है ताकि आप सबसे अधिक "बचाए गए" अंक प्राप्त कर सकें। यह पॉलिसी लर्निंग (policy learning) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ एल्गोरिदम मनुष्यों को तब सर्वोत्तम निर्णय लेने में मदद करते हैं जब संसाधन कम होते हैं। ऐसा करने के लिए, कंप्यूटर को "ट्रीटमेंट इफेक्ट" (treatment effect) जानने की आवश्यकता होती है—मूल रूप से, यदि आप किसी ग्रह पर जाते हैं तो वह कितना बेहतर होता है बनाम यदि आप उसे अनदेखा कर देते हैं। लेकिन क्या होता है जब आपका डेटा अव्यवस्थित होता है? क्या होगा यदि सेंसर केवल यादृच्छिक रूप से (randomly) विफल नहीं हुआ, बल्कि अधिक बार विफल हुआ जब कोई ग्रह पहले से ही बहुत बुरी स्थिति में था (या बहुत अच्छी स्थिति में था)? यदि आप उन ग्रहों को अनदेखा कर देते हैं जिनके सेंसर खराब थे, तो आप उन ग्रहों को चूक सकते हैं जिन्हें मदद की सबसे अधिक आवश्यकता थी, जिससे मिशन विफल हो सकता है। यह शोध पत्र इस पेचीदा समस्या से निपटता है कि जब आपका डेटा अधूरा या गायब हो जब आपको पता न हो कि किसे "उपचार" (treatment) मिला है।

इस शोध पत्र के लेखक, कार्नेगी मेलन यूनिवर्सिटी के शोधकर्ता, एक बहुत ही विशिष्ट सिरदर्द का समाधान कर रहे हैं: आप क्या करते हैं जब आपको यह नहीं पता होता कि किसी व्यक्ति को उपचार (जैसे कि दवा या सामाजिक कार्यक्रम) मिला है या नहीं क्योंकि रिकॉर्ड गायब है? कई वास्तविक दुनिया की स्थितियों में, जैसे स्वास्थ्य सेवा या सामाजिक सेवाओं में, डेटा आदर्श नहीं होता है। कभी-कभी, रिकॉर्ड खो जाते हैं, या लोग फॉर्म भरना भूल जाते हैं। यह शोध पत्र दो मुख्य तरीकों को देखता है जिनसे यह डेटा गायब हो सकता है। पहला एक टूटे हुए कैमरे की तरह है जो चित्रों को पूरी तरह से यादृच्छिक रूप से मिस करता है; दूसरा अधिक चालाकी भरा है: कैमरा विशेष रूप से तब चित्र मिस करता है जब दृश्य अराजक होता है या जब विषय कुछ विशिष्ट कर रहा होता है।

शोधकर्ताओं ने पाया कि "चालाकी भरा" गायब होना वास्तव में अधिक सामान्य और खतरनाक परिदृश्य है। उन्होंने गणितीय रूप से सिद्ध किया कि यदि आप उस डेटा को बस फेंक देते हैं जहाँ उपचार गायब है (एक सामान्य आदत जिसे "कम्प्लीट-केस एनालिसिस" कहा जाता है), तो आप मूल्यवान जानकारी को हाथ से जाने दे रहे हैं। इसके बजाय, उन्होंने एक नई विधि विकसित की जो एक जासूस की तरह कार्य करती है, उन लोगों से सुराग लेती है जिनका डेटा पूर्ण है, ताकि यह अनुमान लगाया जा सके कि उन लोगों के साथ क्या हुआ होगा जिनका डेटा गायब है। उन्होंने दिखाया कि उनकी विधि, जो यह मानती है कि गायब होना उस पर निर्भर करता है जिसे हम देख सकते हैं (जैसे कि किसी व्यक्ति की आयु या आय), न केवल सुरक्षित है बल्कि अधिक कुशल भी है। यह आपके पास मौजूद हर एक जानकारी का उपयोग करने की सुपरपावर होने जैसा है, बजाय इसके कि आप अपने पहेली के आधे टुकड़ों को कचरे में फेंक दें क्योंकि उन पर बनी तस्वीर धुंधली है।

कंप्यूटर सिमुलेशन और वास्तविक दुनिया के डेटासेट (जैसे मतदान रिकॉर्ड और स्कूल के टेस्ट स्कोर) की एक श्रृंखला के माध्यम से, टीम ने प्रदर्शित किया कि उनका दृष्टिकोण काम करता है। जब गायब डेटा वास्तव में यादृच्छिक था, तो उनकी विधि पुराने तरीके की तरह ही अच्छा प्रदर्शन करती थी। लेकिन जब गायब डेटा परिणाम से संबंधित था ("चालाकी वाला" प्रकार), तो पुराना तरीका विफल रहा, जिससे पक्षपाती और गलत उत्तर मिले, जबकि उनकी नई विधि सटीक बनी रही। उन्होंने यह भी दिखाया कि जैसे-जैसे आप अधिक डेटा जोड़ते हैं, उनकी विधि बेहतर और अधिक सटीक होती जाती है, और अंततः एक "लगभग पूर्ण" स्तर के प्रदर्शन तक पहुँच जाती है। मूल बात यह है कि जो कोई भी सीमित संसाधनों के साथ किसे मदद देनी है, इसका निर्णय लेने की कोशिश कर रहा है, उसके लिए गायब डेटा को अनदेखा करना एक बुरा विचार है। उनके नए उपकरणों का उपयोग करके, नीति निर्माता स्मार्ट और निष्पक्ष विकल्प बना सकते हैं, भले ही उनके रिकॉर्ड अपूर्ण हों।

तकनीकी सारांश: उपचार गायब होने पर यह सीखना कि किसका उपचार करना है

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र बजट बाधाओं ( $\kappa$ ) के तहत इष्टतम उपचार आवंटन नीतियों ( $d: \mathcal{X} \to \{0, 1\}$ ) को सीखने की चुनौती को संबोधित करता है, जब जनसंख्या के एक हिस्से के लिए उपचार असाइनमेंट डेटा ( $A$ ) गायब होता है। इसका उद्देश्य $V(d) = E[Y(d(X))]$ द्वारा अपेक्षित उपयोगिता (expected utility) को अधिकतम करना है, जिसके लिए उन व्यक्तियों की पहचान की जाती है जिनमें उच्चतम कंडीशनल एवरेज ट्रीटमेंट इफेक्ट (CATE), $\tau(X) = E[Y(1) - Y(0) | X]$ होता है।

मानक पॉलिसी लर्निंग विधियाँ पूर्ण डेटा (complete data) मानकर चलती हैं। हालाँकि, ऑब्जर्वेशनल अध्ययनों (जैसे, स्वास्थ्य सेवा, सामाजिक सेवाएँ) में, अधूरे रिकॉर्ड, माप त्रुटियों या डेटा एकीकरण संबंधी समस्याओं के कारण उपचार रिकॉर्ड अक्सर गायब होते हैं। शोध पत्र दो 'मिसिंगनेस' तंत्रों (missingness mechanisms) के बीच अंतर करता है:

मिसिंग कम्प्लीटली कंडिशनली एट रैंडम (MCCAR): गायब होना ( $R=0$ ) केवल देखे गए कोवेरिएट्स $X$ पर निर्भर करता है। औपचारिक रूप से, $R \perp\!\!\!\perp (A, Y) \mid X$ ।
मिसिंग एट रैंडम (MAR): गायब होना देखे गए कोवेरिएट्स $X$ और देखे गए परिणामों $Y$ पर निर्भर करता है। औपचारिक रूप से, $R \perp\!\!\!\perp A \mid (X, Y)$ ।

MCCAR के तहत, मानक 'कम्प्लीट-केस एनालिसिस' (जिन इकाइयों का उपचार गायब है उन्हें हटा देना) वैध है लेकिन संभावित रूप से अक्षम (inefficient) है। MAR के तहत, 'कम्प्लीट-केस एनालिसिस' पक्षपाती (biased) होता है क्योंकि मिसिंगनेस तंत्र परिणाम से संबंधित होता है, जो इस धारणा का उल्लंघन करता है कि मिसिंगनेस को देखे गए कोवेरिएट्स के दिए जाने पर संभावित परिणामों से स्वतंत्र होना चाहिए। यह शोध पत्र इन दो सेटिंग्स तक ही सीमित रहता है, और 'मिसिंग नॉट एट रैंडम' (MNAR) परिदृश्यों को बाहर रखता है जहाँ मिसिंगनेस अनदेखे कारकों पर निर्भर करती है।

कार्यप्रणाली (Methodology)

लेखक एफिशिएंट इन्फ्लुएंस फंक्शन (IF) विधियों का विस्तार करते हैं, जिन्हें मूल रूप से MAR के तहत एवरेज ट्रीटमेंट इफेक्ट (ATE) अनुमान के लिए विकसित किया गया था, अब पॉलिसी वैल्यू अनुमान और CATE अनुमान की समस्याओं के लिए किया गया है।

1. पहचान रणनीतियाँ (Identification Strategies)

शोध पत्र दो पहचान रणनीतियाँ प्रस्तावित करता है जो मिसिंगनेस धारणाओं पर आधारित हैं:

रणनीति एक (MAR-आधारित): यह दोनों MCCAR और MAR के तहत वैध है। यह देखे गए परिणामों को रीवेट (reweight) करके सभी उपलब्ध डेटा (आंशिक रूप से देखे गए इकाइयों सहित) का उपयोग करती है। पॉलिसी वैल्यू को इस प्रकार पहचाना जाता है:
$V(d) = E\left[\frac{\beta_d(X)}{\gamma_d(X)}\right]$
जहाँ $\beta_d(X) = E[Y \lambda_d(X, Y) \mid X]$ और $\gamma_d(X) = E[\lambda_d(X, Y) \mid X]$ है। यहाँ $\lambda_d(X, Y) = P(A=d(X) \mid X, Y, R=1)$ प्रोपेंसिटी स्कोर है जो परिणामों पर आधारित है, और $\pi(X, Y) = P(R=1 \mid X, Y)$ उपचार को देखने की प्रायिकता है।
रणनीति दो (MCCAR-आधारित): यह केवल MCCAR के तहत वैध है। यह केवल देखे गए उपचारों वाली इकाइयों का उपयोग करने वाला एक 'कम्प्लीट-केस एस्टिमेटर' है:
$V(d) = E[\nu_d(X)]$
जहाँ $\nu_d(X) = E[Y \mid X, A=d(X), R=1]$ है।

2. कुशल अनुमानक (Efficient Estimators)

लेखक सेमीपैरामेट्रिक एफिशिएंसी बाउंड्स प्राप्त करने के लिए इन्फ्लुएंस फंक्शन्स (IFs) का उपयोग करके बायस-करेक्टेड, डबलली रोबस्ट अनुमानक (doubly robust estimators) व्युत्पन्न करते हैं।

MCCAR एस्टिमेटर ( $\hat{\Phi}_{MCCAR}$ ): यह IF $\phi_{MCCCARS}$ पर आधारित है, जो न्यूसेंस फंक्शन्स $\eta_d(X) = P(A=d(X), R=1 \mid X)$ और $\nu_d(X)$ पर निर्भर करता है। यह सुसंगत (consistent) है यदि $\hat{\eta}_d$ या $\hat{\nu}_d$ में से कोई भी सही ढंग से निर्दिष्ट (specified) हो।
MAR एस्टिमेटर ( $\hat{\Psi}_{MAR}$ ): यह IF $\phi_{MAR}$ पर आधारित है, जो पूरे सैंपल का लाभ उठाता है। इसके लिए न्यूसेंस फंक्शन्स $\pi(X, Y)$ , $\lambda_d(X, Y)$ , $\beta_d(X)$ , और $\gamma_d(X)$ के सुसंगत अनुमान की आवश्यकता होती है। महत्वपूर्ण रूप से, इसे $\lambda_d$ या $\pi$ के साथ-साथ $\gamma_d$ (परिणाम कंडीशनिंग के बिना प्रोपेंसिटी स्कोर) के सुसंगत अनुमान की भी आवश्यकता होती है।

3. पॉलिसी लर्निंग (CATE अनुमान)

इष्टतम नीति सीखने के लिए, लेखक DR-Learner फ्रेमवर्क का उपयोग करते हैं। वे उपचार ( $A=1$ ) और कंट्रोल ( $A=0$ ) के लिए MAR या MCCAR वैल्यू फंक्शन एस्टिमेटर्स के बीच के अंतर के आधार पर स्यूडो-आउटकम्स (pseudo-outcomes) का निर्माण करते हैं:

$\tilde{\phi}_{MAR} = \hat{\phi}_{MAR}(1) - \hat{\phi}_{MAR}(0)$
$\tilde{\phi}_{MCC_CAR} = \hat{\phi}_{MCC_CAR}(1) - \hat{\phi}_{MCC_CAR}(0)$

इन स्यूडो-आउटकम्स को जेनेरिक मशीन लर्निंग विधियों (जैसे, रैंडम फॉरेस्ट) का उपयोग करके कोवेरिएट्स $X$ पर रिग्रेस किया जाता है ताकि $\tau(X)$ का अनुमान लगाया जा सके। इष्टतम नीति तब निर्धारित की जाती है जहाँ अनुमानित CATE बजट बाधा द्वारा निर्धारित थ्रेशोल्ड से अधिक होता है।

मुख्य योगदान (Key Contributions)

कुशल अनुमानकों का विस्तार: लेखक ATE अनुमान से पॉलिसी वैल्यू और CATE अनुमान तक एफिशिएंट इन्फ्लुएंस फंक्शन विधियों का विस्तार करते हैं, जो MAR और MCCAR दोनों धारणाओं के तहत काम करती हैं।
सैद्धांतिक दक्षता प्रमाण: शोध पत्र सिद्ध करता है कि जब दोनों वैध हों (अर्थात, MCCAR धारणाओं के तहत), तो MAR-आधारित एस्टिमेटर, MCCAR (कम्प्लीट-केस) एस्टिमेटर की तुलना में एसिम्प्टोटिक रूप से अधिक कुशल है। यह MCCAR-आधारित विधियों के बजाय MAR-आधारित विधियों को प्राथमिकता देने के लिए एक औपचारिक औचित्य प्रदान करता है, क्योंकि MAR एस्टिमेटर आंशिक रूप से देखे गए इकाइयों का उपयोग करके वेरिएंस को कम करता है।
मिसस्पेसिफिकेशन के प्रति मजबूती (Robustness): प्रस्तावित अनुमानकों में डबल रोबस्टनेस गुण होते हैं। MAR एस्टिमेटर सुसंगत रहता है यदि या तो आउटकम मॉडल ( $\lambda_d$ ) या मिसिंगनेस मॉडल ( $\pi$ ) सही ढंग से निर्दिष्ट है, बशर्ते कि प्रोपेंसिटी स्कोर ( $\gamma_d$ ) का सुसंगत अनुमान प्राप्त हो।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक और सेमी-सिंथेटिक डेटासेट (Voting और STAR) पर व्यापक प्रयोग दर्शाते हैं कि मिसिंगनेस मैकेनिज्म को सही ढंग से निर्दिष्ट करना अत्यंत महत्वपूर्ण है। मिसस्पेसिफाइड एस्टिमेटर्स सैंपल साइज बढ़ने के बावजूद पक्षपाती रहते हैं, जबकि प्रस्तावित MAR एस्टिमेटर्स शर्तें पूरी होने पर 'ओरेकल' प्रदर्शन के करीब पहुँच जाते हैं।

परिणाम (Results)

सिंथेटिक प्रयोग:
- अभिसरण (Convergence): MAR सेटिंग्स में, MCC_CAR एस्टिमेटर बड़े सैंपल साइज के साथ भी निरंतर पक्षपात (persistent bias) प्रदर्शित करता है, जबकि MAR एस्टिमेटर ओरेकल की ओर अभिसरित होता है। MCCAR सेटिंग्स में, दोनों एस्टिमेटर्स निष्पक्ष (unbiased) हैं, लेकिन MAR एस्टिमेटर थोड़ा तेज़ अभिसरण दर प्राप्त करता है।
- मजबूती (Robustness): MAR एस्टिमेटर या तो ट्रीटमेंट प्रोपेंसिटी या मिसिंगनेस मैकेनिज्म के मिसस्पेसिफिकेशन के प्रति मजबूत है, लेकिन दोनों एक साथ नहीं।
- दक्षता लाभ (Efficiency Gains): सैद्धांतिक विश्लेषण और सिमुलेशन पुष्टि करते हैं कि MCCAR एस्टिमेटर पर MAR एस्टिमेटर का एसिम्प्टोटिक रिलेटिव एफिशिएंसी (ARE), ऑगमेंटेड प्रोपेंसिटी स्कोर, मिसिंगनेस रेट और उनके बीच के सहसंबंध के साथ बढ़ता है।
सेमी-सिंथेटिक प्रयोग:
- रैंडमाइज्ड ट्रायल्स (Voting और STAR) से वास्तविक डेटा का उपयोग करते हुए, जहाँ कृत्रिम रूप से मिसिंगनेस उत्पन्न की गई थी, MAR-आधारित एस्टिमेटर्स (DR-DR) ने MAR सेटिंग्स में कम्प्लीट-केस विधियों और अन्य बेसलाइन्स (IPW, Outcome Regression, MTRNET) को लगातार पछाड़ दिया, विशेष रूप से जब उपचार डेटा गंभीर रूप से सीमित (10-30% देखा गया) था।
- MCCAR सेटिंग्स में, अधिकांश विधियों ने समान प्रदर्शन किया, हालांकि MAR-आधारित दृष्टिकोण प्रतिस्पर्धी बना रहा।
- परिणाम रेखांकित करते हैं कि अधूरे अवलोकनों को छोड़ देना (कम्प्लीट-केस एनालिसिस) तब उप-इष्टतम (suboptimal) नीतियां लेकर आता है जब मिसिंगनेस परिणामों पर निर्भर करती है।

महत्व और दावे (Significance and Claims)

शोध पत्र तर्क देता है कि कम्प्लीट-केस एनालिसिस कुशल विकल्प नहीं है, भले ही कम्प्लीट-केस धारणाएं (MCCAR) मान्य हों। लेखक दावा करते हैं कि MAR-आधारित एस्टिमेटर्स सैद्धांतिक रूप से बेहतर हैं क्योंकि वे:

आंशिक रूप से देखे गए इकाइयों का लाभ उठाकर कम एसिम्प्टोटिक वेरिएंस प्राप्त करते हैं।
MCCAR एस्टिमेटर्स की तुलना में कम पहचानने योग्य धारणाओं (identifying assumptions) की आवश्यकता होती है (क्योंकि MCCER, MAR का एक विशेष मामला है)।
एक मजबूत, नॉनपैरामेट्रिक फ्रेमवर्क प्रदान करते हैं जो उस पक्षपात (bias) से बचता है जो तब होता है जब मिसिंगनेस आउटकम-डिपेंडेंट होती है और डेटा को हटा दिया जाता है।

लेखक निष्कर्ष निकालते हैं कि व्यवहार में, जहाँ मिसिंगनेस मैकेनिज्म अनिश्चित होता है, MAR-आधारित अनुमान को अपनाना एक विवेकपूर्ण रणनीति है। MAR धारणाओं के तहत MCCAR एस्टिमेटर्स का उपयोग करने से निरंतर पक्षपात होता है, जबकि MCCAR धारणाओं के तहत MAR एस्टिमेटर्स का उपयोग करने से उच्च दक्षता मिलती है। यह विषमता (asymmetry) उपचार के गायब डेटा की उपस्थिति में मजबूत पॉलिसी लर्निंग के लिए MAR-आधारित विधियों को अपनाने की सिफारिश को पुख्ता करती है।