📊 statistics

Doubly robust estimation with functional outcomes missing at random

यह शोध पत्र 'मिसिंग-एट-रैंडम' (missing-at-random) स्थितियों के तहत कार्यात्मक परिणामों (functional outcomes) के माध्य के लिए अर्ध-पैरामीट्रिक, दोहरी सुदृढ़ (doubly robust) अनुमानकों का प्रस्ताव और विश्लेषण करता है, जो निरंतर कवरेज के साथ साहचर्य रूप से गारंटीकृत बैंडों के निर्माण को सक्षम करने के लिए उनके गॉसियन सीमांत वितरणों (Gaussian limiting distributions) को स्थापित करता है।

मूल लेखक: Xijia Liu, Kreske Felix Ecker, Lina Schelin, Xavier de Luna

प्रकाशित 2026-02-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xijia Liu, Kreske Felix Ecker, Lina Schelin, Xavier de Luna

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी देश के "आय परिदृश्य" (income landscape) का एक सटीक मानचित्र बनाने की कोशिश कर रहे हैं, जो व्यक्ति के पूरे जीवन का हो। आप 21 से 63 वर्ष की आयु तक की कमाई के औसत पथ (average path) को जानना चाहते हैं। यह केवल एक संख्या (जैसे "औसत वेतन") नहीं है, बल्कि एक वक्र (curve) है जो यह दिखाता है कि आय समय के साथ कैसे बढ़ती है, स्थिर होती है या गिरती है।

हालाँकि, आपके पास एक समस्या है: लुप्त डेटा (Missing Data)।

आपके सर्वेक्षण में कुछ लोगों ने उत्तर नहीं दिया, या वे अध्ययन से बाहर हो गए। इसलिए, कुछ लोगों के पास एक पूर्ण मानचित्र है, लेकिन दूसरों के लिए, आपके पास केवल कुछ बिखरे हुए बिंदु हैं, या कुछ भी नहीं है। यदि आप केवल उन लोगों का उपयोग करके मानचित्र बनाते हैं जो अध्ययन में बने रहे, तो आपका मानचित्र गलत (पक्षपाती/biased) होगा क्योंकि जो लोग छोड़कर गए, उनका आय पथ बहुत अलग हो सकता था।

यह शोध पत्र इस मानचित्र को ठीक करने का एक चतुर नया तरीका पेश करता है, भले ही डेटा गायब हो, जिसे डबली रोबस्ट एस्टीमेशन (Doubly Robust Estimation) नामक विधि कहा जाता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. दो "अनुमान लगाने" की रणनीतियाँ

लुप्त हिस्सों को भरने के लिए, सांख्यिकीविद् आमतौर पर दो अलग-अलग दृष्टिकोणों का प्रयास करते हैं। लेखक इन दोनों को एक "सुपर-मेथड" में मिलाते हैं।

रणनीति A: "पैटर्न मैचर" (आउटकम रिग्रेशन - Outcome Regression)
कल्पना कीजिए कि आप उन लोगों को देखते हैं जो अध्ययन में बने रहे और कहते हैं, "ठीक है, कॉलेज की डिग्री और दो बच्चों वाले लोगों की आय इतनी होती है।" आप उनके बैकग्राउंड (covariates) के आधार पर एक मॉडल बनाते हैं ताकि यह अनुमान लगाया जा सके कि लापता लोगों की आय क्या होती।
- जोखिम: यदि आपका पैटर्न मिलान गलत है (उदाहरण के लिए, आप यह ध्यान में रखना भूल गए कि वे "बड़े शहर में रहते थे"), तो आपका पूरा मानचित्र विकृत हो जाएगा।
रणनीति B: "वेटेड स्केल" (इनवर्स प्रोबेबिलिटी वेटिंग - Inverse Probability Weighting)
कल्पना कीजिए कि आप देखते हैं कि कौन अध्ययन से बाहर हो गया। आप कहते हैं, "कम शिक्षा वाले लोग अध्ययन छोड़ने के लिए अधिक प्रवृत्त थे।" इसलिए, आप शेष बचे कम-शिक्षा वाले लोगों को अपने गणना में एक "भारी वजन" (heavier weight) देते हैं ताकि वे सभी लापता लोगों का प्रतिनिधित्व कर सकें।
- जोखिम: यदि आपके इस अनुमान के बारे में गलत है कि लोग क्यों छोड़कर गए, तो वजन (weights) गलत होंगे, और मानचित्र फिर भी विकृत रहेगा।

2. "डबली रोबस्ट" सुरक्षा जाल (The "Double Robust" Safety Net)

यही इस शोध पत्र का जादू है। लेखकों ने एक ऐसा तरीका बनाया है जो इन दोनों रणनीतियों का एक साथ उपयोग करता है।

इसे एक दो-इंजन वाले हवाई जहाज की तरह सोचें।

यदि पहला इंजन (पैटर्न मैचर) खराब हो जाता है, तो दूसरा इंजन (वेटेड स्केल) विमान को उड़ता रखता है।
यदि दूसरा इंजन खराब हो जाता है, तो पहला इंजन उसे उड़ता रखता है।
"डबली रोबस्ट" गारंटी: जब तक आपके दो अनुमान लगाने वाले मॉडलों में से कम से कम एक सही है, आपका अंतिम मानचित्र सटीक होगा। आपको दोनों को सही करने के लिए जीनियस होने की आवश्यकता नहीं है; आपको बस एक को सही करने की आवश्यकता है।

3. "फंक्शनल" ट्विस्ट (एक चलती-फिरती तस्वीर)

अधिकांश पुराने तरीके आय को एक एकल स्नैपशॉट (जैसे, "2020 में आपकी आय क्या थी?") के रूप में देखते हैं। लेकिन यह शोध पत्र फंक्शनल डेटा (Functional Data) से संबंधित है।

इसे इस प्रकार सोचें:

पुराना तरीका: फिनिश लाइन पर एक धावक की फोटो लेना।
यह शोध पत्र: पूरी दौड़ को एक निरंतर वीडियो के रूप में फिल्माना।

"आउटकम" केवल एक बिंदु नहीं है; यह एक सुचारू, बहती हुई रेखा है। लेखकों को इन पूरे "वीडियो" पर अपना "डबली रोबस्ट" सुरक्षा जाल लागू करने का तरीका विकसित करना पड़ा, न कि केवल एकल बिंदुओं पर। उन्होंने गणितीय रूप से सिद्ध किया कि लुप्त वीडियो के बावजूद, उनकी विधि एक सुचारू, विश्वसनीय औसत वीडियो तैयार करती है।

4. "सेफ्टी ज़ोन" (कॉन्फिडेंस बैंड्स - Confidence Bands)

एक बार जब आपके पास औसत आय वक्र आ जाता है, तो आप कितने आश्वस्त हैं कि यह सही है?

लेखक सिमल्टेनियस कॉन्फिडेंस बैंड्स (Simultaneous Confidence Bands) प्रदान करते हैं।

कल्पना कीजिए कि आप अपने औसत आय रेखा के चारों ओर एक "धुंधला क्षेत्र" या "गलियारा" (corridor) बना रहे हैं।
पॉइंटवाइज कॉन्फिडेंस (Pointwise Confidence): यह केवल एक विशिष्ट वर्ष (जैसे, आयु 40) के लिए गलियारे की चौड़ाई की जांच करने जैसा है। यह उस वर्ष के लिए संकीर्ण और सटीक है।
सिमल्टेनियस कॉन्फिडेंस (Simultaneous Confidence): यह एक साथ प्रत्येक वर्ष (जैसे, आयु 21 से 63 तक) के लिए गलियारे की चौड़ाई की जांच करने जैसा है। क्योंकि आप पूरी समयरेखा की जांच कर रहे हैं, इसलिए गलियारा चौड़ा होना चाहिए ताकि आप कहीं भी अनजाने में वास्तविक रेखा को मिस न कर दें।

शोध पत्र यह सिद्ध करता है कि उनका तरीका एक ऐसा गलियारा बनाता है जो गणितीय रूप से गारंटी देता है कि वह 95% बार वास्तविक औसत आय पथ को पकड़ लेगा, चाहे आप समयरेखा पर कहीं भी देखें।

5. वास्तविक दुनिया का उदाहरण: स्वीडिश कोहोर्ट (The Swedish Cohort)

लेखकों ने इसका परीक्षण वास्तविक डेटा पर किया: 1954 में जन्मे 54,000 स्वीडिश लोग।

प्रश्न: "यदि सभी ने 20 वर्ष की आयु में एक बड़े शहर (जैसे स्टॉकहोम) में रहने का निर्णय लिया होता, तो औसत आय का पथ कैसा होता?"
समस्या: हम केवल उन लोगों की वास्तविक आय जानते हैं जो वास्तव में बड़े शहरों में रहे। उन लोगों के लिए जो छोटे कस्बों में रहे, हमें अनुमान लगाना होगा कि उनका जीवन कैसा होता यदि वे वहां से चले गए होते।
परिणाम: अपने "डबली रोबस्ट" तरीके का उपयोग करते हुए, उन्होंने पाया कि यदि सभी बड़े शहर में रहते, तो आय वक्र "नाइव" (naive) अनुमान (जो केवल बड़े शहर के डेटा को देखता है) से भिन्न होता। नाइव अनुमान शुरुआती आय को बढ़ा-चढ़ाकर बताता है लेकिन जीवन के बाद के चरणों में इसे कम आंकता है।

सारांश

यह शोध पत्र उन सांख्यिकीविदों के लिए एक टूलकिट है जिन्हें लुप्त डेटा होने पर भी सुचारू, निरंतर वक्र (जैसे समय के साथ आय) बनाने की आवश्यकता होती है।

यह लुप्त डेटा का अनुमान लगाने के दो अलग-अलग तरीकों को जोड़ता है ताकि यदि एक विफल हो जाए, तो दूसरा काम आ सके (डबली रोबस्ट)।
यह डेटा को एकल स्नैपशॉट के बजाय एक निरंतर प्रवाह (वीडियो) के रूप में संभालता है।
यह परिणाम के चारों ओर एक "सुरक्षा गलियारा" बनाता है, यह गारंटी देते हुए कि वास्तविक उत्तर रेखाओं के भीतर है, भले ही आप पूरी समयरेखा को एक साथ देख रहे हों।

यह एक नदी पर पुल बनाने जैसा है जहाँ कुछ तख्ते गायब हैं: आप यह सुनिश्चित करने के लिए दो अलग-अलग निर्माण तकनीकों का उपयोग करते हैं कि पुल टिका रहे, भले ही आपके एक ब्लूप्रिंट में थोड़ी त्रुटि हो।

यहाँ Liu et al. के शोध पत्र "Doubly robust estimation with functional outcomes missing at random" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र फंक्शनल आउटकम्स के माध्य (mean of functional outcomes) (जो $L^2([0, 1], \mathbb{R})$ में यादृच्छिक तत्व हैं) के अनुमान की सांख्यिकीय चुनौती को संबोधित करता है, जब डेटा रैंडमली मिसिंग (Missing at Random - MAR) हो।

संदर्भ: कई अध्ययनों में (जैसे, जीवनकालीन आय प्रक्षेपवक्र (lifetime income trajectories), मानव गति विश्लेषण), परिणाम एक अदिश (scalar) के बजाय एक निरंतर वक्र (continuous curve) होता है। हालाँकि, कुछ इकाइयों के लिए, गैर-प्रतिक्रिया (non-response), ड्रॉप-आउट, या कारण अनुमान (causal inference) में प्रति-तथ्यात्मक (counterfactual) परिदृश्यों के कारण पूरा वक्र गायब हो सकता है।
मान्यता: लुप्त होने की प्रक्रिया (missingness mechanism) केवल प्रेक्षित आधारभूत सह-चरों (observed baseline covariates $X$ ) पर निर्भर करती है, जो MAR मान्यता को संतुष्ट करती है: $Pr(Z=1|X, Y) = Pr(Z=1|X) $, जहाँ$ Z$ अवलोकन का संकेतक है।
अंतराल (Gap): जबकि स्केलर परिणामों के लिए अर्ध-पैरामीट्रिक अनुमानक (Outcome Regression और Doubly Robust) अच्छी तरह से स्थापित हैं, कार्यात्मक डेटा (functional data) के लिए उनका विस्तार अभी भी अपूर्ण है। खंडित कार्यात्मक डेटा (fragmented functional data) पर मौजूदा साहित्य आमतौर पर केवल प्रेक्षित वक्रों का उपयोग करके वक्र के गायब हिस्सों के पुनर्निर्माण पर ध्यान केंद्रित करता है, सह-चरों (covariates) की अनदेखी करता है। यह शोध पत्र पूरे गायब फंक्शन के माध्य का अनुमान लगाने के लिए सह-चर जानकारी का उपयोग करके इस अंतराल को भरता है।

2. कार्यप्रणाली (Methodology)

2.1 मॉडल सेटअप (Model Setup)

लेखक सह-चरों $x_i$ के दिए होने पर कार्यात्मक परिणाम $Y_i$ के लिए एक वर्किंग मॉडल को परिभाषित करते हैं:
$Y_i = x_i^\top \beta + \epsilon_i$
जहाँ $\beta$ $L^2$ में गैर-स्टोकेस्टिक फलनों का एक वेक्टर है, और $\epsilon_i$ शून्य-माध्य (zero-mean) यादृच्छिक तत्व है जिसका सह-प्रसरण फलन (covariance function) $\sigma_\epsilon$ है।
लुप्त होने की संभावना को लॉजिस्टिक रिग्रेशन के माध्यम से मॉडल किया जाता है:
$Pr(Z_i=1|x_i) = \tau(x_i^\top \gamma) = (1 + e^{-x_i^\top \gamma})^{-1}$

2.2 अनुमानक (Estimators)

कार्यात्मक माध्य $\mu_y = E(Y)$ के लिए दो अर्ध-पैरामीट्रिक अनुमानक प्रस्तावित किए गए हैं:

आउटकम रिग्रेशन (OR) अनुमानक:
केवल आउटकम मॉडल (1) पर आधारित। यह रिग्रेशन प्रेडिक्शन का उपयोग करके लुप्त परिणामों को प्रतिस्थापित (impute) करता है:
$\hat{\mu}_{OR} = n^{-1} \sum_{i=1}^n x_i^\top \hat{\beta}$
जहाँ $\hat{\beta}$ कार्यात्मक लीस्ट स्क्वायर्स (functional least squares) अनुमानक है।
डबली रोबस्ट (DR) अनुमानक:
यह आउटकम मॉडल और प्रोपेंसिटी स्कोर मॉडल (2) को जोड़ता है। यह अवशेषों (residuals) के लिए इनवर्स प्रोबेबिलिटी वेटिंग का उपयोग करके OR अनुमानक को ठीक करता है:
$\hat{\mu}_{DR} = n^{-1} \sum_{i=1}^n \left( x_i^\top \hat{\beta} + \frac{Z_i}{\tau(x_i^\top \hat{\gamma})} (Y_i - x_i^\top \hat{\beta}) \right)$
जहाँ $\hat{\gamma}$ लुप्त होने वाले मॉडल के लिए MLE है।

2.3 एसिम्प्टोटिक थ्योरी (Asymptotic Theory)

मुख्य सैद्धांतिक योगदान यह स्थापित करना है कि इन अनुमानकों का सीमित वितरण (limiting distribution) गौसियन प्रोसेस (Gaussian Processes - GPs) के रूप में कैसे होता है।

रणनीति: लेखक प्रोहोरोव के प्रमेय (Prohorov's Theorem) पर आधारित दो-चरणीय दृष्टिकोण का उपयोग करते हैं:
1. परिमित-आयामी अभिसरण (Finite-dimensional convergence): वे डोमेन $[0,1]$ को $T$ बिंदुओं में विभाजित करते हैं, यह दिखाते हुए कि परिणामी बहुभिन्नरूपी (multivariate) अनुमानक एक बहुभिन्नरूपी सामान्य वितरण की ओर अभिसरित होते हैं। वे स्पष्ट रूप से इन परिमित-आयामी वेक्टर्स के लिए एसिम्प्टोटिक कोवेरिएंस मैट्रिसेस को व्युत्पन्न करते हैं।
2. टाइटनेस (Tightness): वे अनंत-आयामी कार्यात्मक सेटिंग में संभाव्यता मापों (probability measures) के अनुक्रम की टाइटनेस को सिद्ध करते हैं ताकि परिमित-आयामी परिणामों को विस्तारित किया जा सके।
मुख्य परिणाम: स्केल्ड एरर $\sqrt{n}(\hat{\mu} - \mu_y)$ शून्य माध्य और एक विशिष्ट कोवेरिएंस फंक्शन के साथ एक गौसियन प्रोसेस की ओर अभिसरित होता है।

3. मुख्य योगदान (Key Contributions)

कार्यात्मक अनुमानकों के लिए सीमित वितरण: यह शोध पत्र कार्यात्मक डेटा संदर्भ में दोनों आउटकम रिग्रेशन और DR अनुमानकों के लिए स्पष्ट एसिम्प्टोटिक कोवेरिएंस फंक्शन्स का पहला लक्षण वर्णन प्रदान करता है।
कार्यात्मक परिवेश में डबली रोबस्टनेस: यह सिद्ध करता है कि कार्यात्मक DR अनुमानक "डबली रोबस्ट" गुण को बनाए रखता है: अनुमानक सुसंगत (consistent) और एसिम्प्टोटिक रूप से सामान्य (GP की ओर अभिसरित) है यदि या तो आउटकम रिग्रेशन मॉडल या लुप्त होने वाले तंत्र (missingness mechanism) का मॉडल सही ढंग से निर्दिष्ट किया गया हो।
सिमल्टेनियस कॉन्फिडेंस बैंड्स (SCB): व्युत्पन्न गौसियन प्रोसेस लिमिट्स का लाभ उठाते हुए, लेखक पूरे माध्य फलन के लिए सिमल्टेनियस कॉन्फिडेंस बैंड्स का निर्माण करते हैं। पॉइंटवाइज इंटरवल्स के विपरीत, ये बैंड्स पूरे डोमेन $[0,1]$ पर एक निर्दिष्ट कॉन्फिडेंस लेवल (जैसे 95%) के साथ कवरेज की गारंटी देते हैं। वे एडेप्टिव क्रिटिकल वैल्यू फंक्शन्स को कंप्यूट करने के लिए "फास्ट एंड फेयर" (Liebl & Reimherr, 2023) पद्धति का उपयोग करते हैं।
कारण अनुमान (Causal Inference) अनुप्रयोग: इस ढांचे को एक प्रति-तथ्यात्मक प्रश्न पर लागू किया गया है: यदि सभी लोग बड़े श्रम बाजारों (large labor markets) में रहते, तो उनके जीवनकालीन आय प्रक्षेपवक्र का अनुमान लगाना।

4. परिणाम (Results)

4.1 मोंटे कार्लो सिमुलेशन (Monte Carlo Simulation)

लेखकों ने सैंपल साइज $n \in \{250, 500, 1000, 3000\}$ और दो एरर स्ट्रक्चर (Gaussian और Multivariate $t$ ) के साथ व्यापक सिमुलेशन किए।

कवरेज (Coverage):
- जब मॉडल सही ढंग से निर्दिष्ट थे, तो सिमल्टेनियस कॉन्फिडेंस बैंड्स (SCB) ने नाममात्र 95% स्तर के करीब या उससे ऊपर का एम्पिरिकल कवरेज प्राप्त किया।
- पॉइंटवाइज कॉन्फिडेंस बैंड्स (PCB) ने खराब प्रदर्शन किया (जैसे-जैसे $n$ बढ़ा, कवरेज काफी कम हो गया) क्योंकि वे फंक्शन डोमेन में तुलनाओं की बहुलता (multiplicity) को ध्यान में रखने में विफल रहते हैं।
- DR अनुमानक ने सही कवरेज बनाए रखा, भले ही दोनों में से एक वर्किंग मॉडल गलत तरीके से निर्दिष्ट (misspecified) हो।
बायस और एफिशिएंसी (Bias and Efficiency):
- जब कम से कम एक मॉडल सही था, तो DR अनुमानक में नगण्य बायस देखा गया।
- जब दोनों मॉडल गलत थे, तो बायस दिखाई दिया, लेकिन DR अनुमानक ने आमतौर पर "कम्प्लीट केस" (complete case) अनुमानक की तुलना में बेहतर प्रदर्शन किया (जो ~30% मिसिंग डेटा के कारण बड़े बायस से ग्रस्त था)।
- विधि स्मूथनेस धारणा (smoothness assumption) के उल्लंघन के बावजूद मजबूत रही।

4.2 वास्तविक डेटा अनुप्रयोग (Real Data Application)

इस पद्धति को स्वीडिश कोहॉर्ट डेटा (जन्म 1954) पर लागू किया गया ताकि यह अनुमान लगाया जा सके कि यदि सभी व्यक्ति 20 वर्ष की आयु में बड़े श्रम बाजारों में रहते, तो उनका जीवनकालीन आय प्रक्षेपवक्र क्या होता।

निष्कर्ष: नेइव (naive) अनुमानक (केवल बड़े बाजारों से प्राप्त डेटा का उपयोग करने वाला) ने शुरुआती आय को अधिक आंका, लेकिन 30 वर्ष की आयु से पहले संचित आय को DR अनुमान की तुलना में कम आंका।
अनुमान (Inference): सिमल्टेनियस कॉन्फिडेंस बैंड्स ने लेखकों को उन विशिष्ट आयु अंतरालों की पहचान करने की अनुमति दी जहाँ प्रति-तथ्यात्मक और प्रेक्षित प्रक्षेपवक्रों के बीच का अंतर सांख्यिकीय रूप से महत्वपूर्ण था।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र मिसिंग डेटा कार्यप्रणाली और फंक्शनल डेटा विश्लेषण के बीच एक महत्वपूर्ण अंतराल को पाटता है।

सैद्धांतिक प्रभाव: यह स्केलर से कार्यात्मक परिणामों तक प्रसिद्ध डबली रोबस्ट प्रॉपर्टी को विस्तारित करता है, जो कठोर एसिम्प्टोटिक थ्योरी (गौसियन प्रोसेस लिमिट्स) और स्पष्ट कोवेरिएंस स्ट्रक्चर प्रदान करता है।
व्यावहारिक उपयोगिता: सिमल्टेनियस कॉन्फिडेंस बैंड्स को सक्षम करके, यह विधि शोधकर्ताओं को कार्यात्मक माध्यों (जैसे, "क्या एक समूह का प्रक्षेपवधर दूसरे से पूरे समय के दौरान महत्वपूर्ण रूप से भिन्न है?") के बारे में वैध वैश्विक अनुमान लगाने की अनुमति देती है।
मजबूती (Robustness): DR अनुमानक मॉडल मिसस्पेसिफिकेशन के खिलाफ एक सुरक्षा कवच प्रदान करता है, जो ऑब्जर्वेशनल स्टडीज में महत्वपूर्ण है जहाँ वास्तविक डेटा-जेनरेटिंग प्रोसेस अज्ञात होती है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण कार्यात्मक डेटा सेटिंग्स में लुप्त मानों के साथ कार्यात्मक माध्य अनुमान और कारण अनुमान के लिए एक विश्वसनीय उपकरण प्रदान करता है।