📊 statistics

Residual-on-Residual Regression as a Tool for Effect Estimation in Observational Data

यह शोध पत्र अवलोकनात्मक डेटा (observational data) में एक्सपोज़र प्रभावों के अनुमान के लिए AIPW और TMLE के एक स्थिर, व्याख्यात्मक और गणनात्मक रूप से सरल विकल्प के रूप में 'रेसिड्यूअल-ऑन-रेसिड्यूअल रिग्रेशन' (residual-on-residual regression) का प्रस्ताव करता है, जो सिमुलेशन और वास्तविक दुनिया के अनुप्रयोगों के माध्यम से यह प्रदर्शित करता है कि यह मानक स्थितियों के तहत स्थापित विधियों के तुलनीय प्रदर्शन करता है और पॉजिटिविटी उल्लंघन (positivity violations) होने पर उनसे बेहतर प्रदर्शन करता है।

मूल लेखक: Ashley I. Naimi, Qianhui Jin, Ya-Hui Yu, Sara M. Parisi, Lisa M. Bodnar

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ashley I. Naimi, Qianhui Jin, Ya-Hui Yu, Sara M. Parisi, Lisa M. Bodnar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या बहुत अधिक सब्जियां खाना वास्तव में गर्भावस्था की एक विशिष्ट जटिलता, जिसे प्री-एक्लेम्पसिया (preeclampsia) कहा जाता है, को रोकने में मदद करता है। आपके पास हजारों गर्भवती महिलाओं के डेटा का एक विशाल ढेर है। लेकिन एक पेंच है—सब्जियां खाने वाली महिलाएं अन्य कई तरीकों से भी अलग हैं—वे अधिक धनी हो सकती हैं, अधिक व्यायाम करती हैं, या उनके पास स्वास्थ्य सेवा तक बेहतर पहुंच हो सकती है। इन अंतरों को "कन्फाउंडर्स" (confounders) कहा जाता है। यदि आप केवल दोनों समूहों की सीधे तुलना करते हैं, तो आपको लग सकता है कि सब्जियां यह काम कर रही हैं, जबकि वास्तव में यह केवल अन्य स्वस्थ आदतें हैं।

इस समस्या को हल करने के लिए, वैज्ञानिक उन अन्य अंतरों को हटाने और सब्जियों के प्रभाव को अलग करने के लिए सांख्यिकीय "जादुई तरकीबों" का उपयोग करते हैं। यह शोध पत्र एक विशिष्ट जादुई तरकीब पेश करता है जिसे रेसिड्यूअल-ऑन-रेसिड्यूअल रिग्रेशन (Residual-on-Residual Regression) कहा जाता है और दिखाता है कि यह वर्तमान में उपयोग की जाने वाली दो सबसे लोकप्रिय तरकीबों (जिन्हें AIPW और TMLE कहा जाता है) के समान ही प्रभावी है, लेकिन कुछ अतिरिक्त लाभों के साथ।

यहाँ यह शोध पत्र इसे सरल उपमाओं का उपयोग करके समझा रहा है:

समस्या: सिग्नल में "शोर" (The "Noise" in the Signal)

डेटा को एक रेडियो प्रसारण की तरह समझें। आप "सब्जी सिग्नल" (आहार का प्रभाव) सुनना चाहते हैं, लेकिन रेडियो शोर (कन्फाउंडर्स जैसे आयु, आय और व्यायाम) से भरा हुआ है।

पुराना तरीका: वैज्ञानिक पहले शोर के हर हिस्से के सटीक वर्णन के लिए एक आदर्श स्क्रिप्ट लिखने की कोशिश करते थे। यदि उन्होंने स्क्रिप्ट का अनुमान गलत लगाया, तो परिणाम भी गलत होता था।
नया तरीका (मशीन लर्निंग): अब, वैज्ञानिक "सुपर लर्नर्स" (कंप्यूटर एल्गोरिदम) का उपयोग करते हैं ताकि वे शोर के पैटर्न को स्वचालित रूप से सीख सकें। लेकिन ये लर्नर्स इतने लचीले होते हैं कि यदि डेटा पेचीदा हो, तो वे कभी-कभी भ्रमित या अस्थिर हो सकते हैं।

तीन दावेदार (The Three Contenders)

यह शोध पत्र रेडियो सिग्नल को साफ करने के लिए तीन विधियों की तुलना करता है:

AIPW और TMLE: ये वर्तमान "चैंपियन" हैं। ये बहुत शक्तिशाली हैं और यदि उनकी गणना का एक हिस्सा गलत हो जाए, तो वे गलतियों को सुधार सकते हैं (एक विशेषता जिसे "डबली रोबस्ट" कहा जाता है)। हालांकि, यदि डेटा में अंतराल (गैप) हों (उदाहरण के लिए, यदि अध्ययन में लगभग कोई भी सब्जियां नहीं खा रहा है, जिससे तुलना करना कठिन हो जाता है), तो ये अस्थिर हो सकते हैं।
रेसिड्यूअल-ऑन-रेसिड्यूअल रिग्रेशन: यह वह "अंडरडॉग" (कम चर्चित) विधि है जिसका लेखक समर्थन कर रहे हैं। यह एक चतुर दो-चरणीय सफाई प्रक्रिया की तरह है।

"रेसिड्यूअल-ऑन-रेसिड्यूअल" कैसे काम करता है

कल्पना कीजिए कि आप जानना चाहते हैं कि क्या एक विशेष प्रकार के जूते आपको तेज दौड़ने में मदद करते हैं। लेकिन जो लोग ये जूते पहनते हैं, वे लंबे भी होते हैं, और लंबा होना आपको तेज दौड़ने में मदद करता है।

चरण 1 (सफाई): सबसे पहले, आप यह अनुमान लगाते हैं कि एक व्यक्ति केवल अपनी ऊंचाई के आधार पर (जूतों को नजरअंदाज करते हुए) कितनी तेज दौड़ना चाहिए। फिर आप उनकी वास्तविक गति और उस भविष्यवाणी के बीच के अंतर की गणना करते हैं। इस अंतर को "रेसिड्यूअल" (residual) कहा जाता है। यह वह "बचा हुआ" (leftover) वेग है जिसे ऊंचाई स्पष्ट नहीं कर सकी।
चरण 2 (दोहराव): आप जूतों के लिए भी बिल्कुल यही करते हैं। आप अनुमान लगाते हैं कि ऊंचाई के आधार पर कितने लोगों को ये जूते पहनने चाहिए। आप ऊंचाई द्वारा स्पष्ट न किए गए "बचे हुए" (residual) जूते पहनने के पैटर्न की गणना करते हैं।
चरण 3 (मिलान): अब, आप "बचे हुए वेग" और "बचे हुए जूते पहनने" को आपस में मिलाते हैं और देखते हैं कि क्या वे जुड़े हुए हैं। चूंकि आपने दोनों तरफ से "ऊंचाई" वाले कारक को पहले ही हटा दिया है, इसलिए जो भी संबंध आपको मिलता है वह पूरी तरह से जूतों के बारे में है।

इस प्रक्रिया को "रेसिड्यूअल-ऑन-रेसिड्यूअल" कहा जाता है क्योंकि आप बचे हुए अवशेषों (leftovers) की तुलना बचे हुए अवशेषों के साथ कर रहे हैं।

अध्ययन ने क्या पाया

लेखकों ने इस विधि का परीक्षण दो तरीकों से किया:

1. वास्तविक दुनिया का परीक्षण (nuMoM2b अध्ययन)
उन्होंने लगभग 8,000 गर्भवती महिलाओं के वास्तविक डेटा का विश्लेषण किया ताकि यह देखा जा सके कि क्या उच्च सब्जी सेवन ने प्री-एक्लेम्पसिया को कम किया।

परिणाम: तीनों विधियों (दो चैंपियन और अंडरडॉग) ने एक ही बात कही। उन सभी ने पाया कि उच्च सब्जी सेवन का संबंध प्री-एक्लेम्पसिया के जोखिम में एक छोटे लेकिन वास्तविक कमी से था। संख्याएं इतनी करीब थीं कि उन्होंने एक-दूसरे की पुष्टि की।

2. सिमुलेशन टेस्ट (तनाव परीक्षण/Stress Test)
उन्होंने कंप्यूटर पर नकली डेटा बनाया ताकि यह देखा जा सके कि विधियाँ मुश्किल परिस्थितियों को कैसे संभालती हैं।

"मेसी डेटा" (Messy Data) परीक्षण: जब डेटा जटिल और नॉन-लीनियर (जैसे एक उलझी हुई गांठ) था, तो तीनों स्मार्ट विधियों ने बहुत अच्छा काम किया, जबकि एक सरल, पुराने ढंग की विधि बुरी तरह विफल रही।
"मिसिंग डेटा" (Missing Data) परीक्षण: यह सबसे बड़ा खुलासा था। उन्होंने एक ऐसी स्थिति बनाई जहाँ "पॉजिटिविटी" धारणा का उल्लंघन हुआ था—अर्थात डेटा में बड़े अंतराल थे (उदाहरण के लिए, एक निश्चित समूह में लगभग कोई भी सब्जियां नहीं खा रहा था)।
- AIPW और TMLE विधियां डगमगाने लगीं और कम सटीक हो गईं।
- रेसिड्यूअल-ऑन-रेसिड्यूअल विधि स्थिर और शांत रही। यह अंतराल से भ्रमित नहीं हुई।

यह क्यों महत्वपूर्ण है

यह शोध पत्र तर्क देता है कि रेसिड्यूअल-ऑन-रेसिड्यूअल रिग्रेशन शोधकर्ताओं के लिए एक शानदार उपकरण है क्योंकि:

यह स्थिर है: यह चैंपियन विधियों के विपरीत, डेटा गायब होने या असमान होने पर घबराता नहीं है।
यह सरल है: इसे समझना और कोड करना जटिल "चैंपियन" विधियों की तुलना में आसान है।
यह एक सुरक्षा जाल है: यदि आप तीनों विधियों का उपयोग करते हैं और वे सहमत होते हैं, तो आप अपने परिणाम के प्रति बहुत आश्वस्त हो सकते हैं। यदि वे असहमत होते हैं, तो यह एक चेतावनी संकेत है कि आपका मॉडल खराब हो सकता है।

एक शर्त (बारीक विवरण)

यह पत्र नोट करता है कि इस विधि के लिए एक महत्वपूर्ण नियम है: यह मानती है कि सब्जियों का प्रभाव सभी के लिए एक समान ("कांस्टेंट इफेक्ट") है। यदि सब्जियों ने कुछ महिलाओं की मदद की लेकिन दूसरों को नुकसान पहुँचाया, तो यह विशिष्ट विधि अन्य विधियों की तुलना में थोड़ा अलग उत्तर दे सकती है। हालांकि, अधिकांश मानक प्रश्नों के लिए, जहाँ हम "औसत" प्रभाव जानना चाहते हैं, यह खूबसूरती से काम करती है।

संक्षेप में: यह शोध पत्र कहता है कि हालांकि फैंसी, जटिल विधियां (AIPW और TMLE) बेहतरीन हैं, लेकिन सरल "रेसिड्यूअल-ऑन-रेसिड्यूअल" विधि एक विश्वसनीय, स्थिर और उपयोग में आसान विकल्प है जो अक्सर उतना ही अच्छा, और कभी-कभी डेटा के पेचीदा होने पर उससे भी बेहतर प्रदर्शन करती है। यह आपके सांख्यिकीय टूलबॉक्स में रखने के लिए एक बेहतरीन उपकरण है।

तकनीकी सारांश: अवलोकनात्मक डेटा में प्रभाव अनुमान के लिए एक उपकरण के रूप में रेसिडुअल-ऑन-रेसिडुअल रिग्रेशन (Residual-on-Residual Regression)

समस्या का विवरण
शोधकर्ता कारण एक्सपोजर प्रभावों (causal exposure effects) का अनुमान लगाने के लिए अक्सर अवलोकनात्मक डेटा (observational data) का उपयोग करते हैं, फिर भी मानक पैरामीट्रिक रिग्रेशन मॉडल उन उच्च-आयामी (high-dimensional) सेटिंग्स में विफल हो जाते जहाँ संभावित कन्फाउंडर्स (confounders) की संख्या नमूना आकार (sample size) के सापेक्ष बड़ी होती है। ऐसे संदर्भों में, कार्यात्मक रूपों (functional forms) और इंटरैक्शन को सही ढंग से निर्दिष्ट करना कठिन होता है, और गलत विनिर्देशन (misspecification) से ऐसे पूर्वाग्रह (biases) उत्पन्न हो सकते हैं जिन्हें मानक संवेदनशीलता विश्लेषण (sensitivity analyses) नहीं पकड़ पाते। हालांकि मशीन लर्निंग (ML) एल्गोरिदम जटिल कन्फाउंडर संबंधों को मॉडल करने के लिए डेटा-अनुकूली विकल्प प्रदान करते हैं, वे आमतौर पर एक लॉस फंक्शन (loss function) को अनुकूलित करते हैं जिसमें बायस-वेरिएंस ट्रेडऑफ (bias-variance tradeoff) होता है। यदि इनका ध्यान नहीं रखा गया, तो लचीले ML तरीकों द्वारा उत्पन्न बायस, नैव सिंगली रोबस्ट कॉज़ल एस्टिमेटर्स (naïve singly robust causal estimators) के प्रदर्शन को खराब कर सकता है।

यद्यपि सेमीपैरामीट्रिक एफिशिएंसी थ्योरी ने ऑगमेंटेड इनवर्स प्रोबेबिलिटी वेटिंग (AIPW) और टार्गेटेड मैक्सिमम लाइकलीहुड एस्टीमेशन (TMLE) जैसे डबली रोबस्ट एस्टिमेटर्स का निर्माण किया है जो इष्टतम सांख्यिकीय गुणों को पुनः प्राप्त कर सकते हैं, ये विधियाँ सीमाओं से मुक्त नहीं हैं। विशेष रूप से, वे पॉजिटिविटी धारणा (positivity assumption) के मामूली उल्लंघन के प्रति भी अत्यधिक संवेदनशील हो सकती हैं (उदाहरण के लिए, जब पर्याप्त नमूना आकार सभी कन्फाउंडर स्ट्रेटा में एक्सपोज्ड और अनएक्सपोज्ड व्यक्तियों को भरने के लिए अपर्याप्त हो)। इसके अलावा, एक ही डेटासेट पर TMLE और AIPW दोनों को लागू करने से विसंगत परिणाम मिल सकते हैं, जिससे इस बात पर अनिश्चितता पैदा होती है कि किस अनुमान पर भरोसा किया जाए।

कार्यप्रणाली
यह शोध पत्र रेसिडुअल-ऑन-रेसिडुअल रिग्रेशन को प्रस्तावित और मूल्यांकित करता है, जो रोबिन्सन (1988) के कार्य पर आधारित है और अर्थशास्त्र (econometrics) में लोकप्रिय हुआ है, जिसका उपयोग आंशिक रूप से रैखिक मॉडल (partially linear model) ढांचे के भीतर औसत उपचार प्रभाव (average treatment effects - ATE) के अनुमान के लिए एक स्थिर विकल्प के रूप में किया जाता है।

यह दृष्टिकोण निम्नलिखित विनिर्देश के तहत कार्य करता है:
$Y = \psi A + g(W) + \epsilon$
जहाँ $Y$ परिणाम (outcome) है, $A$ एक्सपोजर है, $W$ कन्फाउंडर्स का एक सेट है, $\psi$ स्थिर उपचार प्रभाव (constant treatment effect) है, और $g(W)$ एक अनिर्दिष्ट नॉनपैरामेट्रिक फंक्शन है। मानक रिग्रेशन के विपरीत, यह मॉडल एक्सपोजर और परिणाम के बीच एक रैखिक संबंध मानता है लेकिन कन्फाउंडर-परिणाम संबंध को लचीला छोड़ देता है।

अनुमान प्रक्रिया तीन चरणों में चलती है:

न्यूसेंस एस्टीमेशन (Nuisance Estimation): कन्फाउंडर्स के सापेक्ष परिणाम के सशर्त माध्य, $\hat{E}[Y|W]$ , और कन्फाउंडर्स के सापेक्ष एक्सपोजर के सशर्त माध्य, $\hat{E}[A|W]$ , का अनुमान लगाने के लिए नॉनपैरामेट्रिक मॉडल (जैसे सुपर लर्नर एन्सेम्बल्स का उपयोग करके) फिट करें।
रेसिडुअल कंस्ट्रक्शन (Residual Construction): दोनों के लिए रेसिडुअल्स (residuals) की गणना करें ( $\tilde{Y} = Y - \hat{E}[Y|W]$ और $\tilde{A} = A - \hat{E}[A|W]$ )।
अंतिम अनुमान (Final Estimation): $\psi$ का अनुमान लगाने के लिए $\tilde{Y}$ को $\tilde{A}$ पर एक नो-इंटरसेप्ट साधारण लीनियर रिग्रेशन (OLS) एस्टिमेटर का उपयोग करके रिग्रेट करें।

वैध निष्कर्ष (inference) और मजबूती सुनिश्चित करने के लिए, लेखक न्यूसेंस मॉडल्स में ओवरफिटिंग को रोकने के लिए आउट-ऑफ-सैंपल वैलिडेशन (क्रॉस-फिटिंग) का उपयोग करते हैं। वेरिएंस एस्टीमेशन के लिए HC3 रोबस्ट (सैंडविच) वेरिएंस एस्टिमेटर का उपयोग किया जाता है, जो एस्टिमेटर के नेयमैन-ऑर्थोगोनल इन्फ्लुएंस फंक्शन (Neyman-orthogonal influence function) के अनुभवजन्य वेरिएंस के अनुरूप है।

अनुभवजन्य अनुप्रयोग और सिमुलेशन परिणाम
लेखकों ने उच्च सब्जी सेवन घनत्व (high vegetable intake density) और प्रीएक्लेम्पसिया (preeclampsia) के बीच संबंध का अनुमान लगाने के लिए नलीपैरस प्रेगनेंसी आउटकम्स स्टडी: मॉनिटरिंग मदर्स-टू-बी (nuMoM2b) ( $n=7,923$ ) के डेटा पर इस पद्धति को लागू किया और मूल्यांकित किया।

अनुभवजन्य निष्कर्ष: रेसिडुअल-ऑन-रेसिड्यूअल रिग्रेशन, AIPW और TMLE ने सुसंगत अनुमान दिए, जो उच्च सब्जी सेवन के साथ प्रीएक्लेम्पसिया के जोखिम में मामूली कमी का संकेत देते हैं। रेसिडुअल-ऑन-रेसिड्यूअल दृष्टिकोण ने -1.49 प्रति 100 प्रतिभागियों का एडजस्टेड रिस्क डिफरेंस (-2.94, -0.03 के 95% CL के साथ) उत्पन्न किया, जो AIPW (-0.97) और TMLE (-1.15) के तुलनीय है।

एक मोंटे कार्लो सिमुलेशन अध्ययन ( $n=500$ , 10,000 पुनरावृत्तियाँ) ने मिसस्पेसिफाइड लीनियर-एडिटिव OLS मॉडल के मुकाबले AIPW, TMLE और रेसिडुअल-ऑन-रेसिड्यूअल रिग्रेशन के परिमित-नमूना गुणों (finite-sample properties) की तुलना की।

प्राथमिक सिमुलेशन (पॉजिटिविटी मेट): जब वास्तविक प्रभाव स्थिर था और कन्फाउंडर संबंध गैर-रैखिक थे, तो तीनों डबली रोबस्ट एस्टिमेटर्स अनिवार्य रूप से निष्पक्ष (unbiased) थे और उनके कॉन्फिडेंस इंटरवल कवरेज नाममात्र (nominal) के करीब थे। वे मिसस्पेसिफाइड पैरामीट्रिक OLS मॉडल से काफी बेहतर थे, जिसने गंभीर बायस दिखाया और कवरेज विफल कर दिया।
पॉजिटिविटी स्ट्रेस टेस्ट: प्रेरित पॉजिटिविटी उल्लंघन (जहाँ प्रोपेंसिटी स्कोर 0 या 1 के करीब पहुँच जाते हैं) वाले परिदृश्यों में, रेसिडुअल-ऑन-रेसिड्यूअल रिग्रेशन ने बेहतर स्थिरता प्रदर्शित की। जबकि गंभीर उल्लंघन स्तरों पर AIP- का RMSE चार गुना बढ़ गया और TMLE का कवरेज गिरकर 88.7% रह गया, रेसिडुअल-ऑन-रेसिड्यूअल रिग्रेशन बायस, प्रिसिजन और कवरेज में अनिवार्य रूप से अपरिवर्तित रहा। इस स्थिरता का श्रेय विधि के प्रोपेंसिटी स्कोर को इनवर्ट करने के बजाय एक्सपोजर को रेसिडुअलाइज करने पर निर्भरता को दिया जाता है, जो अत्यधिक वेट्स (extreme weights) से जुड़ी अस्थिरता से बचता है।

प्रमुख योगदान और महत्व
लेखक तर्क देते हैं कि रेसिडुअल-ऑन-रेसिड्यूअल रिग्रेशन कारण अनुमान (causal inference) के लिए एक व्यावहारिक, व्याख्या योग्य और कम्प्यूटेशनल रूप से सरल उपकरण प्रदान करता है जो AIPW और TMLE का पूरक है। इसका महत्व कई क्षेत्रों में है:

पॉजिटिविटी उल्लंघन के तहत स्थिरता: AIPW और TMLE के विपरीत, जो इनवर्स प्रोबेबिलिटी वेटिंग पर निर्भर करते हैं, रेसिडुअल-ऑन-रेसिड्यूअल रिग्रेशन के लिए प्रोपेंसिटी स्कोर को इनवर्ट करने की आवश्यकता नहीं होती है। यह इसे तब अधिक मजबूत बनाता है जब पॉजिटिविटी धारणा कमजोर या उल्लंघन की स्थिति में होती है, जो पोषण संबंधी महामारी विज्ञान (nutritional epidemiology) जैसे क्षेत्रों में एक सामान्य मुद्दा है।
ट्राइएंगुलेशन रणनीति (Triangulation Strategy): क्योंकि यह विधि AIPW और TMLE के साथ डबली रोबस्ट गुण साझा करती है लेकिन एक अलग अनुमान तंत्र का उपयोग करती है, यह एक मूल्यवान ट्राइएंगुलेशन टूल के रूप में कार्य करती है। इन एस्टिमेटर्स के बीच असहमति अंतर्निहित मान्यताओं के मॉडल डिपेंडेंस या उल्लंघन का संकेत दे सकती है, जिसके लिए आगे की जांच की आवश्यकता होती है।
व्याख्यात्मकता और कार्यान्वयन: यह विधि एक क्लोज्ड-फॉर्म कोएफिशिएंट और रोबस्ट स्टैंडर्ड एरर प्रदान करती है, जिससे इसे मानक सॉफ्टवेयर में लागू करना आसान हो जाता है। यह आंशिक रूप से रैखिक मॉडल धारणा के तहत एक स्थिर उपचार प्रभाव का सीधा अनुमान प्रदान करता है।

लेखक नोट करते हैं कि एस्टिमेटर के रूप में ATE की व्याख्यात्मकता स्थिर उपचार प्रभाव की धारणा पर टिकी है। यदि प्रभाव विषमता (effect heterogeneity) मौजूद है, तो एस्टिमेटर सरल ATE के बजाय वेरिएंस-वेटेड औसत प्रभाव की ओर अभिसरित (converge) होता है। हालांकि, लेखक सुझाव देते हैं कि उन सेटिंग्स में जहां स्थिर प्रभाव की धारणा उचित है, रेसिडुअल-ऑन-रेसिड्यूअल रिग्रेशन मौजूदा डबली रोबस्ट तरीकों के लिए एक स्थिर, कुशल और मजबूत विकल्प प्रदान करता है।