📊 statistics

Hybrid Meta-learners for Estimating Heterogeneous Treatment Effects

यह शोध पत्र हाइब्रिड लर्नर (H-learner) को प्रस्तुत करता है, जो एक नवीन मेटा-लर्निंग रणनीति है जो व्यक्तिगत संभावित परिणाम मॉडलिंग के बजाय सटीक CATE अनुमान को प्राथमिकता देकर विषम उपचार प्रभावों (heterogeneous treatment effects) के आकलन के लिए बायस-वेरिएंस ट्रेडऑफ़ को अनुकूलित करने हेतु प्रत्यक्ष और अप्रत्यक्ष नियमितीकरण (regularization) दृष्टिकोणों के बीच अनुकूल रूप से इंटरपोलेट करता है।

मूल लेखक: Zhongyuan Liang, Lars van der Laan, Ahmed Alaa

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhongyuan Liang, Lars van der Laan, Ahmed Alaa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डॉक्टर हैं जो यह पता लगाने की कोशिश कर रहे हैं कि किन मरीजों को एक नई दवा से सबसे अधिक लाभ होगा। आपके पास मरीजों के रिकॉर्ड्स का ढेर (अवलोकन संबंधी डेटा/observational data) है, लेकिन आप एक आदर्श प्रयोग नहीं कर सकते जहाँ आप आधे लोगों को दवा दें और बाकी आधे को प्लेसबो (placebo) दें। इसके बजाय, आपको यह देखना होगा कि वास्तव में किसने दवा ली और किसने नहीं, और फिर हर व्यक्ति के अनूठे गुणों के आधार पर उनके लिए "उपचार प्रभाव" (treatment effect) का अनुमान लगाना होगा।

यह विषम उपचार प्रभाव (Heterogeneous Treatment Effects - CATE) का अनुमान लगाने की समस्या है। यह पेपर इस समस्या को हल करने के लिए H-learner नामक एक नया टूल पेश करता है, और यह सरल उपमाओं (analogies) का उपयोग करके कैसे काम करता है, यहाँ बताया गया है।

अनुमान लगाने के दो पुराने तरीके

H-learner से पहले, शोधकर्ता मुख्य रूप से दो अलग-अलग रणनीतियों का उपयोग करते थे। इन्हें दो अलग-अलग शेफ (रसोइयों) के रूप में सोचें जो मसालेदार सूप और कम तीखे (mild) सूप के बीच के अंतर को समझने की कोशिश कर रहे हैं।

1. "परोक्ष" शेफ (The T-learner)

रणनीति: यह शेफ दो पूरी तरह से अलग बर्तन बनाता है। एक बर्तन "मसालेदार" समूह के लिए है, और दूसरा "कम तीखे" समूह के लिए। वे अंतर का अनुमान लगाने के लिए व्यक्तिगत रूप से दोनों बर्तनों का स्वाद लेते हैं। फिर वे मसालेदार बर्तन के स्वाद में से कम तीखे बर्तन के स्वाद को घटा देते हैं।
समस्या: यदि "मसालेदार" बर्तन थोड़ा अधिक नमकीन है और "कम तीखा" बर्तन थोड़ा अधिक मीठा है, तो वे छोटी त्रुटियाँ आपस में जुड़ जाती हैं जब आप उन्हें घटाते हैं। शेफ यह सोच सकता है कि अंतर बहुत बड़ा है (या अजीब है) जबकि वास्तव में वह केवल एक छोटा सा अंतर है। इसे "रेगुलराइजेशन-प्रेरित भ्रम" (regularization-induced confounding) कहा जाता है। यह तब अच्छा काम करता है जब व्यक्तिगत बर्तन आसानी से अनुमान लगाने योग्य हों, लेकिन यदि उनके बीच का अंतर वास्तव में सरल हिस्सा है, तो यह विफल हो जाता है।

2. "प्रत्यक्ष" शेफ (The X-learner)

रणनीति: इस शेफ को व्यक्तिगत बर्तनों की परवाह नहीं है। इसके बजाय, वह एक विशेष "अंतर का रस" (एक छद्म परिणाम या pseudo-outcome) बनाता है जो सीधे दोनों समूहों के बीच के अंतर को दर्शाता है। फिर वह इस "अंतर के रस" का सीधे अनुमान लगाने के लिए एक एकल मॉडल को प्रशिक्षित करता है।
समस्या: यह शेफ तब बहुत अच्छा होता है जब अंतर जटिल और अनुमान लगाने में कठिन हो। लेकिन यदि व्यक्तिगत बर्तन वास्तव में अनुमान लगाने में कठिन हिस्सा हैं, तो यह शेफ भ्रमित हो जाता है। वे एक जटिल अंतर का अनुमान लगाने की कोशिश कर सकते हैं जब उन्हें पहले व्यक्तिगत बर्तनों को सही ढंग से समझने पर ध्यान केंद्रित करना चाहिए था।

दुविधा: कौन सा शेफ बेहतर है?

पेपर एक निराशाजनक सच्चाई की ओर इशारा करता है: आप पहले से कभी नहीं जान सकते कि कौन सा शेफ बेहतर है।

कभी-कभी "अंतर" सरल होता है (जैसे कि $5 की छूट), लेकिन व्यक्तिगत परिणाम अव्यवस्थित होते हैं। प्रत्यक्ष शेफ जीतता है।
कभी-कभी व्यक्तिगत परिणाम सरल होते हैं, लेकिन अंतर अव्यवस्थित होता है। परोक्ष शेफ जीतता है।
वास्तविक दुनिया में, डेटा अव्यवस्थित होता है, और हमें नहीं पता कि हम किस स्थिति में हैं। गलत शेफ चुनना खराब भविष्यवाणियों की ओर ले जाता है।

समाधान: "H-learner" (हाइब्रिड शेफ)

लेखक एक नया शेफ प्रस्तावित करते हैं, H-learner, जो समझौते का उस्ताद है। एक ही रणनीति चुनने के बजाय, H-learner ये दोनों काम एक साथ करता है।

यह कैसे काम करता है:
कल्पना कीजिए कि H-learner दो बर्तन (परोक्ष) बना रहा है लेकिन काउंटर पर एक विशेष "अंतर का रस" (प्रत्यक्ष) भी रखा हुआ है।

वे सुनिश्चित करने के लिए दोनों बर्तनों का स्वाद लेते हैं कि वे सटीक हैं।
वे यह भी देखते हैं कि दोनों बर्तनों के बीच का अंतर "अंतर के रस" से कितनी अच्छी तरह मेल खाता है।
जादुई ट्रिक: वे प्रत्येक कार्य को कितना महत्व देना है, यह तय करने के लिए एक "मिक्सिंग नॉब" (जिसे $\lambda$ $λ$ कहा जाता है) का उपयोग करते हैं।
- यदि डेटा दिखता है कि परोक्ष शेफ को जीतना चाहिए, तो वे नॉब को बर्तनों की ओर घुमा देते हैं।
- यदि डेटा दिखता है कि प्रत्यक्ष शेफ को जीतना चाहिए, तो वे नॉब को रस की ओर घुमा देते हैं।
- महत्वपूर्ण बात: लगभग हर वास्तविक दुनिया के मामले में, सबसे अच्छा सेटिंग बीच में कहीं होता है।

"उप-इष्टतम" (Sub-Optimal) का रहस्य:
पेपर एक आश्चर्यजनक दावा करता है: H-learner कभी-कभी जानबूझकर व्यक्तिगत बर्तनों को थोड़ा "गलत" (उप-इष्टतम) होने देता है यदि इससे अंतिम अंतर की गणना बहुत अधिक सटीक होने में मदद मिलती है। यह कुछ ऐसा है जैसे एक शेफ कहता है, "मैं सूप को थोड़ा कम नमकीन बनाऊंगा यदि इसका मतलब यह है कि अंतिम स्वाद तुलना पूरी तरह से सटीक है।" यह बहुत अधिक कठोर होने (उच्च बायस) और बहुत अधिक अस्थिर होने (उच्च वेरिएंस) के बीच संतुलन बनाता है।

परिणाम: "पारेटो फ्रंटियर" पर खड़ा होना

लेखकों ने पुराने शेफों के मुकाबले इस नए शेफ का परीक्षण किया:

अर्ध-सिंथेटिक प्रयोगों (Semi-synthetic experiments) के माध्यम से: नकली डेटा जहाँ वे "वास्तविक" उत्तर जानते थे और वे समूहों के असंतुलन या डेटा की जटिलता को नियंत्रित कर सकते थे।
वास्तविक दुनिया के बेंचमार्क के माध्यम से: वैज्ञानिकों द्वारा उपयोग किए जाने वाले मानक डेटासेट (IHDP और ACIC 2016)।

निष्कर्ष:

पुराने शेफ (परोक्ष और प्रत्यक्ष) विशिष्ट परिदृश्यों के आधार पर एक-दूसरे को हराते हैं।
H-learner लगातार उन दोनों को हराता है।
यह "पारेटो फ्रंटियर" (Pareto frontier) पर स्थित है। सरल शब्दों में, इसका अर्थ है कि आप एक मीट्रिक पर H-learner के प्रदर्शन में सुधार नहीं कर सकते बिना दूसरे पर इसे खराब किए। यह सबसे कुशल, मजबूत उपकरण है। यह डेटा की छिपी हुई संरचना को बताने की आपकी आवश्यकता के बिना, खुद को अनुकूलित करता है।

सारांश

पेपर यह तर्क देता है कि "व्यक्तिगत परिणामों का अनुमान लगाने" और "अंतर का सीधे अनुमान लगाने" के बीच चयन करने की कोशिश करना एक गलत चुनाव है। H-learner इन दोनों दृष्टिकोणों को एक एकल, लचीली प्रणाली में जोड़ता है जो स्वचालित रूप से सही संतुलन खोज लेती है, जिससे यह अनुमान लगाना कि किसे उपचार से लाभ होगा और किसे नहीं, अधिक सटीक हो जाता है।

तकनीकी सारांश: विषम उपचार प्रभावों (Heterogeneous Treatment Effects) के अनुमान के लिए हाइब्रिड मेटा-लर्नर्स

समस्या विवरण (Problem Statement)
यह शोध पत्र अवलोकनात्मक डेटा (observational data) से कंडीशनल एवरेज ट्रीटमेंट इफेक्ट्स (CATE), जिसे $\tau(x) = \mathbb{E}[Y(1) - Y(0) | X=x]$ के रूप में दर्शाया गया है, के अनुमान की चुनौती को संबोधित करता है। मानक सुपरवाइज्ड लर्निंग के विपरीत, CATE अनुमान में कोवेरिएट शिफ्ट (covariate shift) और दो संभावित परिणाम (potential outcome - PO) फलनों, $\mu_1(x)$ और $\mu_0(x)$ , के बीच के अंतर को मॉडल करने के विशिष्ट लक्ष्य के कारण अनूठे इंडक्टिव बायस (inductive biases) शामिल होते हैं।

मौजूदा "मेटा-लर्नर" दृष्टिकोण दो अलग-अलग प्रतिमानों (paradigms) में आते हैं जिनके इंडक्टिव बायस परस्पर विरोधी हैं:

इनडायरेक्ट मेटा-लर्नर्स (जैसे, T-learner, S-learner): ये $\mu_0$ और $\mu_1$ के लिए अलग-अलग मॉडल फिट करते हैं और उनके अंतर से CATE का अनुमान लगाते हैं। ये तब अच्छा प्रदर्शन करते हैं जब PO फलन जटिल होते हैं लेकिन CATE सरल होता है। हालांकि, ये "रेगुलराइजेशन-प्रेरित कन्फाउंडिंग" (regularization-induced confounding) से ग्रस्त होते हैं, जहाँ POs का स्वतंत्र रेगुलराइजेशन CATE अनुमान में स्प्यूरियस हेटेरोजेनिटी (spurious heterogeneity) पेश करता है।
डायरेक्ट मेटा-लर्नर्स (जैसे, X-learner, IPW, DR): ये सीधे $\tau(x)$ को मॉडल करने के लिए छद्म-परिणाम (pseudo-outcomes) $Y_\phi$ का निर्माण करते हैं। ये तब उत्कृष्ट होते हैं जब CATE फलन POs जितना ही जटिल हो। हालांकि, ये तब खराब प्रदर्शन कर सकते हैं जब छद्म-परिणाम का निर्माण शोर युक्त (noisy) हो (जैसे, प्रोपेंसिटी स्कोर असंतुलन के कारण) या जब CATE, POs की तुलना में काफी सरल हो, क्योंकि वे प्रभाव की संरचनात्मक सरलता का लाभ उठाने में विफल रहते हैं।

मूल समस्या यह है कि कोई भी दृष्टिकोण सभी डेटा जनरेटिंग प्रोसेस (DGPs) में लगातार प्रभुत्व नहीं रखता है, और अक्सर अभ्यास में POs बनाम CATE की सापेक्ष जटिलता अज्ञात होती है।

कार्यप्रणाली: H-लर्नर (Methodology: The H-learner)
लेखक हाइब्रिड लर्नर (H-learner) का प्रस्ताव करते हैं, जो एक नवीन रेगुलराइजेशन रणनीति है जो इनडायरेक्ट और डायरेक्ट लर्निंग के बीच मध्यस्थता करती है। H-लर्नर दो मध्यवर्ती फलनों, $f_0$ और $f_1$ , को प्रशिक्षित करता है, जो संभावित परिणामों का अनुमान लगाते हैं लेकिन आवश्यक रूप से व्यक्तिगत रूप से POs के इष्टतम अनुमानक (optimal estimators) नहीं होते हैं। इसके बजाय, उन्हें संयुक्त रूप से इस तरह अनुकूलित किया जाता है कि उनका अंतर, $f_1(x) - f_0(x)$ , CATE का सटीक अनुमान लगा सके।

यह विधि दो चरणों में कार्य करती है:

चरण 1 (छद्म-परिणाम निर्माण): प्रारंभिक न्यूसेंस पैरामीटर अनुमानों के आधार पर एक छद्म-परिणाम $Y_\phi$ का निर्माण किया जाता है (जैसे, X-learner, DR-learner का उपयोग करके)।
चरण 2 (संयुक्त अनुकूलन): मॉडल एक संयुक्त लॉस फंक्शन को कम करता है जो दो उद्देश्यों के बीच संतुलन बनाता है:
- इनडायरेक्ट घटक ( $\ell_I$ ): देखे गए तथ्यात्मक परिणामों $Y_i$ के साथ $f_0$ और $f_1$ को फिट करना।
- डायरेक्ट घटक ( $\ell_D$ ): यह सुनिश्चित करना कि अंतर $(f_1(X_i) - f_0(X_i))$ छद्म-परिणाम $Y_{\phi, i}$ के साथ संरेखित हो।

लॉस फंक्शन को इस प्रकार परिभाषित किया गया है:
$\min_{f_0, f_1} \sum_{i=1}^n (1-\lambda) \ell(Y_i, f_{T_i}(X_i)) + \lambda \left( (f_1(X_i) - f_0(X_i)) - Y_{\phi, i} \right)^2$
जहाँ $\lambda \in [0, 1]$ एक हाइपरपैरामीटर है।

यदि $\lambda = 0$ है, तो यह इनडायरेक्ट लर्नर को रिकवर करता है।
यदि $\lambda = 1$ है, तो यह डायरेक्ट लर्नर को रिकवर करता है।
यदि $0 < \lambda < 1$ है, तो यह एक हाइब्रिड एस्टीमेटर बनाता है जो व्यक्तिगत POs के लिए "उप-इष्टतम" (sub-optimal) फिट की अनुमति देता है, जिससे समग्र CATE अनुमान में सुधार होता है, और इस प्रकार बायस-वैरिएंस ट्रेडऑफ़ को अनुकूलित करता है।

प्रमुख योगदान (Key Contributions)

इंडक्टिव बायस का लक्षण वर्णन: पेपर स्पष्ट रूप से मेटा-लर्नर्स के प्रदर्शन को अंतर्निहित DGP से जोड़ता है, विशेष रूप से POs बनाम CATE की सापेक्ष जटिलता और कोवेरिएट ओवरलैप की डिग्री के संदर्भ में।
एकीकृत रेगुलराइजेशन रणनीति: H-लर्नर को एक मॉडल-अग्नोस्टिक फ्रेमवर्क के रूप में पेश किया गया है जो सिद्धांततः और अनुभवतः डायरेक्ट और इनडायरेक्ट लर्नर्स के बीच के अंतर को पाटता है।
सैद्धांतिक विश्लेषण: एक लीनियर सेटिंग में, लेखक एक क्लोज्ड-फॉर्म समाधान प्राप्त करते हैं जो H-लर्नर को इनडायरेक्ट और डायरेक्ट एस्टीमेटर्स के मैट्रिक्स-वेटेड कॉम्बिनेशन के रूप में दिखाता है। वे सिद्ध करते हैं कि विशिष्ट स्थितियों के तहत (जैसे, जब इनडायरेक्ट और डायरेक्ट लर्नर्स के बायस विपरीत दिशाओं में हों, या जब इनडायरेक्ट लर्नर में उच्च बायस और डायरेक्ट लर्नर में उच्च वेरिएंस हो), H-लर्नर किसी भी बेसलाइन की तुलना में कम प्रेडिक्शन रिस्क प्राप्त करता है।
अनुभवजन्य मजबूती (Empirical Robustness): अर्ध-सिंथेटिक और वास्तविक दुनिया के बेंचमार्क पर व्यापक प्रयोगों से पता चलता है कि H-लर्नर लगातार पारेटो फ्रंटियर (Pareto frontier) पर काम करता है, और विभिन्न स्तरों के कन्फाउंडिंग, ट्रीटमेंट इम्बैलेंस और फंक्शनल कॉम्प्लेक्सिटी के बावजूद स्टेट-ऑफ-द-आर्ट बेसलाइन्स से बेहतर प्रदर्शन करता है।

परिणाम (Results)

अर्ध-सिंथेटिक प्रयोग: नियंत्रित DGPs के साथ IHDP-व्युत्पन्न डेटा का उपयोग करते हुए, H-लर्नर ने लगातार दोनों TARNet (इनडायरेक्ट) और X-learner (डायरेक्ट) को पीछे छोड़ दिया।
- उच्च फीचर शेयरिंग (सरल CATE) वाले परिदृश्यों में, H-लर्नर ने डायरेक्ट रेगुलराइजेशन को प्राथमिकता देकर अनुकूलन किया।
- उच्च असंतुलन या मजबूत कन्फाउंडिंग वाले परिदृश्यों में, इसने शुद्ध इनडायरेक्ट या डायरेक्ट दृष्टिकोणों की कमजोरियों को कम करने के लिए अनुकूलन किया।
- इष्टतम $\lambda$ लगातार 0 और 1 के बीच पाया गया, जो इंटरपोलेशन के लाभ की पुष्टि करता है।
बेंचमार्क मूल्यांकन: IHDP और ACIC 2016 डेटासेट पर, H-लर्नर (विशेष रूप से X-learner छद्म-परिणामों का उपयोग करते हुए) ने सभी बेसलाइन्स (T-learner, TARNet, IPW, DR, X-learner, और अन्य विशिष्ट रेगुलराइजेशन विधियों जैसे वेट रेगुलराइजेशन (TARNet-WR), OffsetNet, और FlexTENet सहित) के बीच सबसे कम PEHE (Precision in Estimation of Heterogeneous Effect) स्कोर प्राप्त किया।
अन्य रेगुलराइजेशन के साथ तुलना: पेपर नोट करता है कि मौजूदा रेगुलराइजेशन रणनीतियाँ (वेट पेनलाइजेशन, रीपैरामीट्राइजेशन, स्ट्रक्चरल शेयरिंग) अक्सर छोटे ट्रीटमेंट इफेक्ट्स या विशिष्ट संरचनाओं को मान लेती हैं। जब ये धारणाएं टूट जाती हैं, तो ये विधियाँ प्रदर्शन में गिरावट लाती हैं, जबकि H-लर्नर बिना किसी संरचनात्मक धारणा के मजबूत बना रहता है।

महत्ता और दावे (Significance and Claims)
पेपर का दावा है कि H-लर्नर CATE अनुमान में "नो फ्री लंच" (no free lunch) समस्या का एक मजबूत समाधान प्रदान करता है। डायरेक्ट और इनडायरेक्ट लर्नर्स के इंडक्टिव बायस के बीच अनुकूल रूप से इंटरपोलेट करके, H-लर्नर को पहले से ज्ञात DGP संरचना की आवश्यकता को समाप्त करने में मदद मिलती है। लेखक तर्क देते हैं कि व्यक्तिगत संभावित परिणामों के लिए जानबूझकर उप-इष्टतम फिट की अनुमति देने से उपचार प्रभाव (treatment effect) के लिए बायस-वैरिएंस ट्रेडऑफ़ में सुधार हो सकता है, जो एक काउंटर-इंट्यूटिव अंतर्दृष्टि है और स्टेट-ऑफ-द-आर्ट प्रदर्शन की ओर ले जाती है। इस पद्धति को विभिन्न डेटा स्थितियों में विविध मशीन लर्निंग आर्किटेक्चर के साथ संगत एक सामान्य, मॉडल-अग्नोस्टिक रणनीति के रूप में प्रस्तुत किया गया है।