📊 statistics

Real vs. Semi-Simulated: Rethinking Evaluation for Treatment Effect Estimation

यह शोध पत्र उपचार प्रभाव अनुमान (treatment effect estimation) में पद्धतिगत अनुसंधान और व्यावहारिक अनुप्रयोग के बीच एक महत्वपूर्ण विच्छेद को प्रकट करता है, जो यह दर्शाता है कि काउंटरफैक्चुअल मेट्रिक्स और अर्ध-सिम्युलेटेड बेंचमार्क वास्तविक दुनिया के डेटा पर मॉडल के प्रदर्शन की विश्वसनीय रूप से भविष्यवाणी करने में विफल रहते हैं, जिससे अवलोकन योग्य मेट्रिक्स और वास्तविक-डेटा सत्यापन की ओर बदलाव का समर्थन मिलता है।

मूल लेखक: George Panagopoulos

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: George Panagopoulos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि दो अलग-अलग उर्वरकों (fertilizers) में से कौन सा पौधों को सबसे बड़ा बनाता है। आपके पास वैज्ञानिकों की एक टीम (शोधकर्ता) और किसानों की एक टीम (वास्तविक दुनिया के अभ्यासकर्ता) है।

यह शोध पत्र तर्क देता है कि वैज्ञानिक और किसान दो पूरी तरह से अलग खेल खेल रहे हैं, अलग नियमपुस्तिकाएं (rulebooks) इस्तेमाल कर रहे हैं, और उन्हें यह एहसास भी नहीं है कि वे अलग-अलग चीजों के बारे में बात कर रहे हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके शोध के निष्कर्षों का विवरण दिया गया है:

1. दो अलग-अलग नियमपुस्तिकाएं (The Two Different Rulebooks)

"कॉज़ल मशीन लर्निंग" (Causal Machine Learning - किसी उपचार, जैसे कि दवा या मार्केटिंग ईमेल के प्रभाव को समझने के लिए AI का उपयोग करना) की दुनिया में, यह तय करने के दो तरीके हैं कि एक मॉडल अच्छा है या नहीं:

वैज्ञानिक की नियमपुस्तिका (Semi-Simulated Benchmarks):
कल्पना कीजिए कि वैज्ञानिक एक लैब में हैं। वे एक नियंत्रित वातावरण में पौधे उगाते हैं जहाँ उन्हें बिल्कुल सटीक पता होता है कि यदि उन्होंने उर्वरक A का उपयोग किया होता तो क्या होता और यदि उन्होंने उर्वरक B का उपयोग किया होता तो क्या होता। क्योंकि वे दोनों परिणामों को जानते हैं, इसलिए वे "परफेक्ट" अंतर की गणना कर सकते हैं। वे PEHE (Precision in Estimation of Heterogeneous Effects) नामक मीट्रिक का उपयोग करते हैं।
- उपमा: यह एक वीडियो गेम की तरह है जहाँ डेवलपर्स के पास परफेक्ट स्कोर पाने के लिए "चीट कोड" होता है। वे AI को इस आधार पर आंकते हैं कि वह उस ज्ञात "परफेक्ट" स्कोर के कितने करीब पहुँच पाता है।
किसान की नियमपुस्तिका (Real-World Data):
किसान वास्तविक खेत में होते हैं। वे केवल उन पौधों के परिणाम देख सकते हैं जिनका उन्होंने वास्तव में उपचार किया है। उन्हें कभी पता नहीं चलेगा कि क्या होता यदि उन्होंने दूसरा उर्वरक चुना होता। वे "परफेक्ट अंतर" को माप नहीं सकते। इसके बजाय, वे AI को अवलोकन योग्य परिणामों (observable results) के आधार पर आंकते हैं: "क्या AI ने हमें इलाज करने के लिए सबसे अच्छे 20% पौधों को चुनने में मदद की?" या "क्या कुल फसल में वृद्धि हुई?"
- उपमा: यह एक वास्तविक खेल के मैच की तरह है। आपको यह नहीं पता कि क्या होता यदि खिलाड़ी ने दूसरा शॉट लिया होता; आप केवल यह जानते हैं कि गोल हुआ या नहीं। आप खिलाड़ी को जीत/हार के रिकॉर्ड से आंकते हैं, न कि एक सैद्धांतिक "परफेक्ट प्ले" से।

2. बड़ा अंतर (The Big Disconnect - "Metric Mismatch")

शोध पत्र ने यह देखने के लिए एक विशाल प्रयोग चलाया (अपने आप में सबसे बड़ा) कि क्या "लैब के विजेता" ही "फील्ड के विजेता" भी थे।

चौंकाने वाला निष्कर्ष:
वे मॉडल जो "लैब गेम" में जीते (परफेक्ट चीट कोड का उपयोग करके), वे अक्सर "फील्ड गेम" जीतने वाले मॉडल नहीं थे।

उपमा: एक शतरंज कंप्यूटर की कल्पना करें जो एक ऐसे सिमुलेशन में निर्विवाद विश्व चैंपियन है जहाँ उसे प्रतिद्वंद्वी की अगली 10 चालों का पता होता है। लेकिन जब आप उसी कंप्यूटर को एक वास्तविक टूर्नामेंट में इंसान के खिलाफ उतारते हैं, तो वह बुरी तरह हार जाता है।
शोध पत्र का प्रमाण: जब शोधकर्ताओं ने डेटा का विश्लेषण किया, तो उन्होंने पाया कि लैब के "परफेक्ट स्कोर" (PEHЕ) के अनुसार "सर्वश्रेष्ठ" मॉडल को अक्सर वास्तविक दुनिया के मीट्रिक्स (जैसे "Up@20" या "Qini") द्वारा बहुत खराब रैंक दी गई थी। वास्तव में, लैब विजेता को चुनने से वास्तविक डेटा लागू करने पर "पछतावा" (प्रदर्शन में कमी) हुआ।

3. "नकली फील्ड" की समस्या (The "Fake Field" Problem)

वैज्ञानिक अक्सर "सेमी-सिमुलेटेड" (Semi-Simulated) डेटा का उपयोग करते हैं। यह वास्तविक डेटा है जहाँ वे गणितीय धारणाओं के आधार पर गायब नंबरों को बनाकर "काउंटरफैक्चुअल्स" (क्या होता अगर...) का नाटक करते हैं।

निष्कर्ष:
भले ही वैज्ञानिकों ने इन "नकली फील्ड्स" पर समान वास्तविक मीट्रिक्स (जैसे रैंकिंग) का उपयोग किया हो, फिर भी परिणाम वास्तविक खेतों के परिणामों से मेल नहीं खाए।

उपमा: यह एक कंप्यूटर-जनरेटेड चिकने ट्रैक पर कार का परीक्षण करने जैसा है। कार वहां अद्भुत दिखती है। लेकिन जब आप उसी कार को वास्तविक सड़क पर चलाते हैं जिसमें गड्ढे और बारिश है, तो यह बिल्कुल अलग तरह से व्यवहार करती है। "नकली फील्ड" कारों की ऐसी रैंकिंग बनाता है जो वास्तविक सड़क पर काम नहीं आती।

4. चौंकाने वाला विजेता: "साधारण" मॉडल (The Surprise Winner: The "Simple" Models)

शोध पत्र ने कई जटिल, फैंसी AI मॉडलों (जैसे विशेष न्यूरल नेटवर्क जिन्हें विशेष रूप से डिज़ाइन किया गया है) का अध्ययन किया।

निष्कर्ष:
फैंसी, विशेष मॉडल अक्सर हार गए। विजेता आमतौर पर साधारण, मजबूत मॉडल (जैसे मानक "मेटा-लर्नर्स" जिन्हें XGBoost जैसे मजबूत, बुनियादी टूल्स के साथ जोड़ा गया है) थे।

उपमा: एक उच्च-तकनीकी, एरोडायनामिक फॉर्मूला 1 कार (विशेषीकृत कॉज़ल मॉडल) और एक मजबूत, भरोसेमंद पिकअप ट्रक (साधारण मेटा-लर्नर्स) के बीच की दौड़ में, वास्तविक दुनिया में पिकअप ट्रक ही जीतता रहा। F1 कार टेस्ट ट्रैक पर शानदार थी, लेकिन पिकअप ट्रक ने वास्तविक इलाके को बेहतर तरीके से संभाला।

5. निष्कर्ष: नकल करना छोड़ें, परीक्षण करना शुरू करें (Conclusion: Stop Cheating, Start Testing)

लेखकों का निष्कर्ष है कि शोध का क्षेत्र वर्तमान में "टूटा हुआ" है क्योंकि यह उन मॉडलों को पुरस्कृत करता है जो एक सैद्धांतिक पहेली को हल करने में अच्छे हैं (लैब गेम), बजाय उन मॉडलों के जो वास्तव में वास्तविक दुनिया में काम करते हैं (फील्ड गेम)।

मुख्य बात (Takeaway): हम केवल सिमुलेटेड डेटासेट पर "परफेक्ट स्कोर" (PEHE) को देखकर यह नहीं कह सकते कि "यह सबसे अच्छा मॉडल है।" हमें इन मॉडलों का वास्तविक डेटा पर वास्तविक दुनिया के लक्ष्यों (जैसे रैंकिंग या कुल लाभ) का उपयोग करके परीक्षण भी करना चाहिए।
कार्यवाही का आह्वान (Call to Action): शोधकर्ताओं को केवल "लैब गेम" को एकमात्र सत्य मानना छोड़ देना चाहिए। उन्हें यह सुनिश्चित करने के लिए कि उनके मॉडल वास्तव में काम करते हैं, अपने शोध में "फील्ड टेस्ट" (वास्तविक डेटा और अवलोकन योग्य मीट्रिक्स) को शामिल करने की आवश्यकता है।

संक्षेप में: सिर्फ इसलिए कि एक मॉडल सिमुलेशन में (जहाँ उत्तर पता है) परफेक्ट दिखता है, इसका मतलब यह नहीं है कि वह वास्तविक दुनिया में सबसे अच्छा विकल्प होगा। शोध पत्र आग्रह करता है कि हम केवल सिमुलेशन पर निर्भर रहना छोड़ दें और वास्तविक दुनिया में परीक्षण करना शुरू करें।

तकनीकी सारांश: वास्तविक बनाम अर्ध-सिम्युलेटेड: उपचार प्रभाव अनुमान (Treatment Effect Estimation) के लिए मूल्यांकन पर पुनर्विचार

समस्या विवरण (Problem Statement)

कॉज़ल मशीन लर्निंग (Causal ML) का क्षेत्र अनुसंधान मूल्यांकन पद्धतियों और वास्तविक दुनिया की तैनाती आवश्यकताओं के बीच एक गंभीर विसंगति का सामना कर रहा है। जबकि शैक्षणिक अनुसंधान मुख्य रूप से अर्ध-सिम्युलेटेड बेंचमार्क और काउंटरफैक्चुअल मेट्रिक्स (जैसे, $\sqrt{PEHE}$ ) पर निर्भर करता है जिनमें ग्राउंड-ट्रुथ पोटेंशियल आउटकम्स की आवश्यकता होती है, औद्योगिक अनुप्रयोग उन स्थितियों में संचालित होते हैं जहाँ केवल अवलोकनीय परिणाम (observable outcomes) ही उपलब्ध होते हैं। वास्तविक दुनिया की सेटिंग्स में, काउंटरफैक्चुअल परिणाम (कि एक अलग उपचार के तहत क्या होता) परिभाषा के अनुसार अप्राप्य होता है। फलस्वरूप, अभ्यासकर्ताओं को रैंकिंग प्रदर्शन (जैसे, अपलिफ्ट कर्व्स) या तथ्यात्मक परीक्षण परिणामों जैसे अवलोकनीय मेट्रिक्स पर निर्भर रहना पड़ता है।

मुख्य समस्या यह है कि क्या मेथोडोलॉजिकल पेपर्स द्वारा उपयोग किए जाने वाले मूल्यांकन शासन (evaluation regimes) वास्तविक डेटासेट पर तैनाती परिदृश्यों में मॉडल प्रदर्शन का विश्वसनीय रूप से पूर्वानुमान लगाते हैं। विशेष रूप से, लेखक जांचते हैं कि क्या काउंटरफैक्चुअल मेट्रिक्स द्वारा "सर्वश्रेष्ठ" चुने गए मॉडल, वास्तविक डेटासेट पर अवलोकनीय मेट्रिक्स का उपयोग करके मूल्यांकन किए जाने पर प्रभावी रूप से स्थानांतरित (transfer) होते हैं।

कार्यप्रणाली (Methodology)

लेखक एक बड़े पैमाने पर अनुभवजन्य अध्ययन (empirical study) आयोजित करते हैं जिसमें 117 बेंचमार्क इंस्टेंस शामिल हैं, जिसमें 112 अर्ध-सिम्युलेटेड डेटासेट और 5 वास्तविक दुनिया के डेटासेट हैं। नमूना आकार सैकड़ों से लेकर लगभग 14 मिलियन (Criteo-ITE) तक है।

मूल्यांकित एस्टिमेटर्स (Estimators Evaluated)

अध्ययन एक व्यापक पूल का मूल्यांकन करता है, जिसमें शामिल हैं:

मेटा-लर्नर्स (Meta-learners): S-, T-, X-, R-, और डॉबली रोबस्ट (DR) लर्नर्स [Künzel et al., 2019; Nie and Wager, 2021]।
बेस लर्नर्स (Base Learners): लीनियर/लॉजिस्टिक्स रिग्रेशन (LR), XGBoost (XGB), और टू-लेयर मल्टी-लेयर पर्सेप्ट्रॉन्स (NN)।
विशेष आर्किटेक्चर (Specialized Architectures): TARNet, CFR, DragonNet, और कॉज़ल फॉरेस्ट्स।

मूल्यांकन मेट्रिक्स (Evaluation Metrics)

लेखक तीन परिवारों के मेट्रिक्स की तुलना करते हैं:

काउंटरफैक्चुअल-आधारित (ओरेकल): $\sqrt{PEHE}$ , पॉलिसी वैल्यू, और $\Delta$ ATE(Sim)। इनके लिए दोनों पोटेंशियल आउटकम्स तक पहुंच आवश्यक है और ये अर्ध-सिम्युलेटेड सेटिंग्स तक ही सीमित हैं।
अवलोकनीय परिणाम-आधारित (Observable Outcome-based): फॅक्टुअल लॉस और $\Delta$ ATE (अनुमानित और अनुभवजन्य औसत उपचार प्रभावों के बीच विसंगति को मापना)।
अवलोकनीय रैंकिंग-आधारित (Observable Ranking-based): Up@20, Qini स्कोर, और RATE AUTOC। ये देखे गए डेटा के आधार पर उपचार के लिए इकाइयों को प्राथमिकता देने की मॉडल की क्षमता का आकलन करते हैं।

प्रयोगात्मक डिजाइन (Experimental Design)

अध्ययन दो प्राथमिक प्रश्नों को संबोधित करता है:

Q1 (मेट्रिक ट्रांसफर): क्या अर्ध-सिम्युलेटेड डेटा पर काउंटरफैक्चुअल मेट्रिक्स, अवलोकनीय मेट्रिक्स द्वारा प्रेरित समान मॉडल रैंकिंग उत्पन्न करते हैं?
Q2 (डेटासेट ट्रांसफर): क्या अर्ध-सिम्युलेटेड बेंचमार्क से प्राप्त रैंकिंग वास्तविक डेटासेट पर स्थानांतरित होती हैं?

लेखक रैंकिंग के बीच सहमति को मात्रात्मक रूप से मापने के लिए केंडल के $\tau$ (Kendall's $\tau$ ) और विलकॉक्सन साइन्ड-रैंक टेस्ट का उपयोग करते हैं। वे कोवेरिएट अंतर के प्रभाव को अलग करने के लिए Criteo डेटासेट (वास्तविक) और Criteo-ITE (उसी स्रोत से व्युत्पन्न अर्ध-सिम्युलेटेड वेरिएंट) के साथ एक मैच किया गया केस स्टडी भी करते हैं।

मुख्य परिणाम (Key Results)

1. मेट्रिक डिस्कनेक्ट (Q1)

अध्ययन पाता है कि काउंटरफैक्चुअल मेट्रिक्स उन एस्टिमेटर्स को विश्वसनीय रूप से रिकवर नहीं करते जिन्हें अवलोकनीय मेट्रिक्स द्वारा पसंद किया जाता है, यहाँ तक कि समान अर्ध-सिम्युलेटेड बेंचमार्क पर भी।

रैंकिंग विचलन (Ranking Divergence): $\sqrt{PEHE}$ द्वारा "सर्वश्रेष्ठ" चुने गए मॉडल अक्सर Up@20 जैसे रैंकिंग मेट्रिक्स पर मूल्यांकन किए जाने पर पर्याप्त रिग्रेट (regret) झेलते हैं। उदाहरण के लिए, $\sqrt{PEHE}$ द्वारा चुना गया एस्टिमेटर Up@20 के तहत औसतन 13वें स्थान पर था।
सांख्यिकीय महत्व: रैंकिंग मेट्रिक्स के बीच सहमति (औसत $\tau = 0.355$ ), रैंकिंग और काउंटरफैक्चुअल मेट्रिक्स के बीच की सहमति (औसत $\tau = 0.256$ ) की तुलना में काफी अधिक है।
निहितार्थ: मॉडल चयन के लिए काउंटरफैक्चुअल मेट्रिक्स को गोल्ड स्टैंडर्ड मानने से ऐसे एस्टिमेटर्स का चयन हो सकता है जो तैनाती-उन्मुख लक्ष्यों के लिए उप-इष्टतम (suboptimal) हों।

2. डेटासेट नॉन-ट्रांसफ़ेरेबिलिटी (Q2)

अर्ध-सिम्युलेटेड बेंचमार्क से प्राप्त रैंकिंग वास्तविक डेटासेट पर स्थानांतरित नहीं होती हैं, भले ही समान अवलोकनीय मेट्रिक्स का उपयोग किया गया हो।

असंगत विजेता: जो विधियाँ अर्ध-सिम्युलेटेड बेंचमार्क पर हावी रहती हैं (जैसे, DragonNet, IHDP पर DR-LR), वे अक्सर वास्तविक दुनिया के डेटासेट में शीर्ष रैंकों में आने में विफल रहती हैं।
रैंक शिफ्ट: अर्ध-सिम्युलेटेड और वास्तविक डेटा के बीच रैंक शिफ्ट ( $\Delta$ Rank) में महत्वपूर्ण फैलाव है। उदाहरण के लिए, R- और DR-आधारित एस्टिमेटर्स अक्सर वास्तविक डेटा रैंकिंग में सुधार करते हैं, जबकि T- और X-लर्नर्स खराब हो सकते हैं।
मैच्ड केस स्टडी: Criteo मैच किए गए अध्ययन में भी (समान कोवेरिएट्स और उपचार असाइनमेंट, भिन्न आउटकम जनरेशन), एस्टिमेटर्स का समग्र क्रम काउंटरफैक्चुअल (Criteo-ITE) और अवलोकनीय (Criteo) सेटिंग्स के बीच बदल गया।

3. व्यावहारिक अवलोकन (Practical Observations)

बेस लर्नर का प्रभुत्व: मजबूत प्रेडिक्टिव बैकबोन (विशेष रूप से XGBoost) के साथ सरल मेटा-लर्नर्स लगातार प्रतिस्पर्धी बने रहते हैं। T(XGB), X(XGB), और S(XGB) समग्र रैंकिंग में हावी हैं।
विशेष मॉडल: विशेष न्यूरल आर्किटेक्चर (जैसे, DragonNet, CFR) आमतौर पर टैबुलर बैकबोन वाले सरल मेटा-लर्नर्स की तुलना में खराब प्रदर्शन करते हैं, सिवाय इसके कि जब उन्हें विशेष रूप से काउंटरफैक्चुअल अर्ध-सिम्युलेटेड मेट्रिक्स के तहत मूल्यांकित किया जाता है।

महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि उपचार प्रभाव अनुमान का क्षेत्र दोनों मेट्रिक समस्या और डेटासेट समस्या का सामना कर रहा है।

मूल्यांकन प्रोटोकॉल का पुनर्मूल्यांकन: लेखक दावा करते हैं कि कॉज़ल ML में प्रगति का आकलन केवल ओरेकल-शैली के काउंटरफैक्चुअल मेट्रिक्स और अर्ध-सिम्युलेटेड बेंचमार्क के माध्यम से नहीं किया जाना चाहिए। ये शासन उन विधियों को पुरस्कृत कर सकते हैं जिनके इंडक्टिव बायस (inductive biases) सिम्युलेशन मैकेनिज्म के बजाय वास्तविक दुनिया के उपचार असाइनमेंट या आउटकम नॉइज़ के साथ संरेखित होते हैं।
वास्तविक-डेटा सत्यापन की आवश्यकता: यह अध्ययन अनुसंधान और तैनाती के बीच के अंतर को पाटने के लिए अवलोकनीय मेट्रिक्स और वास्तविक-डेटा सत्यापन को शामिल करने की वकालत करता है।
बेंचमार्किंग मानक: लेखक सुझाव देते हैं कि मेथोडोलॉजिकल पेपर्स में मजबूत प्रेडिक्टिव बैकबोन (जैसे XGBoost) के साथ सरल मेटा-लर्नर्स को बेसलाइन के रूप में शामिल किया जाना चाहिए, क्योंकि विशेष कॉज़ल मॉडल अक्सर अवलोकनीय, तैनाती-उन्मुख सेटिंग्स में उनके मुकाबले बेहतर प्रदर्शन करने में विफल रहते हैं।

पेपर निष्कर्ष निकालता है कि हालांकि अर्ध-सिम्युलेटेड बेंचमार्क स्ट्रेस-टेस्टिंग और नियंत्रित विश्लेषण के लिए उपयोगी हैं, वे व्यावहारिक अनुप्रयोगों के लिए स्टैंडअलोन गाइड के रूप में अपर्याप्त हैं। भविष्य के कार्य को ऐसे मूल्यांकन प्रोटोकॉल विकसित करने पर ध्यान केंद्रित करना चाहिए जो ओरेकल-शैली के काउंटरफैक्चुअल मूल्यांकन को अवलोकनीय, तैनाती-उन्मुख मानदंडों के साथ बेहतर ढंग से जोड़ सकें।