📈 economics

A Large-Scale Empirical Comparison of Meta-Learners and Causal Forests for Heterogeneous Treatment Effect Estimation in Marketing Uplift Modeling

यह शोध पत्र UpliftBench प्रस्तुत करता है, जो Criteo Uplift v2.1 डेटासेट पर एक बड़े पैमाने का अनुभवजन्य अध्ययन है, जो यह प्रदर्शित करता है कि LightGBM के साथ S-Learner, प्रिसिजन मार्केटिंग के लिए हेट्रोजेनियस ट्रीटमेंट इफेक्ट्स (heterogeneous treatment effects) का अनुमान लगाने में T-Learner, X-Learner और Causal Forest से बेहतर प्रदर्शन करता है, साथ ही अनुनय (persuasion) के प्रमुख चालकों की पहचान करता है और ग्राहक अनिश्चितता को परिमाणित करता है।

मूल लेखक: Aman Singh

प्रकाशित 2026-04-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aman Singh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मार्केटिंग मैनेजर हैं जिसके पास विज्ञापनों पर खर्च करने के लिए पैसों की एक विशाल बाल्टी है। आपका लक्ष्य इन विज्ञापनों को उन लोगों को देना है जो वास्तव में विज्ञापन देखने के बाद कुछ खरीदेंगे।

पुराने दिनों में, कंपनियाँ बस सभी पर विज्ञापन थोप देती थीं (जैसे किसी भीड़ भरे कमरे में चिल्लाना) या यह तय करने के लिए सिक्का उछाल देती थीं कि किसे विज्ञापन दिखाया जाए। यह बर्बादी है। आप इन लोगों पर पैसा खर्च कर रहे हैं:

"हमेशा खरीदने वाले" (Always-Buyers): वे लोग जो विज्ञापन के बिना भी उत्पाद खरीदते ही।
"सोते हुए कुत्ते" (Sleeping Dogs): वे लोग जो विज्ञापन से परेशान हो जाते हैं और आपसे खरीदारी करना पूरी तरह से बंद कर देते हैं।
"समझाने योग्य" (Persuadables): वह छोटा समूह जो केवल तभी खरीदता है जब आप उन्हें विज्ञापन दिखाते हैं।

यह पेपर एक विशाल, वास्तविक दुनिया का प्रयोग है यह पता लगाने के लिए कि 14 मिलियन ग्राहकों में से उन "समझाने योग्य" लोगों को खोजने का सबसे अच्छा तरीका क्या है।

बड़ा प्रयोग: "UpliftBench"

शोधकर्ताओं ने एक बड़ी दौड़ आयोजित की जिसे UpliftBench कहा गया। इसमें चार अलग-अलग "कोच" (एल्गोरिदम) थे जो यह अनुमान लगाने की कोशिश कर रहे थे कि "समझाने योग्य" लोग कौन हैं। लक्ष्य यह देखना था कि कौन सा कोच ग्राहकों को एक ऐसी "टॉप 20%" सूची में वर्गीकृत कर सकता है जिसमें भविष्य के खरीदारों की संख्या सबसे अधिक हो।

चार कोच ये थे:

S-Learner (द एस-लर्नर): एक "हरफनमौला" (Jack-of-all-trades) कोच। यह सभी को एक साथ देखता है, विज्ञापन को जानकारी के एक अन्य हिस्से (जैसे रंग या आकार) के रूप में मानता है जो भविष्यवाणी करने में मदद करता है।
T-Learner (द टी-लर्नर): एक "स्प्लिट-टीम" कोच। यह उन लोगों के लिए एक मॉडल बनाता है जिन्होंने विज्ञापन देखा और उन लोगों के लिए एक पूरी तरह से अलग मॉडल बनाता है जिन्होंने नहीं देखा, फिर दोनों की तुलना करता है।
X-Learner (द एक्स-लर्नर): एक "क्रॉस-ट्रेनिंग" कोच। यह S और T दोनों कोचों की खूबियों से सीखने की कोशिश करता है, विशेष रूप से उन स्थितियों के लिए डिज़ाइन किया गया है जहाँ एक समूह (विज्ञापन समूह) दूसरे से बहुत बड़ा हो।
Causal Forest (कॉज़ल फॉरेस्ट): एक "फॉरेस्ट रेंजर"। यह पैटर्न खोजने के लिए हजारों छोटे निर्णय वृक्ष (decision trees) बनाता है और यह प्रसिद्ध है कि यह केवल उत्तर ही नहीं देता, बल्कि यह भी बताता है कि वह अपने उत्तर को लेकर कितना आश्वस्त है।

परिणाम: कौन जीता?

शोधकर्ताओं ने इन कोचों को 14 मिलियन ग्राहक रिकॉर्ड्स पर चलाया। यहाँ हुआ:

चौंका देने वाला विजेता: S-Learner (हरफनमौला कोच) की दौड़ में जीत हुई। इसने केवल जीत ही नहीं हासिल की; इसने दबदबा बनाया।
- स्कोर: इसने "क्विनी स्कोर" (Qini score) 0.376 प्राप्त किया। सरल भाषा में, इसका मतलब है कि यदि आप उन शीर्ष 20% लोगों को लक्षित करते हैं जिनकी सिफारिश S-Learner करता है, तो आप उन सभी अतिरिक्त बिक्री को पकड़ लेते हैं जो आप वास्तव में प्राप्त कर सकते थे।
- तुलना: यदि आप यादृच्छिक (random) रूप से लोगों को चुनते, तो आपको केवल 20% बिक्री मिलती। S-Learner यादृच्छिक अनुमान से 3.9 गुना बेहतर था।
अंडरडॉग: X-Learner, जिसे विशेषज्ञों ने सबसे अच्छा माना था क्योंकि समूह असंतुलित थे (85% ने विज्ञापन देखा, 15% ने नहीं), वास्तव में दूसरे स्थान पर आया। यह अच्छा था, लेकिन सरल S-Learner से बेहतर नहीं था।
फॉरेस्ट रेंजर: Causal Forest दिलचस्प था लेकिन धीमा था। क्योंकि यह गणनात्मक रूप से बहुत भारी था, शोधकर्ताओं को इसे एक छोटे नमूने पर टेस्ट करना पड़ा (जैसे एक कार को 100 मील के हाईवे के बजाय 10 मील के ट्रैक पर टेस्ट करना)। इसने बेहतरीन "कॉन्फिडेंस स्कोर" (यह बताना कि वह कब निश्चित है या अनिश्चित है) दिए, लेकिन इस विशिष्ट परीक्षण में इसने ग्राहकों को उतना अच्छा रैंक नहीं किया जितना S-Learner ने किया।

"सोते हुए कुत्ते" और "आत्मविश्वासी समझाने योग्य"

"कॉन्फिडेंस" (विश्वास) को देखने का "फॉरेस्ट रेंजर" का सबसे दिलचस्प हिस्सा था।

आत्मविश्वासी समझाने योग्य (1.9%): ये "गोल्डन टिकट" हैं। मॉडल 95% आश्वस्त है कि ये लोग केवल तभी खरीदेंगे यदि आप उन्हें विज्ञापन दिखाएंगे।
आत्मविश्वासी सोते हुए कुत्ते (0.1%): ये "खतरे के क्षेत्र" हैं। मॉडल 95% आश्वस्त है कि यदि आप उन्हें विज्ञापन दिखाएंगे तो वे परेशान होकर चले जाएंगे।
अनिश्चित द्रव्यमान (98%): लगभग बाकी सभी के लिए, मॉडल 100% निश्चित नहीं है। यह मानवीय व्यवहार की वास्तविकता है; यह भविष्यवाणी करना कठिन है कि विज्ञापन पर किसकी प्रतिक्रिया कैसी होगी।

"जादुई" विशेषता

शोधकर्ताओं ने SHAP नामक एक टूल का उपयोग किया (जो एक जासूस के आवर्धक लेंस की तरह है) यह देखने के लिए कि मॉडलों ने अपने निर्णय क्यों लिए। भले ही डेटा गुमनाम (नाम जैसे "f8" के बजाय "आयु" या "आय") था, उन्होंने पाया कि एक विशिष्ट विशेषता, f8, सबसे बड़ा चालक थी कि कौन खरीदेगा। यही वह "सीक्रेट सॉस" था जिसने बिक्री और चूक के बीच अंतर पैदा किया।

मुख्य निष्कर्ष

यदि आप एक व्यवसाय के नेता हैं जो पैसा बचाना और बिक्री बढ़ाना चाहते हैं:

जटिलता न बढ़ाएं: आपको हमेशा सबसे जटिल, फैंसी एल्गोरिदम (जैसे X-Learner) की आवश्यकता नहीं होती है। कभी-कभी, एक सरल, मजबूत मॉडल (S-Learner) बेहतर काम करता है, खासकर जब आपके पास बहुत अधिक डेटा हो।
लक्ष्य निर्धारण (Targeting) महत्वपूर्ण है: इन मॉडलों का उपयोग करके, आप उन लोगों पर पैसा बर्बाद करना बंद कर सकते हैं जिन्हें समझाने की आवश्यकता नहीं है और उन लोगों को परेशान करना बंद कर सकते हैं जो विज्ञापनों से नफरत करते हैं।
पैमाना (Scale) मायने रखता है: जो चीज़ एक छोटे क्लासरूम प्रयोग में काम करती है, वह स्टेडियम में काम नहीं करती। "सरल" दृष्टिकोण इसलिए जीता क्योंकि इसने 14 मिलियन रिकॉर्ड्स के विशाल पैमाने को जटिल मॉडलों की तुलना में बेहतर तरीके से संभाला।

संक्षेप में: यह पेपर साबित करता है कि पर्याप्त डेटा के साथ, विज्ञापन को केवल एक अन्य विशेषता (feature) के रूप में मानने का "सरल" दृष्टिकोण उन ग्राहकों को खोजने का सबसे शक्तिशाली उपकरण है जो वास्तव में खरीदना चाहते हैं।

यहाँ शोध पत्र "A Large-Scale Empirical Comparison of Meta-Learners and Causal Forests for Heterogeneous Treatment Effect Estimation in Marketing Uplift Modeling" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बड़े पैमाने पर डिजिटल मार्केटिंग में, मानक A/B परीक्षण केवल औसत उपचार प्रभाव (Average Treatment Effects - ATE) प्रदान करते हैं, जो व्यक्तिगत ग्राहक प्रतिक्रियाओं (सकारात्मक, नकारात्मक, या शून्य) के बीच अंतर करने में विफल रहते हैं। यह सीमा तीन लागतपूर्ण लक्ष्यीकरण त्रुटियों (targeting errors) की ओर ले जाती है:

बर्बाद खर्च (Wasted Spend): उन "हमेशा कन्वर्ट होने वालों" (always-converters) को लक्षित करना जो हस्तक्षेप के बिना भी खरीदारी करते।
नकारात्मक रिटर्न (Negative Returns): उन "सोते हुए कुत्तों" (sleeping dogs) को लक्षित करना जो उपचार के प्रति प्रतिकूल प्रतिक्रिया देते हैं।
राजस्व का नुकसान (Missed Revenue): उन "उच्च-प्रतिक्रिया देने वालों" (high-responders) को प्राथमिकता देने में विफल रहना जो हस्तक्षेप के कारण परिवर्तित होने की सबसे अधिक संभावना रखते हैं।

यह शोध प्रिसिजन मार्केटिंग (Precision Marketing) की आवश्यकता को संबोधित करता है, जिसका उद्देश्य कंडीशनल एवरेज ट्रीटमेंट इफेक्ट (CATE) का अनुमान लगाना है, जिसे $\tau(x) = E[Y(1) - Y(0) | X = x]$ के रूप में दर्शाया गया है। हालांकि CATE अनुमान के विभिन्न तरीके मौजूद हैं, लेकिन विशेष रूप से विशाल डेटासेट पर मेटा-लर्नर्स और कॉज़ल फॉरेस्ट्स (Causal Forests) के बीच के ट्रेड-ऑफ के संबंध में पद्धतियों के चयन के लिए मार्गदर्शन करने हेतु व्यवस्थित, औद्योगिक-स्तर के बेंचमार्किंग का अभाव है।

2. कार्यप्रणाली (Methodology)

डेटासेट (Dataset)

अध्ययन में Criteo Uplift v2.1 डेटासेट का उपयोग किया गया है, जो 13.98 मिलियन ग्राहक रिकॉर्ड वाला एक सार्वजनिक बेंचमार्क है।

विशेषताएँ (Features): 12 अज्ञात सहचर (covariates) ( $f_0$ – $f_{11}$ )।
उपचार असाइनमेंट (Treatment Assignment): लगभग यादृच्छिक (Propensity AUC = 0.509), जिसमें 85% उपचारित (treated) / 15% नियंत्रण (control) का विभाजन है।
परिणाम (Outcome): प्राथमिक मॉडल "विजिट" (visit) (4.7% सकारात्मक दर) है; "कन्वर्जन" (conversion) (0.29% दर) को भविष्य के कार्य के लिए नोट किया गया है लेकिन स्पर्सिटी (sparsity) के कारण इसे छोड़ दिया गया है।

पाइपलाइन आर्किटेक्चर (Pipeline Architecture)

लेखकों ने UpliftBench विकसित किया है, जो एक पुनरुत्पादक (reproducible) पाइपलाइन है जिसमें शामिल है:

प्रीप्रोसेसिंग (Preprocessing): 80/20 स्ट्रैटिफाइड ट्रेन-टेस्ट स्प्लिट; StandardScaler नॉर्मलाइजेशन।
प्रोपेंसिटी एस्टीमेशन (Propensity Estimation): प्रोपेंसिटी स्कोर का अनुमान लगाने के लिए लॉजिस्टिक रिग्रेशन, जिसे मेटा-लर्नर्स के लिए एक फीचर के रूप में जोड़ा गया है।
CATE एस्टीमेशन (CATE Estimation): चार अलग-अलग एस्टिमेटर्स को प्रशिक्षित करना।
मूल्यांकन (Evaluation): क्विनी गुणांक (Qini coefficient), संचयी लाभ वक्र (cumulative gain curves), नीति सिमुलेशन (policy simulation), और अनिश्चितता परिमाणीकरण (uncertainty quantification)।
व्याख्यात्मकता (Interpretability): फीचर एट्रिब्यूशन के लिए SHAP वैल्यू विश्लेषण।

तुलना किए गए एस्टिमेटर्स (Estimators Compared)

सभी मेटा-लर्नर्स टैबुलर डेटा पर गति और प्रदर्शन के लिए LightGBM का उपयोग बेस लर्नर के रूप में करते हैं:

S-Learner: एक एकल आउटकम मॉडल $\mu(x, t)$ फिट करता है जिसमें उपचार संकेतक $t$ को एक फीचर के रूप में शामिल किया जाता है। CATE का अनुमान $\hat{\tau}(x) = \mu(x, 1) - \mu(x, 0)$ के रूप में लगाया जाता है।
T-Learner: क्रमशः उपचारित और नियंत्रण समूहों के लिए अलग-अलग मॉडल $\mu_1(x)$ और $\mu_0(x)$ फिट करता है। CATE उनके बीच का अंतर है।
X-Learner: एक दो-चरणीय क्रॉस-फिटिंग दृष्टिकोण जो उपचार असंतुलन को संभालने के लिए डिज़ाइन किया गया है। यह विपरीत समूह पर इन पुटेड प्रभावों को लागू करके व्यक्तिगत उपचार प्रभावों को इम्प्यूट (impute) करता है, फिर प्रोपेंसिटी स्कोर द्वारा भारित इन इम्प्यूटेड प्रभावों पर पुनः फिट करता है।
Causal Forest (EconML): पॉइंट एस्टिमेट और 95% बूटस्ट्रैप कॉन्फिडेंस इंटरवल प्रदान करने के लिए 'ऑनेस्ट स्प्लिटिंग' का उपयोग करने वाला एक नॉन-पैरामीट्रिक दृष्टिकोण। नोट: कम्प्यूटेशनल बाधाओं के कारण, इसका मूल्यांकन 10% स्ट्रैटिफाइड सब-सैंपल (~280k रिकॉर्ड) पर किया गया था।

मूल्यांकन मेट्रिक्स (Evaluation Metrics)

क्विनी गुणांक (Qini Coefficient): प्राथमिक मेट्रिक, जो मॉडल के संचयी लाभ वक्र और रैंडम टारगेटिंग बेसलाइन के बीच के क्षेत्र को मापता है।
नीति सिमुलेशन (Policy Simulation): मॉडल के प्रदर्शन को व्यावसायिक मूल्य (वृद्धिशील रूपांतरण बनाम संपर्क लागत) में अनुवादित करता है।
अनिश्चितता परिमाणीकरण (Uncertainty Quantification): Causal Forest कॉन्फिडेंस इंटरवल का उपयोग करके ग्राहकों को "आत्मविश्वासी प्रेरक" (Confident Persuadables - Lower CI > 0) और "आत्मविश्वासी सोते हुए कुत्ते" (Confident Sleeping Dogs - Upper CI < 0) में विभाजित करता है।

3. मुख्य परिणाम (Key Results)

मॉडल प्रदर्शन (Model Performance)

S-Learner का प्रभुत्व: S-Learner ने उच्चतम क्विनी स्कोर (0.3759) प्राप्त किया, जिसने X-Learner (0.3615), T-Learner (0.3503) और Causal Forest (0.2524) को पीछे छोड़ दिया।
टारगेटिंग दक्षता (Targeting Efficiency): S-Learner के भविष्यवाणियों के आधार पर शीर्ष 20% ग्राहकों को लक्षित करने से 77.7% सभी वृद्धिशील रूपांतरण (incremental conversions) प्राप्त हुए। यह रैंडम टारगेटिंग की तुलना में 3.9 गुणा सुधार है।
वैरिएंस स्थिरता (Variance Stability): S-Learner ने T-Learner (0.0267) और Causal Forest (0.0377) की तुलना में सबसे कम CATE वैरिएंस (Std = 0.0223) प्रदर्शित किया, जो अधिक स्थिर रैंकिंग व्यवहार का संकेत देता है।
X-Learner का आश्चर्य: इस सैद्धांतिक अपेक्षा के विपरीत कि X-Learner उपचार असंतुलन (85/15 स्प्लिट) के तहत उत्कृष्ट है, इसने S-Learner से बेहतर प्रदर्शन नहीं किया। लेखक इसका श्रेय S-Learner के निहित रेगुलाइजेशन (implicit regularization) को देते हैं, जो बड़े-नमूना, कम-बेस-रेट परिदृश्यों में ओवरफिटिंग को कम करता है।
Causal Forest की सीमाएं: Causal Forest के लिए कम क्विनी स्कोर संभवतः अनिवार्य सब-सैंपलिंग (डेटा का 10%) के कारण है, न कि किसी मौलिक एल्गोरिथम कमी के कारण।

व्यावसायिक प्रभाव (नीति सिमुलेशन) (Business Impact - Policy Simulation)

$1 प्रति संपर्क की लागत पर 1,000,000 ग्राहकों के काल्पनिक अभियान में:

S-Learner के माध्यम से शीर्ष 20% को लक्षित करना, पूरी आबादी को रैंडमली लक्षित करने के समान रूपांतरण वॉल्यूम प्राप्त करता है, लेकिन इसमें 80% कम संपर्क लागत लगती है।

अनिश्चितता और एट्रिब्यूशन (Uncertainty & Attribution)

ग्राहक वर्गीकरण (Customer Segmentation): सब-सैंपल पर Causal Forest कॉन्फिडेंस इंटरवल का उपयोग करके:
- आत्मविश्वासी प्रेरक (Confident Persuadables): 1.9% (Lower CI > 0)।
- आत्मविश्वासी सोते हुए कुत्ते (Confident Sleeping Dogs): 0.1% (Upper CI < 0)।
- अनिश्चित (Uncertain): 98.0% (CI 0 को ओवरलैप करता है)।
- अंतर्दृष्टि: उच्च अनिश्चितता यह सुझाव देती है कि संभाव्य लक्ष्यीकरण (probabilistic targeting - पूर्ण वितरण का उपयोग करना) बाइनरी नियम-आधारित दृष्टिकोणों की तुलना में बेहतर है।
फीचर एट्रिब्यूशन (SHAP): विश्लेषण ने पहचाना कि फीचर $f_8$ विषम उपचार प्रभावों (HTE) का प्रमुख चालक है, इसके बाद $f_6$ और $f_2$ का स्थान है।

4. मुख्य योगदान (Key Contributions)

UpliftBench: मेटा-लर्नर्स और कॉज़ल फॉरेस्ट्स की तुलना करने वाला एक पुनरुत्पादक, बड़े पैमाने का बेंचमार्क (13.98M रिकॉर्ड), जो औद्योगिक-स्तर के साहित्य की कमी को पूरा करता है।
रेगुलाइजेशन पर अनुभवजन्य साक्ष्य: यह प्रदर्शित करता है कि विशाल स्तर पर, S-Learner का निहित रेगुलाइजेशन सैद्धांतिक रूप से श्रेष्ठ X-Learner से बेहतर प्रदर्शन कर सकता है, जो इस डिफ़ॉल्ट धारणा को चुनौती देता है कि असंतुलित डेटा के लिए X-Learner हमेशा सर्वश्रेष्ठ होता है।
पैमाने पर अनिश्चितता परिमाणीकरण: कॉन्फिडेंस इंटरवल के आधार पर ग्राहकों को वर्गीकृत करने के लिए एक व्यावहारिक ढांचा प्रदान करता है, जिससे पता चलता है कि अधिकांश उपयोगकर्ताओं के उपचार प्रभाव अनिश्चित होते हैं।
कार्यवाही योग्य मार्गदर्शन (Actionable Guidance): उच्च-वॉल्यूम अपलिफ्ट मॉडलिंग के लिए LightGBM-आधारित S-Learners के उपयोग को मान्य करते हुए, साक्ष्य-आधारित सिफारिशें प्रदान करता है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:
यह शोध मार्केटिंग डेटा वैज्ञानिकों को महत्वपूर्ण मार्गदर्शन प्रदान करता है, यह सुझाव देते हुए कि कम बेस रेट वाले बड़े डेटासेट के लिए, मजबूत बेस लर्नर्स (LightGBM) वाले सरल मॉडल (S-Learner), बेहतर वैरिएंस कंट्रोल के कारण जटिल मेटा-लर्नर्स की तुलना में बेहतर प्रदर्शन कर सकते हैं। यह उत्पादन वातावरण में कॉज़ल फॉरेस्ट्स के कम्प्यूटेशनल ट्रेड-ऑफ को भी उजागर करता है।

सीमाएं:

सब-सैंपलिंग: Causal Forest के परिणाम 10% के सब-सैंपल पर आधारित हैं; पूर्ण-जनसंख्या प्रदर्शन भिन्न हो सकता है।
आउटकम स्कोप: केवल "विजिट" को मॉडल किया गया था; कन्वर्जन (राजस्व) मॉडलिंग को स्थगित कर दिया गया था।
फीचर एनोनिमाइजेशन: अनोनिमाइज्ड फीचर्स ( $f_0$ – $f_{11}$ ) का उपयोग क्यों कुछ फीचर्स कुछ विशिष्ट उपचार प्रभावों को संचालित करते हैं, इसकी प्रत्यक्ष व्यावसायिक व्याख्या को सीमित करता है, हालांकि SHAP विश्लेषण ने प्रमुख ड्राइवरों की पहचान की।
बाहरी वैधता (External Validity): निष्कर्ष Criteo डेटासेट के लिए विशिष्ट हैं और सभी डोमेन या डेटा वितरणों पर सामान्यीकृत नहीं हो सकते हैं।

पूर्ण पाइपलाइन और कोड प्रदान किए गए GitHub रिपॉजिटरी पर उपलब्ध हैं, जिससे अनुसंधान समुदाय द्वारा पुनरावृत्ति और विस्तार संभव है।