📈 economics

Robust X-Learner: Breaking the Curse of Imbalance and Heavy Tails via Robust Cross-Imputation

यह शोध पत्र रोबस्ट एक्स-लर्नर (RX-Learner) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो भारी-पूंछ वाले वितरणों (heavy-tailed distributions) और वर्ग असंतुलन के कारण होने वाले "आउटलियर स्मीयरिंग" (Outlier Smearing) को समाप्त करने के लिए ग्रेडिएंट बूस्टिंग में रेडिसेन्डिंग $\gamma$ -डाइवर्जेंस उद्देश्यों और एक प्रॉक्सी हेसियन रणनीति को एकीकृत करता है, जिससे औद्योगिक अपलिफ्ट डेटासेट पर मानक एक्स-लर्नर की तुलना में PEHE में 98.6% की कमी आती है।

मूल लेखक: Eichi Uehara

प्रकाशित 2026-01-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eichi Uehara

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Robust X-Learner: Breaking the Curse of Imbalance and Heavy Tails via Robust Cross-Imputation" पेपर का सरल भाषा और उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: समस्या क्या है?

कल्पना कीजिए कि आप एक मार्केटिंग मैनेजर हैं जो यह पता लगाने की कोशिश कर रहे हैं कि विज्ञापन दिखाने पर कौन से ग्राहक नया उत्पाद खरीदेंगे। आपके पास लोगों की एक विशाल सूची है (कंट्रोल ग्रुप) जिन्होंने विज्ञापन नहीं देखा, और एक बहुत छोटी सूची है (ट्रीटमेंट ग्रुप) जिन्होंने विज्ञापन देखा।

वास्तविक दुनिया में, दो चीजें इस काम को अविश्वसनीय रूप से कठिन बना देती हैं:

भीड़ असमान है: आपके पास 10,000 लोग हो सकते हैं जिन्होंने विज्ञापन नहीं देखा, लेकिन केवल 100 लोग ऐसे हो सकते हैं जिन्होंने देखा। यह एक भीड़ की औसत ऊंचाई का अनुमान लगाने जैसा है, जहाँ आपने केवल कुछ ही लोगों को मापा है।
"व्हेल्स" (Whales): इस तरह के डेटा में, अधिकांश लोग थोड़ा पैसा खर्च करते हैं, लेकिन कुछ बहुत कम लोग ("व्हेल्स") बहुत अधिक पैसा खर्च करते हैं। यदि आपकी गणित "औसत" खर्च पर आधारित है, तो एक व्यक्ति द्वारा खर्च किया गया $10,000 कंप्यूटर को यह सोचने के लिए धोखा दे सकता है कि *हर कोई*$ 10,000 खर्च करने वाला है।

पुराना समाधान: "X-Learner" (और यह क्यों विफल होता है)

वैज्ञानिकों ने पहले असमान भीड़ को संभालने के लिए X-Learner नामक एक चतुर उपकरण का आविष्कार किया था।

यह कैसे काम करता था: यह जानकारी "उधार" लेने की कोशिश करता था। इसने उन लोगों के बड़े समूह को देखा जिन्होंने विज्ञापन नहीं देखा और अनुमान लगाने की कोशिश की कि यदि उन्होंने विज्ञापन देखा होता तो क्या होता, जिसमें छोटे समूह को एक संदर्भ (reference) के रूप में उपयोग किया गया।
दोष: पेपर का तर्क है कि हालांकि यह असमान भीड़ के लिए बेहतरीन है, लेकिन यह "व्हेल्स" के लिए बहुत बुरा है।

"आउटलियर स्मियरिंग" (Outlier Smearing) की उपमा:
कल्पना कीजिए कि आप 1,000 छात्रों (कंट्रोल ग्रुप) की एक क्लास को गणित का एक सवाल हल करना सिखा रहे हैं। आपके पास केवल एक छात्र (ट्रीटमेंट ग्रुप) है जिसने वास्तव में वह सवाल हल किया है।

परिदृश्य: वह एक छात्र एक जीनियस है जिसने धोखाधड़ी करके 1,000,000 का स्कोर प्राप्त किया (एक आउटलियर/व्हेल)।
पुराना तरीका (MSE): शिक्षक (X-Learner) उस एक छात्र के स्कोर को देखता है और कहता है, "ठीक है, चूंकि औसत स्कोर 1,000,000 है, इसलिए मैं बाकी 1,000 छात्रों को बताऊंगा कि उन्हें भी 1,000,000 ही मिलना चाहिए।"
परिणाम: शिक्षक ने उस धोखाधड़ी करने वाले छात्र के ऊंचे स्कोर को पूरी क्लास में "स्मियर" (फैला) दिया है। अब, शिक्षक सोचता है कि पूरी क्लास जीनियस है, जबकि वास्तव में वे औसत हैं। मॉडल पूरी तरह से टूट जाता है।

नया समाधान: "Robust X-Learner" (RX-Learner)

लेखक, एइची उएहारा (Eichi Uehara), Robust X-Learner नामक एक नया टूल प्रस्तावित करते हैं। यह "स्मियरिंग" की समस्या को ठीक करने के लिए कंप्यूटर के डेटा को "सुनने" के तरीके को बदल देता है।

1. "स्मार्ट फिल्टर" (Gamma-Divergence)
हर डेटा पॉइंट को समान मानने के बजाय (जहाँ $10,000 खर्च करने वाली एक व्हेल का महत्व$ 1 खर्च करने वाले व्यक्ति से 10,000 गुना अधिक होता है), नया तरीका एक विशेष गणितीय फिल्टर का उपयोग करता है।

उपमा: कल्पना कीजिए कि शिक्षक के पास एक विशेष चश्मा है। जब वे $1,000,000 स्कोर वाले धोखाधड़ी करने वाले छात्र को देखते हैं, तो चश्मा उस छात्र को अदृश्य बना देता है। शिक्षक उस धोखे को अनदेखा करता है और केवल "कोर" (Core) छात्रों पर ध्यान केंद्रित करता है जो सामान्य आबादी का प्रतिनिधित्व करते हैं।
परिणाम: मॉडल "कोर" आबादी की वास्तविक संरचना को सीखता है बिना "व्हेल्स" द्वारा पटरी से उतरे।

2. "स्थिर सीढ़ी" (MM Optimization)
आमतौर पर, जब आप आउटलेयर्स को अनदेखा करते हैं, तो गणित अस्थिर और कठिन हो जाता है (जैसे एक ऐसी सीढ़ी चढ़ना जो हिल रही हो)।

समाधान: पेपर एक "प्रॉक्सी हेसियन" (Proxy Hessian) रणनीति पेश करता है (जो स्थिरता के लिए एक गणितीय ट्रिक है)।
उपमा: हिलती हुई सीढ़ी चढ़ने के बजाय, शिक्षक एक ठोस, सुदृढ़ सीढ़ी बनाता है। यह सुनिश्चित करता है कि पागल आउटलेयर्स को अनदेखा करते हुए भी, मॉडल बिखर न जाए या भ्रमित न हो। यह गारंटी देता है कि गणित हर कदम पर सही दिशा में आगे बढ़ेगा।

3. "क्लीन इम्प्यूटेशन" (Clean Imputation)
अब, जब मॉडल छोटे समूह से जानकारी "उधार" लेने के लिए वापस जाता है, तो वह डेटा के "साफ" संस्करण का उपयोग करता है।

परिणाम: "व्हेल" अब क्लास में स्मियर नहीं होती है। शिक्षक 1,000 छात्रों को वास्तविक औसत स्कोर बताता है, न कि नकली वाला।

परिणाम: क्या हुआ?

लेखक ने एक डेटासेट पर इस नए तरीके का परीक्षण किया जो वास्तविक विज्ञापन (Criteo डेटासेट) की नकल करता है।

सेटअप: उन्होंने एक परिदृश्य बनाया जहाँ 2% लोगों ने विज्ञापन देखा, और कुछ "व्हेल्स" ने बहुत अधिक पैसा खर्च किया।
निष्कर्ष:
- पुराना तरीका (Standard X-Learner) अराजक था। यह अस्थिर था और भारी गलतियाँ करता था क्योंकि यह व्हेल्स के प्रति जुनूनी हो गया था।
- नया तरीका (RX-Learner) बेहद मजबूत था। इसने त्रुटि (error) को 98.6% तक कम कर दिया।
- इसने सफलतापूर्वक "कोर" (सामान्य उपयोगकर्ता) को "पेरिफेरी" (शोर वाले आउटलेयर्स) से अलग किया, जिससे यह स्पष्ट तस्वीर मिली कि वास्तव में कौन विज्ञापन का जवाब दे रहा है।

सारांश

पेपर कहता है: "कुछ पागल आउटलेयर्स को बाकी सभी के लिए आपका मॉडल बर्बाद न करने दें।"

इस गणित को करने का पुराना तरीका एक कमरे में एक शोर मचाने वाले, पागल व्यक्ति को पूरी बातचीत को नियंत्रित करने देने जैसा था। नया Robust X-Learner उस पागल व्यक्ति के लिए नॉइज़-कैंसलिंग हेडफ़ोन लगा देता है, शांत और सामान्य बहुमत को सुनता है, और आपको कहीं अधिक सटीक उत्तर देता है।

तकनीकी सारांश: रोबस्ट एक्स-लर्नर (RX-Learner)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एडटेक (AdTech) और स्वास्थ्य सेवा जैसे औद्योगिक अनुप्रयोगों में हेटेरोजेनियस ट्रीटमेंट इफेक्ट्स (HTE) के अनुमान के भीतर एक महत्वपूर्ण दोहरी चुनौती को संबोधित करता है: अत्यधिक क्लास इम्बैलेंस (extreme class imbalance) और हैवी-टेल्ड आउटकम डिस्ट्रीब्यूशन (heavy-tailed outcome distributions)।

जबकि मानक एक्स-लर्नर (X-Learner) फ्रेमवर्क (Künzel et al., 2019) क्रॉस-इम्पुटेशन (बहुसंख्यक समूह से जानकारी उधार लेकर अल्पसंख्यक समूह के लिए प्रभाव का अनुमान लगाना) के माध्यम से इम्बैलेंस को प्रभावी ढंग से कम करता है, यह तब बुरी तरह विफल हो जाता है जब डेटा में हैवी-टेल्ड आउटलेयर्स ("व्हेल्स" या whales) मौजूद होते हैं। लेखक एक विशिष्ट विफलता मोड की पहचान करते हैं जिसे "आउटलियर स्मियरिंग" (Outlier Smearing) कहा जाता है।

मानक एक्स-लर्नर में, जो मीन स्क्वेयर्ड एरर (MSE) मिनिमाइजेशन पर निर्भर करता है:

बायस प्रोपेगेशन (Bias Propagation): यदि अल्पसंख्यक समूह (जैसे, ट्रीटमेंट ग्रुप) में एक भी चरम आउटलियर मौजूद है, तो MSE-आधारित रिस्पॉन्स फंक्शन एस्टिमेटर ( $\hat{\mu}_1$ ) काफी हद तक बायस्ड (पक्षपाती) हो जाता है।
स्मियरिंग मैकेनिज्म (Smearing Mechanism): क्रॉस-इम्पुटेशन चरण के दौरान, इस बायस्ड $\hat{\mu}_1$ का उपयोग पूरे बहुसंख्यक (कंट्रोल) समूह के लिए छद्म-परिणामों (pseudo-outcomes) को उत्पन्न करने के लिए किया जाता है। फलस्वरूप, एक अकेले "व्हेल" से उत्पन्न बायस, स्वच्छ बहुसंख्यक समूह के प्रत्येक इम्पुटेड मान में गणितीय रूप से "स्मियर" (फैल) जाता है।
परिणाम: अंतिम CATE एस्टिमेटर एक विकृत संरचना सीख लेता है, जो आउटलियर के शोर (noise) को एक वास्तविक ट्रीटमेंट इफेक्ट समझने की गलती करता है, यहाँ तक कि उन क्षेत्रों में भी जहाँ कंट्रोल डेटा सघन और स्वच्छ है।

मौजूदा विकल्प जैसे रोबस्ट डबल मशीन लर्निंग (R-Learner) इस संदर्भ में विफल रहते हैं क्योंकि वे इनवर्स प्रोबेबिलिटी वेटिंग (IPW) पर निर्भर करते हैं, जो प्रोपेंसिटी स्कोर शून्य या एक के करीब होने पर (चरम असंतुलन में) वेरिएंस विस्फोट (variance explosion) का शिकार होता है।

2. कार्यप्रणाली: रोबस्ट एक्स-लर्नर (RX-Learner)

RX-लेर्नर एक्स-लर्नर (क्रॉस-इम्पुटेशन) के संरचनात्मक लाभों को सुरक्षित रखता है, लेकिन हैवी टेल्स के विरुद्ध मजबूती सुनिश्चित करने के लिए अपने लर्निंग ऑब्जेक्टिव को मौलिक रूप से बदल देता है। यह फ्रेमवर्क कोर-पेरिफेरी कॉज़ल इन्फरेंस (Core-Periphery Causal Inference) की अवधारणा पर आधारित है, जिसका लक्ष्य अस्थिर "पेरिफेरी" (Periphery) को अनदेखा करते हुए स्थिर "कोर" (Core) आबादी पर प्रभावों का अनुमान लगाना है।

2.1 $\gamma$ -डाइवर्जेंस के माध्यम से रोबस्ट बेस लर्नर्स

MSE को कम करने के बजाय, RX-लेर्नर एक डेंसिटी-पावर डाइवर्जेंस (density-power divergence) ऑब्जेक्टिव को कम करता है। इस धारणा के तहत कि "कोर" वितरण गॉसियन (Gaussian) है, यह ऑब्जेक्टिव गणितीय रूप से वेल्च (या लेक्लेर्क) लॉस (Welsch/Leclerc loss) के समान है:
$L_{Robust}(r_i) \propto 1 - \exp\left(-\frac{\gamma r_i^2}{2\hat{\sigma}^2}\right)$

रेडिसेंडिंग इन्फ्लुएंस (Redescending Influence): लॉस फंक्शन में एक रेडिसेंडिंग इन्फ्लुएंस फंक्शन है। जैसे-जैसे रेसिडुअल मैग्नीट्यूड $|r_i|$ बढ़ता है (जो एक "व्हेल" का संकेत देता है), उस ऑब्जर्वेशन को दिया जाने वाला वेट (weight) तेजी से घटकर शून्य हो जाता है।
ओरेकल रिफाइनमेंट (Oracle Refinement): यह तंत्र मॉडल को प्रशिक्षण के दौरान स्वचालित रूप से आउटलेयर्स को "सॉफ्ट-ट्रिम" करने की अनुमति देता है, जिससे मॉडल केवल कोर आबादी के आधार पर फंक्शन को फिट करता है।
स्केल एस्टीमेशन: सिंगुलैरिटी (collapse) को रोकने के लिए, स्केल पैरामीटर $\hat{\sigma}$ को एक प्रारंभिक रोबस्ट फिट से मेडियन एब्सोल्यूट डेविएशन (MAD) का उपयोग करके इनिशियलाइज़ और फिक्स किया जाता है।

2.2 MM-आधारित ऑप्टिमाइजेशन (प्रॉक्सी हेसियन)

चूंकि वेल्च लॉस नॉन-कॉन्वेक्स (non-convex) है, इसलिए मानक ग्रेडिएंट बूस्टिंग इम्प्लीमेंटेशन (जो कॉन्वेक्स हेसियन पर निर्भर करते हैं) अस्थिर हो सकते हैं। लेखक एक मेजराइजेशन-मिनिमाइजेशन (MM) रणनीति पेश करते हैं:

क्वाड्रेटिक मेजराइजेशन (Quadratic Majorization): वेल्च लॉस को एक हाफ-क्वाड्रेटिक फंक्शन के रूप में माना जाता है। प्रत्येक इटरेशन में, एक क्वाड्रेटिक अपर बाउंड (majorizer) बनाया जाता है।
प्रॉक्सी हेसियन (Proxy Hessian): ऑप्टिमाइजेशन इस क्वाड्रेटिक बाउंड को कम करने द्वारा किया जाता है, जो एक वेटेड लीस्ट स्क्वेयर्स समस्या को हल करने के समान है जहाँ वेट्स एक "प्रॉक्सी हेसियन" के रूप में कार्य करते हैं।
गारंटी: यह दृष्टिकोण लॉस फंक्शन में एक मोनोटोनिक कमी सुनिश्चित करता है, जो बिना कॉन्वेक्स लॉस सरफेस के भी स्थिरता की गारंटी देता है।

2.3 रोबस्ट क्रॉस-इम्पुटेशन और एग्रीगेशन

चरण 2 (इम्पुटेशन): क्योंकि बेस लर्नर्स ( $\hat{\mu}_{1,\gamma}, \hat{\mu}_{0,\gamma}$ ) रोबस्ट हैं, इसलिए बायस टर्म $\delta$ प्रभावी रूप से शून्य है। इसलिए बहुसंख्यक समूह के लिए उत्पन्न छद्म-परिणाम (pseudo-outcomes) "स्वच्छ" हैं। यह स्रोत पर ही स्मियरिंग प्रभाव को रोकता है।
चरण 3 (एग्रीगेशन): अंतिम CATE मॉडल भी छद्म-परिणामों पर उसी $\gamma$ -बूस्टिंग प्रक्रिया का उपयोग करके प्रशिक्षित किए जाते हैं। अंतिम अनुमान एक इनवर्स-वेरिएंस वेटिंग स्कीम का उपयोग करके एक भारित औसत है, जो उच्च सटीकता वाले एस्टिमेटर को प्राथमिकता देता है।

3. मुख्य योगदान

सैद्धांतिक एकीकरण: यह पेपर $\gamma$ -डाइवर्जेंस मिनिमाइजेशन को मेटा-लर्निंग फ्रेमवर्क में एकीकृत करता है, जो आधुनिक डेंसिटी-पावर डाइवर्जेंस विधियों और शास्त्रीय रोबस्ट सांख्यिकी (वेल्च लॉस) के बीच एक सैद्धांतिक सेतु स्थापित करता है। यह "आउटलियर स्मियरिंग" को मानक एक्स-लर्नर्स की एक मौलिक कमजोरी के रूप में पहचानता है।
एल्गोरिदम स्थिरता: यह "प्रॉक्सी हेसियन" रणनीति को MM फ्रेमवर्क में स्थापित करके रोबस्ट एस्टीमेशन में निहित नॉन-कॉन्वेक्स ऑप्टिमाइजेशन चुनौती को हल करता है, जिससे मानक ग्रेडिएंट बूस्टिंग मशीनरी पर कुशल कार्यान्वयन संभव होता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधि को क्रिटो अपलिफ्ट (Criteo Uplift) डेटासेट के सेमी-सिंथेटिक व्युत्पन्न पर मान्य किया गया है, जो दर्शाता है कि यह प्रभावी रूप से अस्थिर पेरिफेरी से स्थिर कोर आबादी को अलग करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने शुद्ध सिंथेटिक डेटा और सेमी-सिंथेटिक क्रिटो बेंचमार्क दोनों का उपयोग करके मानक बेसलाइन्स (MSE-आधारित X-Learner, हूबर लॉस, विंड्सोराइजेशन, और रोबस्ट DML) के मुकाबले RX-लेर्नर का मूल्यांकन किया।

सिंथेटिक डेटा (अत्यधिक पैथोलॉजी): 2% ट्रीटमेंट इम्बैलेंस और एसिमेट्रिक पारेटो नॉइज़ (asymmetric Pareto noise) वाले परिदृश्य में, RX-लेर्नर ने अगले सर्वश्रेष्ठ बेसलाइन (हूबर लॉस) की तुलना में प्रिसिजन इन एस्टीमेशन ऑफ हेटेरोजेनियस इफेक्ट (PEHE) को 50% से अधिक कम कर दिया। महत्वपूर्ण रूप से, जबकि MSE-आधारित विधियों ने आउटलियर मैग्नीट्यूड के अनुपात में लीनियर प्रेडिक्शन शिफ्ट दिखाया, RX-लेर्नर ने शून्य शिफ्ट दिखाया, जो आउटलेयर्स के अस्वीकरण की पुष्टि करता है।
सेमी-सिंथेटिक क्रिटो बेंचमार्क:
- सेटअप: $N=61,200$ यूजर्स, 2% ट्रीटमेंट रेट, जिसमें "व्हेल्स" (ट्रीटेड यूजर्स का 5%) सिग्नल से 80 गुना बड़े मान रखते थे।
- बेसलाइन विफलता: मानक X-लेर्नर (MSE) ने विनाशकारी अस्थिरता प्रदर्शित की, जिसमें स्टैंडर्ड डेविएशन (24.54) मीन एरर (18.15) से अधिक था।
- RX-लेर्नर की सफलता: RX-लेर्नर ने नगण्य वेरिएंस (0.022) के साथ कोर-PEHE में 98.6% की कमी (0.263 बनाम 18.15) हासिल की।
- मैकेनिज्म वेरिफिकेशन: परिणामों ने पुष्टि की कि बेसलाइन मॉडल "आउटलियर स्मियरिंग" से पीड़ित था, जहाँ एक एकल आउटलियर के कारण मॉडल के प्रेडिक्शन ग्लोबली कोलैप्स हो गए, जबकि RX-लेर्नर ने सूक्ष्म अंतर्निहित कॉज़ल सिग्नल को सफलतापूर्वक रिकवर किया।

5. महत्व और दावे

यह पेपर दावा करता है कि RX-लेर्नर औद्योगिक-स्तर के CATE एस्टीमेशन के लिए एक गणितीय रूप से ठोस समाधान प्रदान करता है जहाँ डेटा शायद ही कभी गॉसियन या संतुलित होता है।

संरचनात्मक मजबूती (Structural Robustness): यह विधि "सुविधाजनक सांख्यिकीय धारणाओं" से आगे बढ़कर वास्तविक दुनिया के डेटा की ज्यामिति (कोर बनाम पेरिफेरी) का सम्मान करती है।
व्यावसायिक प्रभाव: "व्हेल चेज़िंग" (उन उपयोगकर्ताओं पर बोली लगाना जो पहले से ही ऑर्गेनिक रूप से कन्वर्ट हो रहे हैं) को रोककर, RX-लेर्नर बजट आवंटन के लिए एक रूढ़िवादी लेकिन विश्वसनीय एस्टिमेटर प्रदान करता है, जिससे यह सुनिश्चित होता है कि विज्ञापन खर्च आउटलेयर्स को सब्सिडी देने के बजाय वृद्धिशील रूपांतरणों (incremental conversions) को लक्षित करता है।
सीमाएं: लेखक नोट करते हैं कि वर्तमान कार्यान्वयन कम्प्यूटेशनल स्थिरता के लिए एक गॉसियन कोर वितरण मानता है। भविष्य के कार्य के रूप में नेचुरल ग्रेडिएंट बूस्टिंग के माध्यम से गैर-गॉसियन विस्तार (जैसे स्टूडेंट-टी या कॉची) और रोबस्टनेस पैरामीटर $\gamma$ के डायनेमिक ट्यूनिंग की खोज करने का सुझाव दिया गया है।

संक्षेप में, RX-लेर्नर इम्बैलेंस को संभालने की एक्स-लर्नर की क्षमता और हैवी टेल्स के विरुद्ध मजबूती की आवश्यकता के बीच के तनाव को हल करता है, जिससे "सूचना उधार लेने" को "प्रदूषण फैलने" के वेक्टर से एक स्थिर एस्टीमेशन प्रक्रिया में बदल दिया जाता है।