Variance reduction combining pre-experiment and in-experiment data

यहाँ ज़ेक्सियाओ लिन और पाब्लो क्रेस्पो के शोध पत्र "Variance reduction combining pre-experiment and in-experiment data" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑनलाइन नियंत्रित प्रयोग (A/B टेस्टिंग) डेटा-संचालित निर्णय लेने के लिए महत्वपूर्ण हैं, लेकिन उनकी संवेदनशीलता अक्सर निश्चित नमूना आकारों (fixed sample sizes) द्वारा सीमित होती है। प्राथमिक लक्ष्य औसत उपचार प्रभाव (Average Treatment Effect - ATE) का उच्च सटीकता के साथ अनुमान लगाना है।

• वर्तमान स्थिति: वेरिएंस रिडक्शन की मानक तकनीकें जैसे CUPED (Controlled-experiment Using Pre-Experiment Data) और CUPAC (Control Using Predictions as Covariates), ATE एस्टिमेटर के वेरिएंस को कम करने के लिए प्री-एक्सपेरिमेंट कोवेरियेट्स ($X$) का उपयोग करती हैं।
• सीमा: CUPED/CUPAC की प्रभावशीलता प्री-एक्सपेरिमेंट डेटा की प्रेडिक्टिव पावर द्वारा सीमित होती है। कई मामलों में, प्री-एक्सपेरिमेंट फीचर्स का प्रयोग के दौरान मापे गए परिणाम (outcome) के साथ कमजोर सहसंबंध (correlation) होता है।
• चुनौती: प्रयोग के दौरान एकत्र किया गया डेटा (इन-एक्सपेरिमेंट डेटा या पोस्ट-ट्रीटमेंट कोवेरियेट्स, $Z$) अक्सर परिणाम के साथ बहुत अधिक मजबूती से सहसंबंधित होता है। हालांकि, मानक कारण अनुमान (causal inference) सिद्धांत पोस्ट-ट्रीटमेंट वेरिएबल्स के समायोजन (adjustment) के विरुद्ध चेतावनी देता है क्योंकि वे मध्यस्थ (mediators) के रूप में कार्य कर सकते हैं (जो उपचार $W$ से परिणाम $Y$ तक के कारण पथ पर स्थित होते हैं)। मध्यस्थों के लिए समायोजन करने से उपचार प्रभाव का एक हिस्सा बाधित हो जाता है, जिससे ATE अनुमान में बायस (bias) उत्पन्न होता है।
• मुख्य प्रश्न: क्या हम पोस्ट-ट्रीटमेंट बायस उत्पन्न किए बिना, वेरिएंस को कम करने के लिए अत्यधिक प्रेडिक्टिव इन-एक्सपेरिमेंट डेटा का सुरक्षित रूप से लाभ उठा सकते हैं?

2. कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय ढांचे (two-stage framework) का प्रस्ताव करते हैं जो प्री-एक्सपेरिमेंट डेटा (CUPED के माध्यम से) को इन-एक्सपेरिमेंट डेटा के सावधानीपूर्वक चुने गए उपसमूह के साथ जोड़ता है।

A. सैद्धांतिक ढांचा (Theoretical Framework)

यह विधि मध्यस्थों (mediators) और उपचार-असंवेदनशील कोवेरियेट्स (treatment-insensitive covariates) के बीच अंतर पर आधारित है:

• मध्यस्थ (Mediators): वे वेरिएबल्स जहाँ $Z(1) \neq Z(0)$ (उपचार कोवेरियेट को बदल देता है)। इनके लिए समायोजन करने से ATE बायस्ड हो जाता है।
• उपचार-असंवेदनशील कोवेरियेट्स (Treatment-Insensitive Covariates): वे वेरिएबल्स जहाँ उपचार $Z$ के वितरण को प्रभावित नहीं करता है, या विशेष रूप से, जहाँ मीन इक्विवेलेंस (mean equivalence) लागू होता है: $E[Z | W=1] = E[Z | W=0]$।
• मुख्य अंतर्दृष्टि: जबकि नॉन-लीनियर एडजस्टमेंट के लिए पूर्ण वितरण स्वतंत्रता (distributional independence) की आवश्यकता होती है, लीनियर रिग्रेशन एडजस्टमेंट के लिए केवल मीन इक्विवेलेंस की आवश्यकता होती है। यह एक कमजोर, परीक्षण योग्य स्थिति है जो उन वेरिएबल्स को शामिल करने की अनुमति देती है जिनके विभिन्न arms में उच्च-क्रम के मोमेंट्स (higher-order moments) भिन्न हो सकते हैं लेकिन जिनका माध्य (mean) नहीं बदलता है।

B. एस्टिमेटर (The Estimator)

प्रस्तावित एस्टिमेटर, $\hat{\tau}$, दो चरणों में कार्य करता है:

1. चरण 1 (Pre-experiment Adjustment): परिणाम $Y$ की भविष्यवाणी करने के लिए एक फ्लेक्सिबल मशीन लर्निंग मॉडल (जैसे, LightGBM) को प्री-ट्रीटमेंट कोवेरियेट्स $X$ का उपयोग करके फिट करें। इससे एक फिटेड फंक्शन $\hat{f}(X)$ और अवशेष (residuals) $\hat{R}_i = Y_i - \hat{f}(X_i)$ प्राप्त होते हैं। यह चरण CUPAC के समान है।
2. चरण 2 (In-experiment Adjustment): अवशेषों $\hat{R}$ को एक लीनियर मॉडल का उपयोग करके पोस्ट-ट्रीटमेंट कोवेरियेट्स $Z$ के एक चयनित उपसमूह पर रिग्रेस करें।
   $$\hat{\tau} = \frac{1}{n_1}\sum_{W_i=1} (Y_i - \hat{f}(X_i) - \hat{\gamma}^\top Z_i) - \frac{1}{n_0}\sum_{W_i=0} (Y_i - \hat{f}(X_i) - \hat{\gamma}^\top Z_i)$$
   जहाँ $\hat{\gamma}$ $Z$ के लिए अनुमानित कोएफिशिएंट वेक्टर है।

C. कोवेरियेट चयन रणनीति (Covariate Selection Strategy)

बायसहीनता सुनिश्चित करने के लिए, विधि $Z$ के लिए एक कठोर चयन प्रक्रिया अपनाती है:

1. परिकल्पना परीक्षण (Hypothesis Testing): प्रत्येक संभावित पोस्ट-टment कोवेरियेट के लिए, शून्य परिकल्पना $H_0: E[Z | W=1] = E[Z | W=0]$ का परीक्षण करने के लिए एक टू-सैंपल टेस्ट (जैसे, Mann-Whitney U या t-test) करें।
2. स्क्रीनिंग (Screening): उन कोवेरियेट्स का चयन करें जहाँ शून्य परिकल्पना को खारिज नहीं किया जा सकता है (p-value > $\alpha$)।
3. मजबूती (Robustness): लेखक स्थिर उपचार-असंवेदनशील कोवेरियेट्स की पहचान करने के लिए कई ऐतिहासिक प्रयोगों में मेटा-एनालिसिस (जैसे, Fisher's method) का उपयोग करने पर चर्चा करते हैं। वे यह भी नोट करते हैं कि जबकि गलत समावेश (false inclusion) बायस लाता है, गलत अपवर्जन (false exclusion) केवल दक्षता (efficiency) को कम करता है; इसलिए, रूढ़िवादी चयन (conservative selection) को प्राथमिकता दी जाती है।

D. सैद्धांतिक गारंटी (Theoretical Guarantees)

• कंसिस्टेंसी (Consistency): एस्टिमेटर कंसिस्टेंट और एसिम्प्टोटिकली नॉर्मल है।
• बायस (Bias): बायस पूरी तरह से चयनित $Z$ के मीन इम्बैलेंस (mean imbalance) द्वारा निर्धारित होता है। यदि मीन इक्वैलेंस लागू होता है, तो एस्टिमेटर अनबायस्ड है।
• वेरिएंस (Variance): वेरिएंस को उस मात्रा तक कम कर दिया जाता है जितना कि $Z$ द्वारा समझाया गया परिणाम का वेरिएंस, जिसे $X$ द्वारा पहले से स्पष्ट नहीं किया गया था।
• दक्षता (Efficiency): यदि संयुक्त समायोजन ($f(X) + \gamma^\top Z$) वास्तविक कंडीशनल मीन से मेल खाता है, तो एस्टिमेटर सेमी-पैरामेट्रिक एफिशिएंसी बाउंड प्राप्त करता है।

3. मुख्य योगदान (Key Contributions)

1. नया ढांचा (Novel Framework): प्री-एक्सपेरिमेंट और इन-एक्सपेरिमेंट डेटा को वेरिएंस रिडक्शन के लिए संयोजित करने का एक सामान्य, स्केलेबल तरीका पेश करता है, जो CUPED/CUPAC की सीमाओं से आगे जाता है।
2. शिथिल धारणाएं (Relaxed Assumptions): यह प्रदर्शित करता है कि लीनियर एडजस्टमेंट के लिए पोस्ट-ट्रीटमेंट कोवेरियेट्स के लिए स्ट्रॉन्गर सरोगसी या प्रिंसिपल इग्नोरैबिलिटी (principal ignorability) की तुलना में केवल मीन इक्वेलेंस की आवश्यकता होती है।
3. व्यावहारिक चयन प्रक्रिया (Practical Selection Procedure): "सुरक्षित" पोस्ट-ट्रीटमेंट कोवेरियेट्स की पहचान करने के लिए एक सांख्यिकीय रूप से कठोर, परीक्षण योग्य प्रोटोकॉल (परिकल्पना परीक्षण + डोमेन ज्ञान) प्रदान करता है, जो सैद्धांतिक कारण अनुमान और औद्योगिक A/B टेस्टिंग के बीच के अंतर को पाटता है।
4. कंप्यूटेशनल दक्षता (Computational Efficiency): यह विधि कंप्यूटेशनल रूप से हल्की है (दूसरे चरण में लीनियर रिग्रेशन) और मौजूदा पाइपलाइनों के साथ संगत है जहाँ पहला-चरण का मॉडल ऑफलाइन प्री-ट्रेन किया गया है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने ग्राहक कन्वर्जन रेट पर ध्यान केंद्रित करते हुए Etsy में आयोजित 29 ऑनलाइन प्रयोगों पर इस विधि का मूल्यांकन किया।

• सेटअप (Setup):
  • बेसलाइन (Baseline): 117 प्री-ट्रीटमेंट कोवेरियेट्स (LightGBM द्वारा प्रशिक्षित) का उपयोग करके CUPED।
  • प्रस्तावित (Proposed): CUPED + 23 चयनित पोस्ट-ट्रीटमेंट कोवेरियेट्स (काउंट डेटा जैसे सेशन ड्यूरेशन, व्यूज, आदि)।
• निष्कर्ष (Findings):
  • प्रेडिक्टिव सटीकता (Predictive Accuracy): प्रस्तावित विधि ने CUPED की तुलना में निरंतर बेहतर प्रेडिक्टिव सटीकता ($\sqrt{R^2}$ द्वारा मापी गई) दिखाई, जिसमें 0.02 से लेकर 0.14 से अधिक की वृद्धि देखी गई।
  • वेरिएंस रिडक्शन (Variance Reduction): विधि ने अकेले CUPAC की तुलना में महत्वपूर्ण अतिरिक्त वेरिएंस रिडक्शन प्राप्त किया। कई प्रयोगों में, पोस्ट-ट्रीटमेंट कोवेरियेट्स द्वारा प्राप्त अतिरिक्त रिडक्शन, प्री-एक्सपेरिमेंट कोवेरियेट्स द्वारा प्राप्त रिडक्शन के बराबर या उससे अधिक था।
  • दक्षता (Efficiency): काफी कम कोवेरियेट्स (23 पोस्ट-ट्रीटमेंट बनाम 117 प्री-ट्रीटमेंट) का उपयोग करने के बावजूद, विधि ने महत्वपूर्ण दक्षता लाभ दिए, जो इन-एक्सपेरिमेंट डेटा के उच्च सिग्नल-टू-नॉइज़ रेशियो को प्रदर्शित करता है।

5. महत्व और प्रभाव (Significance and Impact)

• त्वरित निर्णय लेना (Accelerated Decision Making): ATE एस्टिमेटर के वेरिएंस को कम करके, कंपनियाँ उपचार प्रभावों को तेज़ी से पहचान सकती हैं, जिससे A/B टेस्ट के लिए आवश्यक समय और लागत कम हो जाती है।
• सार्वभौमिक प्रयोज्यता (Universal Applicability): प्री-एक्सपेरिमेंट डेटा के विपरीत, जो नए उपयोगकर्ताओं के लिए अनुपलब्ध हो सकता है या गोपनीयता नीतियों द्वारा प्रतिबंधित हो सकता है, इन-एक्सपेरिमेंट डेटा सभी प्रतिभागियों के लिए उपलब्ध है, जो इस विधि को नए उपयोगकर्ता खंडों के लिए भी मजबूत बनाता है।
• प्रतिमान परिवर्तन (Paradigm Shift): यह पेपर उद्योग के इस सिद्धांत को चुनौती देता है कि "पोस्ट-ट्रीटमेंट वेरिएबल्स का उपयोग कभी नहीं किया जाना चाहिए।" यह प्रयोग के दौरान उत्पन्न समृद्ध, उच्च-सहसंबंध वाले डेटा का उपयोग करने के लिए एक सिद्धांत आधारित, सुरक्षित मार्ग प्रदान करता है।
• स्केलेबिलिटी (Scalability): यह दृष्टिकोण बड़े पैमाने के एक्सपेरिमेंटेशन प्लेटफॉर्म में सहजता से फिट बैठता है जहाँ हजारों प्रयोग समानांतर में चलते हैं, जिसमें न्यूनतम अतिरिक्त कंप्यूटेशनल संसाधनों की आवश्यकता होती है।

संक्षेप में, लिन और क्रेस्पो ऑनलाइन प्रयोगों की एक लंबे समय से चली आ रही समस्या का एक सैद्धांतिक रूप से सुदृढ़ और अनुभवजन्य रूप से प्रमाणित समाधान प्रदान करते हैं: कारण अनुमानों की सटीकता में सुधार के लिए इन-एक्सपेरिमेंट डेटा की प्रेडिक्टिव पावर का सुरक्षित रूप से उपयोग कैसे किया जाए।