📊 statistics

Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap

यह शोध पत्र एक नवीन A/B-परीक्षण प्रोटोकॉल प्रस्तावित करता है जो सहमत कार्यों (agreeing actions) से उत्पन्न होने वाले शोर को समाप्त करने के लिए पॉलिसी ओवरलैप और $\Delta$ -ऑफ-पॉलिसी एस्टीमेशन का लाभ उठाता है, जिससे मानक विधियों की तुलना में उपचार प्रभावों (treatment effects) के मूल्यांकन में भिन्नता (variance) कम होती है और गति आती है।

मूल लेखक: Olivier Jeunen

प्रकाशित 2026-07-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Olivier Jeunen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं: कौन सा नया गैजेट बेहतर काम करता है? ऑनलाइन प्लेटफॉर्म की दुनिया में—जैसे आपके फोन पर मौजूद ऐप्स या वेबसाइटें—कंपनियाँ यह उत्तर खोजने के लिए "A/B टेस्ट" चलाती हैं। वे अपने उपयोगकर्ताओं को दो समूहों में विभाजित करती हैं: समूह A पुराने गैजेट (कंट्रोल) को देखता है, और समूह B नए गैजेट (ट्रीटमेंट) को देखता है। यह देखने के लिए कि क्या नया गैजेट रखने लायक है, प्रत्येक समूह द्वारा उत्पन्न किए गए पैसे, क्लिक या समय की तुलना करके कंपनी निर्णय लेती है।

लेकिन यहाँ एक पेच है: इंटरनेट अव्यवस्थित है। लोग अप्रत्याशित होते हैं। एक दिन एक उपयोगकर्ता हर चीज़ पर क्लिक कर सकता है; अगले दिन, वे सब कुछ अनदेखा कर सकते हैं। यह "शोर" (noise) यह बताने में मुश्किल पैदा करता है कि क्या नया गैजेट वास्तव में बेहतर है या परिणाम केवल संयोग से मिले हैं। स्पष्ट उत्तर प्राप्त करने के लिए, कंपनियों को आमतौर पर बहुत लंबे समय तक ये परीक्षण चलाने होते हैं या लाखों लोगों को नया गैजेट दिखाना होता है, जो महंगा और धीमा है। वैज्ञानिक इस शोर को काटने के तरीके खोजने की कोशिश कर रहे हैं, अक्सर गणित का उपयोग करके यह अनुमान लगाने के लिए कि क्या होना चाहिए था और उस अनुमान को वास्तविक परिणामों से घटाने के लिए। यह शोध पत्र इस दृश्य में प्रवेश करता है और एक सरल लेकिन शक्तिशाली प्रश्न पूछता है: क्या हम इस तथ्य का उपयोग करके कि दोनों गैजेट अक्सर बिल्कुल एक जैसा काम करते हैं, अपने परीक्षणों को तेज़ और अधिक सटीक बना सकते हैं?

"एक्सेलेरेटिंग ए/बी-टेस्ट विद काउंटरफैक्चुअल एस्टीमेशन" (Accelerating A/B-Tests with Counterfactual Estimation) शीर्षक वाला यह शोध पत्र एक चतुर नया तरीका प्रस्तावित करता है। लेखक, ओलिवियर जेने (Olivier Jeunen), सुझाव देते हैं कि दो गैजेटों की तुलना करने का मानक तरीका वास्तव में बहुत सारा डेटा बर्बाद कर रहा है। इसका मूल विचार यह है: कल्पना करें कि दो गैजेट दो अलग-अलग शेफ (रसोइये) हैं। यदि दोनों शेफ किसी ग्राहक के लिए पिज्जा बनाने का निर्णय लेते हैं, तो परिणाम (एक पिज्जा) वही रहता है चाहे आपने किसे भी काम पर रखा हो। यदि आप उस पिज्जा को देखकर शेफों की तुलना करने की कोशिश करते हैं, तो आप उनके बारे में कुछ नहीं सीखते; आप केवल इस शोर को देखते हैं कि पिज्जा का स्वाद कैसा है। मानक विधि इस पिज्जा को एक डेटा पॉइंट के रूप में गिनती है, जो भ्रम में वृद्धि करता है।

जेने का तर्क है कि हमें दो मूल शेफों को मिलाने वाले एक "मेटा-शेफ" (एक मेटा-पॉलिसी) के रूप में यह मानने के बजाय कि रैंडम चुनाव किस शेफ को काम पर रखने का है, इसे एक अलग दृष्टिकोण से देखना चाहिए। "काउंटरफैक्चुअल एस्टीमेशन" नामक एक गणितीय ट्रिक का उपयोग करके, नई विधि यह महसूस करती है कि जब दोनों शेफ एक ही कार्य (जैसे पिज्जा बनाना) पर सहमत होते हैं, तो वह डेटा पॉइंट उनके बीच के अंतर के बारे में हमें कुछ नहीं बताता है। इसलिए, नई विधि अनिवार्य रूप से कहती है, "पिज्जा को अनदेखा करें; केवल उन क्षणों पर ध्यान केंद्रित करें जब शेफ असहमत होते हैं, जैसे कि जब एक पिज्जा बनाता है और दूसरा बर्गर।" उन क्षणों को कम महत्व देकर जहाँ नीतियां सहमत होती हैं और उन क्षणों को अधिक महत्व देकर जहाँ वे भिन्न होती हैं, यह विधि शोर को हटा देती है।

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह दृष्टिकोण हमेशा मानक विधि से बेहतर होता है जब तक कि दोनों नीतियों में कोई ओवरलैप (अर्थात, वे कभी भी एक ही कार्य पर सहमत होते हैं) हो। यह दिखाता है कि नई विधि में "शोर" उपयोगकर्ता के व्यवहार की कच्ची अराजकता के बजाय नीतियों के बीच के अंतर पर निर्भर करता है। यदि नीतियां बहुत समान हैं (जो कि छोटी अपडेट्स के दौरान आम है), तो नई विधि शोर को काफी कम कर सकती है, जिससे परीक्षण के परिणाम बहुत स्पष्ट हो जाते हैं।

इसके अलावा, यह शोध पत्र सुझाव देता है कि हमें हमेशा ट्रैफ़िक को दो समूहों के बीच 50/50 में विभाजित करने की आवश्यकता नहीं है। ठीक वैसे ही जैसे एक शेफ को एक जोखिम भरी नई रेसिपी का परीक्षण करने के लिए अधिक सामग्री की आवश्यकता हो सकती है, गणित यह दिखाता है कि सबसे सटीक उत्तर प्राप्त करने के लिए उपयोगकर्ताओं का सर्वोत्तम विभाजन असमान हो सकता है (उदाहरण के लिए, 81% उपयोगकर्ताओं को नए गैजेट पर और 19% को पुराने गैजेट पर भेजना)। लेखक कंप्यूटर मॉडल को प्रशिक्षित करने का एक नया तरीका ( $\Delta$ -MRDR) भी पेश करते हैं जो विशेष रूप से नीतियों के बीच के अंतर को सीखने पर केंद्रित है, न कि सब कुछ पूरी तरह से भविष्यवाणी करने पर। अंत में, वे दिखाते हैं कि यह जटिल कार्यों के लिए भी काम करता है, जैसे वस्तुओं की रैंकिंग सूचियाँ (जैसे खोज परिणाम), जहाँ "एक्शन" केवल एक आइटम नहीं बल्कि पूरी सूची है।

इन विचारों का परीक्षण करने के लिए, लेखकों ने हजारों कंप्यूटर सिमुलेशन चलाए। उन्होंने अराजकता के विभिन्न स्तरों और एक्शन स्पेस के विभिन्न आकारों (10 से 5,000 आइटम तक) के साथ काल्पनिक दुनिया बनाई। इन सिमुलेशन में, उनकी नई विधि ने लगातार मानक विधि को पछाड़ दिया, और कुछ मामलों में त्रुटि (वेरिएंस) को 75% तक कम कर दिया। उन्होंने पाया कि जब नीतियां बहुत समान थीं, तो नई विधि की त्रुटि लगभग शून्य हो गई, जबकि पुरानी विधि शोर भरी रही। उन्होंने यह भी पुष्टि की कि उनके द्वारा गणना किया गया इष्टतम ट्रैफ़िक विभाजन (एक विशिष्ट परिदृश्य में लगभग 81% से नया पॉलिसी) वास्तव में सबसे अच्छा तरीका था, जिसने मानक 50/50 विभाजन की तुलना में वेरिएंस को लगभग 18% कम कर दिया।

हालाँकि, शोध पत्र सावधानीपूर्वक नोट करता है कि ये परिणाम सिमुलेशन से आए हैं, किसी बड़े प्लेटफॉर्म पर लाइव परीक्षणों से नहीं। हालाँकि गणित ठोस है और सिमुलेशन कठोर हैं, लेकिन वास्तविक दुनिया में अतिरिक्त जटिलताएं हो सकती हैं जैसे बदलते उपयोगकर्ता व्यवहार या नीतियों के व्यवहार के बारे में अपूर्ण ज्ञान। लेखक सुझाव देते हैं कि जबकि यह विधि परीक्षण के लिए तैयार है, वास्तविक वातावरण में इसका सटीक प्रदर्शन इस बात पर निर्भर करता है कि नीतियां कितनी ओवरलैप होती हैं और कंप्यूटर मॉडल उपयोगकर्ता व्यवहार की कितनी सटीक भविष्यवाणी कर सकते हैं।

संक्षेप में, यह शोध पत्र एक पुरानी समस्या पर एक नया दृष्टिकोण प्रदान करता है। यह सुझाव देता है कि यह महसूस करके कि "सहमति उबाऊ है" और "असहमति ही सिग्नल का निवास स्थान है," हम बेहतर प्रयोग चला सकते हैं, पैसा बचा सकते हैं और तेजी से निर्णय ले सकते हैं। यह मानक A/B टेस्ट को एक कुंद उपकरण से एक सटीक स्कैल्पल (शल्य चिकित्सा चाकू) में बदल देता है, जो तुलना को अधिक तीक्ष्ण बनाने के लिए नीतियों की समानता के तथ्य का उपयोग करता है।

तकनीकी सारांश: काउंटरफैक्चुअल एस्टीमेशन के साथ A/B-टेस्टिंग को तेज करना

समस्या विवरण (Problem Statement)

डिजिटल प्लेटफॉर्म में परिकल्पना परीक्षण (hypothesis testing) के लिए ऑनलाइन नियंत्रित प्रयोग (A/B-टेस्ट) मानक हैं, लेकिन वे आउटकम मेट्रिक्स (जैसे क्लिक-थ्रू रेट, राजस्व) में उच्च विचरण (variance) से ग्रस्त होते हैं। यह विचरण सांख्यिकीय शक्ति (statistical power) को बाधित करता है, जिससे अक्सर वृद्धिशील सुधारों (incremental improvements) का पता लगाने के लिए लंबे परीक्षण समय या बड़े ट्रैफिक आवंटन की आवश्यकता होती है।

यह शोध पत्र मानक A/B-टेस्टिंग प्रोटोकॉल में एक विशिष्ट संरचनात्मक अक्षमता की पहचान करता है: जब दो प्रतिस्पर्धी नीतियां ( $\pi$ और $\pi'$ ) किसी दिए गए संदर्भ (context) के लिए एक ही क्रिया पर सहमत होती हैं, तो परिणामी आउटकम औसत उपचार प्रभाव (Average Treatment Effect - ATE) के अनुमान में शोर (noise) जोड़ता है, लेकिन नीतियों के बीच अंतर के संबंध में कोई संकेत (signal) प्रदान नहीं करता है। मानक डिफरेंस-इन-मीन्स (Difference-in-Means - DiM) एस्टिमेटर इन "ओवरलैप" नमूनों को "असहमति" वाले नमूनों के समान भार (weight) देते हैं, जो अनावश्यक रूप से कॉन्फिडेंस इंटरवल को बढ़ा देते हैं। मौजूदा विचरण न्यूनीकरण तकनीकें (जैसे CUPED, RADiM) मॉडल-आधारित कंट्रोल वेरिएट्स का लाभ उठाती हैं, लेकिन वे नीतियों के बीच संरचनात्मक संबंधों और ओवरलैप के प्रति अनभिज्ञ रहती हैं।

लेखक परीक्षण की जाने वाली नीतियों के बीच एक मिश्रण (mixture) को परिभाषित करने वाले एक मेटा-पॉलिसी ( $\pi_0$ ) के रूप में रैंडमाइज्ड ट्रीटमेंट असाइनमेंट तंत्र को पुनर्गठित करने का प्रस्ताव करते हैं:
$\pi_0(a|x) = p\pi(a|x) + (1-p)\pi'(a|x)$
जहाँ $p$ ट्रैफिक आवंटन अनुपात है।

इस A/B-टेस्ट डेटा को इस मेटा-पॉलिसी के तहत लॉग किया गया मानकर, लेखक $\Delta$ -ऑफ-पॉलिसी एस्टीमेशन ( $\Delta$ -OPE) विधियों को लागू करते हैं। यह दृष्टिकोण ऑफलाइन सेटिंग्स में उपयोग किए जाने वाले काउंटरफैक्चुअल एस्टिमेटर्स (विशेष रूप से $\Delta$ -IPS और $\Delta$ -डबली रोबस्ट) के साथ सटीक समानता का लाभ उठाता है।

मुख्य तकनीकी घटक:

पॉलिसी-अवेयर इम्पॉर्टेंस वेट्स: समूह-आधारित भारों के बजाय, यह विधि नीति संभावनाओं के अंतर से प्राप्त भारों का उपयोग करती है जो मेटा-पॉलिसी द्वारा सामान्यीकृत (normalized) होते हैं:
$w_\Delta(a|x) = \frac{\Delta(a|x)}{\pi_0(a|x)} = \frac{\pi(a|x) - \pi'(a|x)}{p\pi(a|x) + (1-p)\pi'(a|x)}$
जब नीतियां सहमत होती हैं ( $\pi(a|x) \approx \pi'(a|x)$ ), तो भार शून्य के करीब पहुंच जाता है, जो गैर-सूचनात्मक नमूनों को प्रभावी रूप से कम भार देता है।
विचरण प्रभुत्व (Variance Dominance): लेखक गणितीय रूप से सिद्ध करते हैं कि ये पॉलिसी-अवेयर एस्टिमेटर्स मानक DiM एस्टिमेटर्स पर तब भी विचरण में स्पष्ट रूप से हावी (dominate) होते हैं जब नीतियों का कॉमन सपोर्ट होता है और ओवरलैप क्षेत्र गैर-शून्य अवशेष विचरण (residual variance) में योगदान देता है।
इष्टतम ट्रैफिक आवंटन (Optimal Traffic Allocation): लेखक विचरण-इष्टतम ट्रैफिक स्प्लिट ( $p^\star$ ) का व्युत्पत्ति करते हैं। मानक 50/50 स्प्लिट के विपरीत, $p^\star$ नीतियों के बीच विचलन (divergence) पर निर्भर करता है। इष्टतम आवंटन उस नीति की ओर ट्रैफिक को स्थानांतरित करता है जहाँ रिवॉर्ड मॉडल सबसे कम सटीक है ( $\Delta$ -DR के लिए) या जहाँ यह एस्टिमेटर के सेकंड मोमेंट को कम करने के लिए संरचनात्मक विचलन को संतुलित करता है।
$\Delta$ -MRDR (मोर रोबस्ट डबली रोबस्ट): एक नया लर्निंग ऑब्जेक्टिव प्रस्तावित किया गया है जो रिवॉर्ड मॉडल ( $f_\theta$ ) को विशेष रूप से ATE एस्टिमेटर के विचरण को कम करने के लिए प्रशिक्षित करता है। मानक MSE मिनिमाइजेशन के विपरीत, $\Delta$ -MRDR लॉस को स्क्वेर्ड पॉलिसी डाइवर्जेंस ( $w_\Delta^2$ ) द्वारा भारित करता है, जिससे मॉडल अपनी क्षमता उन क्षेत्रों पर केंद्रित करने के लिए मजबूर होता है जहाँ नीतियां असहमत होती हैं।
रैंकिंग के लिए $\Delta$ -DCG: इस ढांचे को पोजीशन-बेस्ड मॉडल (PBM) का उपयोग करके कॉम्बिनेटोरियल रैंकिंग स्पेस (Top- $K$ ) में विस्तारित किया गया है। एक $\Delta$ -DCG एस्टिमेटर मार्जिनल एक्सपोजर प्रोपेंसिटीज का उपयोग करके निकाला गया है। हाई-डाइवर्जेंस शासन में विचरण विस्फोट (variance explosion) को संभालने के लिए, एक पोजीशन-विशिष्ट इष्टतम बेसलाइन ( $\beta^\star_{\perp\perp, j}$ ) पेश की गई है।

मुख्य योगदान

ऑनलाइन A/B-टेस्टिंग में $\Delta$ -OPE का अनुप्रयोग: यह प्रदर्शित करना कि ट्रीटमेंट असाइनमेंट को मेटा-पॉलिसी के रूप में व्याख्या करने से ऑफलाइन सेटिंग्स के अनबायस्ड $\Delta$ -OPE एस्टिमेटर्स का सीधा अनुप्रयोग संभव होता है, जो पॉलिसी ओवरलैप का लाभ उठाने वाले एस्टिमेटर्स के एक परिवार को खोलता है।
विचरण प्रभुत्व प्रमेय (Variance Dominance Theorem): एक औपचारिक प्रमाण कि पॉलिसी-अवेयर एस्टिमेटर्स ( $\Delta$ -IPS और $\Delta$ -DR) मानक DiM और RADiM पर तब भी विचरण में सख्त प्रभुत्व रखते हैं जब नीतियों का कॉमन सपोर्ट होता है।
इष्टतम ट्रैफिक आवंटन अंतर्दृष्टि: ATE एस्टिमेटर्स के विचरण को आवंटन अनुपात $p$ के फलन (function) के रूप में लक्षणित करना, यह दिखाते हुए कि इष्टतम स्प्लिट आवश्यक रूप से संतुलित नहीं होता है और इसे प्रयोग से पहले अनुमानित किया जा सकता है।
$\Delta$ -MRDR एस्टिमेटर: एक नवीन लॉस फंक्शन जो कंट्रोल वेरिएट्स को विशेष रूप से ATE एस्टीमेशन विचरण को कम करने के लिए प्रशिक्षित करता है, जो पॉलिसी असहमति वाले क्षेत्रों पर मॉडल क्षमता को केंद्रित करता है।
$\Delta$ -DCG एस्टिमेटर: रैंकिंग नीतियों के लिए एक विस्तार जो PBM के तहत एक अनबायस्ड ATE एस्टीमेट प्रदान करता है, जिसमें विचरण को कम करने के लिए पोजीशन-विशिष्ट बेसलाइन शामिल है।
प्रायोगिक सत्यापन: नियंत्रित सिमुलेशन के माध्यम से कठोर सत्यापन जहाँ ग्राउंड-ट्रुथ काउंटरफैक्चुअल्स ज्ञात हैं:
- RQ1 (दक्षता): $\Delta$ -IPS एस्टिमेटर DiM की तुलना में MSE को सख्ती से कम करता है। हाई-ओवरलैप शासन में, विचरण शून्य के करीब पहुंच जाता है। यह विधि एक्शन स्पेस के आकार के बढ़ने पर भी मजबूत बनी रहती है ( $|A|=5,000$ तक)।
- RQ2 (आवंटन): विषम सेटिंग्स (जैसे, एक रूढ़िवादी कंट्रोल बनाम एक खोजपूर्ण ट्रीटमेंट) में, सैद्धांतिक विचरण प्रॉक्सी $J(p)$ प्रायोगिक त्रुटि का सटीक अनुमान लगाता है। इष्टतम स्प्लिट ( $p^\star \approx 0.81$ ) ने 50/50 स्प्लिट की तुलना में विचरण को ~18% कम कर दिया।
- RQ3 (विचरण न्यूनीकरण): हेट्रोजेनियस वातावरण में, $\Delta$ -MRDR मॉडल ने $\Delta$ - $\beta^\star$ -IPS की तुलना में 75% और मानक $\Delta$ -DR की तुलना में 8% कम एस्टीमेटर विचरण दिखाया। यह पुष्टि करता है कि प्रेडिक्शन एरर (MSE) को कम करना आवश्यक रूप से एस्टीमेशन विचरण को कम नहीं करता है।
- RQ4 (रैंकिंग): Top- $K$ रैंकिंग के लिए, मानक DiM का विचरण पॉलिसी ओवरलैप के बावजूद स्थिर रहता है। बिना बेसलाइन वाला $\Delta$ -DCG डाइवर्जेंस बढ़ने पर विचरण विस्फोट का शिकार होता है। हालांकि, $\Delta\beta^\star_{\perp\perp}$ -DCG एस्टिमेटर ने इसे सफलतापूर्वक नियंत्रित किया, सभी डाइवर्जेंस स्तरों पर DiM पर सख्त विचरण लाभ बनाए रखा।

महत्व और दावे

शोध पत्र एक "महत्वपूर्ण अक्षमता" की पहचान करने का दावा करता है: बिना किसी सिग्नल के ओवरलैपिंग पॉलिसी एक्शन्स से शोर को शामिल करना। समस्या को ऑफ-पॉलिसी इवैल्यूएशन के लेंस से पुनर्गठित करके, लेखक विचरण न्यूनीकरण के लिए एक कठोर सैद्धांतिक आधार प्रदान करते हैं जो कच्चे आउटकम नॉइज़ के बजाय पॉलिसी डाइवर्जेंस के साथ स्केल करता है।

इसका महत्व तीन व्यावहारिक नवाचारों में निहित है:

प्रयोगों में तेजी लाना: पॉलिसी ओवरलैप का लाभ उठाकर, ये विधियां ट्रैफिक बढ़ाने के बिना टाइट कॉन्फिडेंस इंटरवल और उपचार प्रभावों का तेजी से पता लगाने की अनुमति देती हैं।
अनुकूलित डिजाइन: गैर-संतुलित इष्टतम ट्रैफिक स्प्लिट का व्युत्पत्ति उद्योग के 50/50 आवंटन मानक को चुनौती देता है, जो प्रायोगिक डिजाइन के लिए एक डेटा-संचालित दृष्टिकोण प्रदान करता है।
एकीकृत ढांचा: यह कार्य ऑनलाइन और ऑफलाइन मूल्यांकन को जोड़ता है, यह सुझाव देता है कि ऑनलाइन और ऑफलाइन को "काउंटरफैक्चुअल एस्टीमेशन समस्याओं के एक एकीकृत सातत्य (continuum)" के रूप में देखा जाना चाहिए।

लेखक वास्तविक दुनिया के परिनियोजन (deployment) के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि रिपोर्ट किए गए विचरण न्यूनीकरण सापेक्ष विधि क्रम (relative method ordering) के सूचक हैं और वे विशिष्ट डिप्लॉयमेंट में पॉलिसी ओवरलैप की डिग्री और फिट किए गए रिवॉर्ड मॉडल की गुणवत्ता पर निर्भर करते हैं। वे स्थिर कॉन्टेक्स्ट वितरण की धारणा और बड़े एक्शन स्पेस (जैसे, LLMs) में सटीक पॉलिसी संभावनाओं की गणना करने की कम्प्यूटेशनल लागत के संबंध में सीमाओं को स्वीकार करते हैं।

तकनीकी सारांश: काउंटरफैक्चुअल एस्टीमेशन के साथ A/B-टेस्टिंग को तेज करना

समस्या विवरण (Problem Statement)

मुख्य तकनीकी घटक:

मुख्य योगदान

महत्व और दावे

इसी तरह के और पेपर