📊 statistics

Exploiting Similarities in A/B Testing with Off-Policy Estimation

यह शोध पत्र ऑफ-पॉलिसी ए/बी टेस्टिंग अनुमानकों (estimators) के एक परिवार का प्रस्ताव करता है जो पारंपरिक 'डिफरेंस-इन-मीन्स' अनुमानकों की तुलना में सांख्यिकीय रूप से बेहतर सटीकता और एकाग्रता प्राप्त करने के लिए नए और बेसलाइन सिस्टम के बीच संरचनात्मक समानताओं और निर्णय प्रवृत्तियों (decision propensities) का लाभ उठाते हैं, जबकि मिसस्पेसिफिकेशन के प्रति सुदृढ़ रहते हैं और समानताओं के अभाव में मानक विधियों पर वापस लौट आते हैं।

मूल लेखक: Otmane Sakhi, Alexandre Gilotte, David Rohde

प्रकाशित 2026-06-02

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Otmane Sakhi, Alexandre Gilotte, David Rohde

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Exploiting Similarities in A/B Testing with Off-Policy Estimation" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: "ब्लैक बॉक्स" की समस्या

कल्पना कीजिए कि आप एक बड़े ऑनलाइन स्टोर के मैनेजर हैं। आपके पास ग्राहकों को उत्पाद दिखाने का एक वर्तमान तरीका है (इसे पुरानी प्रणाली/Old System मान लें)। आपने उत्पादों को दिखाने का एक नया, चमकदार तरीका बनाया है (यह नई प्रणाली/New System है) और आप जानना चाहते हैं: क्या नई प्रणाली वास्तव में अधिक पैसा कमाती है?

यह पता लगाने का मानक तरीका एक A/B टेस्ट है। आप अपने ग्राहकों को दो समूहों में विभाजित करते हैं: ग्रुप A पुरानी प्रणाली देखता है, और ग्रुप B नई प्रणाली देखता है। सप्ताह के अंत में, आप दोनों समूहों की औसत बिक्री की तुलना करते हैं।

समस्या: पेपर का तर्क है कि इस तुलना को करने का मानक तरीका थोड़ा "मूर्खतापूर्ण" है। यह दोनों प्रणालियों को ब्लैक बॉक्स की तरह मानता है। यह अंतिम बिक्री के आंकड़ों को देखता है लेकिन इस बात को नज़रअंदाज़ कर देता है कि वे सिस्टम वहां तक कैसे पहुँचे। इसे इस बात की परवाह नहीं है कि दोनों प्रणालियाँ अधिकांश समय बहुत समान व्यवहार करती हैं। इस समानता को नज़रअंदाज़ करने के कारण, मानक परीक्षण अक्सर "शोर वाला" (noisy) होता है—यह सुनिश्चित करने के लिए कि क्या नया सिस्टम वास्तव में बेहतर है या यह केवल संयोग था, बहुत अधिक डेटा की आवश्यकता होती है।

समाधान: "फुसफुसाहट" को सुनना

लेखक डेटा का विश्लेषण करने का एक स्मार्ट तरीका प्रस्तावित करते हैं। उनका सुझाव है कि चूंकि नई प्रणाली आमतौर पर पुरानी प्रणाली का ही एक छोटा सा बदलाव है, इसलिए उनके बीच काफी समानता (DNA) है। वे अक्सर एक ही स्थितियों में एक जैसे निर्णय लेते हैं (एक ही विज्ञापन दिखाते हैं)।

पेपर ऑफ-पॉलिसी एस्टीमेशन (AI और निर्णय लेने की दुनिया से एक तकनीकी शब्द) नामक तकनीक का उपयोग करता है ताकि इन समानताओं की "फुसफुसाहट" को सुना जा सके। केवल अंतिम स्कोर की तुलना करने के बजाय, वे इंपॉर्टेंस वेटिंग (Importance Weighting) नामक एक गणितीय ट्रिक का उपयोग करते हैं।

उपमा: जुड़वां टेस्टर
कल्पना कीजिए कि आपके पास दो जुड़वां भाई हैं, एलेक्स और ब्लेक, जो दोनों घर की कीमत का अनुमान लगाने की कोशिश कर रहे हैं।

पुराना तरीका (Difference-in-Means): आप एलेक्स से 100 घरों का अनुमान लगाने के लिए कहते हैं, फिर ब्लेक से 100 अलग घरों का अनुमान लगाने के लिए कहते हैं। आप उनके औसत स्कोर की तुलना करते हैं। यदि घर बहुत अलग हैं, तो यह ठीक है। लेकिन यदि घर समान हैं, तो यह तरीका अक्षम है क्योंकि आप इस तथ्य का उपयोग नहीं कर रहे हैं कि वे जुड़वां हैं जो एक जैसा सोचते हैं।
नया तरीका (पेपर का तरीका): आप महसूस करते हैं कि एलेक्स और ब्लेक जुड़वां हैं। जब एलेक्स किसी घर का अनुमान लगाता है, तो आप उस जानकारी का उपयोग यह समझने में मदद करने के लिए कर सकते हैं कि ब्लेक ने उसी घर के लिए कैसे अनुमान लगाया होता, भले ही ब्लेक ने उसे कभी देखा न हो। एलेक्स के अनुमानों को ब्लेक की तरह दिखने के लिए "री-वेटिंग" (re-weighting) करके, आप उनकी तुलना बहुत अधिक निष्पक्षता से कर सकते हैं।

चूंकि प्रणालियाँ समान हैं, इसलिए यह "री-वेटिंग" बहुत सारे रैंडम शोर (random noise) को खत्म कर देती है। यह एक नॉइज़-कैंसलिंग हेडफ़ोन का उपयोग करने जैसा है: आप सिग्नल (वास्तविक सुधार) को बहुत अधिक स्पष्ट रूप से सुन पाते हैं।

यह कैसे काम करता है (जादुई फॉर्मूला)

लेखकों ने ऐसे फॉर्मूलों (एस्टिमेटर्स) का एक परिवार बनाया है जो इस री-वेटिंग को करते हैं।

यदि प्रणालियाँ पूरी तरह से अलग हैं: फॉर्मूला स्वचालित रूप से समझ जाता है, "हे, ये दो प्रणालियाँ बिल्कुल भी एक जैसी नहीं हैं," और यह फैंसी होने की कोशिश करना बंद कर देता है। यह बस मानक, साधारण A/B टेस्ट पर वापस आ जाता है। यह सुनिश्चित करता है कि आप कभी भी चीज़ों को बदतर न बनाएं।
यदि प्रणालियाँ समान हैं: फॉर्मूला पूरी गति से काम करता है। यह इस तथ्य का उपयोग करता है कि वे समान व्यवहार करती हैं ताकि डेटा को "स्मूथ" (smooth out) किया जा सके। यह परीक्षण को बहुत अधिक संवेदनशील बनाता है। आप पहले की तुलना में कम ग्राहकों के साथ भी मामूली सुधार का पता लगा सकते हैं।

"गॉटचा" (Gotcha): जब चीजें गलत होती हैं

पेपर अपनी सीमाओं के बारे में बहुत ईमानदार है। यह जादुई ट्रिक यह जानने पर निर्भर करती है कि प्रत्येक प्रणाली के किसी विशिष्ट निर्णय को लेने की संभावना (जिसे प्रोपेंसिटीज/propensities कहा जाता है) कितनी है।

परफेक्ट परिदृश्य: यदि आप उन नियमों को ठीक से जानते हैं जिनका पालन प्रणालियाँ करती हैं, तो नया तरीका एक बड़ी जीत है।
वास्तविक दुनिया: अक्सर, हमें पिछले डेटा के आधार पर नियमों का अनुमान लगाना पड़ता है। यदि हमारा अनुमान गलत है (जिसे हम मिसस्पेसिफिकेशन/misspecification कहते हैं), तो फैंसी गणित कभी-कभी गड़बड़ कर सकता है और गलत उत्तर दे सकता है।

इसे ठीक करने के लिए, लेखकों ने अपने फॉर्मूले में एक "सेफ्टी वाल्व" बनाया है। उन्होंने एक नॉब (एक पैरामीटर जिसे $\lambda$ कहा जाता है) जोड़ा है जो यह नियंत्रित करता है कि आप अपने अनुमान पर कितना भरोसा करते हैं।

यदि आप अपने अनुमान में बहुत आश्वस्त हैं, तो आप अधिकतम लाभ प्राप्त करने के लिए नॉब घुमाते हैं।
यदि आप अनिश्चित हैं या अनुमान खराब हो सकता है, तो आप नॉब को अधिक रूढ़िवादी (conservative) होने के लिए घुमाते हैं।
सबसे अच्छी बात: भले ही आप नॉब को पूरी तरह से "रूढ़िवादी" पर घुमा दें, यह तरीका टूटता नहीं है; यह धीरे-धीरे मानक, सुरक्षित A/B टेस्ट में बदल जाता है। यह क्रैश होने के बजाय सहजता से घटता है।

उन्होंने क्या पाया (परिणाम)

लेखकों ने इसका परीक्षण सिमुलेशन में किया जो वास्तविक ऑनलाइन विज्ञापन और अनुशंसा (recommendation) प्रणालियों जैसा दिखता है।

जब पॉलिसियाँ समान होती हैं: उनके नए तरीके ने "त्रुटि" (शोर) को काफी कम कर दिया। यह मानक परीक्षण की तुलना में बहुत अधिक सटीक था।
जब पॉलिसियाँ बहुत अलग होती हैं: उनका तरीका मानक परीक्षण के समान ही प्रदर्शन करता है (इससे बदतर नहीं)।
जब डेटा असंतुलित होता है: कभी-कभी आपके पास पुरानी प्रणाली पर 1000 उपयोगकर्ता होते हैं लेकिन नई प्रणाली पर केवल 100। मानक परीक्षण यहाँ संघर्ष करता है, लेकिन नया तरीका बड़े समूह से शक्ति उधार लेकर इस असंतुलन को बहुत बेहतर तरीके से संभालता है।

सारांश

इस पेपर को सुधार मापने के लिए आपके द्वारा उपयोग किए जाने वाले रूलर (पैमाने) के अपग्रेड के रूप में सोचें।

पुराना रूलर: एक मानक टेप मेजर। यह काम करता है, लेकिन यह थोड़ा डगमगाता है और छोटे अंतरों को पढ़ना कठिन होता है।
नया रूलर: एक लेज़र मेजर जो जानता है कि आप जिन दो वस्तुओं को माप रहे हैं वे लगभग एक जैसी हैं। यह उस ज्ञान का उपयोग करके लक्ष्य को लॉक करने के लिए करता है, जिससे आपको सटीक रीडिंग मिलती है, भले ही वस्तुएं थोड़ी हिल रही हों। यदि वस्तुएं पूरी तरह से अलग निकलती हैं, तो लेज़र बस बंद हो जाता है, और आप सुरक्षित रूप से मानक टेप मेजर के साथ रह जाते हैं।

यह पेपर सिद्ध करता है कि यह स्वीकार करके कि नई प्रणालियाँ आमतौर पर पुरानी प्रणालियों की "सहोदर" (siblings) होती हैं, हम अपने परीक्षणों को वास्तविक दुनिया में चलाने के तरीके को बदले बिना अपने प्रयोगों को तेज़, सस्ता और अधिक सटीक बना सकते हैं।

तकनीकी सारांश: ऑफ-पॉलिसी एस्टीमेशन के साथ A/B टेस्टिंग में समानताओं का लाभ उठाना

समस्या विवरण
A/B टेस्टिंग एक नए निर्णय तंत्र ( $\pi_A$ ) के प्रदर्शन लाभ को बेसलाइन ( $\pi_B$ ) के सापेक्ष मापने के लिए मानक प्रोटोकॉल है। पारंपरिक रूप से, इसे 'डिफरेंस-इन-मीन' (difference-in-means) एस्टीमेटर का उपयोग करके किया जाता है, जो दोनों प्रणालियों को ब्लैक बॉक्स की तरह मानता है। हालांकि यह निष्पक्ष (unbiased) है, लेकिन यह एस्टीमेटर सांख्यिकीय रूप से इष्टतम (suboptimal) है क्योंकि यह नीतियों के बीच संभावित संरचनात्मक समानताओं की अनदेखी करता है। आधुनिक ऑनलाइन अनुप्रयोगों (जैसे विज्ञापन, अनुशंसाएँ) में, निर्णय तंत्र अक्सर स्टोकेस्टिक होते हैं और महत्वपूर्ण संरचना साझा करते हैं, जिसका अर्थ है कि उनके विशिष्ट निर्णय लेने की "प्रोपेंसिटी" (propensities) समान होती है। शोध पत्र का तर्क है कि जब नीतियां ओवरलैप करती हैं, तो क्लासिकल एस्टीमेटर अनावश्यक विचलन (variance) से ग्रस्त होता है, जबकि मानक ऑफ-पॉलिसी एस्टीमेशन (OPE) विधियाँ, जो इम्पोर्टेंस वेटिंग (importance weighting) पर निर्भर करती हैं, अक्सर सीधे A/B टेस्टिंग को बदलने के लिए बहुत अधिक पक्षपाती (biased) या अस्थिर होती हैं।

कार्यप्रणाली
लेखक A/B टेस्टिंग एस्टीमेटर्स के एक परिवार का प्रस्ताव करते हैं जो मानक प्रयोगात्मक प्रोटोकॉल को बदले बिना, $\pi_A$ और $\pi_B$ के बीच ओवरलैप का लाभ उठाने के लिए ऑफ-पॉलिसी एस्टीमेशन तकनीकों का उपयोग करते है।

फ्रेमवर्क: समस्या को एक विस्तारित नॉन-मार्कोव डिसीजन प्रोसेस (NMDP) फ्रेमवर्क के भीतर मॉडल किया गया है जहाँ उपयोगकर्ता ट्रैजेक्टरीज $\tau$ के माध्यम से सिस्टम के साथ इंटरैक्ट करते हैं। लक्ष्य सुधार $I(\pi_A, \pi_B) = V(\pi_A) - V(\pi_B)$ का अनुमान लगाना है।
एस्टीमेटर निर्माण: प्रस्तावित एस्टीमेटर $\hat{I}_f$ $\hat{I}_{f}$ दो घटकों को जोड़ता है:
- बेसलाइन पॉलिसी ( $D_B$ ) से डेटा का उपयोग करने वाला एक $f$ -रेगुलराइज्ड इनवर्स प्रोपेंसिटी स्कोरिंग (IPS) टर्म।
- टारगेट पॉलिसी ( $D_A$ ) से डेटा का उपयोग करने वाला एक बायस करेक्शन टर्म।
- फलन $f: \mathbb{R}_+ \to \mathbb{R}$ इम्पोर्टेंस वेट्स $w(\tau) = \pi_{target}(\tau) / \pi_{source}(\tau)$ को रूपांतरित करता है।
सैद्धांतिक स्थितियाँ:
- निष्पक्षता (Unbiasedness): एस्टीमेटर निष्पक्ष है यदि $f(0) = -1$ हो। यह स्थिति सुनिश्चित करती है कि जब नीतियों का सपोर्ट विलग (disjoint) होता है (कोई ओवरलैप नहीं), तो एस्टीमेटर स्वाभाविक रूप से मानक डिफरेंस-इन-मीन एस्टीमेटर पर वापस आ जाता है।
- विचलन न्यूनीकरण (Variance Reduction): विचलन को कम करने के लिए, लेखक एक विचरण सरोगेट (variance surrogate) $S_f$ को परिभाषित करते हैं। वे $f$ पर ऐसी स्थितियाँ (विशेष रूप से $f(1)=0$ और $f(x)$ पर सीमाएँ) निकालते हैं जो यह गारंटी देती हैं कि जब नीतियां समान होती हैं, तो यह डिफरेंस-इन-मीन एस्टीमेटर की तुलना में कम विचलन प्रदान करता है।
इष्टतम रूपांतरण (Optimal Transformations):
- सरोगेट-ऑप्टिमल ( $f^*_{n_r}$ ): लेखक एक क्लोज्ड-फॉर्म फलन $f^*_{n_r}(x) = \frac{x-1}{n_r x + 1}$ (जहाँ $n_r = n_A/n_B$ ) निकालते हैं जो विचरण सरोगेट को न्यूनतम करता है। यह एस्टीमेटर सैंपल असंतुलन को संभालने के लिए दोनों आबादी के डेटा को प्रभावी ढंग से पुन: भारित (reweight) करता है।
- मिसस्पेसिफिकेशन-अवेयर ( $f^*_{\lambda, \Delta}$ ): यह पहचानते हुए कि प्रोपेंसिटीज अक्सर डेटा से अनुमानित होती हैं न कि ज्ञात, लेखक बायस और वेरिएंस के बीच संतुलन बनाने के लिए एक रेगुलराइजेशन पैरामीटर $\lambda$ पेश करते हैं। इससे एक मजबूत (robust) एस्टीमेटर प्राप्त होता है जो मिसस्पेसिफिकेशन बढ़ने पर धीरे-धीरे डिफरेंस-इन-मीन एस्टीमेटर में बदल जाता है।

प्रमुख योगदान

नया एस्टीमेटर परिवार: इम्पोर्टेंस वेटिंग पर आधारित A/B टेस्टिंग एस्टीमेटर्स के एक लचीले परिवार का परिचय, जो स्पष्ट रूप से पॉलिसी ओवरलैप का लाभ उठाता है।
सैद्धांतिक गारंटी: $f$ की विशिष्ट स्थितियों के तहत एस्टीमेटर्स के निष्पक्ष होने का प्रमाण और समान नीतियों के मामले में बेहतर एकाग्रता गुणों (कम विचलन) का प्रदर्शन।
मजबूती (Robustness): मिसस्पेसिफिकेशन-अवेयर वेरिएंट का विकास जो प्रोपेंसी मिसस्पेसिफिकेशन के तहत भी मजबूत रहता है, जिससे उच्च विचरण या बायस वाले मानक OPE तरीकों से बचा जा सके।
ग्रेसफुल डिग्रेडेशन (Graceful Degradation): एस्टीमेटर्स को इस तरह डिज़ाइन किया गया है कि वे या तो जब नीतियां अलग हों (कोई ओवरलैप नहीं) या जब मिसस्पेसिफिकेशन गंभीर हो, तो वे स्वचालित रूप से मानक डिफरेंस-इन-मीन एस्टीमेटर पर वापस आ जाएं, जिससे प्रतिकूल परिदृश्यों में कोई प्रदर्शन हानि न हो।

प्रायोगिक परिणाम
लेखक तीन प्रयोगात्मक सेटिंग्स के माध्यम से अपने दृष्टिकोण को मान्य करते हैं:

ओवरलैपिंग नीतियां और डेटा असंतुलन: एक सरल बैंडिट सेटिंग में, प्रस्तावित एस्टीमेटर्स ने नीतियों के करीब होने पर पर्याप्त विचरण न्यूनीकरण (विशिष्ट परिदृश्यों में 27x तक) प्राप्त किया। यह न्यूनीकरण असंतुलित यूजर एलोकेशन ( $n_A \neq n_B$ ) को संभालने में विशेष रूप से प्रभावी था, जहाँ मानक डिफरेंस एस्टीमेटर संघर्ष करता है।
मिसस्पेसिफिकेशन के प्रति संवेदनशीलता: प्रोपेंसिटी एस्टीमेशन में प्रेरित त्रुटियों वाले परिदृश्यों में, मानक IPS और नेटिव रेगुलराइज्ड एस्टीमेटर्स ( $h_1$ ) उच्च मीन स्क्वेर्ड एरर (MSE) दिखाते हैं। इसके विपरीत, प्रस्तावित मिसस्पेसिफिकेशन-अवेयर एस्टीमेटर्स ने लगातार डिफरेंस-इन-मीन बेसलाइन से बेहतर प्रदर्शन किया, और मध्यम से उच्च स्तर के मिसस्पेसिफिकेशन के तहत भी कम MSE बनाए रखा।
यथार्थवादी अनुशंसा समस्या (Recommendation Problem): यूजर बोरडम (user boredom) के साथ एक नॉन-मार्कोवियन अनुशंसा वातावरण का अनुकरण करते हुए, लेखकों ने हॉरिजन $T \in \{1, \dots, 32\}$ का परीक्षण किया। वेरिएंस-ऑप्टिमल एस्टीमेटर ( $f^*_1$ ) ने छोटे से मध्यम हॉरिजन के लिए MSE को काफी कम कर दिया। हालांकि, लंबे हॉरिजन के लिए, प्रोपेंसिटी एस्टीमेशन में संचयी त्रुटियां (compounding errors) प्रदर्शन को खराब करती हैं। मिसस्पेसिफिकेशन-अवेयर एस्टीमेटर ने सभी हॉरिजन के लिए स्थिर, मामूली लाभ प्रदान किया, जिसने मानक डिफरेंस एस्टीमेटर और DiffQ जैसे अन्य OPE-आधारित दृष्टिकोणों को पीछे छोड़ दिया।

महत्व और दावे
शोध पत्र का दावा है कि ऑफ-पॉलिसी एस्टीमेशन विचारों का उपयोग केवल A/B टेस्टिंग के विकल्प के रूप में नहीं, बल्कि स्वयं A/B टेस्टिंग की सांख्यिकीय दक्षता को बढ़ाने के लिए एक उपकरण के रूप में किया जाना चाहिए। परीक्षण की जा रही प्रणालियों की ज्ञात या अनुमानित प्रोपेंसिटीज का लाभ उठाकर, अभ्यासी (practitioners) समान सैंपल साइज के साथ अधिक सटीक सुधार अनुमान प्राप्त कर सकते हैं। प्रस्तावित विधि महत्वपूर्ण है क्योंकि यह:

मानक A/B टेस्टिंग डेटा संग्रह प्रोटोकॉल में कोई बदलाव नहीं करती है।
अनुमानित प्रोपेंसिटीज की व्यावहारिक वास्तविकता के प्रति मजबूत है।
एक "सर्वश्रेष्ठ दोनों का" (best of both worlds) परिदृश्य प्रदान करती है: यह समान नीतियों (जो पुनरावृत्त सिस्टम अपडेट का सामान्य मामला है) के लिए पर्याप्त विचरण न्यूनीकरण प्रदान करती है, जबकि सुरक्षा (कि यह मानक A/B टेस्टिंग से बदतर नहीं होगा) की गारंटी भी देती है।

लेखक निष्कर्ष निकालते हैं कि जबकि उनका दृष्टिकोण ओवरलैपिंग नीतियों में विचरण की समस्या को संबोधित करता है, बहुत लंबे हॉरिजन के लिए चुनौतियां बनी हुई हैं जहाँ प्रोपेंसिटी ड्रिफ्ट महत्वपूर्ण होता है, जो अनुक्रमिक संरचनाओं (sequential structures) और डबली रोबस्ट (doubly robust) विधियों का लाभ उठाने के लिए भविष्य के कार्य का सुझाव देता है।