📊 statistics

Synthesizing Evidence: Data-Pooling as a Tool for Treatment Selection in Online Experiments

यह शोध पत्र डेटा पूलिंग ट्रीटमेंट रोल-आउट (DPTR) फ्रेमवर्क पेश करता है, जो एक स्केलेबल विधि है जो अनुमान संबंधी परिवर्तनशीलता को कम करने और ओवरलैपिंग एवं नॉन-ओवरलैपिंग ट्रैफ़िक परिदृश्यों दोनों के लिए ट्रीटमेंट चयन में सुधार करने हेतु कई ऑनलाइन प्रयोगों में डेटा को एकत्रित करती है।

मूल लेखक: Zhenkang Peng, Chengzhang Li, Ying Rong, Renyu Zhang

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhenkang Peng, Chengzhang Li, Ying Rong, Renyu Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल ऑनलाइन स्टोर के मैनेजर हैं। हर हफ्ते, आप यह पता लगाने के लिए सैकड़ों छोटे प्रयोग चलाते हैं कि सबसे अच्छा क्या काम करता है: बटन का रंग बदलना, रिकमेंडेशन एल्गोरिदम में थोड़ा बदलाव करना, या कीमत को एडजस्ट करना।

समस्या: "लोनली साइंटिस्ट" (अकेला वैज्ञानिक) की दुविधा
परंपरागत रूप से, जब आप इनमें से कोई प्रयोग करते हैं, तो आप प्रत्येक प्रयोग को अलग-थलग देखते हैं। आप प्रयोग A को देखते हैं, डेटा की जांच करते हैं, और निर्णय लेते हैं: "क्या यह काम कर गया? हाँ? तो इसे लागू करें। नहीं? तो इसे छोड़ दें।"

समस्या यह है कि इंटरनेट की इस तेज़ रफ्तार दुनिया में, अक्सर आपके पास किसी एक प्रयोग के लिए इतना डेटा नहीं होता कि आप निश्चित हो सकें। यह खिड़की से केवल 10 सेकंड के लिए बाहर देखकर मौसम का अनुमान लगाने जैसा है। इसका परिणाम बहुत सारा "शोर" (noise) होता है। आप एक बेहतरीन विचार को खो सकते हैं क्योंकि डेटा बहुत अस्थिर था, या आप किसी बुरे विचार को लागू कर सकते हैं क्योंकि आप किस्मत के मारे सफल हो गए थे।

समाधान: "ग्रुप हग" (समूह आलिंगन) रणनीति (DPTR)
इस पेपर के लेखक एक नए तरीके का प्रस्ताव देते हैं जिससे आप इन प्रयोगों के बारें में सोच सकें, जिसे वे डेटा-पूलिंग ट्रीटमेंट रोल-आउट (DPTR) कहते हैं।

प्रत्येक प्रयोग को एक अलग कमरे में अकेले बैठे वैज्ञानिक के रूप में देखने के बजाय, DPTR उन्हें एक समूह में इकट्ठा होने के लिए कहता है। यह कहता है: "हे, प्रयोग A, तुम अपने परिणामों को लेकर अनिश्चित हो। लेकिन देखो, प्रयोग B, C और D क्या कर रहे हैं। वे समान चीजें कर रहे हैं। चलो अपनी तस्वीर को अधिक स्पष्ट बनाने के लिए अपने डेटा को मिला लेते हैं।"

यह कैसे काम करता है: "श्रिंकेज" (सिकुड़न) रूपक
कल्पना कीजिए कि आप 100 अलग-अलग क्लासरूम के छात्रों की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं।

पुराना तरीका (ITR): आप क्लासरूम 1 में केवल 5 बच्चों को मापते हैं। हो सकता है कि आपने संयोग से स्कूल के 5 सबसे लंबे बच्चों को चुन लिया हो। आप निष्कर्ष निकालते हैं, "क्लासमर 1 बहुत बड़ा है!" आप गलत हैं, लेकिन आप आश्वस्त हैं क्योंकि आपने केवल अपने छोटे नमूने को देखा।
नया तरीका (DPTR): आप उन्हीं 5 बच्चों को मापते हैं, लेकिन आप सभी 100 क्लासरूम की औसत ऊंचाई को भी देखते हैं। आप महसूस करते हैं, "रुको, मेरे 5 बच्चे आउटलेयर (विशिष्ट/असामान्य) हैं। सामान्य औसत बहुत कम है।" इसलिए, आप क्लासरूम 1 के लिए अपने अनुमान को "श्रिंक" (सिकुड़ाते) करते हैं, उसे समूह के औसत के करीब लाते हैं।

यही "श्रिंकेज" जादू है। यह स्वीकार करता है कि आपका एकल प्रयोग शोर भरा हो सकता है। अन्य प्रयोगों से शक्ति उधार लेकर, आपको एक अधिक स्थिर, विश्वसनीय अनुमान मिलता है। आप एक मामूली "बायस" (संख्या को थोड़ा औसत की ओर खींचना) स्वीकार करने के लिए तैयार होते हैं ताकि भारी "वैरिएंस" (छोटे सैंपल साइज के कारण होने वाले बड़े उतार-चढ़ाव) से बचा जा सके।

"डिसीजन-अवेयर" (निर्णय-जागरूक) मोड़
अधिकांश सांख्यिकीय विधियाँ केवल संख्या का सटीक अनुमान लगाने की कोशिश करती हैं। यह पेपर अलग है; यह डिसीजन-अवेयर है।

एक भर्ती प्रबंधक (hiring manager) के बारे में सोचें।

मानक सांख्यिकी: "मैं उम्मीदवार के टेस्ट स्कोर का यथासंभव सटीक अनुमान लगाना चाहता हूँ।"
DPTR: "मुझे सटीक स्कोर की परवाह नहीं है; मुझे बस यह जानना है: क्या हमें उन्हें काम पर रखना चाहिए?"

यदि डेटा अस्थिर है, तो पुराना तरीका कह सकता है, "हम सुनिश्चित नहीं हैं, इसलिए हम उन्हें काम पर नहीं रखेंगे।" DPTR विधि समूह के डेटा को देखती है और कहती है, "यह उम्मीदवार थोड़ा अनिश्चित है, लेकिन समान उम्मीदवारों का समूह मजबूत है। आइए एक नपा-तुला जोखिम लें और उन्हें काम पर रखें।" यह दृष्टिकोण विशेष रूप से इनाम (पैसा कमाना, क्लिक प्राप्त करना) को अधिकतम करने के लिए डिज़ाइन किया गया है, न कि केवल गणित में त्रुटि को कम करने के लिए।

यह कब चमकता है?
यह पेपर सिद्ध करता है कि यह तीन विशिष्ट परिदृश्यों में सबसे अच्छा काम करता है:

छोटा डेटा: जब आपके पास किसी विशिष्ट परीक्षण के लिए कम उपयोगकर्ता हों।
कई प्रयोग: जब आप एक साथ सैकड़ों परीक्षण चला रहे हों (जितने अधिक परीक्षण होंगे, "ग्रुप हग" उतना ही बेहतर काम करेगा)।
ओवरलैपिंग ट्रैफिक: जब एक ही उपयोगकर्ता एक ही समय में कई प्रयोग देखता है (जैसे एक नया बटन रंग और एक नई कीमत टैग दोनों देखना)।

निष्कर्ष
कंप्यूटर सिमुलेशन और Criteo एवं एक वीडियो-शेयरिंग साइट जैसे प्लेटफार्मों के वास्तविक दुनिया के डेटा के माध्यम से, लेखक दिखाते हैं कि यह "ग्रुप हग" रणनीति पारंपरिक "लोनली साइंटिस्ट" दृष्टिकोण की तुलना में लगातार बेहतर व्यावसायिक निर्णय लेती है। यह कंपनियों को अधिक सफल फीचर्स रोल आउट करने और खराब आइडियाज पर समय बर्बाद करने से बचने में मदद करती है, खासकर जब डेटा कम हो और व्यावसायिक वातावरण अराजक हो।

संक्षेप में: अपने प्रयोगों को अकेले लड़ने न दें। उन्हें मिलकर स्मार्ट और अधिक लाभदायक निर्णय लेने के लिए अपना डेटा साझा करने दें।

तकनीकी सारांश: साक्ष्य का संश्लेषण: ऑनलाइन प्रयोगों में उपचार चयन के लिए एक उपकरण के रूप में डेटा-पूलिंग

1. समस्या विवरण

रैंडमाइज्ड कंट्रोल्ड ट्रायल्स (RCTs) व्यावसायिक अनुप्रयोगों में, विशेष रूप से ऑनलाइन प्लेटफार्मों के भीतर, कारण अनुमान (causal inference) के लिए स्वर्ण मानक हैं। हालांकि, प्रयोगों के बढ़ते पैमाने ने—जहाँ माइक्रोसॉफ्ट, गूगल और बुकिंग जैसी कंपनियाँ हजारों समवर्ती (concurrent) प्रयोग चलाती हैं—एक "डेटा की कमी" की समस्या पैदा कर दी है। जबकि कुल उपयोगकर्ता आधार बड़ा है, किसी भी एकल प्रयोग को आवंटित ट्रैफ़िक अक्सर परिचालन सीमाओं या जोखिम प्रबंधन द्वारा बाधित होता है।

यह कमी औसत उपचार प्रभाव (Average Treatment Effect - ATE) के अनुमानों में उच्च विचलन (high variance) की ओर ले जाती है, जिससे प्रभावी नीतियों और अप्रभावी नीतियों के बीच अंतर करना कठिन हो जाता है। पारंपरिक "इंडिविजुअल ट्रीटमेंट रोल-आउट" (ITR) विधियाँ, जो प्रत्येक प्रयोग का अलग से डिफरेंस-इन-मीन्स (difference-in-means) या ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) का उपयोग करके विश्लेषण करती हैं, कम सैंपल साइज होने पर निम्न सांख्यिकीय शक्ति (statistical power) से ग्रस्त होती हैं। यह समस्या लक्षित प्रयोगों (सबग्रुप विश्लेषण) और ऑर्थोगोनल डिजाइनों में और भी बढ़ जाती है जहाँ विशिष्ट उपचार संयोजन कम प्रतिनिधित्व वाले हो सकते हैं। केंद्रीय शोध प्रश्न यह है: प्लेटफॉर्म सीमित डेटा वाले बड़ी संख्या में प्रयोगों का सामना करते समय उपचार चयन और नीति रोल-आउट निर्णयों में कैसे सुधार कर सकते हैं?

2. कार्यप्रणाली: DPTR ढांचा

लेखक डेटा-पूलिंग ट्रीटमेंट रोल-आउट (DPTR) ढांचे का प्रस्ताव करते हैं। ITR के विपरीत, जो प्रयोगों को स्वतंत्र रूप से मानता है, DPTR निर्णय लेने में सुधार के लिए कई प्रयोगों से जानकारी को एकत्रित करता है।

मुख्य तंत्र

DPTR एक श्रिंकेज एस्टिमेटर (shrinkage estimator) का उपयोग करता है जो एक व्यक्तिगत प्रयोग के एस्टिमेटर ( $\hat{\tau}_k$ ) को एक "एंकर" एस्टिमेटर ( $\hat{\tau}_0$ ) के साथ जोड़ता है, जिसे सभी व्यक्तिगत एस्टिमेटरों के औसत के रूप में परिभाषित किया गया है। नया एस्टिमेटर $\bar{\tau}_k$ एक भारित औसत (weighted average) है:
$\bar{\tau}_k = \frac{N}{N + \beta} \hat{\tau}_k + \frac{\beta}{N + \beta} \hat{\tau}_0$
जहाँ $N$ सैंपल साइज है और $\beta \geq 0$ एक डेटा-संचालित स्केल पैरामीटर है।

निर्णय-जागरूक डिज़ाइन (Decision-Aware Design)

DPTR का एक महत्वपूर्ण अंतर यह है कि यह निर्णय-जागरूक है। पारंपरिक श्रिंकेज अक्सर मीन स्क्वेर्ड एरर (MSE) को कम करने का लक्ष्य रखता है। इसके विपरीत, DPTR रोल-आउट रिवॉर्ड (नीतियों को लागू करने से अपेक्षित लाभ) को अनुकूलित करता है। स्केल पैरामीटर $\beta$ को स्पष्ट रूप से रोल-आउट निर्णय के अपेक्षित रिवॉर्ड को अधिकतम करने के लिए व्युत्पन्न किया गया है, जिसमें महत्व स्तर ( $\alpha$ ) और नीति कार्यान्वयन के लिए थ्रेशोल्ड को शामिल किया गया है। इसके परिणामस्वरूप मानक कॉन्फिडेंस इंटरवल के बजाय "श्रंकेड निर्णय सीमाएँ" (shrunken decision bounds) प्राप्त होती हैं।

कार्यान्वयन परिदृश्य

यह ढांचा चार अलग-अलग प्रयोग परिदृश्यों में लचीलापन दिखाने के लिए डिज़ाइन किया गया है:

लीनियर स्पेसिफिकेशन के साथ गैर-ओवरलैपिंग प्रयोग: डिफरेंस-इन-मीन्स (DM) या OLS का उपयोग करता है। स्केल पैरामीटर $\hat{\beta}$ को प्रयोग के भीतर के विचरण (within-experiment variance) और प्रयोगों के बीच की विषमता (between-experiment heterogeneity) के अनुपात के आधार पर निकाला जाता है।
नॉन-लीनियर स्पेसिफिकेशन के साथ गैर-ओवरलैपिंग प्रयोग: आंशिक रैखिक मॉडल (partial linear models) को संभालने के लिए डबल मशीन लर्निंग (DML) और क्रॉस-फिटिंग का उपयोग करता है।
लीनियर स्पेसिफिकेशन के साथ ओवरलैपिंग प्रयोग: उन मामलों को संभालता है जहाँ उपयोगकर्ता एक साथ कई उपचारों के संपर्क में आते हैं, इसके लिए जॉइंट ट्रीटमेंट वेक्टर पर OLS का उपयोग किया जाता है।
नॉन-लीनियर स्पेसिफिकेशन के साथ ओवरलैपिंग प्रयोग: ओवरलैपिंग ट्रैफिक संरचनाओं के लिए DML दृष्टिकोण का विस्तार करता है।

सभी मामलों में, ढांचा एक डेटा-संचालित स्केल पैरामीटर ( $\hat{\beta}$ ) के लिए सूत्र प्रदान करता है जिसे या तो प्रयोगों में साझा किया जा सकता है या कोवेरिएट जानकारी के आधार पर व्यक्तिगत ( $\hat{\beta}_k$ ) बनाया जा सकता है।

3. प्रमुख योगदान

यह शोध पत्र तीन प्राथमिक योगदान देता है:

एक सामान्य डेटा-पूलिंग ढांचा: लेखक एक नया ढांचा पेश करते हैं जो उपचार चयन को बेहतर बनाने के लिए कई प्रयोगों से डेटा को एकीकृत करता है। यह स्पष्ट रूप से निर्णय-जागरूक है, जो श्रिंकेज प्रक्रिया में महत्व स्तरों को शामिल करके डाउनस्ट्रीम रोल-आउट निर्णयों के साथ अनुमान को संरेखित करता है। यह ढांचा गैर-ओवरलैपिंग और ओवरलैपिंग दोनों ट्रैफिक परिदृश्यों, साथ ही लीनियर और नॉन-लीनियर मॉडल स्पेसिफिकेशन के लिए लागू करने योग्य है।
सैद्धांतिक गारंटी: गैर-ओवरलैपिंग प्रयोगों के साथ लीनियर स्पेसिफिकेशन के तहत, लेखक औपचारिक सैद्धांतिक प्रमाण प्रदान करते हैं कि DPTR, ITR विधि में सुधार करता है और "पॉजिटिव-एंकर रिजीम" (जहाँ प्रयोगों के बीच अपेक्षित ATE सकारात्मक है) में इसे सख्ती से बेहतर बनाता है। वे $\beta^*$ के लिए इष्टतम स्केल पैरामीटर निकालते हैं जो अपेक्षित रिवॉर्ड को अधिकतम करता है और यह प्रदर्शित करते हैं कि $\beta$ के लिए एक सुसंगत डेटा-संचालित एस्टिमेटर मौजूद है।
अनुभवजन्य सत्यापन (Empirical Validation): ढांचे को निम्नलिखित के माध्यम से मान्य किया गया है:
- सिंथेटिक सिमुलेशन: विभिन्न सैंपल साइज, प्रयोगों की संख्या, शोर के स्तर और मॉडल मिसस्पेसिफिकेशन (लीनियर बनाम नॉन-लीनियर) के बीच मजबूती प्रदर्शित करना।
- वास्तविक दुनिया के अनुप्रयोग: दो डेटासेट के माध्यम से अनुप्रयोग: (a) क्रिटियो (Criteo) का विज्ञापन-टारगेटिंग डेटा (गैर-ओवरलैपिंग) और (b) ये एट अल. (2025) का शॉर्ट-वीडियो प्लेटफॉर्म डेटा (ओवरलैपिंग)।

4. परिणाम

सिंथेटिक प्रयोग

प्रदर्शन मेट्रिक्स: DPTR, ऑप्टिमैलिटी रेश्यो (OR) और वैल्यू ऑफ डेटा पूलिंग (VDP) के मामले में ITR और बेयसियन बेंचमार्क से लगातार बेहतर प्रदर्शन करता है।
ट्रेड-ऑफ: DPTR, ITR की तुलना में रिकॉल (सकारात्मक ATE की पहचान करना) में महत्वपूर्ण सुधार करता है, जो अक्सर थोड़ी कम स्पेसिफिसिटी और प्रिसिजन की कीमत पर होता है। यह ट्रेड-ऑफ जानबूझकर किया गया है, क्योंकि ढांचा वर्गीकरण त्रुटि (classification error) को कम करने के बजाय कुल रिवॉर्ड को अधिकतम करने को प्राथमिकता देता है।
संवेदनशीलता: DPTR के लाभ सबसे अधिक तब स्पष्ट होते हैं जब:
- प्रयोगों की संख्या ( $K$ ) अधिक हो।
- प्रति प्रयोग सैंपल साइज ( $N$ ) कम हो।
- अपेक्षित ATE ( $\tau_0$ ) छोटा हो।
मजबूती: DPTR मॉडल मिसस्पेसिफिकेशन (जैसे, DM का उपयोग करना जब वास्तविक मॉडल नॉन-लीनियर हो) के तहत भी प्रभावी रहता है, जबकि ITR का प्रदर्शन ऐसे परिदृश्यों में तेजी से गिर जाता है।

वास्तविक दुनिया के अनुप्रयोग

क्रिटियो डेटासेट (गैर-ओवरलैपिंग): DPTR, विशेष रूप से छोटे सैंपल साइज वाले उपयोगकर्ता उपसमूहों के लिए व्यक्तिगत अनुशंसाओं को चुनने में ITR और बेयसियन विधियों से काफी बेहतर रहा। बेयसियन विधि इस संदर्भ में ITR के समान प्रदर्शन करती है क्योंकि व्यक्तिगत समूह विचरण (variance) कम थे, जिससे श्रिंकेज नगण्य हो गया, जबकि DPTR के एग्रीगेट विचरण के उपयोग ने प्रभावी पूलिंग को सक्षम बनाया।
शॉर्ट-वीडियो प्लेटफॉर्म (ओवरलैपिंग): तीन ओवरलैपिंग प्रयोगों वाले परिवेश में, DPTR ने विभिन्न अनुमान विधियों (DM, OLS, DML) और सैंपल साइज में ITR की तुलना में लगातार उच्च OR मान दिए। विशेष रूप से, DPTR ने DML के प्रदर्शन को बढ़ाया, जो छोटे सैंपल में उच्च विचरण से ग्रस्त होता है, क्योंकि इसने पूलिंग के माध्यम से उस विचरण को प्रभावी ढंग से कम किया।

5. महत्व और दावे

शोध पत्र का दावा है कि DPTR जटिल व्यावसायिक वातावरण में डेटा का बेहतर लाभ उठाने के लिए ऑनलाइन प्लेटफार्मों के लिए एक स्केलेबल और व्यावहारिक समाधान प्रदान करता है। इसका महत्व इसमें है:

डेटा की कमी को संबोधित करना: यह सीमित ट्रैफ़िक आवंटन वाले परिवेश में निर्णय लेने में सुधार करने का एक सिद्धांतगत तरीका प्रदान करता है, जो आधुनिक A/B टेस्टिंग में एक सामान्य बाधा है।
निर्णय-केंद्रित अनुकूलन: शुद्ध अनुमान सटीकता (MSE) से निर्णय की गुणवत्ता (रिवॉर्ड) की ओर लक्ष्य को बदलकर, DPTR सांख्यिकीय अनुमान को व्यावसायिक लक्ष्यों के साथ संरेखित करता है।
मजबूती: ढांचे को मॉडल मिसस्पेसिफिकेशन और ओवरलैपिंग प्रयोगात्मक डिजाइनों के खिलाफ मजबूत दिखाया गया है, जो वास्तविक दुनिया के प्लेटफार्मों में प्रचलित हैं लेकिन पारंपरिक विधियों के साथ कठिन हो सकते हैं।

लेखक विनम्रतापूर्वक नोट करते हैं कि यह विधि उन सेटिंग्स के लिए डिज़ाइन की गई है जहाँ क्षमता बाधाओं (capacity constraints) के बिना कई समानांतर प्रयोग चलते हैं। वे स्वीकार करते हैं कि उन वातावरणों में जहाँ सख्त क्षमता बाधाएं (रोल-आउट की संख्या को सीमित करना) या उपचारों के बीच मजबूत साइन-रिवर्ज़िंग इंटरैक्शन होते हैं, अध्ययन किया गया अनकन्स्ट्रेंड रोल-आउट नियम इष्टतम नहीं हो सकता है। हालाँकि, डेटा की कमी और उच्च-आयामी उपचार स्थानों वाले अधिकांश ऑनलाइन प्रयोग परिदृश्यों के लिए, DPTR पारंपरिक पृथक विश्लेषण की तुलना में सैद्धांतिक रूप से स्थापित और अनुभवजन्य रूप से मान्य सुधार प्रदान करता है।