Variance Reduction for Heavy-Tailed Monetization Metrics in Ranking Experiments via Post-Stratification
यह शोध पत्र रैंकिंग प्रयोगों के लिए हेवी-टेल्ड मोनेटाइजेशन मेट्रिक्स में वेरिएंस को कम करने के लिए पोस्ट-स्ट्रैटिफिकेशन और CUPED को संयोजित करने वाला एक व्यावहारिक ढांचा प्रस्तुत करता है, जिससे ShareChat लगभग 45% कम ट्रैफिक के साथ समान सांख्यिकीय विश्वास प्राप्त करने और निर्णय स्थिरता में सुधार करने में सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
समस्या: A/B टेस्टिंग में "व्हेल" (Whale) की समस्या
कल्पना कीजिए कि आप यह देखने के लिए एक टेस्ट चला रहे हैं कि क्या एक वीडियो ऐप में नया फीचर लोगों से ज़्यादा पैसे खर्च करवाता है। आप अपने उपयोगकर्ताओं को दो समूहों में विभाजित करते हैं: ग्रुप A पुराना वर्शन देखता है, और ग्रुप B नया वर्शन देखता है।
आमतौर पर, आप बस ग्रुप A के सभी लोगों द्वारा खर्च किए गए कुल पैसे को जोड़ते हैं और उसकी तुलना ग्रुप B से करते हैं। लेकिन ShareChat जैसे ऐप्स में (जहाँ उपयोगकर्ता क्रिएटर्स को वर्चुअल गिफ्ट खरीदते हैं), खर्च करने की आदतें अत्यधिक असमान होती हैं।
इसे मछली पकड़ने के सफर की तरह सोचें:
- 99.9% मछलियाँ जो आप पकड़ते हैं, वे छोटी मीनौत (minnows) हैं जिनका वजन लगभग शून्य है।
- 0.01% मछलियाँ विशाल "व्हेल्स" (अति-धनी उपयोगकर्ता) हैं जिनका वजन एक कार जितना है।
एक मानक टेस्ट में, यदि कोई एक "व्हेल" किस्मत से ग्रुप A में आ जाती है, तो ग्रुप A एक बड़ी सफलता के रूप में दिखता है। यदि वही व्हेल ग्रुप B में चली जाती है, तो ग्रुप B एक विफलता के रूप में दिखता है। क्योंकि ये व्हेल इतनी भारी होती हैं, वे गणित पर हावी (dominate) हो जाती हैं। वे इतना अधिक "शोर" (noise/अनिश्चितता) पैदा करती हैं कि आप यह नहीं बता पाते कि नया फीचर वास्तव में काम कर रहा है या आपको बस व्हेल के सही जगह लैंड होने से किस्मत मिल गई।
इसका मतलब है कि आपको एक विश्वसनीय उत्तर प्राप्त करने के लिए टेस्ट बहुत लंबे समय तक चलाना होगा या बहुत अधिक ट्रैफिक की आवश्यकता होगी। अक्सर, आपको पर्याप्त ट्रैफिक नहीं मिल पाता, इसलिए आप निर्णय नहीं ले पाते।
समाधान: फिश टैंक को छाँटना (Sorting the Fish Tank)
लेखक इसे ठीक करने के लिए एक चतुर तरीका प्रस्तावित करते हैं जिसे Post-Stratification कहा जाता है, जिसे CUPED नामक तकनीक के साथ जोड़ा गया है।
यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
1. मछलियों को छाँटना (Stratification)
पूरे फिश टैंक को एक बड़े समूह के रूप में देखने के बजाय, आप टेस्ट शुरू करने से पहले उन्हें उनके पिछले व्यवहार के आधार पर अलग-अलग बकेट (buckets) में छाँट देते हैं।
- बकेट 1: "व्हेल्स" (शीर्ष 0.01% खर्च करने वाले)।
- बकेट 2: "रेगुलर" (बाकी सभी लोग)।
2. बकेट्स को वजन देना (Weighing the Buckets)
यही वह जादुई ट्रिक है। जब आप अंतिम परिणाम की गणना करते हैं, तो आप बकेट्स को समान रूप से नहीं जोड़ते हैं। आप वास्तविक दुनिया में लोगों की संख्या के आधार पर बकेट्स को अलग-अलग वजन (weights) देते हैं।
- चूंकि "व्हेल्स" दुर्लभ हैं, इसलिए उनके बकेट को एक बहुत छोटा वजन (जैसे 0.0001) दिया जाता है।
- चूंकि "रेगुलर" आम हैं, इसलिए उनके बकेट को बड़ा वजन दिया जाता है।
उपमा (Analogy): कल्पना कीजिए कि आप एक कुकिंग कॉन्टेस्ट (खाना पकाने की प्रतियोगिता) का निर्णय कर रहे हैं। यदि एक जज अरबपति है जो 1,000,000 का स्कोर देता है, और अन्य 999 जज 5 का स्कोर देते हैं, तो अरबपति का स्कोर औसत को बिगाड़ देता है।
- पुराना तरीका: आप सभी स्कोर का औसत लेते हैं। अरबपति का स्कोर हावी हो जाता है।
- नया तरीका: आप कहते हैं, "अरबपति केवल एक व्यक्ति है, इसलिए उनका स्कोर केवल 0.001 के बराबर गिना जाएगा। 999 रेगुलर जज 99.9% के लिए गिने जाएंगे।" अब, अरबपति का उतार-चढ़ाव वाला स्कोर परिणाम को बुरी तरह से नहीं बदल पाता।
3. डेटा को स्मूथ करना (CUPED)
प्रत्येक बकेट के भीतर, वे CUPED नामक एक ट्रिक का उपयोग करते हैं। यह उपयोगकर्ता के पिछले खर्च को एक "बेसलाइन" के रूप में उपयोग करने जैसा है।
- यदि कोई उपयोगकर्ता आमतौर पर 110 खर्च करता है, तो CUPED कहता है, "ठीक है, यह उनका सामान्य उच्च खर्च है, न कि अनिवार्य रूप से नए फीचर के कारण।"
- यह खर्च के अनुमानित हिस्सों को घटा देता है, जिससे केवल प्रयोग के कारण होने वाले वास्तविक बदलाव ही बचते हैं।
परिणाम: कम ट्रैफिक के साथ तेज़ निर्णय
इस पद्धति का उपयोग करके, लेखकों ने ShareChat में प्रभावशाली परिणाम प्राप्त किए:
- कम शोर (Less Noise): उन्होंने अपने डेटा में "शोर" (variance) को 99% तक कम कर दिया।
- तेज़ टेस्ट: वे अब 45% कम ट्रैफिक के साथ समान स्तर का आत्मविश्वास प्राप्त कर सकते हैं।
- उपमा: यह एक शोर भरे कमरे में बिना चिल्लाए स्पष्ट रूप से फुसफुसाहट सुनने जैसा है। आपको सच सुनने के लिए बड़ी भीड़ की आवश्यकता नहीं है; आपको बस सुनने का एक बेहतर तरीका चाहिए।
- विश्वसनीयता: उन्होंने इसका परीक्षण 40 से अधिक वास्तविक-दुनिया के प्रयोगों पर किया। इस पद्धति ने उन्हें उन छोटे, वास्तविक सुधारों को पहचानने में मदद की जो पहले अदृश्य होते।
महत्वपूर्ण नियम और चेतावनियाँ
पेपर यह भी बताता है कि इस पद्धति का उपयोग कब नहीं करना है:
- यदि आप विशेष रूप से व्हेल के लिए कोई फीचर टेस्ट कर रहे हैं, तो इसका उपयोग न करें।
- उपमा: यदि आप अमीरों (व्हेल्स) के लिए विशेष रूप से एक नया "VIP लाउंज" टेस्ट कर रहे हैं, तो आप उनके महत्व को कम नहीं करना चाहते। यदि आप ऐसा करते हैं, तो आप उस तथ्य को मिस कर सकते हैं कि VIP लाउंज उनके लिए कितना शानदार है। यह पद्धति सामान्य सुधारों के लिए है जो पूरे उपयोगकर्ता आधार की मदद करते हैं।
- यदि केवल "व्हेल्स" ही बदल रहे हैं, तो इसका उपयोग न करें।
- यदि नया फीचर केवल शीर्ष 0.01% उपयोगकर्ताओं को प्रभावित करता है, तो यह पद्धति उस प्रभाव को छिपा देगी क्योंकि यह व्हेल को एक बहुत छोटे, कम-वजन वाले समूह के रूप में मानती है।
सारांश
यह पेपर उन कंपनियों के लिए एक व्यावहारिक टूल पेश करता है जो पैसे से जुड़े मेट्रिक्स पर A/B टेस्ट चला रही हैं। उपयोगकर्ताओं को समूहों में बांटकर और दुर्लभ, अत्यधिक खर्च करने वाले आउटलेयर्स (outliers) के महत्व को कम करके, वे "व्हेल्स" को परिणामों को हाईजैक करने से रोक सकते हैं। यह उन्हें अपने उत्पाद के बारे में तेज़ और अधिक आत्मविश्वासी निर्णय लेने की अनुमति देता है, बिना लाखों अतिरिक्त उपयोगकर्ताओं की आवश्यकता के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।