Bayesian Inference Procedures for A/B Testing: An Overview
यह शोध पत्र बेयसियन ए/बी टेस्टिंग (Bayesian A/B testing) कॉन्फ़िगरेशन का एक व्यवस्थित तीन-स्तरीय पदानुक्रम प्रदान करता है, जो यह प्रदर्शित करता है कि जबकि कई वाणिज्यिक प्लेटफॉर्म बिना अंशांकन (uncalibrated) विधियों का उपयोग करते हैं, फॉल्स पॉजिटिव रेट, अनुमान त्रुटि और रिग्रेट जैसे विशिष्ट जोखिमों को नियंत्रित करने के लिए प्रायर्स (priors) और स्टॉपिंग रूल्स का उचित चयन—विशेष रूप से बेयस फैक्टर स्टॉपिंग और एम्पिरिकल बेयस—अनिवार्य है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "क्या यह नया सुराग वास्तव में मामले को सुलझा चुका है, या यह सिर्फ एक भाग्यशाली अनुमान था?" विज्ञान और व्यवसाय की दुनिया में, इसे A/B टेस्टिंग कहा जाता है। यह किसी चीज़ के दो संस्करणों (जैसे एक लाल बटन बनाम एक नीला बटन) की तुलना करने का एक तरीका है ताकि यह देखा जा सके कि कौन सा बेहतर काम करता है। लेकिन यहाँ पेचीदा हिस्सा यह है: यदि आप प्रयोग चलते समय परिणामों की जाँच करते रहते हैं, तो आप रैंडम शोर (noise) से मूर्ख बन सकते हैं। यह एक सिक्का उछालने और जैसे ही लगातार तीन बार 'हेड्स' दिखने पर रुक जाने जैसा है; आपको लग सकता है कि सिक्का जादुई है, लेकिन वह सिर्फ किस्मत है। यह "पीकिंग" (peeking - झाँकने) का खतरा है।
इसे हल करने के लिए, वैज्ञानिक बेयसियन इन्फरेंस (Bayesian inference) का उपयोग करते हैं, जो एक ऐसी विधि है जो नए डेटा के आने पर विश्वासों को अपडेट करती है, ठीक वैसे ही जैसे आप एक फिल्म देखते समय उसके दृश्यों के आधार पर अपनी राय अपडेट करते हैं। हालाँकि, इसे करने का केवल एक तरीका नहीं है। कुछ विधियाँ एक सहज अनुमान (hunch) लगाने जैसी हैं, जबकि अन्य गलत अलार्म से बचने के लिए एक सख्त नियम पुस्तिका का उपयोग करने जैसी हैं। बड़ा सवाल यह है कि कौन सी विधि वास्तव में आपको गलत निर्णय लेने से सुरक्षित रखती है, और कौन सी केवल सुरक्षित महसूस कराती है? यह शोध पत्र इन विभिन्न विधियों की अव्यवस्थित वास्तविकता में गहराई से उतरकर यह पता लगाता है कि कौन सी वास्तव में विश्वसनीय हैं और कौन सी केवल संयोग के कारण धोखा खाने के फैंसी तरीके हैं।
सत्य के तीन स्तर (The Three Tiers of Truth)
लेखक, स् दशकों (Spotify) के मर्टन शुल्ट्ज़बर्ग और मैटियास फ्रानबर्ग ने महसूस किया कि लोग अक्सर "बेयसियन A/B टेस्टिंग" के बारे में ऐसे बात करते हैं जैसे कि यह एक एकल, जादुई उपकरण हो। उन्होंने पाया कि यह वास्तव में अलग-अलग सुपरपावर्स (और कमजोरियों) वाले उपकरणों का एक परिवार है। इसे समझने के लिए, उन्होंने इन उपकरणों को एक तीन-स्तरीय पदानुक्रम (three-tier hierarchy) में व्यवस्थित किया, जो कठिनाई और सुरक्षा के तीन स्तरों वाले एक वीडियो गेम की तरह है।
स्तर 1: "सहज अनुमान" स्तर (पोस्टीरियर कोहेरेंस - Posterior Coherence)
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आप बस अपने अनुमान के बारे में आश्वस्त महसूस करना चाहते हैं। आप डेटा देखते हैं और कहते हैं, "मुझे 95% यकीन है कि नीला बटन बेहतर है!" यह स्तर 1 है। यह गणितीय रूप से सुसंगत है, जिसका अर्थ है कि आपके विश्वास के अपडेट आंतरिक रूप से तर्कसंगत हैं। लेकिन यहाँ पेंच यह है: यदि आप परिणामों की जाँच करते रहते हैं, तो यह गलत अलार्म के विरुद्ध शून्य सुरक्षा प्रदान करता है।
शोध पत्र दिखाता है कि यदि आप एक "फ्लैट" प्रायर (मूल रूप से बिना किसी राय के शुरुआत करना) का उपयोग करते हैं और जैसे ही आप 95% आश्वस्त महसूस करते हैं तभी रुक जाते हैं, तो आप बिल्कुल वही कर रहे हैं जो एक "साधारण पीकर" (simple peeker) करता है। यह हर सेकंड सिक्का उछालने और तीन हेड्स दिखने पर रुक जाने जैसा है। शोध पत्र पुष्टि करता है कि इस विधि में गलत सकारात्मक दर (false positive rate) लगभग 30% है (जो उस 5% से बहुत अधिक है जो लोग आमतौर पर चाहते हैं)। यह अच्छा महसूस कराता है, लेकिन यह खतरनाक है। भले ही आप एक "डिसीजन-थ्योरेटिक" दृष्टिकोण (गलती की लागत की गणना करना) का उपयोग करने का प्रयास करें, यदि आपके पास रुकने के लिए एक सख्त नियम नहीं है, तो भी आप आधे समय में एक खराब फीचर को लागू करने के जोखिम में रह सकते हैं।
स्तर 2: "सुरक्षित" स्तर (बेयस फैक्टर स्टॉपिंग - Bayes Factor Stopping)
अब, आइए एक सुरक्षा गार्ड जोड़ते हैं। स्तर 2 एक बेयस फैक्टर (Bayes Factor) का उपयोग करता है। इसे एक स्कोर के रूप में सोचें जो इस बात की तुलना करता है कि डेटा "वर्जन B बेहतर है" बनाम "वर्जन B, A के समान है" के पक्ष में कितना समर्थन करता है।
शोध पत्र पाता है कि यदि आप एक उचित प्रायर (एक तर्कसंगत शुरुआती अनुमान) का उपयोग करते हैं और केवल तभी रुकते हैं जब यह स्कोर एक विशिष्ट रेखा को पार कर जाता है, तो आपको एक गारंटी मिलती है। आप कितनी भी बार जाँच करें, गलत अलार्म की संभावना आपके निर्धारित स्तर से नीचे रहती है (आमतौर पर 5%)। यह एक बड़ी बात है। लेखक बताते हैं कि कई वास्तविक व्यावसायिक लागतों के लिए, यह विधि निर्णय लेने का लगभग सबसे अच्छा तरीका है। यह एक बाउंसर की तरह है जो हर बार प्रवेश करने की कोशिश करने वाले की आईडी चेक करता है, यह सुनिश्चित करता है कि केवल वास्तव में भाग्यशाली (या वास्तव में कुशल) ही अंदर आ सकें।
दिलचस्प बात यह है कि शोध पत्र तर्क देता है कि "बेयशियन" और "फ्रीक्वेंटिस्ट" (अन्य मुख्य सांख्यिकीय विचारधारा) के बीच का चुनाव उतना महत्वपूर्ण नहीं है जितना कि लोग सोचते हैं। यदि आप एक विशिष्ट लागत मॉडल के साथ बेयसियन टेस्ट सेट करते हैं, तो यह अक्सर एक फ्रीक्वेंटिस्ट टेस्ट जैसा ही दिखता है। गणित अलग है, लेकिन परिणाम अक्सर समान होता है।
स्तर 3: "मास्टर" स्तर (एम्पिरिकल बेयस - Empirical Bayes)
यह वीआईपी सेक्शन है। स्तर 3 एक गुप्त हथियार जोड़ता है: इतिहास (History)। एक "तर्कसंगत" शुरुआती बिंदु का अनुमान लगाने के बजाय, यह विधि यह सीखने के लिए उसी कंपनी के सैकड़ों पिछले प्रयोगों को देखती है कि प्रभाव आमतौर पर कितने बड़े होते हैं।
कल्पना कीजिए कि आप एक शेफ हैं। स्तर 2 में, आप रेसिपी बुक के आधार पर नमक की मात्रा का अनुमान लगाते हैं। स्तर 3 में, आप पिछले एक साल में आपके द्वारा बनाए गए हर व्यंजन का लॉगबुक देखते हैं ताकि यह देख सकें कि ग्राहकों को वास्तव में कितना नमक पसंद आया। इसे एम्पिरिकल बेयस (Empirical Bayes) प्रायर कहा जाता है।
शोध पत्र दिखाता है कि जब आप इस इतिहास-आधारित प्रायर का उपयोग करते हैं, तो आपको दो अद्भुत लाभ मिलते हैं:
- स्वचालित सुधार (Automatic Correction): यह स्वाभाविक रूप से एक साथ बहुत सारी चीजों की जाँच करने की समस्या (multiplicity) को ठीक करता है। यदि आप 10 बटन टेस्ट करते हैं, तो आपको गलत अलार्म से बचने के लिए अतिरिक्त गणित करने की आवश्यकता नहीं है; इतिहास अपना काम खुद करता है।
- कैलिब्रेटेड श्रिंकेज (Calibrated Shrinkage): यह चरम परिणामों को वास्तविकता की ओर खींचता है। यदि एक टेस्ट 50% सुधार दिखाता है, लेकिन आपका इतिहास कहता है कि सुधार आमतौर पर बहुत कम होते हैं, तो यह विधि कहती है, "यह शायद एक इत्तेफाक है," और अनुमान को नीचे खींच लेती है। यह "विनर कर्ज़" (Winner's Curse) को रोकता है, जहाँ आप एक बड़ी जीत का जश्न मनाते हैं जो वास्तव में केवल शोर (noise) था।
लेकिन एक जाल है। शोध पत्र चेतावनी देता है कि यह स्तर 3 का जादू केवल तभी काम करता है जब आपका इतिहास ईमानदार और प्रतिनिधि (representative) हो।
- यदि आप केवल अपने पिछले जीत (नाकामियों को अनदेखा करते हुए) को देखते हैं, तो आपका इतिहास टूटा हुआ है, और यह विधि विफल हो जाती है।
- यदि आप दो अलग-अलग प्रकार के प्रयोगों के डेटा को मिलाते हैं (जैसे केक की रेसिपी को कार इंजन परीक्षण के साथ मिलाना), तो इतिहास भ्रमित हो जाता है, और सुरक्षा गायब हो जाती है।
- इस काम को विश्वसनीय रूप से करने के लिए आपको पर्याप्त इतिहास (लग लगभग 200 पिछले प्रयोग) की आवश्यकता होती है।
निष्कर्ष: यह जोखिम के बारे में है, लेबल के बारे में नहीं
लेखकों ने इन स्तरों का एक-दूसरे के और मानक फ्रीक्वेंटिस्ट विधियों के विरुद्ध परीक्षण करने के लिए सिमुलेशन चलाए। उन्हें निम्नलिखित परिणाम मिले:
- स्तर 1 (फ्लैट प्रायर + पीकिंग): यह त्रुटि नियंत्रण के लिए एक आपदा है। यह लगभग 30% समय गलत सकारात्मक परिणाम उत्पन्न करता है, ठीक साधारण पीकिंग की तरह।
- स्तर 2 (बेयस फैक्टर): यह गलत सकारात्मक परिणामों को कम (5% से नीचे) रखता है और बहुत लचीला है। इसके लिए आपको पहले से यह तय करने की आवश्यकता नहीं है कि प्रयोग कितनी देर चलेगा।
- स्तर 3 (एम्पिरिकल बेयस): जब इतिहास अच्छा होता है, तो यह सभी विधियों में से सबसे सटीक अनुमान (सबसे कम त्रुटि) प्रदान करता है। यह जंगली अनुमानों को किसी भी अन्य विधि की तुलना में वास्तविकता की ओर बेहतर तरीके से खींचता है।
- "एक्सपेक्टेड लॉस" (Expected Loss) का जाल: कुछ लोग "हम कितना पैसा खो सकते हैं" के आधार पर रुकने की कोशिश करते हैं। शोध पत्र दिखाता है कि यह केवल तभी काम करता है जब एक खराब फीचर को लागू करना मुफ्त हो। यदि खराब फीचर को लागू करने की कोई भी लागत है (जैसे कोड ठीक करना या उपयोगकर्ताओं को परेशान करना), तो यह विधि बहुत बार खराब फीचर्स को लागू करने लगती है।
शोध पत्र निष्कर्ष निकालता है कि "सर्वश्रेष्ठ" विधि बेयसियन या फ्रीक्वेंटिस्ट होने के बारे में नहीं है। यह इस बारे में है कि आप किस जोखिम को नियंत्रित करने की कोशिश कर रहे हैं।
- यदि आपको यह सुनिश्चित करने की आवश्यकता है कि आप गलत दावे नहीं कर रहे हैं, तो आपको स्तर 2 या 3 की आवश्यकता है।
- यदि आपके पास बहुत सारा इतिहास है और आप सबसे सटीक संख्या चाहते हैं, तो स्तर 3 सर्वश्रेष्ठ है।
- यदि आपके पास पर्याप्त इतिहास नहीं है, तो स्तर 2 का पालन करें और गलत अलार्म से बचने के लिए सख्त नियमों का उपयोग करें।
अंत में, शोध पत्र सुझाव देता है कि सबसे महत्वपूर्ण कदम कोई फैंसी सांख्यिकीय नाम चुनना नहीं है। यह पूछना है: "अगर मैं गलत हुआ तो क्या होगा?" यदि गलत होने की लागत अधिक है, तो आपको स्तर 2 या 3 के सुरक्षा घेरे की आवश्यकता है। यदि आप विधि को बिना नियमों को समझे एक जादुई छड़ी की तरह मानते हैं, तो आप एक ऐसी जीत का जश्न मनाने के लिए तैयार रह सकते हैं जो केवल एक भाग्यशाली अनुमान था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।