The Price of Isolation: Estimating the Ecosystem Cost of Symmetric Two-Sided A/B Testing
यह शोध पत्र यह प्रदर्शित करता है कि जबकि ए/बी टेस्टिंग में सममित द्वि-पक्षीय अलगाव (symmetric two-sided isolation) मार्केटप्लेस हस्तक्षेप को समाप्त कर देता है, यह एक निरंतर जुड़ाव लागत (engagement cost) उत्पन्न करता है जो प्लेटफॉर्म के बढ़ने पर भी समाप्त नहीं होती यदि मैच की गुणवत्ता एक हेवी-टेल्ड वितरण (heavy-tailed distribution) का अनुसरण करती है, जिसके लिए इस समझौते हेतु बजट बनाने के लिए एक प्री-लॉन्च अनुमान प्रक्रिया की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरे पुस्तकालय में प्रवेश कर रहे हैं। यह कोई साधारण पुस्तकालय नहीं है; यह एक दो-तरफा बाजार है जहाँ लेखक (निर्माता) अपनी पुस्तकें लाते हैं और पाठक (दर्शक) अपनी अगली पसंदीदा कहानी खोजने आते हैं। आपको आपकी एकदम सही पुस्तक खोजने में मदद करने के लिए, वहाँ एक अत्यंत बुद्धिमान लाइब्रेरियन (अनुशंसा प्रणाली/recommender system) है जो पूरे संग्रह को स्कैन करता है और आपके लिए सबसे अच्छा मिलान हाथ में देता है। अब, कल्पना कीजिए कि पुस्तकालय किताबों को व्यवस्थित करने का एक नया तरीका आज़माना चाहता है ताकि यह देखा जा सके कि इससे लेखकों को अधिक ध्यान दिलाने में मदद मिलती है या नहीं। निष्पक्ष होने के लिए, वे एक साथ सभी के लिए सिस्टम को नहीं बदल सकते; उन्हें एक नियंत्रित प्रयोग चलाना होगा। वे पुस्तकालय को दो अलग-अलग कमरों में विभाजित करते हैं: एक "टेस्ट रूम" (परीक्षण कक्ष) और एक "कंट्रोल रूम" (नियंत्रण कक्ष)। टेस्ट रूम में, वे नई व्यवस्था को आज़माते हैं; कंट्रोल रूम में, वे चीजों को बिल्कुल वैसा ही रखते हैं जैसा वे पहले थे।
लेकिन यहाँ एक पेचीदा बात है: यह सुनिश्चित करने के लिए कि प्रयोग स्वच्छ रहे और दोनों कमरे एक-दूसरे को प्रभावित न करें, पुस्तकालय उन्हें पूरी तरह से अलग करने का निर्णय लेता है। वे केवल टेस्ट रूम में अलग किताबें नहीं रखते; वे टेस्ट रूम के पाठकों को केवल उन्हीं लेखकों के साथ अंदर बंद कर देते हैं जो उस कमरे को सौंपे गए हैं। कंट्रोल रूम के पाठकों को अपना अलग सेट मिलता है। इसे "सिमेट्रिक टू-साइडेड आइसोलेशन" (सममित दो-तरफा अलगाव) कहा जाता है। यह बड़ी तकनीकी कंपनियों द्वारा अपने प्रयोगों की वैधता सुनिश्चित करने के लिए उपयोग की जाने वाली एक मानक, विश्वसनीय विधि है। बड़ा सवाल यह है कि क्या यह अलगाव एक छिपी हुई कीमत के साथ आता है? यदि आप टेस्ट रूम में किताबों के संग्रह को कुल संग्रह के एक बहुत छोटे हिस्से तक सीमित कर देते हैं, तो क्या पाठक का अनुभव प्रभावित होता है, भले ही नई व्यवस्था एकदम सटीक क्यों न हो? यह शोध पत्र ठीक इसी प्रश्न की जांच करता है, गणित और वास्तविक दुनिया के डेटा का उपयोग करके यह देखने के लिए कि क्या प्रयोग को "अलग" करना वास्तव में उस चीज़ को नुकसान पहुँचाता है जिसे वह मापने की कोशिश कर रहा है।
अलगाव पर छिपा हुआ टैक्स
इस शोध पत्र के लेखक, जो स्नैप इंक (Snap Inc.) के शोधकर्ता हैं, ने पाया कि हालांकि इन प्रयोगों को अलग करना सटीक परिणाम प्राप्त करने के लिए आवश्यक है, लेकिन इसके साथ एक आश्चर्यजनक और अपरिहार्य लागत आती है। उन्होंने पाया कि टेस्ट ग्रुप के लोगों के लिए उपलब्ध सामग्री के पूल को छोटा करके, आप अनिवार्य रूप से उनके द्वारा खोजे जा सकने वाले सर्वश्रेष्ठ मिलानों की गुणवत्ता को कम कर देते हैं। यह एक खाद्य समीक्षक (food critic) को यह बताने जैसा है कि, "आप केवल इन तीन शेफ के व्यंजन चख सकते हैं बजाय पूरे रेस्टोरेंट के।" भले ही नया मेनू शानदार हो, समीक्षक उस अद्भुत व्यंजन को मिस कर सकता है जो रसोई के दूसरे हिस्से में किसी शेल्फ पर रखा था।
शोधकर्ताओं ने दिखाया कि यह केवल एक छोटी सी गड़बड़ी नहीं है; यह एक मौलिक "पारिस्थितिकी तंत्र लागत" (ecoscosystem cost) है। जब उन्होंने एक शुद्ध परीक्षण चलाया जहाँ दोनों समूहों के नियम बिल्कुल समान थे (एक A/A टेस्ट), तब भी उन्होंने जुड़ाव (engagement) में भारी गिरावट देखी। उनके प्रयोग में, जब उन्होंने एक व्यूअर ग्रुप के लिए उपलब्ध क्रिएटर्स के कैटलॉग को 70% से घटाकर केवल 10% कर दिया, तो दर्शकों द्वारा देखे जाने वाले नए कंटेंट का समय घटकर 12.3% रह गया, और उनके द्वारा कहानियों को पूरा देखने की संख्या 19.0% तक गिर गई। जब उन्होंने इस समूह को और भी छोटा करके मात्र 2% का हिस्सा कर दिया, तो वॉच टाइम का नुकसान उछलकर 29.8% हो गया। ये खराब विचार के कारण आए बुरे परिणाम नहीं थे; ये "आर्टिफैक्ट्स" (artifacts), या दुष्प्रभाव थे, जो केवल प्रयोग को अलग करने की प्रक्रिया के कारण उत्पन्न हुए थे।
"बेस्ट मैच" का गणित
यह समझने के लिए कि ऐसा क्यों होता है, लेखकों ने "ऑर्डर स्टैटिस्टिक्स" (order statistics) नामक एक अवधारणा का उपयोग किया। कल्पना कीजिए कि आप ढेर की एक बहुत बड़ी संख्या में से एक अकेली सबसे अच्छी वस्तु की तलाश कर रहे हैं। यदि आपके पास 1,000 वस्तुओं का ढेर है, तो आपके पास हीरा खोजने की अच्छी संभावना है। यदि आपके पास केवल 100 वस्तुओं का ढेर है, तो आपके पास वह हीरा खोजने की संभावना काफी कम हो जाती है, भले ही हीरे बड़े ढेर में मौजूद हों। शोधकर्ताओं ने गणितीय रूप से इसका मॉडल बनाया, यह देखते हुए कि जैसे-जैसे उम्मीदवारों का पूल छोटा होता जाता है, "बेस्ट मैच" की गुणवत्ता कैसे बदलती है।
उन्होंने पाया कि उत्तर काफी हद तक वितरण के "टेल" (tail) पर निर्भर करता है—यानी, वास्तव में अद्भुत सामग्री कितनी दुर्लभ है।
- यदि अद्भुत सामग्री सामान्य है (लाइट टेल्स - Light Tails): जैसे-जैसे प्लेटफॉर्म बड़ा होता जाता है, अलगाव की लागत कम होती जाती है। एक विशाल पुस्तकालय का एक छोटा सा हिस्सा भी एक बड़ा पुस्तकालय ही रहता है।
- यदि अद्भुत सामग्री दुर्लभ है (हैवी टेल्स - Heavy Tails): यह डराने वाला हिस्सा है। यदि सबसे अच्छा कंटेंट बहुत दुर्लभ है (जैसे कि पावर-लॉ डिस्ट्रीब्यूशन, जहाँ कुछ सुपरस्टार्स ही अधिकांश ध्यान आकर्षित करते हैं), तो पूल को छोटा करना ज्यादा मदद नहीं करता, चाहे प्लेटफॉर्म कितना भी बड़ा क्यों न हो जाए। गुणवत्ता का नुकसान एक स्थिर संख्या पर पहुँच जाता है। यदि आपके पास अरबों क्रिएटर्स हैं, लेकिन आप एक व्यूअर को उनमें से केवल 1% ही दिखाते हैं, तो भी आप उस एक परफेक्ट वीडियो को मिस कर सकते हैं जिसे वह देखना चाहता था। गणित बताता है कि इन परिस्थितियों में, प्लेटफॉर्म का आकार बढ़ाना समस्या को हल नहीं करता; लागत वैसी ही बनी रहती है।
वास्तविक दुनिया में सिद्धांत का परीक्षण
टीम ने केवल गणित पर भरोसा नहीं किया; उन्होंने इसे एक बड़े पैमाने के कंटेंट प्लेटफॉर्म पर वास्तविक दुनिया में परखा। उन्होंने अपने बिंदु को सिद्ध करने के लिए दो प्रमुख प्रयोग चलाए:
"A/A" ट्रैफिक स्वीप: उन्होंने एक ऐसा टेस्ट चलाया जहाँ दोनों समूहों के नियम समान थे, लेकिन एक ग्रुप को "थिन" (पतला) कैटलॉग (10% क्रिएटर्स) मिला और दूसरे को "थिक" (मोटा) कैटलॉग (70% क्रिएटर्स) मिला। परिणाम स्पष्ट था: थिन कैटलॉग वाले ग्रुप ने बहुत कम जुड़ाव दिखाया। यह गिरावट एक समान नहीं थी; आप जितना गहराई में देखते, यह उतनी ही बदतर होती गई। सतही दृश्य (केवल एक कहानी पर नज़र डालना) थोड़ा कम हुआ, लेकिन गहरा जुड़ाव (कहानी को पूरा देखना) लगभग 20% तक गिर गया। इस ग्रेडिएंट ने साबित किया कि नुकसान सामान्य विकल्पों की कमी के कारण नहीं, बल्कि सर्वश्रेष्ठ मिलानों को मिस करने के कारण हुआ था।
"कैटलॉग एब्लेशन" (Catalog Ablation): पूरी तरह आश्वस्त होने के लिए, उन्होंने दूसरा प्रयोग चलाया जहाँ उन्होंने समूहों को अलग नहीं किया था। इसके बजाय, उन्होंने विशिष्ट दर्शकों के लिए कैटलॉग का 10% हिस्सा बेतरतीब ढंग से हटा दिया। बिना आइसोलेशन मशीनरी के भी, जुड़ाव में गिरावट आई। इसने पुष्टि की कि अपराधी वास्तव में प्रत्येक व्यक्ति के लिए उपलब्ध कैटलॉग का "पतला होना" था, न कि आइसोलेशन सेटअप का कोई अजीब साइड इफेक्ट।
"टेल" सबसे महत्वपूर्ण है
सबसे दिलचस्प निष्कर्षों में से एक "टेल इंडेक्स" (tail index) के बारे में है, जो एक संख्या है जो कंटेंट डिस्ट्रीब्यूशन के टेल की गंभीरता का वर्णन करती है। शोधकर्ताओं ने अपने छोटे टेस्ट समूहों का उपयोग करके इस संख्या को कैलिब्रेट किया और फिर इसका उपयोग यह भविष्यवाणी करने के लिए किया कि बड़े समूहों में क्या होगा। उन्होंने पाया कि हैवी-टेल मॉडल (जहाँ सबसे अच्छा कंटेंट दुर्लभ है) ने वास्तविक दुनिया में देखे गए नुकसान की लगभग सटीक भविष्यवाणी की।
इससे एक महत्वपूर्ण अहसास होता है: आप यह मानकर नहीं चल सकते कि एक बड़ा प्लेटफॉर्म स्वचालित रूप से अलगाव की लागत को ठीक कर देगा। यदि आपके प्लेटफॉर्म का "हैवी टेल" है (जो सोशल मीडिया में आम है जहाँ कुछ क्रिएटर्स का दबदबा होता है), तो आप चाहे कितना भी बढ़ जाएं, इन आइसोलेटेड प्रयोगों को चलाने की लागत लगभग वैसी ही रहेगी। यह गायब नहीं होगी।
प्रयोगकर्ताओं के लिए इसका क्या अर्थ है?
तो, एक डेटा साइंटिस्ट या प्रोडक्ट मैनेजर को इस जानकारी के साथ क्या करना चाहिए? यह शोध पत्र एक "प्रीफ्लाइट प्रोसीजर" (preflight procedure) प्रदान करता है। नया प्रयोग शुरू करने से पहले, आपको अलगाव की लागत का अनुमान लगाना चाहिए।
- नुकसान की गणना करें: यह अनुमान लगाने के लिए गणित का उपयोग करें कि समूहों को अलग करने से आप कितना जुड़ाव खो देंगे।
- सहनशीलता की जाँच करें: यदि अनुमानित नुकसान बहुत अधिक है (उदाहरण के लिए, यदि आप केवल प्रयोग करने के लिए 20% जुड़ाव खोने की उम्मीद करते हैं), तो आपको अपने डिज़ाइन पर पुनर्विचार करने की आवश्यकता हो सकती है।
- बैकअप डिज़ाइन: यदि लागत बहुत अधिक है, तो शोध पत्र ऐसे विभिन्न प्रायोगिक डिज़ाइनों का उपयोग करने का सुझाव देता जिनमें इतने सख्त अलगाव की आवश्यकता नहीं होती, या यह स्वीकार करने का सुझाव देता है कि आपको नुकसान को कम करने के लिए अधिक ट्रैफिक फ्रैक्शन के साथ प्रयोग चलाना होगा।
संक्षेप में, यह शोध पत्र प्रकट करता है कि "सिमेट्रिक टू-साइडेड आइसोलेशन" एक शक्तिशाली उपकरण है, लेकिन यह मुफ्त नहीं है। इसमें एक "प्राइस ऑफ आइसोलेशन" (अलगाव की कीमत) है जो वास्तविक, मापने योग्य और कभी-कभी अपरिहार्य है। 'बेस्ट मैच' के पीछे के गणित और आपके कंटेंट के वितरण की प्रकृति को समझकर, टीमें इस लागत का बजट बना सकती हैं, अपने ट्रैफिक का आकार सही रख सकती हैं, और उस गिरावट से हैरान होने से बच सकती हैं जो उस नए फीचर से संबंधित नहीं है जिसे वे टेस्ट कर रहे हैं। यह एक याद दिलाता है कि एल्गोरिदम की दुनिया में, कभी-कभी सिस्टम को मापने की क्रिया ही सिस्टम को बदल देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।