🤖 machine learning

Efficient Multi-Cohort Inference for Long-Term Effects and Lifetime Value in A/B Testing with User Learning

यह शोध पत्र एक कुशल मल्टी-कोहॉर्ट इन्फरेंस फ्रेमवर्क प्रस्तावित करता है जो अल्प-अवधि के ए/बी परीक्षणों में दीर्घकालिक उपचार प्रभावों और अवशिष्ट जीवन मूल्य (रेसिड्यूअल लाइफटाइम वैल्यू) की सटीक भविष्यवाणी करने के लिए इनवर्स-वैरिएंस वेटेड एस्टीमेशन और पैरामीट्रिक डिके मॉडलिंग का उपयोग करता है, जिससे केवल अल्पकालिक या सरल दीर्घकालिक मेट्रिक्स पर निर्भर रहने से उत्पन्न होने वाले महंगे मंथ-संबंधित गलत निर्णयों को रोका जा सके।

मूल लेखक: Dario Simionato, Andrea Tonon, Mingxue Wang, Weiguo Wang, Tong Gui, Xiaoyue Li

प्रकाशित 2026-04-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dario Simionato, Andrea Tonon, Mingxue Wang, Weiguo Wang, Tong Gui, Xiaoyue Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त कॉफी शॉप के मैनेजर हैं। आप एक परीक्षण करने का निर्णय लेते हैं: एक सप्ताह के लिए, आप काउंटर पर एक नया, चमकदार साइन (साइनबोर्ड) लगाते हैं ताकि यह देख सकें कि क्या इससे लोग अधिक कॉफी खरीदने लगते हैं।

समस्या: "हनीमून" का जाल (The "Honeymoon" Trap)
पहले कुछ दिनों में, साइन बोर्ड कमाल करता है! लोग इसे देखते हैं, इसकी ओर इशारा करते हैं और कॉफी खरीदते हैं। आप अपनी दैनिक बिक्री देखते हैं और सोचते हैं, "यह एक बड़ी सफलता है!"

लेकिन यहाँ एक पेंच है:

उपयोगकर्ता सीखना (User Learning): एक सप्ताह के बाद, नियमित ग्राहक साइन बोर्ड के आदी हो जाते हैं। वे इसे नोटिस करना बंद कर देते हैं। बिक्री में हुई यह उछाल गायब हो जाती है।
छिपी हुई लागत (The Hidden Cost): इससे भी बुरा यह है कि साइन बोर्ड इतना शोर वाला और परेशान करने वाला है कि कुछ ग्राहक इतने नाराज हो जाते हैं कि वे आपकी दुकान पर आना ही छोड़ देते हैं।

यदि आप केवल दुकान के अंदर मौजूद लोगों की दैनिक बिक्री को देखते हैं, तो आपको लग सकता है कि साइन बोर्ड ठीक है (या बहुत अच्छा है)। आप इस तथ्य को अनदेखा कर देते हैं कि आपकी दुकान धीरे-धीरे खाली हो रही है। आप उस साइन बोर्ड को रखना जारी रख सकते हैं, यह सोचकर कि यह एक जीत है, जबकि वास्तव में आपका पूरा व्यवसाय गिर रहा है क्योंकि आपने अपने आधे ग्राहक खो दिए हैं।

यह बिल्कुल वही समस्या है जिसे यह पेपर बड़ी टेक कंपनियों (जैसे स्ट्रीमिंग सेवाओं) के लिए हल करता है जो A/B टेस्ट (प्रयोग जहाँ वे कुछ उपयोगकर्ताओं को एक नया फीचर दिखाते हैं और अन्य को पुराना) चलाती हैं।

पेपर का समाधान: सफलता को मापने का एक बेहतर तरीका

लेखक इस दो बड़ी गलतियों को ठीक करने के लिए एक नया "सुपर-मैथ" (बेहतर गणितीय) तरीका प्रस्तावित करते हैं जो कंपनियाँ (जैसे स्ट्रीमिंग सेवाएं) A/B टेस्ट चलाते समय करती हैं:

1. "ग्रुप हग" विधि (मल्टी-कोहॉर्ट इन्फरेंस - Multi-Cohort Inference)

पुराना तरीका: कल्पना कीजिए कि अलग-अलग दिनों में आपकी दुकान में प्रवेश करने वाले लोगों के 10 अलग-अलग समूह हैं। पुराने तरीके केवल उस समूह को देखेंगे जो पहले दिन आया था और उसकी तुलना उस समूह से करेंगे जो 14वें दिन आया था। वे अन्य 8 समूहों को अनदेखा कर देते हैं। यह केवल एक बादल को देखकर मौसम का अनुमान लगाने जैसा है। यह अस्थिर और गलत है।

नया तरीका: लेखक कहते हैं, "आइए सभी को देखें!" वे हर उस समूह का डेटा लेते हैं जो हर दिन अंदर आया और उन्हें मिला देते हैं। लेकिन वे केवल औसत नहीं निकालते; वे एक वेटेड एवरेज (भारित औसत) का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आप रास्ता पूछने के लिए 10 लोगों से पूछ रहे हैं। एक व्यक्ति स्थानीय विशेषज्ञ (बहुत सटीक) है, और दूसरा एक पर्यटक है जो केवल अंदाज़ा लगा रहा है (बहुत अस्पष्ट)। पुराना तरीका दोनों के साथ समान व्यवहार करता है। नया तरीका विशेषज्ञ की बात अधिक सुनता है और पर्यटक की बात कम सुनता है। यह आपको कहीं अधिक स्पष्ट और सटीक तस्वीर देता है कि आप कहाँ जा रहे हैं।

2. "टू-ट्रैक" स्कोरकार्ड (LTE बनाम ΔERLV)

पेपर कहता है कि आपको सफलता को दो अलग-अलग तरीकों से एक साथ मापना होगा, क्योंकि वे अलग-अलग कहानियाँ बताते हैं।

ट्रैक A: "स्टेडी स्टेट" स्कोर (LTE)
- क्या है: "यदि हम अनंत काल तक प्रतीक्षा करें और सभी लोग स्थिर हो जाएं, तो उन लोगों के लिए नया फीचर कितना बेहतर है जो अभी भी रुकते हैं?"
- उपमा: यह मापता है कि उन वफादार ग्राहकों के लिए कॉफी का स्वाद कितना बेहतर है जो अभी तक गए नहीं हैं।
- जाल: एक फीचर का "स्टेडी स्टेट" स्कोर बहुत अच्छा हो सकता है, फिर भी वह एक आपदा हो सकता है क्योंकि उसने बाकी सभी को भगा दिया।
ट्रैक B: "टोटल लाइफटाइम" स्कोर (ΔERLV)
- क्या है: "एक ग्राहक से उसके प्रवेश करने के क्षण से लेकर उसके जाने के क्षण तक हमें कुल कितनी वैल्यू मिलती है?"
- उपमा: यह बेची गई कॉफी और इस तथ्य को भी गिनता है कि ग्राहक 5 साल तक बना रहा। यदि नया साइन बोर्ड उन्हें 2 दिन के बाद जाने पर मजबूर कर देता है, तो यह स्कोर नेगेटिव (ऋणात्मक) हो जाता है, भले ही पहले दिन कॉफी का स्वाद बहुत अच्छा रहा हो।
- जादू: यह स्कोर "परेशान करने वाले साइन बोर्ड" वाले परिदृश्य को पकड़ लेता है। यह देखता है कि हालांकि कॉफी अच्छी थी, लेकिन साइन बोर्ड ने लोगों को डराकर भगा दिया, इसलिए कुल कमाई वास्तव में पहले से कम है।

वास्तविक जीवन में इसका महत्व

यह पेपर एक वास्तविक उदाहरण का उपयोग करता है: स्ट्रीमिंग सेवाएं (जैसे Netflix या YouTube) नए विज्ञापनों का परीक्षण कर रही हैं।

परिदृश्य: वे हर वीडियो के बीच में एक विज्ञापन लगाने की कोशिश करते हैं।
अल्पकालिक (Short Term): लोग विज्ञापन पर क्लिक करते हैं क्योंकि यह नया है और वे इसे नोटिस करते हैं। (अच्छा!)
दीर्घकालिक (Long Term): लोग "विज्ञापन के प्रति उदासीनता" (Ad Blindness) का शिकार हो जाते हैं (वे इसे अनदेखा कर देते हैं) और इतने परेशान हो जाते हैं कि वे अपनी सदस्यता रद्द कर देते हैं। (बुरा!)

इस नए तरीके के बिना: कंपनी देखती है कि क्लिक बढ़ रहे हैं, सोचती है "बढ़िया, अधिक पैसा!" और विज्ञापनों को जारी रखती है। वे सब्सक्राइबर खो देते हैं और अंततः पैसा गंवाते हैं।

इस नए तरीके के साथ: "टोटल लाइफटाइम" स्कोर तुरंत चिल्लाकर कहता है, "रुकिए! आप ग्राहक खो रहे हैं!" कंपनी देखती है कि अल्पकालिक क्लिक उस दीर्घकालिक नुकसान के लायक नहीं हैं जो उपयोगकर्ताओं के जाने से होता है, इसलिए वे अपनी रणनीति बदल देते हैं।

निचोड़ (The Bottom Line)

यह पेपर कंपनियों को एक बेहतर टेलीस्कोप (दूरबीन) और एक बेहतर कैलकुलेटर देता है।

बेहतर टेलीस्कोप: यह केवल कुछ समूहों को नहीं, बल्कि हर समूह के डेटा को देखकर एक स्पष्ट तस्वीर प्राप्त करता है।
बेहतर कैलकुलेटर: यह केवल यह नहीं पूछता, "जो लोग रुके हैं उनके लिए यह फीचर काम कर रहा है या नहीं?" बल्कि यह पूछता है, "क्या इस फीचर ने हमें कुल मिलाकर अधिक लाभ दिया, यह ध्यान में रखते हुए कि कुछ लोग इसके कारण चले गए?"

यह सुनिश्चित करता है कि जब कोई कंपनी कोई नया फीचर लॉन्च करती है, तो वे केवल एक अल्पकालिक जीत का जश्न नहीं मना रहे होते हैं जो गुप्त रूप से उनके भविष्य की कीमत वसूल रही हो।

यहाँ शोध पत्र "Efficient Multi-Cohort Inference for Long-Term Effects and Lifetime Value in A/B Testing with User Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र स्ट्रीमिंग प्लेटफॉर्म और डिजिटल सेवाओं के लिए आधुनिक A/B टेस्टिंग में मौजूद महत्वपूर्ण सीमाओं को संबोधित करता है, विशेष रूप से यूजर लर्निंग (नई सुविधाओं के प्रति अनुकूलन) और यूजर चर्न (रिटेंशन/छोड़कर जाना) के संबंध में।

अल्पकालिक बनाम दीर्घकालिक बेमेल (The Short-Term vs. Long-Term Mismatch): मानक A/B टेस्ट अक्सर अल्पकालिक मेट्रिक्स या स्थिर-अवस्था (steady-state) लॉन्ग-टर्म इफेक्ट्स (LTE) पर निर्भर करते हैं। हालाँकि, यूजर व्यवहार "नोवेल्टी" (नवीनता) या "प्राइमेसी" (प्राथमिकता) प्रभावों के कारण विकसित होता है। एक ट्रीटमेंट अल्पकालिक उछाल (जैसे, नवीनता के कारण विज्ञापन क्लिक में वृद्धि) दिखा सकता है, लेकिन दीर्घकालिक नकारात्मक परिणामों (जैसे, विज्ञापन के प्रति अरुचि या थकान के कारण चर्न) का कारण बन सकता है।
चर्न की अनदेखी (The Churn Blindness): पारंपरिक LTE मेट्रिक्स अक्सर केवल सक्रिय उपयोगकर्ताओं पर औसत निकालते हैं। यह उपयोगकर्ता आधार के आकार पर होने वाले प्रभाव को अनदेखा करता है। एक ट्रीटमेंट प्रति उपयोगकर्ता जुड़ाव (engagement) तो बढ़ा सकता है, लेकिन यह चर्न को तेज कर सकता है, जिसके परिणामस्वरूप एक शुद्ध नकारात्मक व्यावसायिक मूल्य (net negative business value) हो सकता है जिसे मानक मेट्रिक्स पकड़ नहीं पाते।
डेटा अक्षमता (Data Inefficiency): LTE का अनुमान लगाने वाली मौजूदा विधियाँ (जैसे, Cookie-Cookie-Day (CCD) विधि या Difference-in-Differences (DiD)) डेटा का अक्षम उपयोग करती हैं। वे अक्सर उन उपयोगकर्ताओं के डेटा को छोड़ देती हैं जो प्रयोग में अलग-अलग समय पर प्रवेश करते हैं, जिससे उच्च-विचलन (high-variance) वाले अनुमान प्राप्त होते हैं।
मूल्य मापन में अंतराल (The Gap in Value Measurement): एक ऐसा एकीकृत ढांचा (unified framework) उपलब्ध नहीं है जो एक साथ स्थिर-अवस्था व्यवहार परिवर्तन (LTE) और इन्क्रीमेंटल एक्सपेक्टेड रेसिडुअल लाइफटाइम वैल्यू ( $\Delta ERLV$ ) का अनुमान लगा सके, जो व्यवहार परिवर्तन और रिटेंशन दोनों को ध्यान में रखता है।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत ढांचे का प्रस्ताव करते हैं जो इनवर्स-वेरिएंस वेटेड मल्टी-कोहोर्ट एस्टिमेटर का उपयोग करके अल्प-अवधि, मल्टी-कोहॉर्ट A/B टेस्ट से LTE और $\Delta ERLV$ दोनों का अनुमान लगाता है।

A. एकीकृत सूत्रीकरण (Unified Formulation)

यह ढांचा स्टैगर्ड-कोहॉर्ट डेटा से प्राप्त दो उद्देश्यों के बीच अंतर करता है:

लॉन्ग-टर्म इफेक्ट (LTE): सक्रिय (गैर-चर्न्ड) उपयोगकर्ताओं को ध्यान में रखते हुए, ट्रीटमेंट और कंट्रोल समूहों के बीच मेट्रिक्स का एसिम्प्टोटिक (asymptotic) अंतर। यह मानता है कि उपयोगकर्ता सिस्टम में बने रहते हैं।
इन्क्रीमेंटल एक्सपेक्टेड रेसिडुअल लाइफटाइम वैल्यू ( $\Delta ERLV$ ): समय के साथ उत्पन्न होने वाले मूल्य का संचयी अंतर, जिसे उपयोगकर्ता के सक्रिय रहने की संभावना (survival function) द्वारा भारित (weighted) किया जाता है। यह चर्न सहित कुल व्यावसायिक प्रभाव को कैप्चर करता है।

B. मल्टी-कोहॉर्ट एस्टिमेटर (The Multi-Cohort Estimator)

मौजूदा विधियों के उच्च विचलन (variance) को दूर करने के लिए, लेखक सभी उपलब्ध कोहॉर्ट्स से जानकारी एकत्र करने वाला एक नया एस्टिमेटर पेश करते हैं:

स्टैगर्ड कोहॉर्ट्स (Staggered Cohorts): उपयोगकर्ताओं को प्रयोग में उनके प्रवेश समय ( $t_0$ ) के आधार पर कोहॉर्ट्स में विभाजित किया जाता है।
निष्पक्ष अनुमान (Unbiased Estimates): किसी भी समय चरण $t$ के लिए, यूजर लर्निंग प्रभाव $\delta(t)$ का अनुमान उन कोहॉर्ट्स की तुलना करके लगाया जा सकता है जिन्हें अलग-अलग अवधि के लिए एक्सपोज किया गया है। शोध पत्र नोट करता है कि कई निष्पक्ष अनुमान मौजूद हैं (जैसे, $T_{t+k}^k$ बनाम $T_{t+k}^{t+k}$ की तुलना करना)।
इनवर्स-वेरिएंस वेटिंग (Inverse-Variance Weighting): एक साधारण औसत के बजाय, यह विधि प्रत्येक व्यक्तिगत कोहॉर्ट अनुमान के विचरण (variance) की गणना करती है और इस विचरण के व्युत्क्रम के समानुपाती भार ( $w_k = 1/\hat{\sigma}^2_k$ ) आवंटित करती है।
परिणाम: वेटेड मीन $\hat{\delta}_{MC}(t)$ सभी स्टैगर्ड डेटा को जोड़ता है, जो CCD या DiD की तुलना में ट्रीटमेंट इफेक्ट ट्राजेक्टरी के विचरण को काफी कम कर देता है।

C. पैरामेट्रिक डिके मॉडलिंग (Parametric Decay Modeling)

एक बार जब ट्रीटमेंट इफेक्ट ट्राजेक्टरी का अनुमान लग जाता है, तो:

LTE के लिए: ट्राजेक्टरी को एक पैरामेट्रिक डिके मॉडल (जैसे, $f(t) = \gamma + \alpha e^{-\beta t}$ ) पर फिट किया जाता है। LTE को एसिम्प्टोटिक लिमिट ( $\gamma$ ) के रूप में निकाला जाता है।
$\Delta ERLV$ के लिए: यह विधि दोनों (ट्रीटमेंट और कंट्रोल) समूहों के लिए मेट्रिक्स मानों और सर्वाइवल फंक्शन्स (चर्न दर) को एक्सपोनेंशियल मॉडल का उपयोग करके अलग से मॉडल करती है। $\Delta ERLV$ की गणना समय के साथ एक्सट्रैपोलेटेड ट्रीटमेंट और कंट्रोल ट्राजेक्टरीज के अंतर को इंटीग्रेट करके की जाती है।

3. मुख्य योगदान (Key Contributions)

एकीकृत ढांचा (Unified Framework): एक एकल कार्यप्रणाली जो लापता डेटा (चर्न) को रैंडम के बजाय सूचनात्मक (informative) के रूप में स्पष्ट रूप से मॉडल करके, स्थिर-अवस्था व्यवहार संबंधी प्रभावों (LTE) और संचयी व्यावसायिक मूल्य ( $\Delta ERLV$ ) दोनों को एक साथ रिकवर करती है।
कुशल एस्टिमेटर (Efficient Estimator): एक इनवर्स-वेरिएंस वेटेड मल्टी-कोहॉर्ट एस्टिमेटर जो सभी उपलब्ध स्टैगर्ड डेटा का पूर्ण उपयोग करता है, जिससे केवल विशिष्ट जोड़ों के बजाय सभी उपलब्ध कोहॉर्ट्स का लाभ उठाकर अनुमान विचरण को कम किया जाता है।
चर्न-जागरूक मूल्य मेट्रिक (Churn-Aware Value Metric): $\Delta ERLV$ का परिचय, जो एक निर्णय लेने वाला मेट्रिक है और उन फीचर्स को अपनाने से रोकता है जो अल्पकालिक मेट्रिक्स को तो बढ़ाते हैं लेकिन दीर्घकालिक यूजर रिटेंशन को नुकसान पहुँचाते हैं।
व्यावहारिक प्रयोज्यता (Practical Applicability): एक ऐसी विधि जिसे अल्प-अवधि के ऑनलाइन प्रयोगों के लिए डिज़ाइन किया गया है जहाँ ऐतिहासिक डेटा कम होता है, जो A/B टेस्टिंग और पारंपरिक LTV मॉडलिंग के बीच के अंतर को पाटती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने वास्तविक दुनिया के A/A डेटा (41,768 उपयोगकर्ता) पर आधारित 100 मोंटे कार्लो सिमुलेशन का उपयोग करके अपने तरीके का मूल्यांकन किया, जिसमें सिंथेटिक ट्रीटमेंट इफेक्ट्स और चर्न परिदृश्य डाले गए थे।

विचरण में कमी (Variance Reduction): मल्टी-कोहॉर्ट दृष्टिकोण ने CCD विधि की तुलना में 95% कॉन्फिडेंस इंटरवल की चौड़ाई को 50% कम कर दिया और DiD की तुलना में लगभग 3 गुना कम कर दिया।
सटीकता (Accuracy): LTE और $\Delta ERLV$ अनुमानों के लिए मीन एब्सोल्यूट एरर (MAE) मौजूदा विधियों की तुलना में कम था।
निर्णय लेने पर प्रभाव (Decision-Making Impact): "एड ब्लाइंडनेस" (सकारात्मक अल्पकालिक क्लिक, नकारात्मक दीर्घकालिक रिटेंशन) की नकल करने वाले परिदृश्य में:
- मानक अल्पकालिक विश्लेषण ने एक सकारात्मक प्रभाव ($ST E = 0.32$) दिखाया।
- LTE अनुमान ने एक लगभग शून्य प्रभाव ($0.02$) दिखाया।
- $\Delta ERLV$ ने एक महत्वपूर्ण नकारात्मक व्यावसायिक प्रभाव ($-0.70$) को सही ढंग से पहचाना।
- यह दर्शाता है कि केवल LTE या अल्पकालिक मेट्रिक्स पर निर्भर रहने से एक हानिकारक फीचर को तैनात करने का निर्णय लिया जा सकता था, जबकि $\Delta ERLV$ ने जोखिम को फ्लैग किया।

5. महत्व (Significance)

यह शोध पत्र स्ट्रीमिंग और डिजिटल उद्योगों में उत्पाद टीमों के लिए एक मजबूत समाधान प्रदान करता है जहाँ उपयोगकर्ता व्यवहार गतिशील है और चर्न महंगा है।

"वैनिटी मेट्रिक्स" के जाल से बचाव: यह उजागर करता है कि एक फीचर सक्रिय उपयोगकर्ताओं के लिए "अच्छा" हो सकता है लेकिन व्यवसाय के लिए "बुरा" हो सकता है यदि यह चर्न को तेज करता है।
प्रयोग की अवधि को अनुकूलित करना: यह कंपनियों को अल्पकालिक प्रयोगों के आधार पर विश्वसनीय दीर्घकालिक निर्णय लेने की अनुमति देता है, जिससे उत्पाद परिवर्तनों को मान्य करने के लिए आवश्यक समय और लागत कम हो जाती है।
सामान्यीकरण (Generalizability): हालांकि इसे एड-क्लिक्स पर प्रदर्शित किया गया है, यह ढांचा सर्च, रेकमेंडेशन सिस्टम और किसी भी परिदृश्य पर लागू होता है जहाँ ट्रीटमेंट उपयोगकर्ता जुड़ाव और रिटेंशन दोनों को प्रभावित करते हैं।

संक्षेप में, यह शोध पत्र A/B टेस्टिंग को सरल "औसत उपचार प्रभावों" (average treatment effects) से आगे ले जाकर यूजर लाइफसाइकिल वैल्यू के समग्र दृष्टिकोण की ओर ले जाता है, यह सुनिश्चित करता है कि उत्पाद संबंधी निर्णय केवल उन लोगों के व्यवहार से नहीं बल्कि जो लोग बने हुए हैं, उनके कुल प्रभाव से सूचित हों।