तकनीकी सारांश: कूपन प्रभावशीलता पर समय के प्रभाव का अनुमान लगाना

समस्या विवरण

कूपन प्रोत्साहन (incentives) मार्केटिंग रणनीतियों का एक मुख्य हिस्सा हैं, फिर भी व्यवसाय अक्सर अपने निवेश पर प्रतिफल (ROI) को अधिकतम करने के लिए संघर्ष करते हैं। जबकि पिछला शोध कूपन के मूल्य (जैसे, छूट का प्रतिशत) या उपयोगकर्ताओं के विभाजन (जैसे, अपलिफ्ट मॉडलिंग) को अनुकूलित करने पर केंद्रित रहा है, कई संदर्भों में समय (timing) का प्रभाव अभी भी कम खोजा गया है।

मुख्य चुनौती यह है कि इस परिकल्पना को सत्यापित करना कि "कूपन उपयोगकर्ता की सहभागिता के महत्वपूर्ण क्षणों में अधिक प्रभावी होते हैं", आमतौर पर एक वास्तविक समय (real-time), इवेंट-ट्रिगर वितरण प्रणाली की मांग करता है। ऐसी प्रणाली को लागू करने में महत्वपूर्ण इंजीनियरिंग प्रयास और लागत शामिल है। फलस्वरूप, कंपनियां एक "कैच-22" (दुविधा) का सामना करती हैं: उन्हें समर्पित बुनियादी ढांचा बनाने के लिए निवेश को उचित ठहराने हेतु साक्ष्य की आवश्यकता है, लेकिन वे वह साक्ष्य उत्पन्न नहीं कर सकतीं जब तक कि उनके पास तत्काल बनाम विलंबित वितरण की तुलना करने के लिए एक समर्पित रैंडमाइज्ड कंट्रोल ट्रायल (RCT) चलाने के लिए बुनियादी ढांचा न हो।

यह शोध पत्र बिना किसी समर्पित AB टेस्ट या पूर्व-मौजूदा वास्तविक समय वितरण सेवा की आवश्यकता के, कूपन की टाइमिंग के कन्वर्जन रेट पर पड़ने वाले कारण प्रभाव (causal effect) का अनुमान लगाने के समस्या का समाधान करता है।

कार्यप्रणाली (Methodology)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो पूर्व-मौजूदा "प्राकृतिक रैंडमाइज्ड कंट्रोल ट्रायल" डेटा पर कारण अनुमान (causal inference) लागू करता है। यह दृष्टिकोण मानक बैच-आधारित अभियानों से प्राप्त डेटा का लाभ उठाता है जहाँ उपयोगकर्ताओं को नियंत्रण (control) और उपचार (treatment) समूहों में यादृच्छिक रूप से सौंपा जाता है, लेकिन कूपन वितरण का सटीक समय उपयोगकर्ता के पंजीकरण या गतिविधि के समय के सापेक्ष बैच प्रोसेसिंग शेड्यूल द्वारा निर्धारित होता है।

1. कारण मॉडलिंग और पहचान (Causal Modeling and Identification)

यह ढांचा अनिश्चितताओं को पहचानने और निष्पक्ष अनुमान के लिए सही कंडीशनिंग सेट निर्धारित करने हेतु डायरेक्टेड एसाइक्लिक ग्राफ्स (DAGs) का उपयोग करता है।

• उपयोगकर्ता ऑनबोर्डिंग मामला: लेखक उपयोगकर्ता के गुणों ($X$), उपचार ($T$), एक पूर्व-उपचार खरीद घटना ($P$), और परिणाम ($Y$, भविष्य की खरीद) के बीच संबंध को मॉडल करते हैं। वे एक महत्वपूर्ण खामी की पहचान करते हैं: $P$ (वे उपयोगकर्ता जिन्होंने अभी तक खरीदारी नहीं की थी) पर कंडीशन करना, टाइमिंग कोवेरिएट और परिणाम के बीच के अग्र पथ को ब्लॉक कर देता है, जिससे पक्षपाती इंटरैक्शन अनुमान प्राप्त होते हैं। टाइमिंग और उपचार के बीच इंटरैक्शन ($P(Y|do(T), do(M)$) का अनुमान लगाने के लिए, मॉडल को विश्लेषण के दौरान$P$ पर कंडीशन नहीं करना चाहिए, या बैच प्रक्रिया द्वारा उत्पन्न चयन पूर्वाग्रह (selection bias) को सावधानीपूर्वक संभालना चाहिए।
• उपयोगकर्ता रिटेंशन मामला: एक सार्वजनिक डेटासेट (Lenta) पर एक सरल कारण मॉडल लागू किया गया है, जहाँ लक्ष्य अंतिम खरीद के बाद बीते हुए समय और उपचार प्रभाव के बीच के इंटरैक्शन का अनुमान लगाना है।

2. इंटरैक्शन टर्म्स के साथ अपलिफ्ट मॉडलिंग (Uplift Modeling with Interaction Terms)

एक बार कारण संरचना परिभाषित हो जाने के बाद, लेखक कंडीशनल एवरेज ट्रीटमेंट इफेक्ट (CATE) का अनुमान लगाने के लिए अपलिफ्ट मॉडलिंग का उपयोग करते हैं।

• मॉडल आर्किटेक्चर: जटिल एल्गोरिदम जैसे न्यूरल नेटवर्क या निर्णय वृक्षों (decision trees) के बजाय, लेखक व्याख्यात्मकता (interpretability) को प्राथमिकता देते हुए इंटरैक्शन टर्म्स के साथ लॉजिस्टिक रिग्रेशन मॉडल का उपयोग करते हैं।
• फॉर्मूलेशन: मॉडल भविष्य की खरीद ($Y$) के लॉग-ऑड्स की भविष्यवाणी बेसलाइन कोवेरिएट्स ($X$) और उपचार समूह के विशिष्ट अपलिफ्ट घटक ($S$) के फलन (function) के रूप में करता है। महत्वपूर्ण रूप से, इंटरैक्शन टर्म्स को उपचार संकेतक को समय-संबंधी कोवेरिएट्स (जैसे, पंजीकरण का मिनट, अंतिम खरीद के बाद का समय) के साथ गुणा करके बनाया जाता है।
  $$\ln\left(\frac{y_i}{1-y_i}\right) = \sum_{j \in C} baseline_j x_{ij} + s_i \sum_{j \in C} uplift_j x_{ij} + \epsilon_i$$
• फीचर इंजीनियरिंग: समय-संबंधी फीचर्स (घंटा, मिनट, रिसेंसी) को मानकीकृत (standardized) किया जाता है। ऑनबोर्डिंग के मामले में, लेखक नोट करते हैं कि पंजीकरण के मिनट को मानकीकृत करना साइक्लिकल विच्छेदन (जैसे, आधी रात) की समस्याओं से बचता है क्योंकि कूपन रात में वितरित नहीं किए जाते हैं, और देरी एक घंटे के भीतर सुसंगत रहती है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

• आंतरिक डेटा (Mercari): एक उपयोगकर्ता ऑनबोर्डिंग अभियान का विश्लेषण, जहाँ उपयोगकर्ताओं को प्रति घंटा बैच जॉब्स के माध्यम से नियंत्रण/उपचार समूहों में यादृच्छिक रूप से सौंपा गया था। "प्राकृतिक प्रयोग" का पहलू यह है कि पंजीकरण और कूपन प्राप्ति के बीच का विलंब, पंजीकरण के मिनट के आधार पर भिन्न होता है, जो मार्केटर के नियंत्रण से स्वतंत्र है।
• सार्वजनिक डेटा (Lenta): एक रूसी हाइपरमार्केट श्रृंखला का यूजर रिटेंशन अभियान डेटासेट, जिसका उपयोग ढांचे की सामान्यीकरण क्षमता और पुनरुत्पादकता (reproducibility) को सत्यापित करने के लिए किया गया है।

मुख्य परिणाम

उपयोगकर्ता ऑनबोर्डिंग (Mercari)

• सांख्यिकीय महत्व: पंजीकरण के मिनट के लिए अपलिफ्ट गुणांक सकारात्मक और सांख्यिकीय रूप से महत्वपूर्ण ($p \approx 0.05$) पाया गया। यह इंगित करता है कि जिन उपयोगकर्ताओं ने घंटे के शीर्ष के करीब पंजीकरण किया (जिन्हें जल्दी कूपन मिले), उनमें उन लोगों की तुलना में उच्च वृद्धिशील (incremental) कन्वर्जन रेट थी जिन्होंने बाद में पंजीकरण किया।
• व्याख्या: खाता निर्माण और कूपन वितरण के बीच बीता हुआ समय कूपन की प्रभावशीलता को महत्वपूर्ण रूप से प्रभावित करता है।
• काउंटरफैक्चुअल विश्लेषण: मॉडल के भविष्यवाणियों के विज़ुअलाइज़ेशन दिखाते हैं कि हालांकि बेसलाइन कन्वर्जन रेट पंजीकरण समय के अनुसार थोड़ा भिन्न होता है, लेकिन उपचार प्रभाव (uplift) स्पष्ट रूप से उन उपयोगकर्ताओं के लिए अधिक है जिन्हें तुरंत कूपन प्राप्त होते हैं। यह वास्तविक समय की वितरण प्रणाली के लिए इंजीनियरिंग निवेश को उचित ठहराने हेतु आवश्यक साक्ष्य प्रदान करता है।

उपयोगकर्ता रिटेंशन (Lenta)

• बेसलाइन प्रभाव: "नवीनतम खरीद समय" का बेसलाइन गुणांक मजबूती से सकारात्मक था, जो पुष्टि करता है कि हाल ही की खरीदारी वाले उपयोगकर्ताओं द्वारा कन्वर्ट होने की संभावना अधिक होती है ("ज़ोन" परिकल्पना)।
• टाइमिंग इंटरैक्शन: अंतिम खरीद के बाद बीते हुए समय के लिए अपलिफ्ट गुणांक कमजोर रूप से सकारात्मक लेकिन सांख्यिकीय रूप से महत्वपूर्ण नहीं था।
• निष्कर्ष: ऑनबोर्डिंग परिदृश्य के विपरीत, रिटेंशन के लिए (एक विलंबित बैच के मुकाबले) खरीदारी के तुरंत बाद कूपन देना इस विशिष्ट डेटासेट में कोई बड़ा व्यावसायिक प्रभाव नहीं डालता है।

योगदान और महत्व

यह शोध पत्र निम्नलिखित विशिष्ट योगदान देता है:

1. टाइमिंग को उजागर करना: यह स्थापित करता है कि कूपन वितरण का समय मार्केटिंग प्रभावशीलता का एक महत्वपूर्ण, अक्सर अनदेखा किया जाने वाला चर है।
2. मेथडोलॉजिकल फ्रेमवर्क: यह प्राकृतिक RCTs और कारण अनुमान (विशेष रूप से do-calculus और अपलिफ्ट मॉडलिंग) का उपयोग करके टाइमिंग के कारण प्रभाव का अनुमान लगाने के लिए एक ढांचा प्रस्तावित करता है। यह कंपनियों को महंगे वास्तविक समय बुनियादी ढांचे की आवश्यकता को प्रमाणित करने की अनुमति देता है।
3. अनुभवजन्य सत्यापन (Empirical Validation):
   • यह एक आंतरिक ऑनबोर्डिंग अभियान के माध्यम से अपने ढांचे की सफलता को प्रदर्शित करता है, जो वास्तविक समय की इवेंट-ट्रिगर कूपन लागू करने के लिए डेटा-संचालित औचित्य प्रदान करता है।
   • यह एक सार्वजनिक डेटासेट का उपयोग करके अपने ढांचे की सामान्यीकरण क्षमता को सत्यापित करता है, जिससे यह दिखाया गया है कि विधि उन परिदृश्यों के बीच अंतर कर सकती है जहाँ टाइमिंग मायने रखती है (ऑनबोर्डिंग) और जहाँ यह (इस विशिष्ट संदर्भ में रिटेंशन में) प्राथमिक लीवर नहीं है।
4. पुनरुत्पादकता (Reproducibility): एक सार्वजनिक डेटासेट पर पद्धति को लागू करके और सोर्स कोड जारी करके, लेखक अपने शोध को पुनरुत्पादक और अन्य अभ्यासकर्ताओं के लिए सुलभ बनाने का लक्ष्य रखते हैं।

सीमाएं (Limitations)

लेखक स्वीकार करते हैं कि उनके निष्पक्ष अनुमानों की वैधता पूरी तरह से उनके कारण आरेखों (causal diagrams) की शुद्धता पर निर्भर करती है।

• अदृश्य कन्फाउंडर्स (Unobservable Confounders): ऑनबोर्डिंग के मामले में, वे मानते हैं कि कोई अदृश्य कन्फाउंडर (जैसे आय, शौक) मौजूद नहीं है जो पंजीकरण समय और कन्वर्जन दोनों को प्रभावित करता हो। वे तर्क देते हैं कि पंजीकरण के घंटे को नियंत्रित करना इस जोखिम को कम करता है।
• डेटा विशिष्टता: रिटेंशन के परिणाम Lenta डेटासेट के विशिष्ट हैं; रिटेंशन में टाइमिंग के महत्व को नकारने वाले परिणाम सार्वभौमिक रूप से सभी रिटेंशन संदर्भों में टाइमिंग के महत्व को खारिज नहीं करते हैं, बल्कि यह सुझाव देते हैं कि ढांचा यह पहचानने में सक्षम है कि कहाँ टाइमिंग प्राथमिक लीवर नहीं है।

निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि कूपन वितरण के लिए 'पहले मिलना' आम तौर पर बेहतर होता है, लेकिन लाभ का परिमाण उपयोगकर्ता यात्रा के चरण पर निर्भर करता है। ऑनबोर्डिंग के लिए, बैच प्रोसेसिंग के कारण होने वाला विलंब कूपन की प्रभावकारिता को काफी कम कर देता है। रिटेंशन के लिए, खरीदारी के तुरंत बाद का विंडो समान वृद्धिशील लाभ प्रदान नहीं कर सकता है। प्रस्तावित ढांचा व्यवसायों को यह निर्धारित करने के लिए एक लागत प्रभावी, डेटा-संचालित मार्ग प्रदान करता है कि क्या उनके विशिष्ट उपयोग के मामलों के लिए वास्तविक समय वितरण बुनियादी ढांचे में निवेश करना उचित है।