📈 economics

Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making

यह लेख बजट-प्रतिबंधित कॉज़ल बैंडिट्स (BCCB) का परिचय देता है, जो एक ऐसा ऑनलाइन ढांचा है जो विज्ञापन प्रभावशीलता सीखने, अन्वेषण और बजट पेसिंग को एकीकृत करता है ताकि कोल्ड-स्टार्ट विज्ञापन परिदृश्यों में पारंपरिक ऑफलाइन तरीकों से बेहतर प्रदर्शन किया जा सके, जो पहले उपयोगकर्ता से ही प्रभावी ढंग से कार्य करता है और काफी कम प्रदर्शन भिन्नता प्रदर्शित करता है।

मूल लेखक: Abhirami Pillai

प्रकाशित 2026-04-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abhirami Pillai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल डिजिटल बिलबोर्ड अभियान के प्रबंधक हैं। आपके पास एक सीमित राशि (बजट) है जिससे आपको लाखों लोगों को विज्ञापन दिखाना है। आपका लक्ष्य सरल है: अधिक से अधिक लोगों को विज्ञापन पर क्लिक करने और कुछ खरीदने के लिए प्रेरित करना।

लेकिन यहाँ एक पेच है: हर कोई एक जैसा नहीं होता।

कुछ लोग उत्पाद खरीद लेंगे, भले ही उन्होंने कभी विज्ञापन न देखा हो।
कुछ लोग कभी भी इसे नहीं खरीदेंगे, चाहे आप उन्हें कितनी भी बार विज्ञापन दिखा दें।
कुछ लोग "स्वीट स्पॉट" (Sweet Spot) वाले होते हैं: वे केवल इसलिए खरीदते हैं क्योंकि उन्होंने आपका विज्ञापन देखा।

चुनौती यह है कि बिना अपना पैसा बर्बाद किए यह पता लगाना कि कौन उस "स्वीट स्पॉट" में आता है, जबकि आपका कैश रजिस्टर (बजट) कम होता जा रहा है।

पुराना तरीका: "क्रिस्टल बॉल" दृष्टिकोण

पारंपरिक रूप से, कंपनियाँ इस काम को दो चरणों में हल करने की कोशिश करती थीं, जैसे कि मेहमानों के आने से पहले एक शेफ व्यंजन तैयार करता है:

रेसिपी बुक: आप पिछले डेटा के एक विशाल ढेर (जैसे कि एक रेसिपी बुक) को छानते हैं ताकि यह सीख सकें कि आमतौर पर कौन क्या खरीदता है।
शॉपिंग लिस्ट: आप इस किताब का उपयोग करके उन लोगों की एक सख्त सूची बनाते हैं जिन्हें विज्ञापन दिखाया जाना चाहिए।

समस्या: यह तब शानदार काम करता है जब आपके पास एक विशाल, सटीक रेसिपी बुक हो। लेकिन क्या होगा यदि आप एक नया उत्पाद लॉन्च कर रहे हैं, एक नए देश में प्रवेश कर रहे हैं, या एक नए प्रकार के ग्राहक को लक्षित कर रहे हैं? आपके पास अभी कोई रेसिपी बुक नहीं है। पुराना तरीका विफल हो जाता है क्योंकि उसके पास सीखने के लिए कुछ भी नहीं है। यह एक खाली पेंट्री (रसोई के सामान) के साथ स्वादिष्ट भोजन बनाने की कोशिश करने जैसा है।

नया समाधान: "स्मार्ट एक्सप्लोरर" (BCCB)

इस शोध पत्र के लेखक एक नई विधि प्रस्तावित करते हैं जिसे बजट-कंस्ट्रेंड कॉज़ल बैंडिट्स (BCCB) कहा जाता है। रेसिपी बुक का इंतज़ार करने के बजाय, यह विधि खाना बनाते समय ही सीखती है।

BCCB को एक भीड़ के बीच चलते हुए एक स्मार्ट एक्सप्लोरर (चतुर खोजकर्ता) के रूप में कल्पना करें, जिसके पास सीमित पैसा है।

"कॉज़ल" (Causal) वाला हिस्सा: खोजकर्ता केवल यह अनुमान नहीं लगाता कि कौन दिलचस्प लग रहा है। वे कारण-और-प्रभाव (cause-and-effect) को समझने की कोशिश करते हैं: "यदि मैं इस विशिष्ट व्यक्ति को विज्ञापन दिखाता हूँ, तो क्या वे विज्ञापन के कारण खरीदेंगे, या वे वैसे भी खरीदते?"
"बैंडिट" (Bandit) वाला हिस्सा: यह "ट्रायल एंड एरर" (परीक्षण और त्रुटि) के लिए एक फैंसी शब्द है। खोजकर्ता को दो चीजों के बीच संतुलन बनाना होता है:
- एक्सप्लॉयटेशन (Exploitation): उन लोगों को विज्ञापन दिखाना जो एक सुरक्षित दांव लग रहे हैं (तत्काल बिक्री उत्पन्न करने के लिए)।
- एक्सप्लोरेशन (Exploration): उन लोगों को विज्ञापन दिखाना जो एक रहस्य हैं (यह पता लगाने के लिए कि क्या वे वास्तव में अच्छे लक्ष्य हैं)।
"बजट" (Budget) वाला हिस्सा: खोजकर्ता पैसे के मामले में समझदार है। यदि वे शुरुआत में बहुत जल्दी पैसा खर्च कर देते हैं, तो वे परफेक्ट ग्राहक मिलने से पहले ही बजट खत्म कर सकते हैं। यदि वे बहुत कंजूस बनते हैं, तो वे आसान बिक्री के अवसर खो देते हैं। BCCB लगातार बचे हुए पैसे और शेष समय के आधार पर अपने खर्च की गति को समायोजित करता है।

बड़ी खोज: "टिपिंग पॉइंट" (Tipping Point)

शोधकर्ताओं ने एक प्रमुख विज्ञापन कंपनी के वास्तविक डेटासेट का उपयोग करके इस नए खोजकर्ता का परीक्षण पुराने "रेसिपी बुक" तरीके के विरुद्ध किया। उन्होंने एक दिलचस्प "टिपिंग पॉइंट" पाया कि आपको कितने डेटा की आवश्यकता है:

कोल्ड स्टार्ट (0 से 2,000 लोग): पुराना तरीका पूरी तरह से विफल हो जाता है। यह बहुत कम सामग्री के साथ एक रेसिपी बुक बनाने की कोशिश करता है और बेकार परिणाम देता है। नया खोजकर्ता (BCCB), हालांकि, पहले व्यक्ति से ही प्रभावी ढंग से काम करता है। यह रास्ते में सीखते हुए आगे बढ़ता है।
मिडल रेंज (2,000 से 10,000 लोग): पुराना तरीका काम करना शुरू करता है, लेकिन यह बहुत अस्थिर है। किसी दिन वह भाग्यशाली हो सकता है और 100 खरीदार ढूंढ सकता है; अगले दिन, समान डेटा के साथ, वह केवल 10 ही पाता है। नया खोजकर्ता सुसंगत और विश्वसनीय है।
स्वीट स्पॉट (10,000+ लोग): एक बार जब पुराने तरीके के पास एक विशाल ऐतिहासिक डेटा (लगभग 10,000+ लोग) हो जाता है, तो वह अंततः खोजकर्ता से बेहतर हो जाता है। वह सीखने के लिए पैसे "बर्बाद" किए बिना सटीक भविष्यवाणी कर सकता है।

मुख्य संदेश: यदि आप एक नया अभियान शुरू कर रहे जिसमें इतिहास बहुत कम या शून्य है, डेटा का इंतज़ार न करें। खोजकर्ता (BCCB) का उपयोग करें। डेटा की कमी होने पर यह पुराने तरीकों की तुलना में 3 से 5 गुना अधिक स्थिर और विश्वसनीय है।

यह क्यों मायने रखता है

डिजिटल विज्ञापन की वास्तविक दुनिया में, चीजें तेजी से बदलती हैं। नए उत्पाद लॉन्च किए जाते हैं, नए बाजार खुलते हैं, और उपयोगकर्ताओं की आदतें बदल जाती हैं। अक्सर, आपके पास 10,000 पिछले ग्राहकों का डेटा जमा होने तक प्रतीक्षा करने का समय नहीं होता है।

यह शोध पत्र दिखाता है कि आपको प्रतीक्षा करने की आवश्यकता नहीं है। आप पहले दिन से ही अपना बजट समझदारी से खर्च कर सकते हैं और साथ-साथ यह भी सीख सकते हैं कि कौन आपके विज्ञापनों पर प्रतिक्रिया दे रहा है, बिना अपना बजट गंवाए या अंधाधुंध अनुमान लगाए। यह "ग्राहकों को खोजने" की अराजक प्रक्रिया को एक स्थिर, अनुमानित यात्रा में बदल देता है।

यहाँ "बजट-कंस्ट्रेंड कॉज़ल बैंडिट्स: अपलिफ्ट मॉडलिंग और सीक्वेंशियल डिसीजन-मेकिंग के बीच सेतु" (Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making) पेपर का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का स्वरूप (Problem Formulation)

यह पेपर डिजिटल विज्ञापन में बजट-कंस्ट्रेंड ट्रीटमेंट एलोकेशन की चुनौती को संबोधित करता है, विशेष रूप से कोल्ड-स्टार्ट (Cold-Start) परिदृश्यों में, जहाँ ऐतिहासिक डेटा कम या नगण्य होता है (जैसे नए अभियान, नए बाजार)।

मुख्य उद्देश्य: एक कुल बजट $B$ का पालन करते हुए, विज्ञापनों को दिखाने के लिए उपयोगकर्ताओं के एक उपसमुच्चय (subset) का चयन करके कुल रूपांतरणों (conversions/treatment outcomes) की संख्या को अधिकतम करना।
प्रमुख बाधाएं और चुनौतियां:
1. विषम उपचार प्रभाव (Heterogeneous Treatment Effects - HTE): उपयोगकर्ता विज्ञापनों पर अलग-अलग प्रतिक्रिया देते हैं। लक्ष्य उन उपयोगकर्ताओं को लक्षित करना है जिनका सकारात्मक कारण प्रभाव (positive causal effect) $\tau(x)$ अधिक है, और उन्हें टालना है जो अप्रभावित रहते हैं या नकारात्मक रूप से प्रभावित होते हैं।
2. बजट बाधाएं (Budget Constraints): प्रत्येक उपयोगकर्ता की विशिष्ट लागत $c_t$ होती है (जैसे विज्ञापनों के लिए नीलामी मूल्य)। संचयी लागत $B$ से अधिक नहीं होनी चाहिए।
3. कोल्ड-स्टार्ट / डेटा की कमी: पारंपरिक ऑफलाइन विधियों को अपलिफ्ट मॉडल को प्रशिक्षित करने के लिए बड़े ऐतिहासिक डेटासेट की आवश्यकता होती है। नए परिदृश्यों में, ये डेटा उपलब्ध नहीं होते, जिससे "कोल्ड-स्टार्ट" की समस्या उत्पन्न होती है।
4. क्रमिक निर्णय प्रक्रिया (Sequential Decision-Making): उपयोगकर्ता क्रमिक रूप से आते हैं। सिस्टम को बजट पेसिंग (समय से पहले बजट समाप्त होने या अपर्याप्त उपयोग से बचने) को नियंत्रित करते हुए ऑनलाइन उपचार प्रभावों को सीखना चाहिए।

औपचारिक परिभाषा:
इस समस्या को $T$ राउंड की एक क्रमिक प्रक्रिया के रूप में मॉडल किया गया है। प्रत्येक राउंड $t$ में, एजेंट उपयोगकर्ता की विशेषताएं $x_t$ और लागत $c_t$ देखता है और एक क्रिया $a_t \in \{0, 1\}$ (उपचार दें या नहीं) चुनता है। उद्देश्य है:
$\max \sum_{t=1}^T a_t \cdot Y_t(1) \quad \text{subject to} \quad \sum_{t=1}^T a_t \cdot c_t \le B$
जहाँ $Y_t(1)$ उपचार के तहत संभावित परिणाम (potential outcome) है।

2. कार्यप्रणाली: बजट-कंस्ट्रेंड कॉज़ल बैंडिट्स (BCCB)

लेखक BCCB का प्रस्ताव करते हैं, जो एक एकीकृत ऑनलाइन फ्रेमवर्क है जो तीन अलग-अलग घटकों को एक एकल क्रमिक निर्णय प्रक्रिया में एकीकृत करता है। ऑफलाइन दो-चरणीय पाइपलाइन (प्रशिक्षित करें, फिर अनुकूलित करें) या मानक बैंडिट्स (जो HTE की अनदेखी करते हैं) के विपरीत, BCCB एक साथ सीखता है, अन्वेषण (explore) करता है और नियंत्रण करता है।

A. ऑनलाइन HTE अनुमान (Online HTE Estimation)

दृष्टिकोण: ऑनलाइन व्यक्तिगत उपचार प्रभावों का अनुमान लगाने के लिए टू-मॉडल अप्रोच (Two-Model Approach) का उपयोग।
- मॉडल 1: $P(Y=1 | x, T=1)$ (उपचार के तहत रूपांतरण की संभावना) का अनुमान लगाता है।
- मॉडल 2: $P(Y=1 | x, T=0)$ (नियंत्रण के तहत रूपांतरण की संभावना) का अनुमान लगाता है।
तंत्र: दोनों मॉडल प्रत्येक अवलोकन के बाद लॉजिस्टिक लॉस के साथ स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) के माध्यम से वृद्धिशील (incrementally) रूप से अपडेट किए जाते हैं।
कोल्ड-स्टार्ट हैंडलिंग: पर्याप्त डेटा एकत्र होने से पहले (50 उपचारित/नियंत्रित अवलोकनों से कम), प्रारंभिक अन्वेषण को प्रोत्साहित करने के लिए एक आशावादी पूर्व (optimistic prior) $\hat{\tau} = 0.002$ का उपयोग किया जाता है।

B. थॉमसन-सैंपलिंग अन्वेषण (Thompson-Sampling Exploration)

लक्ष्य: अन्वेषण (अनिश्चित उपयोगकर्ताओं के बारे में सीखना) और शोषण (ज्ञात उच्च-मूल्य वाले उपयोगकर्ताओं को लक्षित करना) के बीच संतुलन बनाना।
तंत्र: उपचार और नियंत्रण की वैश्विक सफलता दरों के लिए बीटा पोस्टीरियर वितरण (Beta posterior distributions) का रखरखाव।
एक्सप्लोरेशन बोनस: प्रत्येक चरण में, एल्गोरिदम पोस्टीरियर्स से नमूने लेकर एक एक्सप्लोरेशन बोनस की गणना करता है:
$\text{exploration\_bonus}_t = (\theta_t^{(1)} - \theta_t^{(0)}) \cdot \eta$
यह बोनस अनुमानित HTE में जोड़ा जाता है और एल्गोरिदम को उन उपयोगकर्ताओं को उपचार देने के लिए प्रोत्साहित करता जिनके प्रभाव अनिश्चित हैं, भले ही वर्तमान HTE अनुमान अस्पष्ट हो।

C. एडेप्टिव बजट पेसिंग (Adaptive Budget Pacing)

लक्ष्य: समय से पहले बजट समाप्त होने या अक्षम कम उपयोग को रोकना।
तंत्र: प्रत्येक राउंड में बजट प्रेशर रेशियो ( $pace_t$ $p a c e_{t}$ ) की गणना:
$pace_t = \frac{B_t / B_0}{(T - t) / T}$
- यदि $pace_t > 1$ : समय के सापेक्ष बजट प्रचुर है; एल्गोरिदम अधिक उदारता से खर्च करता है।
- यदि $pace_t < 1$ : बजट बहुत तेज़ी से खत्म हो रहा है; एल्गोरिदम अधिक चयनात्मक हो जाता है।
थ्रेशोल्ड मॉड्यूलेशन: पेसिंग रेशियो गतिशील रूप से निर्णय सीमा (decision threshold) को समायोजित करता है। जब बजट कम होता है, तो उपचार के लिए थ्रेशोल्ड बढ़ जाता है, यह सुनिश्चित करता है कि केवल उच्च लागत-दक्षता वाले उपयोगकर्ताओं को ही चुना जाए।

D. संयुक्त निर्णय नियम (Combined Decision Rule)

प्रत्येक उपयोगकर्ता $t$ के लिए, एल्गोरिदम एक स्कोर और वैल्यू-पर-डॉलर मीट्रिक की गणना करता है:

स्कोर: $s_t = \hat{\tau}(x_t) + \text{exploration\_bonus}_t$
वैल्यू: $v_t = s_t / c_t$
निर्णय: उपचार दें ( $a_t=1$ ) यदि $v_t > \frac{\lambda}{\max(pace_t, \epsilon)}$ , जहाँ $\lambda$ एक आधार थ्रेशोल्ड है।

3. प्रमुख योगदान (Key Contributions)

एकीकृत ढांचा (Unified Framework): BCCB का प्रस्ताव, जो पहला ऐसा फ्रेमवर्क है जो बिना किसी पूर्व-संग्रहित ऐतिहासिक डेटा के, एक एकल ऑनलाइन प्रक्रिया में HTE लर्निंग, थॉमसन-सैंपलिंग एक्सप्लोरेशन और एडेप्टिव बजट पेसिंग को एकीकृत करता है।
डेटा-कुशल क्रॉसओवर (Data-Efficient Crossover): एक महत्वपूर्ण थ्रेशोल्ड (~10,000 ऐतिहासिक अवलोकन) की अनुभवजन्य पहचान। इससे नीचे, ऑफलाइन विधियाँ विफल हो जाती हैं या अत्यधिक अस्थिर होती हैं; इसके ऊपर, ऑफलाइन विधियाँ ऑनलाइन विधियों से बेहतर प्रदर्शन कर सकती हैं। BCCB पहले उपयोगकर्ता से ही प्रभावी ढंग से कार्य करता है।
प्रदर्शन स्थिरता (Performance Stability): यह प्रदर्शन कि BCCB बार-बार किए गए रन के माध्यम से ऑफलाइन विधियों की तुलना में 3-5 गुना कम प्रदर्शन भिन्नता (performance variance) प्रदर्शित करता है, जिससे यह अधिक विश्वसनीय बनता है।
बेहतर ऑनलाइन प्रदर्शन: शुद्ध ऑनलाइन विधियों में, BCCB सभी बजट स्तरों पर मानक थॉमसन सैंपलिंग, बजटेड थॉमसन सैंपलिंग और ग्रीडी HTE अनुमान को लगातार पछाड़ता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

अध्ययन का मूल्यांकन Criteo Uplift Dataset (1.4 मिलियन उपयोगकर्ता) पर किया गया था जिसमें लॉग-नॉर्मल वितरण के माध्यम से सिंथेटिक लागतें उत्पन्न की गई थीं।

ऑनलाइन-बनाम-ऑनलाइन तुलना:
- उच्च बजट ($8,000) पर, BCCB ने 46 रूपांतरण प्राप्त किए और मानक थॉमसन सैंपलिंग (37) और HTE-ग्रीडी (29) को पछाड़ दिया।
- तंग बजट ($1,000) पर, BCCB और बजटेड TS ने सर्वश्रेष्ठ प्रदर्शन किया, जो बजट जागरूकता के महत्व को रेखांकित करता है।
डेटा-कुशल क्रॉसओवर (ऑफलाइन बनाम ऑनलाइन):
- < 2,000 अवलोकन: ऑफलाइन विधियाँ पूरी तरह विफल रहीं (कंट्रोल ग्रुप में शून्य पॉजिटिव उदाहरणों के कारण मॉडल फिट नहीं हो सका)। BCCB सफलतापूर्वक काम करता रहा।
- 2,000 – 10,000 अवलोकन: ऑफलाइन विधियों ने अत्यधिक भिन्नता (विचलन गुणांक > 100%) दिखाई। BCCB स्थिर रहा।
- > 50,000 अवलोकन: ऑफलाइन विधियाँ अंततः BCCB से बेहतर प्रदर्शन करती हैं (104 बनाम 25 रूपांतरण), जो पुष्टि करता है कि प्रचुर प्रतिनिधि डेटा होने पर ऑफलाइन विधियाँ श्रेष्ठ होती हैं।
स्थिरता: BCCB ने 7-13 रूपांतरणों का मानक विचलन दिखाया, जबकि ऑफलाइन विधियों ने 35-65 तक का प्रसार दिखाया। यह 3-5 गुना कम भिन्नता पूर्वानुमान योग्य ROI के लिए महत्वपूर्ण है।
स्केलेबिलिटी: BCCB ने विभिन्न डेटासेट आकारों (100K, 500K, 1.4M उपयोगकर्ता) में शिखर प्रदर्शन बनाए रखा, जबकि ग्रीडी-HTE विधियाँ अत्यधिक असंगत थीं।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:

कोल्ड-स्टार्ट समस्या का समाधान: नए विज्ञापन अभियानों के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ ऐतिहासिक डेटा अनुपलब्ध है, एक ऐसा परिदृश्य जहाँ मानक उद्योग पाइपलाइन विफल हो जाती हैं।
जोखिम न्यूनीकरण: BCCB की उच्च स्थिरता डेटा सेट के रैंडम सीड वेरिएंस के कारण अभियान विफल होने के जोखिम को कम करती है।
पैराडाइम शिफ्ट: यह क्षेत्र को "प्रशिक्षित करें-फिर-तैनात करें" से "एक साथ सीखना और आवंटन करना" की ओर ले जाता है।

सीमाएं:

डेटा प्रचुरता: यदि किसी कंपनी के पास उसी आबादी से 50,000 से अधिक ऐतिहासिक अवलोकन हैं, तो ऑफलाइन विधियाँ बेहतर रहती हैं।
सिंथेटिक लागत: अध्ययन में लॉग-नॉर्मल वितरण के आधार पर सिंथेटिक लागतों का उपयोग किया गया था। वास्तविक दुनिया की नीलामी गतिशीलता अधिक जटिल हो सकती है।
मॉडल जटिलता: वर्तमान कार्यान्वयन HTE के लिए रैखिक क्लासिफायर (linear classifiers) का उपयोग करता है। अधिक अभिव्यंजक ऑनलाइन मॉडल (जैसे ऑनलाइन न्यूरल नेटवर्क) सटीकता में सुधार कर सकते हैं, लेकिन उन्हें भविष्य के कार्य के लिए टाल दिया गया है।

निष्कर्ष:
BCCB अपलिफ्ट मॉडलिंग और क्रमिक निर्णय लेने के बीच के अंतर को पाटता है, जो डिजिटल विज्ञापन में बजट-कंस्ट्रेंड ट्रीटमेंट एलोकेशन के लिए एक मजबूत, डेटा-कुशल समाधान प्रदान करता है, विशेष रूप से उन परिदृश्यों में जहाँ डेटा की कमी और तत्काल, स्थिर प्रदर्शन की आवश्यकता होती है।