Doubly Robust Estimation of Causal Effect on CVR with Targeted Regularization

तकनीकी सारांश: लक्षित नियमितीकरण के साथ CVR पर कारण प्रभाव का दोहरी सुदृढ़ (Doubly Robust) अनुमान

1. समस्या का निरूपण

यह शोध पत्र एक उपचार $A$ (जैसे, कूपन आवंटन) के पोस्ट-क्लिक कन्वर्जन रेट (CVR) पर कारण प्रभाव (causal effect) के अनुमान की चुनौती को संबोधित करता है। CVR को एक सशर्त प्रायिकता $P(Y_2=1 | Y_1=1)$ के रूप में परिभाषित किया गया है, जहाँ $Y_1$ एक क्लिक को दर्शाता है और $Y_2$ एक कन्वर्जन को दर्शाता है। लक्षित एस्टिमैंड (estimand) एक विशिष्ट उपचार रणनीति के तहत औसत संभावित CVR है:
$$\psi_a = E[P(Y_2(a)=1 | Y_1(a)=1, X)]$$
जहाँ $X$ सहचरों (covariates) का प्रतिनिधित्व करता है।

मुख्य चुनौतियाँ:

• नमूना चयन पूर्वाग्रह (Sample Selection Bias): केवल क्लिक किए गए नमूनों ($Y_1=1$) पर लागू किए गए मानक कारण अनुमान (causal inference) विधियाँ पूर्वाग्रह उत्पन्न करती हैं क्योंकि क्लिक की घटना यादृच्छिक नहीं होती है और उपचार पर निर्भर होती है।
• मौजूदा CVR भविष्यवाणी की सीमाएँ: CVR भविष्यवाणी पर पिछले कार्यों में चयन पूर्वाग्रह को ठीक करने के लिए "आदर्श हानि" (ideal loss) का उपयोग किया जाता है, जो पूर्ण नमूने पर एक निष्पक्ष हानि को अनुकूलित करता है। हालाँकि, यह शोध पत्र तर्क देता है कि एक निष्पक्ष हानि (unbiased loss) सैद्धांतिक रूप से कारण प्रभाव के लिए एक निष्पक्ष अंतिम एस्टिमेटर की गारंटी नहीं देती है।
• मानक कारण एस्टिमेटर्स की सीमाएँ: सीधे प्लग-इन एस्टिमेटर्स (न्युसेंस पैरामीटर्स का अनुमान लगाना और उनका अनुपात लेना) का उपयोग करने से अभिसरण दर (convergence rates) धीमी हो जाती है और मॉडल मिसस्पेसिफिकेशन के प्रति संवेदनशीलता बढ़ जाती है, विशेष रूप से जब न्यूरल नेटवर्क जैसे लचीले नॉनपैरामीट्रिक एस्टिमेटर्स का उपयोग किया जाता है।

2. कार्यप्रणाली

लेखक एक सेमीपैरामीट्रिक सिद्धांत (semiparametric theory) परिप्रेक्ष्य से इस समस्या को देखते हैं, और CVR परिणामों की श्रृंखला-संरचित (chain-structured) प्रकृति के अनुरूप एक नया एस्टिमेटर व्युत्पन्न करते हैं।

A. दोहरी सुदृढ़ (DR) एस्टिमेटर निर्माण
शोध पत्र लक्षित एस्टिमैंड के लिए इन्फ्लुएंस फंक्शन (influence function) और वॉन मिसेस एक्सपेंशन (von Mises expansion) को व्युत्पन्न करता है। इसके आधार पर, वे एक नया दोहरी सुदृढ़ एस्टिमेटर निर्मित करते हैं:
$$\hat{\psi}_{a}^{dr} = \hat{\psi}_{plug-in} + \mathbb{P}_n(\phi_a(\hat{P}))$$
जहाँ $\phi_a(P)$ एक इन्फ्लुएंस फंक्शन है जिसमें निम्नलिखित न्युसेंस पैरामीटर्स शामिल हैं:

• $\mu_1(x, a) = E(Y_1 | X, A=a)$ (क्लिक प्रायिकता)
• $\mu_2(x, a) = E(Y_2 | X, A=a)$ (कन्वर्जन प्रायिकता)
• $\pi(a|x)$ (प्रोपेंसिटी स्कोर)

इस एस्टिमेटर में एक सुधार पद (correction term) शामिल है जो प्लग-इन एस्टिमेटर के प्रथम-क्रम पूर्वाग्रह को समाप्त करता है। सैद्धांतिक रूप से, यह एस्टिमेटर $\sqrt{n}$-कंसिस्टेंसी और एसिम्प्टोटिक नॉर्मलिटी प्राप्त करता है, भले ही न्युसेंस पैरामीटर्स का अनुमान धीमी दरों (जैसे, $o_P(n^{-1/4})$) पर लगाया गया हो, बशर्ते कि उनके त्रुटि उत्पादों का अभिसरण पर्याप्त रूप से तेज़ हो। यह गुण तब भी बना रहता है जब उनमें से एक न्युसेंस एस्टिमेटर असंगत (inconsistent) हो (दोहरी सुदृढ़ता)।

B. लक्षित नियमितीकरण ढांचा (Targeted Regularization Framework)
प्रत्यक्ष एक-चरण सुधार (one-step correction) की संख्यात्मक अस्थिरता को संबोधित करने के लिए (जो पैरामीटर स्पेस से बाहर के अनुमान दे सकता है या कम क्लिक-थ्रू रेट के कारण अस्थिर हो सकता है), लेखक एक लक्षित नियमितीकरण ढांचा प्रस्तावित करते हैं।

• एक कठिन सुधार चरण के बजाय, वे एक सीखने योग्य विक्षोभ पैरामीटर (learnable perturbation parameter) $\epsilon(a)$ पेश करते हैं (निरंतर उपचारों के लिए स्प्लाइन्स के माध्यम से अनुमानित)।
• हानि फलन (loss function) में एक नियमितीकरण पद $R$ जोड़ा जाता है जो इन्फ्लुएंस फंक्शन के अनुभवजन्य माध्य (empirical mean) को शून्य करने के लिए मजबूर करता है:
  $$R = \frac{1}{n} \sum_{i=1}^n \left( \frac{y_{2i} - \hat{\mu}_{2i}}{\hat{\mu}_{1i}} - \frac{(y_{1i} - \hat{\mu}_{1i})\hat{\mu}_{2i}}{\hat{\mu}_{1i}^2} - \frac{\hat{\epsilon}(a_i)}{\hat{\pi}_i} \right)^2$$
• मल्टी-टास्क लर्निंग: यह ढांचा CTR और CVR कारण प्रभावों का संयुक्त रूप से अनुमान लगाता है। इस तार्किक बाधा को लागू करने के लिए कि कन्वर्जन का अर्थ क्लिक है ($Y_2 \le Y_1$), मॉडल $\hat{\mu}_2 = \hat{\mu}_1 \times \tilde{\mu}_2$ का अनुमान लगाता है।
• ग्रेडिएंट ब्लॉकिंग: प्रोपेंसिटी स्कोर एस्टिमेटर $\hat{\pi}$ के सटीक अनुमान को सुनिश्चित करने के लिए लक्षित नियमितीकरण पदों से ग्रेडिएंट को ब्लॉक किया जाता है।

3. मुख्य योगदान

1. सैद्धांतिक निरूपण: यह शोध पत्र CVR कारण अनुमान को एक सेमीपैरामीट्रिक परिप्रेक्ष्य से पुनरावलोकन करता है, इन्फ्लुएंस फंक्शन को व्युत्पन्न करता है और विशेष रूप से श्रृंखला-संरचित परिणामों के लिए एक नया दोहरी सुदृढ़ एस्टिमेटर स्थापित करता है। यह सिद्ध करता है कि यह एस्टिमेटर हल्के अनुमानों के तहत $\sqrt{n}$-कंसिस्टेंसी प्राप्त करता है।
2. व्यावहारिक ढांचा: यह एक लक्षित नियमितीकरण ढांचा प्रस्तावित करता है जो सैंपल स्प्लिटिंग (क्रॉस-फिटिंग) की आवश्यकता के बिना दोहरी सुदृढ़ता की अवधारणा को एक स्थिर, एंड-टू-एंड प्रशिक्षण प्रक्रिया तक विस्तारित करता है, जिससे यह न्यूरल नेटवर्क जैसे जटिल मॉडलों के लिए उपयुक्त बन जाता है।
3. अनुभवजन्य सत्यापन: सिंथेटिक, सेमी-सिंथेटिक और वास्तविक दुनिया के डेटा पर व्यापक प्रयोग यह प्रदर्शित करते हैं कि प्रस्तावित विधि मानक बेसलाइनों (DragonNet, VCNet, Causal Forest) और मौजूदा CVR-विशिष्ट विधियों से बेहतर प्रदर्शन करती है।
4. नए एस्टिमेटर्स की सैद्धांतिक आवश्यकता: यह शोध पत्र प्रदर्शित करता है कि "लॉस डीबायसिंग" (CVR भविष्यवाणी साहित्य से) को मानक कारण एस्टिमेटर्स के साथ मिलाने से निम्न स्तर के परिणाम मिलते हैं, जो सीधे लक्षित एस्टिमैंड को लक्षित करने वाले एस्टिमेटर्स के निर्माण की आवश्यकता को रेखांकित करता है।

4. प्रयोगात्मक परिणाम

• डेटासेट: प्रयोग सिंथेटिक डेटा और सेमी-सिंथेटिक डेटा (News डेटासेट पर आधारित) पर किए गए। इसके अतिरिक्त, एक बड़े पैमाने के वास्तविक दुनिया के डेटासेट (CRITEO-UPLIFTv2) पर प्रयोग किए गए, जिसे लेखकों ने स्पष्ट रूप से केवल एक पूरक संदर्भ के रूप में नोट किया है क्योंकि सार्वजनिक रूप से उपलब्ध डेटा में सीमाएँ हैं (जैसे, बाइनरी उपचार बनाम निरंतर उपचार, लक्षित एस्टिमैंड के लिए ग्राउंड ट्रुथ की कमी)।
• मेट्रिक्स: सिंथेटिक/सेमी-सिंथेटिक डेटा के लिए औसत मीन स्क्वेर्ड एरर (AMSE) का उपयोग किया गया; वास्तविक दुनिया के डेटासेट के लिए AUUC और QINI का उपयोग किया गया।
• प्रदर्शन:
  • प्रस्तावित विधि ने सभी बेसलाइनों, जिनमें मानक DR एस्टिमेटर और "Ours (w/o. t-reg)" एब्लेशन शामिल हैं, को प्राथमिक सिंथेटिक और सेमी-सिंथेटिक डेटासेट पर महत्वपूर्ण रूप से पीछे छोड़ दिया।
  • एब्लेशन अध्ययन ने पुष्टि की कि लक्षित नियमितीकरण (Targeted Regularization) महत्वपूर्ण है; इसे हटाने से प्रदर्शन में भारी गिरावट आई, जिससे विधि एक कम स्थिर प्लग-इन एस्टिमेटर में बदल गई।
  • विधि नियमितीकरण भार (regularization weights) के विभिन्न हाइपरपैरामीटर सेटिंग्स के लिए मजबूती प्रदर्शित करती है।
  • लॉस डीबायसिंग को मानक कारण एस्टिमेटर्स के साथ मिलाने वाले वैकल्पिक दृष्टिकोण के साथ तुलना ने दिखाया कि प्रस्तावित विधि श्रेष्ठ थी, जो पुष्टि करती है कि निष्पक्ष हानि (unbiased loss) निष्पक्ष कारण अनुमान की गारंटी नहीं देती है।
  • CRITEO-UPLIFTv2 डेटासेट पर परिणाम विधि की व्यावहारिक उपयोगिता को और अधिक पुष्ट करते हैं, हालांकि लेखक चेतावनी देते हैं कि डेटासेट की सीमाओं के कारण प्रदर्शन का कम आकलन किया जा सकता है।

5. महत्व और दावे

यह शोध पत्र श्रृंखला-संरचित परिणामों जैसे CVR पर कारण प्रभावों के अनुमान के लिए एक सामान्य ढांचे (general framework) को प्रदान करने का दावा करता है। इसका महत्व सेमीपैरामीट्रिक दक्षता और व्यावहारिक डीप लर्निंग अनुप्रयोगों के बीच के अंतर को पाटने में निहित है।

• यह दावा करता है कि CVR भविष्यवाणी के लिए "आइडियल लॉस" पर निर्भर मौजूदा विधियाँ कारण प्रभाव अनुमान के लिए अपर्याप्त हैं क्योंकि वे अंतिम एस्टिमेटर की निष्पक्षता की गारंटी नहीं देती हैं।
• यह प्रदर्शित करता है कि लक्षित नियमितीकरण द्वारा स्थिर किया गया एक अनुकूलित दोहरी सुदृढ़ एस्टिमेटर, सैद्धांतिक गारंटी (कंसिस्टेंसी, एसिम्प्टोटिक नॉर्मलिटी) और व्यावहारिक स्थिरता (मॉडल मिसस्पेसिफिकेशन और कम क्लिक-थ्रू रेट के प्रति मजबूती) दोनों प्रदान करता है।
• यह कार्य ई-कॉमर्स और विज्ञापन में उद्यम निर्णय लेने (enterprise decision-making) के लिए एक समाधान के रूप में स्थित है, जहाँ रणनीतियों की चरण-वार दक्षता (विशेष रूप से पोस्ट-क्लिक कन्वर्जन) को समझना महत्वपूर्ण है।