तकनीकी सारांश: एक्सपोनेंशियल डिस्पर्शन फैमिली आउटकम्स के लिए लक्षित नियमितीकरण (Targeted Regularization)

1. समस्या विवरण (Problem Statement)

न्यूरल नेटवर्क्स (NNs) का उपयोग करके अवलोकनात्मक डेटा (observational data) से कारण प्रभावों (causal effects) का अनुमान लगाने ने मजबूत अनुभवजन्य प्रदर्शन दिखाया है, फिर भी वांछनीय अर्ध-प्राचलिक गुणों (semiparametric properties)—विशेष रूप से दोहरी मजबूती (doubly robustness) और तेज़ अभिसरण दर (fast convergence rates)—को प्राप्त करना चुनौतीपूर्ण बना हुआ है। मौजूदा NN-आधारित अनुमानक, जैसे कि लक्षित अधिकतम संभावना अनुमान (TMLE) या लक्षित नियमितीकरण (जैसे, शि एट अल., 2019; नी एट अल., 2021) का उपयोग करने वाले, मुख्य रूप से सतत परिणामों (continuous outcomes) तक सीमित हैं जो गाऊसी वितरण (Gaussian distribution) मानते हैं।

यह सीमा वास्तविक दुनिया के परिदृश्यों में अनुप्रयोग को प्रतिबंधित करती है जिनमें बाइनरी परिणाम (जैसे, खरीदारी का निर्णय), काउंट परिणाम (जैसे, क्लिक की संख्या), या अन्य विषम वितरण शामिल हैं जो अभ्यास में सामान्य हैं। हालांकि पिछले कार्य (गाओ और हास्टी, 2022) ने आंशिक रूप से रैखिक R-लर्नर फ्रेमवर्क के भीतर 'डिफरेंस इन नेचुरल पैरामीटर्स' (DINA) का उपयोग करके एक्सपोनेंशियल फैमिली आउटकम्स को संबोधित किया, लेकिन इसने NNs के लिए लक्षित नियमितीकरण प्रतिमान को इन वितरणों के लिए विस्तारित नहीं किया। फलस्वरूप, एक्सपोनेंशियल डिस्पर्शन फैमिली (EDF) आउटकम्स के लिए वितरण स्तर पर प्रथम-क्रम के पूर्वाग्रह (first-order bias) को ठीक करने के लिए NN-आधारित अनुमानकों की कमी है, जो सैद्धांतिक गारंटी बनाए रखते हों।

यह शोध एवरेज डोज़ कैनोनिकल फंक्शन (ADCF) का अनुमान लगाने का लक्ष्य रखता है, जिसे $\psi_a = \theta[\text{do}(A=a)]$ के रूप में परिभाषित किया गया है, जहाँ $\theta$ EDF का कैनोनिकल (नेचुरल) पैरामीटर है। यह चुनाव कैनोनिकल स्केल पर प्रभावों की तुलना करने के लिए मानक प्रथाओं के अनुरूप है और सशर्त माध्य (conditional means) में पाई जाने वाली विषमता संबंधी समस्याओं से बचता है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा निरंतर (discrete) और सतत (continuous) उपचार सेटिंग्स दोनों के तहत EDF आउटकम्स के लिए लक्षित नियमितीकरण को एकीकृत करता है। कार्यप्रणाली तीन सैद्धांतिक और एल्गोरिदम चरणों के माध्यम से आगे बढ़ती है:

अ. अर्ध-प्राचलिक विश्लेषण और पूर्वाग्रह लक्षण वर्णन (Semiparametric Analysis and Bias Characterization)

लेखकों ने पहले ADCF के प्लग-इन अनुमानक के वॉन मिसेस विस्तार (von Mises expansion) को व्युत्पन्न किया ताकि प्रथम-क्रम के पूर्वाग्रह की संरचना की पहचान की जा सके।

• बाइनरी उपचार (Discrete Treatments): बाइनरी उपचारों के लिए, उन्होंने विस्तार को व्युत्पन्न किया जो यह दर्शाता है कि पूर्वाग्रह आउटकम मॉडल ($\mu$) और प्रोपेंसिटी स्कोर ($\pi$) के अनुमान त्रुटियों के गुणनफल से संबंधित एक द्वितीय-क्रम शेष पद (second-order remainder term) से बना है। यह गुणनफल संरचना दर्शाती है कि यदि किसी एक मॉडल का सुसंगत अनुमान लगाया जाता है, तो पूर्वाग्रह समाप्त हो जाता है (दोहरी मजबूती का गुण)।
• सतत उपचार (Continuous Treatments): सतत उपचारों के लिए, पॉइंटवाइज ADCF पथ-दर-पथ विभेद्य (pathwise differentiable) नहीं है, जिससे मानक प्रभाव फलन (influence functions) अपरिभाषित हो जाते हैं। इससे निपटने के लिए, लेखक एक सीव-प्रोजेक्टेड (sieve-projected) ADCF पेश करते हैं। वे अनंत-आयामी डोज़-रिस्पॉन्स कर्व को एक परिमित-आयामी B-स्प्लाइन सीव स्पेस पर प्रोजेक्ट करते हैं। यह प्रोजेक्शन पथ-दर-पथ विभेद्यता को बहाल करता है, जिससे एक सुपरिभाषित प्रभाव फलन और प्रोजेक्टेड कर्व के लिए एक वैध वॉन मिसेस विस्तार संभव होता है।

ब. एकीकृत लक्षित नियमितीकरण (Unified Targeted Regularization)

वॉन मिसेस विस्तार द्वारा प्रकट पूर्वाग्रह संरचना का लाभ उठाते हुए, लेखक एक एकीकृत लक्षित नियमितीकरण उद्देश्य (targeted regularization objective) का निर्माण करते हैं।

• फ्लक्चुएशन मॉडल (Fluctuation Model): पोस्ट-हॉक सुधार पद जोड़ने के बजाय (जो अनुमानों को पैरामीटर स्पेस से बाहर धकेल सकता है), यह विधि कैनोनिकल पैरामीटर में एक अदिश विक्षेपण फलन (scalar perturbation function) $\epsilon(a)$ पेश करती है। विक्षेपित पैरामीटर को इस प्रकार परिभाषित किया गया है:
  $$\hat{\theta}^*(x, a) = h(\hat{\mu}(x, a)) + \frac{\epsilon(a)}{\hat{\pi}(a|x)} h'(\hat{\mu}(x, a))$$
  जहाँ $h$ लिंक फंक्शन है और $h'$ उसका डेरिवेटिव है।
• लॉस फंक्शन (Loss Function): यह विधि इस विक्षेपण को एक एकीकृत लॉस फंक्शन के माध्यम से NN प्रशिक्षण में एकीकृत करती है:
  $$L_{TR}(\mu, \pi, \epsilon) = L(\mu, \pi) + \beta R(\mu, \pi, \epsilon)$$
  यहाँ, $L(\mu, \pi)$ EDF के लिए मानक नेगेटिव लॉग-लाइक्लीहुड है, और $R$ लक्षित नियमितीकरण पद है जो विक्षेपित मॉडल के नेगेटिव लॉग-लाइक्लीहुड से प्राप्त होता है। $R$ को इस तरह से निर्मित किया गया है कि $\epsilon$ के सापेक्ष इसका डेरिवेटिव स्कोर समीकरण के बराबर हो, जो अभिसरण (convergence) पर पूर्वाग्रह पद को शून्य कर देता है।
• कार्यान्वयन (Implementation): विक्षेपण पैरामीटर $\epsilon(a)$ को उसी B-स्प्लाइन आधार (basis) का उपयोग करके पैरामीट्राइज़ किया गया है जिसका उपयोग सतत उपचारों में सीव प्रोजेक्शन के लिए किया गया है, जो सैद्धांतिक लक्ष्य और अनुकूलन (optimization) के बीच निरंतरता सुनिश्चित करता है।

स. सैद्धांतिक गारंटी (Theoretical Guarantees)

यह शोध सिद्ध करता है कि परिणामी NN-आधारित अनुमानक $L_2$ नॉर्म में दोहरी मजबूत अभिसरण दर (doubly robust convergence rate) प्राप्त करता है। विशेष रूप से, त्रुटि इस प्रकार सीमित है:
$$O_p\left(n^{-1/3}\sqrt{\log n} + r_1(n)r_2(n) + r_2(n)^2\right)$$
जहाँ $r_1(n)$ और $r_2(n)$ क्रमशः प्रोपेंसिटी स्कोर और आउटकम अनुमानकों की अभिसरण दरें हैं। यह नी एट अल. (2021) के सैद्धांतिक गारंटियों को गाऊसी वितरणों से पूर्ण एक्सपोनेंशियल डिस्पर्शन फैमिली (Bernoulli और Poisson सहित) तक विस्तारित करता है।

3. प्रमुख योगदान (Key Contributions)

1. ADCF का अर्ध-प्राचलिक विश्लेषण: लेखकों ने EDF आउटकम्स के लिए ADCF का वॉन मिसेस विस्तार व्युत्पन्न किया। सतत उपचारों के लिए, वे पॉइंटवाइज फंक्शनल की गैर-पथ-दर-पथ विभेद्यता को संभालने के लिए सीव-प्रोजेक्टेड ADCF पेश करते हैं, जिससे एक सुपरिभाषित प्रभाव फलन स्थापित होता है।
2. एकीकृत लक्षित नियमितीकरण: वे एक एकीकृत नियमितीकरण उद्देश्य प्रस्तावित करते हैं जो किसी भी EDF सदस्य के लिए वितरण स्तर पर पूर्वाग्रह को ठीक करता है। यह NN को एंड-टू-एंड तरीके से आउटकम मॉडल, प्रोपेंसिटी स्कोर और विक्षेपण पैरामीटर को सीखने की अनुमति देता है और साथ ही पैरामीटर स्पेस के भीतर रहता है।
3. सैद्धांतिक विस्तार: यह कार्य एक दोहरी मजबूत अभिसरण दर का प्रमाण प्रदान करता है, जो गाऊसी वितरणों से व्यापक वर्ग के EDFs (Bernoulli और Poisson सहित) तक पिछले परिणामों का सामान्यीकरण करता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): विधि को बाइनरी और सतत उपचारों के साथ सिंथेटिक और सेमी-सिंथेटिक डेटासेट (News, TCGA) पर मान्य किया गया है, जो Bernoulli और Poisson आउटकम सेटिंग्स में अत्याधुनिक प्रदर्शन प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Causal Forest, Dragonnet (और गैर-गाऊसी आउटकम्स के लिए इसके अनुकूलित संस्करण), VCNet, DINA-learner, और एक मानक Doubly Robust (DR) अनुमानक सहित कई बेसलाइन्स के विरुद्ध अपने मेथड का मूल्यांकन किया।

• बाइनरी उपचार (Binary Treatment): Bernoulli और Poisson आउटकम्स वाले डेटासेट पर, प्रस्तावित विधि ("Ours") ने एवरेज ट्रीटमेंट इफेक्ट (ATE) के लिए न्यूनतम मीन एब्सोल्यूट एरर (MAE) प्राप्त किया, जो Dragonnet, VCNet और मानक DR अनुमानक से बेहतर रहा। विशेष रूप से, DR अनुमानक को प्रोपेंसिटी स्कोर में विभाजन के कारण सीमित नमूनों (finite samples) में कम स्थिर पाया गया।
• सतत उपचार (Continuous Treatment): सतत उपचारों के लिए, विधि ने ADCF के लिए न्यूनतम एवरेज मीन स्क्वेर्ड एरर (AMSE) प्राप्त किया। परिणामों ने पुष्टि की कि केवल मौजूदा मॉडलों (जैसे, MSE को नेगेटिव लॉग-लाइक्लीहुड से बदलना) के लॉस फंक्शन को अनुकूलित करना पर्याप्त नहीं है; विशिष्ट लक्षित नियमितीकरण तंत्र प्रदर्शन के लिए महत्वपूर्ण है।
• संवेदनशीलता विश्लेषण (Sensitivity Analysis): नियमितीकरण की शक्ति को नियंत्रित करने वाले हाइपरपैरामीटर $\beta$ का मध्यम प्रभाव देखा गया; बहुत छोटे मान पूर्वाग्रह को ठीक करने में विफल रहते हैं, जबकि बहुत बड़े मान न्यूसेंस फंक्शन अनुमान में हस्तक्षेप करते हैं।

5. महत्व और दावे (Significance and Claims)

यह शोध deeep learning के साथ कारण अनुमान (causal inference) में एक महत्वपूर्ण अंतर को संबोधित करने का दावा करता है: गैर-गाऊसीय, विषम आउटकम्स (जैसे वास्तविक दुनिया के अनुप्रयोगों में सामान्य बाइनरी कन्वर्जन रेट या काउंट डेटा) को संभालने में मौजूदा लक्षित नियमितीकरण फ्रेमवर्क की अक्षमता।

आवश्यक अर्ध-प्राचलिक विस्तारों को व्युत्पन्न करके और एक एकीकृत लॉस फंक्शन का निर्माण करके, लेखक प्रदर्शित करते हैं कि लक्षित नियमितीकरण को एक्सपोनेंशियल डिस्पर्शन फैमिली के व्यापक वर्ग तक सफलतापूर्वक सामान्यीकृत किया जा सकता है। इस कार्य का महत्व निम्नलिखित में निहित है:

• सैद्धांतिक कठोरता (Theoretical Rigor): EDF आउटकम्स के लिए दोनों (बाइनरी और सतत) उपचारों के तहत वॉन मिसेस विस्तार और प्रभाव फलन का पहला व्युत्पन्न प्रदान करना, जिससे दोहरी मजबूत अनुमानकों का निर्माण संभव हुआ।
• व्यावहारिक प्रयोज्यता (Practical Applicability): एक एंड-टू-एंड NN आर्किटेक्चर प्रदान करना जो पिछले तरीकों (जैसे DINA-learner) के प्रतिबंधात्मक आंशिक रूप से रैखिक धारणाओं पर निर्भर हुए बिना बाइनरी और काउंट आउटकम्स को संभालता है।
• मजबूती (Robustness): जब दोनों सुसंगत हों तो व्यक्तिगत न्यूसेंस अनुमानकों की तुलना में तेज़ अभिसरण दर प्राप्त करना, जबकि एडिटिव बायस-करेक्शन विधियों के विपरीत, पैरामीटर स्पेस के भीतर स्थिरता बनाए रखना।

लेखक निष्कर्ष निकालते हैं कि उनका ढांचा कार्यात्मक लक्षित नियमितीकरण (functional targeted regularization) के सैद्धांतिक गारंटियों को आउटकम वितरणों के बहुत व्यापक वर्ग तक विस्तारित करता है, जिसकी पुष्टि अत्याधुनिक अनुभवजन्य परिणामों द्वारा की गई है।