Perturbed Double Machine Learning: Nonstandard Inference Beyond the Parametric Length

यहाँ ज़ेंग, बोनविनी और गुओ के शोध पत्र "Perturbed Double Machine Learning: Nonstandard Inference Beyond the Parametric Length" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र मशीन लर्निंग (ML) के माध्यम से अनुमानित अनंत-आयामी न्यूसेंस पैरामीटर्स (infinite-dimensional nuisance parameters) की उपस्थिति में लो-डायमेंशनल फंक्शनल्स (जैसे कि ट्रीटमेंट इफेक्ट्स) के लिए वैध कॉन्फिडेंस इंटरवल (confidence intervals) बनाने की चुनौती को संबोधित करता है।

• मानक DML की सीमा (The Limitation of Standard DML): क्लासिकल डबल/डिबायस्ड मशीन लर्निंग (DML) इस धारणा पर निर्भर करता है कि न्यूसेंस एस्टिमेटर्स (जैसे कि $f(X) = E[D|X]$ और $g(X) = E[Y|X]$) $n^{-1/4}$ की दर से तेज़ अभिसरण (convergence) करते हैं। इस स्थिति के तहत, न्यूसेंस बायस टर्म एसिम्प्टोटिक रूप से नगण्य ($o_P(n^{-1/2})$) हो जाता है, जिससे DML एस्टिमेटर एसिम्प्टोटिक रूप से गाऊसी (Gaussian) बन जाता है और वैध वाल्ड इंटरवल्स (Wald intervals) का निर्माण संभव होता है।
• विफलता का क्षेत्र (The Failure Regime): जटिल, उच्च-आयामी, या गैर-स्मूथ डेटा (जैसे कि डेंस मॉडल्स, नॉन-स्पार्स स्ट्रक्चर, या जटिल ब्लैक-बॉक्स ML) वाले आधुनिक अनुप्रयोगों में, न्यूसेंस एस्टिमेटर्स $n^{-1/4}$ या यहाँ तक कि $n^{-1/2}$ से भी धीमी गति से अभिसरण कर सकते हैं। इन "नॉन-रेगुलर" परिदृश्यों में, न्यूसेंस बायस (nuisance bias) अनुमान त्रुटि (estimation error) पर हावी हो जाता है, जिससे मानक वाल्ड इंटरवल्स गंभीर अंडरकवरेज (undercoverage) का शिकार हो जाते हैं।
• अंतराल (The Gap): गैर-रेगुलर इन्फरेंस के मौजूदा तरीके (जैसे कि हायर-ऑर्डर इन्फ्लुएंस फंक्शन्स) अक्सर मजबूत संरचनात्मक धारणाओं (जैसे विशिष्ट स्मूथनेस या स्पर्सिटी) की मांग करते हैं या गणनात्मक रूप से कठिन होते हैं। ऐसे "एग्नोस्टिक" (agnostic) तरीकों की कमी है जो न्यूसेंस एस्टिमेटर की कन्वर्जेंस रेट या अंतर्निहित डेटा संरचना की परवाह किए बिना वैध इन्फरेंस प्रदान कर सकें।

2. कार्यप्रणाली: पर्टर्बड डीएमएल (Methodology: Perturbed DML)

लेखक पर्टर्बड डबल मशीन लर्निंग (Perturbed DML) का प्रस्ताव करते हैं, जो एक दो-चरणीय प्रक्रिया है जिसमें न्यूसेंस अनुमान प्रक्रिया में रैंडमनेस (randomness) डाली जाती है ताकि कैंडिडेट एस्टिमेटर्स का एक संग्रह तैयार किया जा सके, और फिर एक मजबूत कॉन्फिडेंस सेट बनाने के लिए एक फ़िल्टरिंग तंत्र का उपयोग किया जाता है।

चरण 1: पर्टर्बेशन (Perturbation)

एक एकल न्यूसेंस एस्टिमेट पर निर्भर रहने के बजाय, यह विधि $M$ पर्टर्बड न्यूसेंस मॉडल उत्पन्न करती है।

• तंत्र (Mechanism): ट्रेनिंग चरण में (उपयोगकर्ता सैंपल $I_c$ का उपयोग करके), न्यूसेंस मॉडल को फिट करने से पहले रिस्पॉन्स वेरिएबल्स ($Y$ और $D$) में कृत्रिम शोर (artificial noise) डाला जाता है।
  • लीनियर मॉडल्स (Lasso) के लिए, शोर को ऑप्टिमाइज़ेशन समस्या के स्कोर वेक्टर्स (ग्रेडिएंट्स) में डाला जाता है।
  • सामान्य ML के लिए, शोर को सीधे रिस्पॉन्स वेरिएबल्स में जोड़ा जाता है: $Y^{[m]}_i = Y_i - \epsilon^{[m]}_i$ और $D^{[m]}_i = D_i - \delta^{[m]}_i$।
• शोर वितरण (Noise Distribution): शोर एक वितरण (आमतौर पर गाऊसी) से लिया जाता है जिसका कोवेरिएंस मैट्रिक्स डेटा से अनुमानित होता है। मुख्य आवश्यकता यह है कि वितरण पर्याप्त रूप से "डिफ्यूज़" (diffuse) हो ताकि, उच्च संभावना के साथ, कम से कम एक पर्टर्बेशन डेटा में मौजूद वास्तविक शोर को लगभग रद्द कर सके।
• परिणाम: इससे $M$ पर्टर्बड न्यूसेंस एस्टिमेटर्स ($\hat{f}^{[m]}, \hat{g}^{[m]}$) और संबंधित DML एस्टिमेटर्स ($\hat{\beta}^{[m]}$) का एक संग्रह प्राप्त होता है।

चरण 2: फ़िल्टरिंग और एकत्रीकरण (Filtering and Aggregation)

सभी $M$ वाल्ड इंटरवल्स का यूनियन (union) लेना अत्यधिक कंजर्वेटिव और संभावित रूप से बहुत विस्तृत हो जाएगा। लेखक एक फ़िल्टरिंग स्टेप पेश करते हैं:

• फ़िल्टरिंग मानदंड (Filtering Criterion): यह विधि उन पर्टर्बड इंटरवल्स को हटा देती है जिनका केंद्र $\hat{\beta}^{[m]}$ मूल अनपर्टर्बड DML एस्टिमेट $\hat{\beta}$ से काफी विचलित होता है।
• थ्रेशोल्ड (Threshold): रिटेंशन सेट $\mathcal{M}$ को इस प्रकार परिभाषित किया गया है:
  $$\mathcal{M} = \{ m : |\hat{\beta}^{[m]} - \hat{\beta}| \leq \text{Threshold} \}$$
  थ्रेशोल्ड को सैद्धांतिक रूप से (न्यूसेंस बायस बाउंड $\rho_n$ के आधार पर) या व्यावहारिक रूप से (विचलन के एम्पिरिकल क्वांटाइल, जैसे कि 95वें पर्सेंटाइल का उपयोग करके) प्राप्त किया जाता है।
• अंतिम कॉन्फिडेंस सेट: अंतिम कॉन्फिडेंस इंटरवल रिटेन किए गए पर्टर्बेशंस के वाल्ड इंटरवल्स का यूनियन है:
  $$CI = \bigcup_{m \in \mathcal{M}} CI^{[m]}$$

3. प्रमुख योगदान (Key Contributions)

1. $n^{-1/4}$ से परे वैध इन्फरेंस: शोध पत्र सिद्ध करता है कि पर्टर्बड DML उस परिदृश्य में भी नाममात्र कवरेज (nominal coverage) प्राप्त करता है जहाँ न्यूसेंस एस्टिमेटर्स $n^{-1/4}$ (और संभावित रूप से $n^{-1/2}$) से धीमी गति से अभिसरण करते हैं, जहाँ मानक DML विफल हो जाता है।
2. ओरेकल-जैसी प्रदर्शन (Oracle-Like Performance): सैद्धांतिक रूप से, लेखक दिखाते हैं कि पर्याप्त बड़े $M$ के साथ, कम से कम एक पर्टर्बेशन $m^*$ मौजूद होता है जिससे पर्टर्बड न्यूसेंस एस्टिमेट्स वास्तविक न्यूसेंस फंक्शन्स के पर्याप्त करीब होते हैं। फलस्वरूप, $\hat{\beta}^{[m^*]}$ एक "ओरेकल" एस्टिमेटर (जो वास्तविक न्यूसेंस को जानता है) की तरह व्यवहार करता है, जिसके पास सही एसिम्प्टोटिक डिस्ट्रीब्यूशन होता है।
3. इष्टतमता और लंबाई नियंत्रण (Optimality and Length Control):
   • यह विधि उच्च-आयामी स्पार्स लीनियर मॉडल्स में कॉन्फिडेंस इंटरवल्स के लिए मिनिमैक्स एक्सपेक्टेड लेंथ (minimax expected length) प्राप्त करती है (जो Cai और Guo, 2017 द्वारा स्थापित लोअर बाउंड से मेल खाती है)।
   • फ़िल्टरिंग स्टेप महत्वपूर्ण है: यह सुनिश्चित करता है कि यूनियन इंटरवल्स अत्यधिक चौड़े न हों, जबकि यह भी सुनिश्चित करता है कि "ओरेकल-जैसी" इंटरवल को उच्च संभावना के साथ रिटेन किया जाए।
4. न्यूसेंस लर्नर्स के प्रति एग्नोस्टिकिज्म (Agnosticism to Nuisance Learners): यह फ्रेमवर्क न्यूसेंस फंक्शन्स पर विशिष्ट संरचनात्मक धारणाओं (जैसे स्पर्सिटी या स्मूथनेस) की आवश्यकता के बिना सामान्य मशीन लर्निंग एल्गोरिदम (जैसे रैंडम फॉरेस्ट, XGBoost, न्यूरल नेटवर्क) तक विस्तारित होता है, बशर्ते कि पर्टर्बेशन शोर पर्याप्त रूप से विसरित (dispersed) हो।

4. सैद्धांतिक परिणाम (Theoretical Results)

• थ्योरम 1 (उच्च-आयामी लीनियर मॉडल्स): लासो (Lasso) एस्टिमेशन के तहत, यदि $M$ पर्याप्त बड़ा है, तो एक $m^*$ मौजूद होता है जिससे उच्च संभावना के साथ $|\hat{\beta}^{[m]} - \hat{\beta}_{ora}|$ छोटा होता है। कन्वर्जेंस रेट $M$ और डायमेंशन $p$ पर निर्भर करता है।
• थ्योरम 2 (कवरेज और लंबाई): फ़िल्टर्ड यूनियन इंटरवल $CI$ निम्नलिखित को संतुष्ट करता है:
  • कवरेज: $\liminf P(\beta \in CI) \geq 1 - \alpha$।
  • लंबाई: इसकी लंबाई $O(\rho_n + n^{-1/2})$ के क्रम की है, जहाँ $\rho_n$ न्यूसेंस बायस बाउंड है। यह मिनिमैक्स ऑप्टिमल रेट से मेल खाती है।
• थ्योरम 3 (सामान्य ML): गाऊसी मापों के लिए आइसोपेरीमेट्रिक असमानताओं (isoperimetric inequalities) का उपयोग करते हुए, लेखक सामान्य ML सेटिंग के लिए औचित्य प्रदान करते हैं, यह दिखाते हुए कि पर्टर्बेशन स्टेप यह सुनिश्चित करता है कि $\hat{\beta}^{[m]}$ की कंडीशनल डिस्ट्रीब्यूशन वास्तविक पैरामीटर के अनिश्चितता क्षेत्र को कवर करती है।

5. अनुभवजन्य परिणाम (Empirical Results)

• सिमुलेशन अध्ययन (Simulation Studies):
  • स्पार्स लीनियर मॉडल्स: उन सेटिंग्स में जहाँ स्पर्सिटी स्तर $s$ अधिक (डेंस मॉडल्स) है, मानक DML वाल्ड इंटरवल्स ~70% कवरेज तक गिर जाते हैं (लक्ष्य 95% है)। पर्टर्बड DML >95% कवरेज बनाए रखता है।
  • सामान्य ML: विधि का परीक्षण जनरलाइज्ड एडिटिव मॉडल्स (GAM) और XGBoost के साथ किया गया। उन परिदृश्यों में जहाँ मानक DML धीमी कन्वर्जेंस या बायस के कारण विफल रहा, पर्टर्बड DML ने वैध कवरेज प्रदान किया।
  • इंटरवल की लंबाई: प्रस्तावित इंटरवल्स "ओरेकल बायस-अवेयर" बेंचमार्क (जो वास्तविक बायस का ज्ञान मानता है) की तुलना में केवल थोड़े ही अधिक चौड़े हैं और "नेव बायस-बाउंड" इंटरवल्स (जो सबसे खराब स्थिति के बायस बाउंड को सीधे इंटरवल में जोड़ देते हैं) की तुलना में काफी छोटे हैं।
• वास्तविक डेटा विश्लेषण (Real Data Analysis):
  • इसे बंदूक के स्वामित्व का हत्या दर पर प्रभाव (Chernozhukov et al., 2024 डेटासेट) पर लागू किया गया।
  • विभिन्न न्यूसेंस लर्नर्स (OLS, Lasso, Random Forests, XGBoost, DNNs) के बीच तुलना की गई।
  • निष्कर्ष: पर्टर्बड DML ने मानक DML की तुलना में अधिक चौड़े इंटरवल दिए (जो धीमी गति से अभिसरण करने वाले न्यूसेंस में अनिश्चितता को दर्शाता है), लेकिन मजबूती बनाए रखी। विशेष रूप से, डीप न्यूरल नेटवर्क्स (DNNs) के लिए, जो पर्टर्बेशन के प्रति संवेदनशील हैं, इस विधि ने इंटरवल्स को काफी विस्तृत कर दिया, जिससे उस अस्थिरता को सही ढंग से पकड़ा गया जिसे मानक DML मिस कर गया था।

6. महत्व (Significance)

यह कार्य सेमीपैरामीट्रिक इन्फरेंस और मशीन लर्निंग के साथ कॉज़ल इन्फरेंस में एक महत्वपूर्ण प्रगति है।

• मजबूती (Robustness): यह उन अभ्यासकर्ताओं के लिए एक "सेफ्टी नेट" प्रदान करता है जो जटिल ब्लैक-बॉक्स ML मॉडल्स का उपयोग कर रहे हैं जहाँ न्यूसेंस एस्टिमेटर्स की कन्वर्जेंस रेट अज्ञात है या धीमी होने की संभावना है।
• व्यावहारिकता (Practicality): हायर-ऑर्डर इन्फ्लुएंस फंक्शन विधियों के विपरीत, जो गणनात्मक रूप से भारी हैं और जिनमें जटिल बेसिस डिक्शनरी ट्यूनिंग की आवश्यकता होती है, पर्टर्बड DML को लागू करना अपेक्षाकृत सरल है (इसके लिए केवल शोर इंजेक्शन के साथ बार-बार मॉडल फिटिंग की आवश्यकता होती है)।
• सैद्धांतिक सफलता (Theoretical Breakthrough): यह "रेगुलर" परिदृश्य (जहाँ DML काम करता है) और "नॉन-रेगुलर" परिदृश्य (जहाँ एस्टिमेटर का एसिम्प्टोटिक रूप से गाऊसी होना या न्यूसेंस का पैरामेटिक रेट पर होना आवश्यक नहीं है) के बीच के अंतर को पाटता है, और एक एकीकृत ढांचा प्रदान करता है।

संक्षेप में, पर्टर्बद्ध DML (Perturbed DML) न्यूसेंस एseition की कमजोरी (बायस) को उसकी ताकत में बदल देता है, जो संभव एस्टिमेट्स के स्पेस को एक्सप्लोर करने के लिए पर्टर्बेशन का उपयोग करता है, अकल्पनीय एस्टिमेट्स को फ़िल्टर करता है, और शेष को एकत्रित करता है ताकि कठिन, उच्च-आयामी सेटिंग्स में वैध इन्फरेंस की गारंटी दी जा सके।