UD-DML: Uniform Design Subsampling for Double Machine Learning over Massive Data

तकनीकी सारांश: UD-DML: विशाल डेटा पर डबल मशीन लर्निंग के लिए यूनिफॉर्म डिज़ाइन सबसैंपलिंग

समस्या विवरण (Problem Statement)
डबल मशीन लर्निंग (DML) उच्च-आयामी (high-dimensional), लचीले न्युसेंस घटकों की उपस्थिति में निम्न-आयामी कारण मापदंडों (जैसे, औसत उपचार प्रभाव, ATE) पर वैध अनुमान लगाने के लिए एक अग्रणी ढांचा बनकर उभरा है। हालांकि, मानक DML को विशाल अवलोकन संबंधी डेटासेट ($n \in [10^5, 10^7]$) पर लागू करना कम्प्यूटेशनल रूप से अत्यधिक कठिन हो जाता है क्योंकि इसके लिए क्रॉस-फिटिंग फोल्ड्स के माध्यम से जटिल मशीन लर्निंग मॉडल के बार-बार प्रशिक्षण की आवश्यकता होती है। एक स्वाभाविक समाधान एक यूनिफॉर्म द्वारा चुने गए सबसैंपल ($r \ll n$) पर DML लागू करना है। फिर भी, साधारण यूनिफॉर्म सबसैंपलिंग सांख्यिकीय रूप से त्रुटिपूर्ण है: यह कोवेरिएट स्पेस (covariate space) की ज्यामिति की उपेक्षा करती है, और अक्सर कोवेरिएट वितरण को संरक्षित करने या पर्याप्त उपचारित-नियंत्रण (treated–control) संतुलन और ओवरलैप बनाए रखने में विफल रहती है। अवलोकन संबंधी सेटिंग्स में, ऐसी कमियां न्युसेंस अनुमान को अस्थिर करती हैं और ऑर्थोगोनल-स्कोर-आधारित अनुमान (orthogonal-score-based inference) के प्रदर्शन को कम करती हैं, विशेष रूप से कम-ओवरलैप वाले परिदृश्यों में।

कार्यप्रणाली: UD-DML (Methodology: UD-DML)
लेखक यूनिफॉर्म डिज़ाइन डबल मशीन लर्निंग (UD-DML) का प्रस्ताव करते हैं, जो यूनिफॉर्म डिज़ाइन (UD) सिद्धांतों को DML प्रतिमान के साथ एकीकृत करने वाली एक डिज़ाइन-आधारित सबसैंपलिंग रणनीति है। यह विधि तीन चरणों में कार्य करती है:

1. PCA-रोटेटेड स्पेस निर्माण (PCA-Rotated Space Construction):

   • कोवेरिएट्स को मानकीकृत (standardized) किया जाता है और प्रिंसिपल कंपोनेंट एनालिसिस (PCA) का उपयोग करके एक निम्न-आयामी स्थान में प्रोजेक्ट किया जाता है।
   • आयाम $q$ को इस तरह रखा जाता है कि वह एक निर्धारित संचयी भिन्नता सीमा (जैसे, $\rho_0 = 0.85$) को कैप्चर करे।
   • यह रोटेशन मल्टीकोलिनैरिटी (multicollinearity) को संबोधित करता है और डिज़ाइन को डेटा की प्रमुख ज्यामितीय संरचना पर केंद्रित करता है।

2. लो-डिस्क्रपेंसी स्केलेटन निर्माण (Low-Discrepancy Skeleton Construction):

   • एक पावर जेनरेटर के साथ 'लीव-वन-आउट गुड लैटिस पॉइंट' विधि का उपयोग करके यूनिट हाइपरक्यूब $[0, 1]^q$ में $r_p$ "स्केलेटन" बिंदुओं का एक सेट तैयार किया जाता है।
   • इष्टतम जेनरेटर का चयन मिश्रण विसंगति (mixture discrepancy) को न्यूनतम करके किया जाता है, जो एक सामान्यीकृत $L_2$-डिस्क्रपेंसी मानदंड है जो यह सुनिश्चित करता है कि बिंदु स्पेस-फिलिंग और यूनिफॉर्म रूप से वितरित हों।
   • इन डिज़ाइन बिंदुओं को इनवर्स एम्पिरिकल संचयी वितरण फलन (inverse empirical CDF) के माध्यम से रोटेटेड कोवेरिएट्स के एम्पिरिकल वितरण में मैप किया जाता है, जिससे रोटेटेड स्पेस में एंकर पॉइंट्स $v_j$ बनते हैं।

3. संतुलित सबसैंपल चयन (Balanced Subsample Selection):

   • प्रत्येक स्केलेटन बिंदु $v_j$ के लिए, एल्गोरिदम रोटेटेड स्पेस में निकटतम उपचारित इकाई (treated unit) और निकटतम नियंत्रण इकाई (control unit) की पहचान करता है। यह KD-tree सर्च का उपयोग करता है।
   • इसके परिणामस्वरूप मूल अवलोकनों का आकार $r = 2r_p$ वाला एक मैच किया हुआ सबसैंपल प्राप्त होता है।
   • महत्वपूर्ण रूप से, स्केलेटन बिंदु केवल डिज़ाइन एंकर के रूप में कार्य करते है; इसके बाद का DML अनुमान चयनित इंडेक्स के अनुरूप मूल देखे गए डेटा $(Y_i, W_i, X_i)$ पर किया जाता है।

4. अनुमान (Inference):

   • चयनित सबसैंपल पर मानक क्रॉस-फिटेड DML (AIPW स्कोर का उपयोग करके) लागू किया जाता है।
   • क्रॉस-फिटेड छद्म-परिणामों (pseudo-outcomes) की एम्पिरिकल वेरिएंस के आधार पर वाल्ड सांख्यिकी (Wald statistics) के माध्यम से अनुमान लगाया जाता है।

प्रमुख योगदान (Key Contributions)

1. एल्गोरिद्मिक नवाचार: एक नवीन सबसैंपलिंग एल्गोरिदम का विकास जो औसत उपचार प्रभाव (ATE) के अनुमान के लिए विशेष रूप से तैयार किए गए यूनिफॉर्म-डिज़ाइन-आधारित ज्यामितीय कवरेज को ऑर्थोगोनल-स्कोर-आधारित कॉज़ल इंफरेंस के साथ जोड़ता है।
2. सैद्धांतिक गारंटी:
   • प्रतिनिधित्व और संतुलन: लेखक विसंगति-आधारित सीमाओं (discrepancy-based bounds) को स्थापित करते हैं जो दिखाते हैं कि चयनित सबसैंपल पूर्ण कोवेरिएट वितरण के अनुकूल प्रतिनिधित्व और अंतर्निहित उपचारित-नियंत्रण संतुलन को विरासत में प्राप्त करता है।
   • एसिम्प्टोटिक नॉर्मलिटी: सौम्य नियमितता शर्तों (जिसमें न्युसेंस अनुमानकों के लिए प्रोडक्ट-रेट स्थितियाँ और ओरकल सिग्नल की अनुमानित निम्न-आयामी संरचना शामिल है) के तहत, UD-DML एस्टीमेटर को $\sqrt{r}$-एसिम्प्टोटिक रूप से नॉर्मल सिद्ध किया गया है, जो $r \ll n$ के बावजूद वैध वाल्ड इंफरेंस का समर्थन करता है।
3. कम्प्यूटेशनल दक्षता: विधि न्युसेंस-फिटिंग लागत को $O(n)$ से घटाकर $O(r)$ कर देती है, जहाँ $r \ll n$, जिसमें केवल एक क्वाज़ी-लीनियर प्रीप्रोसेसिंग ओवरहेड जुड़ता है।
4. अनुभवजन्य सत्यापन: व्यापक सिमुलेशन और वास्तविक-डेटा अनुप्रयोग प्रदर्शित करते हैं कि UD-DML सांख्यिकीय दक्षता (कम RMSE, संकीर्ण विश्वास अंतराल) और अनुमान संबंधी स्थिरता (विश्वसनीय कवरेज) में UNIF-DML की तुलना में बेहतर प्रदर्शन करता है, विशेष रूप से कम-ओवरलैप और न्युसेंस-मिसस्पेसिफिकेशन वाले परिदृश्यों में।

परिणाम (Results)

• सिमुलेशन अध्ययन: तीन डेटा-जनरेटिंग प्रक्रियाओं (बदलती विषमता और ओवरलैप) में, UD-DML ने UNIF-DML की तुलना में लगातार कम रूट मीन स्क्वेर्ड एरर (RMSE) और संकीर्ण विश्वास अंतराल प्राप्त किया। ओवरलैप कम होने पर प्रदर्शन का अंतर काफी बढ़ गया।
• स्केलेबिलिटी: जबकि FULL-DML, $n$ के साथ रैखिक रूप से (या उससे भी अधिक) स्केल करता है, UD-DML का रनटाइम स्थिर रहा क्योंकि $r$ को स्थिर रखा गया था।
• मजबूती (Robustness): आउटकम और प्रोपेंसिटी स्कोर मॉडल के संयुक्त मिसस्पेसिफिकेशन के तहत, UD-DML ने कम-ओवरलैप परिदृश्यों में भी नाममात्र कवरेज बनाए रखा जहाँ UNIF-DML विफल रहा। इसका श्रेय डिज़ाइन-प्रेरित संतुलन को दिया गया जो अवशिष्ट कन्फाउंडिंग (residual confounding) को कम करता है।
• वास्तविक-डेटा अनुप्रयोग: 2021 के US Natality डेटासेट ($N \approx 3.67$ मिलियन) पर लागू करते हुए, UD-DML ने जन्म के वजन पर मातृ धूम्रपान के प्रभाव का अनुमान लगाया। इसने FULL-DML के मुकाबले 12-गुना स्पीडअप हासिल किया और पूर्ण-डेटा बेंचमार्क के करीब सांख्यिकीय सटीकता बनाए रखी, जबकि UNIF-DML ने काफी अधिक वेरिएंस और बायस दिखाया।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि UD-DML विशाल कॉज़ल इंफरेंस में कम्प्यूटेशनल स्केलेबिलिटी और अनुमान संबंधी वैधता के बीच के तनाव को हल करता है। एक संभावabilistic रिडक्शन के बजाय, सबसैंपलिंग को एक सांख्यिकीय डिज़ाइन समस्या के रूप में मानकर, UD-DML एक ऐसा वर्किंग सैंपल बनाता है जो एक साथ:

• प्रतिनिधिक (Representative) है: यह पूर्ण कोवेरिएट वितरण की प्रमुख ज्यामिति को कैप्चर करता है।
• संतुलित (Balanced) है: यह सुनिश्चित करता है कि उपचारित और नियंत्रण समूह प्रमुख लेटेंट दिशाओं (principal latent directions) के साथ संरेखित हैं।
• कुशल (Efficient) है: यह $\sqrt{n}$-कंसिस्टेंसी गुणों से समझौता किए बिना डेटा के एक अंश पर लचीले मशीन लर्निंग लर्नर्स के उपयोग को सक्षम बनाता है।

लेखक जोर देते हैं कि यह विधि विशेष रूप से "लो-ओवरलैप" परिदृश्यों में मूल्यवान है जो अवलोकन संबंधी अध्ययनों में आम हैं, जहाँ साधारण रैंडम सबसैंपलिंग के अस्थिर अनुमान देने की संभावना सबसे अधिक होती है। यह एक सिद्धांतपूर्ण मध्य मार्ग प्रदान करता है: पूर्ण-डेटा DML के सांख्यिकीय रूप से करीब और यूनिफॉर्म सबसैंपलिंग के कम्प्यूटेशनल रूप से करीब, लेकिन बेहतर बायस-वेरिएंस ट्रेड-ऑफ के साथ।

सीमाएं और भविष्य की दिशाएं (Limitations and Future Directions)
लेखक स्वीकार करते हैं कि वर्तमान कार्यान्वयन PCA-रोटेटेड स्पेस में KD-tree मैचिंग पर निर्भर करता है, जो 'कर्स ऑफ डायमेंशनलिटी' से ग्रस्त हो सकता है यदि प्रासंगिक सिग्नल उच्च-आयामी ($p \gg r$) है। भविष्य के कार्य सीखे गए लो-डायमेंशनल एम्बेडिंग्स (learned low-dimensional embeddings) का पता लगा सकते हैं। इसके अतिरिक्त, वर्तमान ढांचा 1:1 मिलान के माध्यम से बाइनरी उपचारों तक सीमित है; निरंतर या बहु-मूल्य वाले उपचारों के लिए सामान्यीकरण और मॉडल-आधारित इष्टतम सबसैंपलिंग के साथ हाइब्रिड रणनीतियों को खुले शोध दिशाओं के रूप में नोट किया गया है।