Regularizing Extrapolation in Causal Inference

यहाँ Arbour et al. के शोध पत्र "Regularizing Extrapolation in Causal Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कारण संबंधी अनुमान (Causal inference) और डोमेन अनुकूलन (Domain adaptation) में, शोधकर्ताओं को अक्सर उपचार प्रभावों (जैसे, उपचारित व्यक्तियों पर औसत उपचार प्रभाव, ATT) का अनुमान लगाने या स्रोत जनसंख्या (जैसे, एक यादृच्छिक परीक्षण) से लक्ष्य जनसंख्या तक निष्कर्षों को सामान्यीकृत करने की आवश्यकता होती है। एक मुख्य चुनौती तब उत्पन्न होती है जब लक्ष्य जनसंख्या का कोवेरिएट वितरण (Covariate distribution) स्रोत डेटा के समर्थन (Support) से बाहर होता है (जो सकारात्मकता धारणा/Positivity assumption का उल्लंघन है)।

मौजूदा विधियाँ एक्सट्रपोलेशन (Extrapolation) के संबंध में एक मौलिक द्वंद्व (Tradeoff) का सामना करती हैं:

• गैर-ऋणात्मक भार (Non-negative weights - Hard Constraints): IPW, मैचिंग और सिंथेटिक कंट्रोल जैसी विधियाँ गैर-ऋणात्मक भार ($w_i \ge 0$) लागू करती हैं। यह एक्सट्रपोलेशन और पैरामीट्रिक मान्यताओं पर निर्भरता को सीमित करता है, लेकिन उच्च-आयामी (High-dimensional) सेटिंग्स में खराब कोवेरिएट संतुलन (वितरण बेमेल के कारण उच्च पूर्वाग्रह/Bias) का कारण बन सकता है।
• अप्रतिबंधित भार (Unconstrained weights - No Constraints): OLS और कर्नल रिज रिग्रेशन जैसी विधियाँ ऋणात्मक भार की अनुमति देती हैं। यह कोवेरिएट संतुलन में सुधार करता है लेकिन पैरामीट्रिक मॉडल मान्यताओं (जैसे, रैखिकता/Linearity) पर अधिक निर्भरता बढ़ाता है। यदि मॉडल गलत (Misspecified) है, तो ऋणात्मक भार गंभीर एक्सट्रपोलेशन पूर्वाग्रह (Extrapolation bias) पैदा कर सकते हैं।

यह शोध पत्र तर्क देता है कि "कोई एक्सट्रपोलेशन नहीं" और "अनियंत्रित एक्सट्रपोलेशन" के बीच का द्विआधारी विकल्प उप-इष्टतम है। एक ऐसा ढांचा (Framework) आवश्यक है जो वितरण संबंधी असंतुलन और मॉडल मिसस्पेसिफिकेशन (Model misspecification) के बीच संतुलन बनाने के लिए एक्सट्रपोलेशन की डिग्री को व्यवस्थित रूप से नियंत्रित कर सके।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत ढांचा प्रस्तावित करते हैं जो हार्ड नॉन-नेगेटिविटी कंस्ट्रेंट के स्थान पर एक सॉफ्ट पेनल्टी (Soft penalty) का उपयोग करता है, जो एक 'वर्स्ट-केस एरर बाउंड' से व्युत्पन्न है।

A. सैद्धांतिक आधार: रिफ्लेक्शन रिप्रेजेंटेशन (Reflection Representation)

मुख्य अंतर्दृष्टि ज्यामितीय (Geometric) है। एक रैखिक मॉडल के तहत, $\mu(-x) = -\mu(x)$। इसलिए, एक बिंदु $x_i$ पर लागू किया गया ऋणात्मक भार $w_i < 0$, गणितीय रूप से एक "रिफ्लेक्टेड" बिंदु $-x_i$ पर धनात्मक भार $|w_i|$ लागू करने के समान है।

• विघटन (Decomposition): लेखक वास्तविक आउटकम फंक्शन $\mu(x)$ को विषम (Odd - रैखिक जैसा) और सम (Even - गैर-रैखिक) घटकों में विभाजित करते हैं।
• एरर बाउंड: वे Hölder continuity के आधार पर एक वर्स्ट-केस एरर बाउंड निकालते हैं। कुल त्रुटि (Total error) तीन घटकों में विभाजित है:
  1. इम्बैलेंस एरर (Imbalance Error): लक्ष्य बिंदु और (रिफ्लेक्टेड) प्रशिक्षण बिंदुओं के भारित औसत के बीच की दूरी।
  2. मॉडल वायलेशन बायस (Model Violation Bias - Extrapolation Bias): एक त्रुटि पद जो ऋणात्मक भारों के परिमाण और रैखिकता से वास्तविक फंक्शन के विचलन (विशेष रूप से सम घटक) के समानुपाती है।
  3. वैरिएंस (Variance - Noise): भारों के $L_2$ नॉर्म के समानुपाती।

इससे एक "Bias-Bias-Variance" ट्रेडऑफ़ उत्पन्न होता है:

• Bias 1: वितरण संबंधी असंतुलन (ऋणात्मक भारों की अनुमति देकर कम होता है)।
• Bias 2: मॉडल मिसस्पेसिफिकेशन (ऋणात्मक भारों की अनुमति देकर बढ़ता है)।
• Variance: एस्टिमेटर का वैरिएंस (भार के फैलाव द्वारा नियंत्रित)।

B. प्रस्तावित एस्टिमेटर (The Proposed Estimator)

लेखक व्युत्पन्न एरर बाउंड को न्यूनतम करने के लिए भार $w$ खोजने हेतु एक कन्वेक्स ऑप्टिमाइज़ेशन समस्या तैयार करते हैं। ऑब्जेक्टिव फंक्शन है:

$$\hat{w} \in \arg \min_{w} \underbrace{\left\| \sum w_i X_i - x^* \right\|_2^2}_{\text{(a) Imbalance}} + \underbrace{\lambda \|w\|_2^2}_{\text{(b) Variance}} + \underbrace{\gamma \sum_{i=1}^n \mathbb{I}(w_i < 0) |w_i| \|X_i\|^\alpha}_{\text{(c) Extrapolation Penalty}}$$

• Term (a): लक्ष्य प्रोफाइल $x^*$ और पुन: भारित (Re-weighted) स्रोत डेटा के बीच कोवेरिएट संतुलन सुनिश्चित करता है।
• Term (b): वैरिएंस को नियंत्रित करने के लिए भार के फैलाव को नियमित (Regularize) करता है (मानक रिज पेनल्टी)।
• Term (c): अभिनव एक्सट्रपोलेशन पेनल्टी। यह ऋणात्मक भारों के परिमाण को दंडित करता है, जिसे कोवेरिएट्स की दूरी ($\|X_i\|^\alpha$) द्वारा स्केल किया जाता है।
  • $\gamma$ (Gamma): मॉडल मिसस्पेसिफिकेशन के प्रति संवेदनशीलता को नियंत्रित करने वाला हाइपरपैरामीटर है।
    • $\gamma = 0$: अनियंत्रित बैलेंसिंग वेट्स (जैसे, OLS जैसा व्यवहार) को पुनः प्राप्त करता है।
    • $\gamma \to \infty$: एक हार्ड नॉन-नेगेटिविटी कंस्ट्रेंट लागू करता है (जैसे, IPW जैसा व्यवहार)।
  • $\alpha$: Hölder एक्सपोनेंट (आमतौर पर लिप्सचिट्ज़ निरंतरता के लिए 1)।

C. ऑप्टिमाइज़ेशन और संवेदनशीलता विश्लेषण (Optimization and Sensitivity Analysis)

• कन्वेक्सिटी (Convexity): इंडिकेटर फंक्शन के बावजूद, यह समस्या स्ट्रॉन्गली कन्वेक्स है और इसे कुशलतापूर्वक क्वाड्रेटिक प्रोग्राम (QP) या सेकंड-ऑर्डर कोन प्रोग्राम (SOCP) के रूप में हल किया जा सकता है।
• संवेदनशीलता विश्लेषण (Sensitivity Analysis): लेखक $\gamma$ को एक ट्यूनिंग पैरामीटर के बजाय एक सेंसिटिविटी पैरामीटर के रूप में मानने की सलाह देते हैं। शोधकर्ताओं को $\gamma$ को 0 से उस मान तक स्कैन करना चाहिए जहाँ सभी भार गैर-ऋणात्मक हो जाते हैं। यह अनुमानों की एक वक्र (Curve) उत्पन्न करता है, जिससे शोधकर्ता यह आकलन कर सकते हैं कि उनके निष्कर्ष पैरामीट्रिक मान्यताओं (मॉडल मिसस्पेसिफिकेशन) बनाम वितरण संबंधी असंतुलन के प्रति कितने सुदृढ़ (Robust) हैं।

3. प्रमुख योगदान (Key Contributions)

1. Bias-Bias-Variance Tradeoff: यह शोध पत्र औपचारिक रूप से त्रुटि को दो अलग-अलग पूर्वाभ्यास (Bias) स्रोतों (इम्बैलेंस और मॉडल मिसस्पेसिफिकेशन) और वैरिएंस में विभाजित करता है, जो मानक बायस-वैरिएंस ट्रेडऑफ़ से आगे जाता है।
2. एकीकृत ढांचा (Unified Framework): यह एक सॉफ्ट पेनल्टी के माध्यम से कंस्ट्रेंड (गैर-ऋणात्मक) और अनकंस्ट्रेंड एस्टिमेटर्स के बीच इंटरपोलेट करने वाला एक एकल ऑप्टिमाइज़ेशन ढांचा प्रदान करता है।
3. सैद्धांतिक एरर बाउंड्स: Hölder continuity पर आधारित वर्स्ट-केस एरर बाउंड्स का व्युत्पन्न, जो स्पष्ट रूप से एक्सट्रपोलेशन की लागत को मापता है।
4. संवेदनशीलता विश्लेषण उपकरण: रेगुलेराइज़ेशन पैरामीटर $\gamma$ को स्वैप (Sweep) करके पॉजिटिविटी उल्लंघन और मॉडल मिसस्पेसिफिकेशन के प्रभाव का मूल्यांकन करने के लिए एक व्यावहारिक पद्धति।

4. परिणाम (Results)

सिंथेटिक डेटा प्रयोग (Synthetic Data Experiments)

• लीनियर DGP: जब वास्तविक मॉडल लीनियर होता है, तो $\gamma$ (एक्सट्रपोलेशन को दंडित करना) बढ़ाने से त्रुटि निरंतर बढ़ती है, जो पुष्टि करती है कि यदि मॉडल सही है तो अनकन्स्ट्रेंड एक्सट्रपोलेशन इष्टतम है।
• नॉन-लीनियर DGP: जब वास्तविक मॉडल नॉन-लीनियर होता है, तो एरर कर्व U-आकार (U-shaped) का होता है।
  • कम $\gamma$ (उच्च एक्सट्रपोलेशन) मॉडल मिसस्पेसिफिकेशन के कारण उच्च त्रुटि की ओर ले जाता है।
  • उच्च $\gamma$ (कोई एक्सट्रपोलेशन नहीं) खराब कोवेरिएट संतुलन के कारण उच्च त्रुटि की ओर ले जाता है।
  • मध्यम $\gamma$ कुल त्रुटि को न्यूनतम करता है, जो "Bias-Bias-Variance" ट्रेडऑफ़ की उपयोगिता को प्रदर्शित करता है।
• उच्च आयाम (High Dimensions): उच्च-आयामी सेटिंग्स ($p=5000$) में, यह विधि रिग्रेशन-जैसे व्यवहार और IPW-जैसे व्यवहार के बीच सहजता से इंटरपोलेट करती है, जिससे उन स्थानों पर अनुमान स्थिर होते हैं जहाँ मानक विधियाँ विफल हो जाती हैं।

वास्तविक दुनिया का अनुप्रयोग: START ट्रायल

लेखकों ने START ट्रायल (ओपिओइड उपयोग विकार के लिए बुप्रेनोरफिन बनाम मेथाडोन) के परिणामों को हिस्पैनिक महिलाओं (एक विशिष्ट ड्रग उपयोग इतिहास वाली) की लक्षित जनसंख्या तक सामान्यीकृत करने के लिए इस ढांचे को लागू किया, जो परीक्षण में कम प्रतिनिधित्व प्राप्त है।

• निष्कर्ष: जैसे-जैसे $\gamma$ बढ़ता है (एक्सट्रपोलेशन को दंडित करते हुए), अनुमानित उपचार प्रभाव महत्वपूर्ण रूप से बदल जाता है, कभी-कभी संकेत (Sign) भी बदल जाता है।
• ट्रेडऑफ़ विज़ुअलाइज़ेशन:
  • कम $\gamma$: बेहतर कोवेरिएट संतुलन (कम RMSE) लेकिन पैरामीट्रिक मान्यताओं पर उच्च निर्भरता।
  • उच्च $\gamma$: कम "ऋणात्मक प्रभाव" (कम एक्सट्रपोलेशन) लेकिन खराब कोवेरिएट संतुलन।
• निष्कर्ष: संवेदनशीलता विश्लेषण ने खुलासा किया कि इस उपसमूह के लिए अनुमानित उपचार प्रभाव मॉडलिंग मान्यताओं के प्रति अत्यधिक संवेदनशील है, जो प्रतिनिधि परीक्षण डेटा की आवश्यकता को रेखांकित करता है।

5. महत्व (Significance)

यह कार्य कारण संबंधी अनुमान (Causal inference) (जो अक्सर गैर-ऋणात्मक भार के माध्यम से मजबूती को प्राथमिकता देता है) और मशीन लर्निंग (जो अक्सर अनकन्स्ट्रेंड वेट्स के माध्यम से लचीलेपन को प्राथमिकता देता है) के बीच के अंतर को पाटता है।

• सैद्धांतिक प्रभाव: यह एक्सट्रपोलेशन को केवल "कन्वेक्स हल के बाहर" एक ज्यामितीय मुद्दे के रूप में नहीं, बल्कि भार के गुणों के एक सांख्यिकीय मुद्दे के रूप में पुनर्गठित करता है, जो ऋणात्मक भारों के लिए एक कठोर एरर बाउंड प्रदान करता है।
• व्यावहारिक प्रभाव: यह शोधकर्ताओं को पॉजिटिविटी उल्लंघन से उत्पन्न अनिश्चितता को मापने के लिए एक ठोस उपकरण प्रदान करता है। केवल एक "सर्वश्रेष्ठ" एस्टिमेटर चुनने के बजाय, अब शोधकर्ता एक संवेदनशीलता वक्र (Sensitivity curve) प्रस्तुत कर सकते हैं, जो यह दर्शाता है कि उनके कारण संबंधी निष्कर्ष एक्सट्रपोलेशन की डिग्री के प्रति कितने सुदृढ़ हैं।
• भावी दिशाएँ: लेखक नोट करते हैं कि जबकि यह विधि मॉडल मिसस्पेसिफिकेशन को अच्छी तरह से संभालती है, अनमेज़र्ड कन्फाउंडिंग (Unmeasured confounding) के लिए इस ढांचे को संचालित करने और अधिक लचीले एस्टिमेटर क्लासों तक विस्तार करने के लिए भविष्य के कार्य की आवश्यकता है।