Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap

यहाँ शोध पत्र "Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अवलोकनात्मक कारण अनुमान (observational causal inference) में, उपचार प्रभावों (विशेष रूप से उपचारित व्यक्तियों पर औसत उपचार प्रभाव, ATT) का अनुमान लगाने के लिए दो प्रमुख धारणाओं पर निर्भर किया जाता है: इग्नोरैबिलिटी (ignorability/unconfoundedness) और ओवरलैप (overlap/positivity)।

• चुनौती: जबकि इग्नोरैबिलिटी यह मानती है कि देखे गए सहचरों (covariates) में सभी कन्फाउंडर्स शामिल हैं, ओवरलैप यह आवश्यक करता है कि उपचारित और नियंत्रण समूहों में सहचरों के वितरण में सामान्य आधार (common support) हो।
• आयाम का अभिशाप (The Curse of Dimensionality): उच्च-आयामी सेटिंग्स में, ओवरलैप की धारणा अक्सर अव्यावहारिक हो जाती है। भले ही यह लागू होती हो, उपचारित और नियंत्रण समूहों के बीच फीचर वितरण में महत्वपूर्ण अंतर एस्टिमेटर्स (जैसे, इनवर्स प्रोबेबिलिटी वेटिंग, डॉबली रोबस्ट एस्टिमेटर्स) की उच्च विचरणता (variance) की ओर ले जाता है, जिससे वे नाजुक और अविश्वसनीय हो जाते हैं।
• मौजूदा सीमाएँ: वर्तमान विधियाँ या तो चरम प्रोपेंसिटी स्कोर को हटा देती हैं (डेटा को त्याग देती हैं) या लक्ष्य एस्टिमेंड (estimand) को बेहतर ओवरलैप वाली जनसंख्या में बदल देती हैं। रिप्रेजेंटेशन लर्निंग एक संभावित समाधान प्रदान करती है, जो उच्च-आयामी सहचरों को निम्न-आयामी स्थानों में मैप करती है, लेकिन मौजूदा दृष्टिकोण अक्सर यह गारंटी देने में विफल रहते हैं कि नया प्रतिनिधित्व कारण अनुमान की निष्पक्षता (unbiasedness) को बनाए रखेगा (अर्थात, वे कन्फाउंडिंग बायस ला सकते हैं)।

2. कार्यप्रणाली (Methodology)

लेखक डीकन्फाउंडिंग स्कोर (Deconfounding Scores) और एक नए मीट्रिक जिसे ओवरलैप डाइवर्जेंस (Overlap Divergence) कहा जाता है, पर केंद्रित एक ढांचा प्रस्तावित करते हैं।

अ. डीकन्फाउंडिंग स्कोर (Deconfounding Scores)

पेपर एक डीकन्फाउंडिंग स्कोर को एक ऐसे प्रतिनिधित्व $\phi(X)$ के रूप में परिभाषित करता है जो कारण प्रभाव की पहचान को सुरक्षित रखता है। औपचारिक रूप से, $\phi(X)$ एक डीकन्फाउंडिंग स्कोर है यदि:
$$\tau = \tau_{\phi(X)}$$
जहाँ $\tau$ वास्तविक ATT है और $\tau_{\phi(X)}$ $\phi(X)$ के लिए समायोजित एस्टिमेंड है।

• विशेषण (Characterization): लेखक सिद्ध करते हैं कि एक प्रतिनिधित्व डीकन्फाउंडिंग स्कोर है यदि और केवल यदि वह शून्य "कन्फाउंडिंग बायस" पेश करता है। इस बायस को प्रतिनिधित्व के सापेक्ष आउटकम मॉडल $m_0(X)$ और डेंसिटी रेशियो (या प्रोपेंसिटी स्कोर) के बीच सशर्त सहप्रसरण (conditional covariance) के रूप में व्यक्त किया जाता है:
  $$\text{Bias} \propto E_{P_0} \left[ \text{Cov}_{P_0} \left( m_0(X), \frac{dP_1}{dP_0}(X) \mid \phi(X) \right) \right] = 0$$
• निरंतरता (Continuum): यह परिभाषा वैध रूपांतरणों की एक निरंतरता बनाती है।
  • बैलेंसिंग स्कोर (Balancing Scores): (जैसे, प्रोपेंसिटी स्कोर): $X$ के ऐसे फलन जो उपचार असाइनमेंट को सहचरों से स्वतंत्र बनाते हैं।
  • प्रोग्नोस्टिक स्कोर (Prognostic Scores): $X$ के ऐसे फलन जो नियंत्रण के तहत संभावित परिणाम की भविष्यवाणी करते हैं।
  • सामान्य मामला (General Case): कोई भी प्रतिनिधित्व जो प्रतिनिधित्व के दिए होने पर आउटकम मॉडल और प्रोपेंसिटी स्कोर को सशर्त स्वतंत्र बनाता है।

ब. ओवरलैप डाइवेंस (Overlap Divergence)

एक प्रतिनिधित्व में ओवरलैप की गुणवत्ता को मापने के लिए, लेखक ओवरलैप डाइवर्जेंस पेश करते हैं, जिसे प्रतिनिधित्व के नियंत्रण और उपचारित वितरणों के बीच $\chi^2$-डाइवर्जेंस (प्लस 1) के रूप में परिभाषित किया गया है:
$$O(\phi(X)) := E_{P_0} \left[ \left( \frac{dP_1}{dP_0}(\phi(X)) \right)^2 \right] = \chi^2(P_1^{\phi(X)} || P_0^{\phi(X)}) + 1$$

• सैद्धांतिक संबंध: वे सिद्ध करते हैं कि ओवरलैप डाइवर्जेंस $\phi(X)$ के लिए समायोजित एस्टिमेटर्स के सेमी-पैरामेट्रिक एफिशिएंसी बाउंड (न्यूनतम प्राप्त करने योग्य एसिम्प्टोटिक वेरिएंस) को मजबूती से बांधता है। $O(\phi(X))$ को कम करना एस्टिमेटर के वेरिएंस को कम करने के लिए आवश्यक (और अक्सर पर्याप्त) है।

स. अनुकूलन रणनीति (Optimization Strategy)

लक्ष्य एक ऐसा डीकन्फाउंडिंग स्कोर $\phi(X)$ खोजना है जो $O(\phi(X))$ को कम करता है।

• नॉन-पैरामीट्रिक परिणाम: लेखक सिद्ध करते हैं कि कोई भी प्रतिनिधित्व कच्चे सहचरों $X$ की तुलना में ओवरलैप में सुधार करता है (अर्थात, $O(\phi(X)) \leq O(X)$)। यह सुधार उन चरों को बाहर करने से प्रेरित होता है जो परिणाम की भविष्यवाणी तो नहीं करते लेकिन उपचार की भविष्यवाणी करते हैं।
• गौसियन/GLM विश्लेषणात्मक समाधान: गौसियन सहचरों और उपचार एवं आउटकम के लिए जनरल लाइनियर मॉडल्स (GLMs) के सेटिंग में, लेखक डीकन्फाउंडिंग स्कोर के एक क्लोज्ड-फॉर्म परिवार को व्युत्पन्न करते हैं।
  • ये स्कोर प्रोग्नोस्टिक स्कोर वेक्टर ($\alpha$) और प्रोपेंसिटी स्कोर वेक्टर ($\beta$) द्वारा स्पैन किए गए स्थान में एक हाइपरबोला पर स्थित होते हैं।
  • प्रमुख सैद्धांतिक निष्कर्ष: इस परिवार के भीतर, प्रोग्नोस्टिक स्कोर (जो केवल आउटकम मॉडल पर निर्भर करते हैं) ओवरलैप-ऑप्टिमल हैं। वे ओवरलैप डाइवर्जेंस को न्यूनतम करते हैं, जबकि बैलेंसिंग स्कोर (प्रोपेंसिटी स्कोर) इसे अधिकतम करते हैं। यह तब भी सत्य है जब प्रोपेंसिटी मॉडल मिसस्पेसिफाइड हो, बशर्ते कि आउटकम मॉडल सही हो।

3. मुख्य योगदान (Key Contributions)

1. डीकन्फाउंडिंग स्कोर की परिभाषा: अनबायस्ड कॉज़ल एस्टिमेशन को सुरक्षित रखने वाले रूपांतरणों के पूर्ण वर्ग का एक कठोर लक्षण वर्णन, जो प्रोपेंसिटी और प्रोग्नोस्टिक स्कोर को सामान्य बनाता है।
2. ओवरलैप डाइवर्जेंस मीट्रिक: एक ऐसा मीट्रिक का परिचय जो ओवरलैप की डिग्री को कॉज़ल एस्टिमेटर्स के एसिम्प्टोटिक वेरिएंस से स्पष्ट रूप से जोड़ता है, जो इस बात का सैद्धांतिक औचित्य प्रदान करता है कि ओवरलैप डाइवर्जेंस को कम करने से एस्टिमेशन में सुधार क्यों होता है।
3. प्रोग्नोस्टिक स्कोर की विश्लेषणात्मक इष्टतमता: गौसियन/GLM मान्यताओं के तहत, पेपर सिद्ध करता है कि प्रोग्नोस्टिक स्कोर ओवरलैप डाइवर्जेंस को कम करने के लिए इष्टतम डीकन्फाउंडिंग स्कोर हैं, जो प्रोपेंसिटी स्कोर की तुलना में बेहतर प्रदर्शन करते हैं।
4. अनुभवजन्य सत्यापन (Empirical Validation): प्रयोगों का व्यापक परीक्षण जो दिखाता है कि कच्चे सहचरों की तुलना में डीकन्फाउंडिंग स्कोर (विशेष रूप से प्रोग्नोस्टिक स्कोर) का उपयोग करना लगातार रूट मीन स्क्वेर्ड एरर (RMSE) में सुधार करता है, विशेष रूप से लो-ओवरलैप शासन (low-overlap regimes) में।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिम्युलेटेड डेटा और सेमी-सिंथेटिक डेटासेट (IHDP, ACIC 2016, HC-MNIST) पर अपने दृष्टिकोण का मूल्यांकन किया।

• सिम्युलेटेड डेटा (Gaussian/GLM):

  • जब आउटकम मॉडल सही ढंग से निर्दिष्ट किया गया था, तो प्रोग्नोस्टिक स्कोर का उपयोग करने वाले एस्टिमेटर्स ने सबसे कम RMSE और बायस प्राप्त किया, जो कच्चे सहचरों और प्रोपेंसी-स्कोर-आधारित विधियों से काफी बेहतर थे।
  • जब प्रोपेंसिटी मॉडल सही ढंग से निर्दिष्ट किया गया था लेकिन आउटकम मॉडल मिसस्पेसिफाइड था, तो बैलेंसिंग स्कोर बेहतर प्रदर्शन करते थे।
  • जब दोनों मॉडल मिसस्पेसिफाइड थे, तब भी डीकन्फाउंडिंग स्कोर (विशेष रूप से एक "इक्विएंगुलर" स्कोर जो दोनों को जोड़ता है) आम तौर पर कच्चे सहचरों से बेहतर प्रदर्शन करते थे।
  • वेरिएंस रिडक्शन: जैसा कि सिद्धांत द्वारा अनुमानित था, बैलेंसिंग स्कोर से प्रोग्नोस्टिक स्कोर की ओर बढ़ने से एस्टिमेट्स की मानक विचलन (standard deviation) में लगातार कमी आई।

• सेमी-सिंथेटिक डेटा:

  • वास्तविक दुनिया के व्युत्पन्न डेटासेट (IHDP, ACIC, HC-MNIST) पर, जो सख्त गौसियन मान्यताओं को पूरा नहीं करते हैं, कच्चे सहचरों की तुलना में प्रदर्शन में सुधार करने वाला हमेशा कम से कम एक डीकन्फाउंडिंग स्कोर मौजूद था।
  • प्रोग्नोस्टिक स्कोर सबसे अधिक बार विजेता रहे, जो इस सैद्धांतिक अंतर्ज्ञान के अनुरूप है कि उच्च आयामों में ओवरलैप के लिए आउटकम-प्रेडिक्टिव फीचर्स अधिक मजबूत होते हैं।
  • "इक्विएंगुलर" स्कोर (एक प्रोग्नोस्टिक और बैलेंसिंग का मिश्रण) अक्सर एक मजबूत समझौता (compromise) के रूप में कार्य करता है जब मॉडल स्पेसिफिकेशन अनिश्चित हो।

5. महत्व और निहितार्थ (Significance and Implications)

• सैद्धांतिक अंतर्दृष्टि: यह पेपर कॉज़ल इन्फरेंस की एक लंबे समय से चली आ रही अंतर्भावना को हल करता है: वे चर जो उपचार की भविष्यवाणी करते हैं लेकिन परिणाम की नहीं, उन्हें वेरिएंस को कम करने के लिए बाहर किया जाना चाहिए। लेखक ओवरलैप डाइवर्जेंस फ्रेमवर्क का उपयोग करके इसे एक गणितीय प्रमाण के साथ प्रस्तुत करते हैं।
• व्यावहारिक उपयोगिता: प्रस्तावित विधि मानक एस्टिमेटर्स (IPW, AIPW, TMLE) में सहचरों के लिए एक "ड्रॉप-इन" प्रतिस्थापन के रूप में कार्य करती है। यह शोधकर्ताओं को बिना अनबायस्डनेस गारंटी खोए रिप्रेजेंटेशन लर्निंग का लाभ उठाने की अनुमति देती है।
• कमजोर ओवरलैप को संभालना: कच्चे उच्च-आयामी सहचरों से निम्न-आयामी डीकन्फाउंडिंग स्कोर (विशेष रूप से प्रोग्नोस्टिक स्कोर) की ओर ध्यान केंद्रित करके, यह विधि ओवरलैप के लिए "आयाम के अभिशाप" को प्रभावी ढंग से कम करती है, जिससे उच्च-आयामी अवलोकनात्मक अध्ययनों में अधिक स्थिर अनुमान संभव हो पाता है।
• भविष्य की दिशाएं: लेखक गैर-गौसियन सेटिंग्स में इन परिणामों के विस्तार का सुझाव देते हैं और नॉन-पैरामीट्रिक संरचनाओं में ओवरलैप डाइवर्जेंस बाधा को डीप लर्निंग आर्किटेक्चर में एकीकृत करने का सुझाव देते हैं, जो सैद्धांतिक इष्टतमता और लचीले न्यूरल नेटवर्क रिप्रेजेंटेशन के बीच के अंतर को पाटता है।