The Illusion of Learning from Observational Data: An Empirical Bayes Perspective

यहाँ Wu, Salazar, Green, और Blei के शोध पत्र "The Illusion of Learning from Observational Data: An Empirical Bayes Perspective" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र कारण संबंधी अनुमान (causal inference) की एक मौलिक चुनौती को संबोधित करता है: यादृच्छिक प्रयोगों (randomized experiments - जो स्वर्ण मानक हैं) को अवलोकनात्मक अध्ययनों (observational studies - जो प्रचुर मात्रा में उपलब्ध हैं लेकिन पक्षपाती हो सकते हैं) के साथ प्रभावी ढंग से कैसे जोड़ा जाए।

• मुख्य मुद्दा: अवलोकनात्मक अध्ययन अनपेक्षित कन्फाउंडिंग (unmeasured confounding) से ग्रस्त होते हैं, जिससे कारण प्रभावों (causal effects) के अनुमान में पक्षपात (bias) आता है।
• "सीखने का भ्रम" (The "Illusion of Learning"): Gerber, Green, और Kaplan (2004a) का उल्लेख करते हुए, लेखक इस घटना पर प्रकाश डालते हैं जहाँ, पक्षपात के वितरण (distribution of bias) के बारे में पूर्व जानकारी के अभाव में, अवलोकनात्मक डेटा कारण पैरामीटर के अनुमान में कोई सार्थक सुधार नहीं करता है। भले ही एक शोधकर्ता के पास कई अवलोकनात्मक अध्ययन हों, यदि वह पक्षपात के वितरण के बारे में पूरी तरह से अनिश्चित है (एक फ्लैट प्रायर/flat prior के साथ), तो कारण प्रभाव का पोस्टीरियर अनुमान (posterior estimate) केवल प्रयोगात्मक अनुमान के समान ही रहता है। अवलोकनात्मक डेटा सटीकता में वृद्धि का एक "भ्रम" पैदा करता है, बिना वास्तव में पक्षपात या जोखिम को कम किए।

2. कार्यप्रणाली: एक एम्पिरिकल बेयस ढांचा (Methodology: An Empirical Bayes Framework)

लेखक डेटा स्रोतों को संयोजित करने के लिए एक पदानुक्रमित गॉसियन मॉडल (hierarchical Gaussian model) प्रस्तावित करते हैं और डेटा से ही पक्षपात के वितरण को सीखने के लिए एम्पिरिकल बेयस (EB) विधियों को लागू करते हैं।

पदानुक्रमित मॉडल (The Hierarchical Model)

• प्रयोगात्मक अध्ययन ($y_e$): $y_e \sim N(\theta^*, \sigma_e^2)$, जहाँ $\theta^*$ वास्तविक कारण प्रभाव है।
• अवलोकनात्मक अध्ययन ($y_{o,j}$): $y_{o,j} \sim N(\theta^* + b_j, \sigma_{o,j}^2)$, जहाँ $b_j$ अध्ययन $j$ के लिए अज्ञात पक्षपात (bias) है।
• पक्षपात वितरण (Bias Distribution): यह माना जाता है कि पक्षपात $b_j$ एक जनसंख्या वितरण से लिए गए हैं: $b_j \sim N(\mu, \gamma^2)$।

लक्ष्य $(\mu, \gamma^2)$ के हाइपरपैरामीटर्स को सीखकर $\theta^*$ का अनुमान लगाना है।

विश्लेषण किए गए तीन परिदृश्य (Three Scenarios Analyzed)

शोध पत्र तीन अलग-अलग मॉडलिंग दृष्टिकोणों का कठोरता से विश्लेषण करता है:

1. पक्षपात पर फ्लैट प्रायर (The Illusion):

   • यह पक्षपात के वितरण के बारे में कोई ज्ञान नहीं मानता (प्रभावी रूप से $\gamma^2 \to \infty$)।
   • परिणाम: $\theta$ के लिए पोस्टीरियर मीन (posterior mean) ठीक $y_e$ है। अवलोकनात्मक डेटा को अनदेखा कर दिया जाता है। जोखिम $\sigma_e^2$ बना रहता है।

2. शून्य-माध्य (Zero-Mean) धारणा के साथ एम्पिरिकल बेयस:

   • यह मानता है कि पक्षपातों का माध्य ज्ञात है ($\mu=0$), लेकिन विचरण (variance) अज्ञात है ($\gamma^2$)।
   • विधि: $\hat{\gamma}^2$ का अनुमान अधिकतम मार्जिनल लाइकलीहुड (maximum marginal likelihood) या मोमेंट मैचिंग के माध्यम से लगाया जाता है।
   • परिणाम: भ्रम "टूट" जाता है। अवलोकनात्मक डेटा पोस्टीरियर मीन को अवलोकनात्मक अनुमानों की ओर सिकोड़ देता (shrink), और जैसे-जैसे $J \to \infty$ होता है, जोखिम समाप्त हो जाता है।
   • आलोचना: यह धारणा कि अवलोकनात्मक पक्षपात औसतन शून्य होते हैं, अक्सर सामाजिक विज्ञानों और अन्य क्षेत्रों में अवास्तविक होती है।

3. अज्ञात माध्य और विचरण के साथ एम्पिरिकल बेयस (The Return of the Illusion):

   • यह मानता है कि पक्षपात $N(\mu, \gamma^2)$ का पालन करते हैं, जहाँ $\mu$ और $\gamma^2$ दोनों अज्ञात हैं और अवलोकनात्मक डेटा से अनुमानित हैं।
   • परिणाम: भ्रम वापस आ जाता है। पोस्टीरियर मीन वापस प्रयोगात्मक अनुमान $y_e$ में समाहित हो जाता है।
   • विरोधाभास: जबकि पॉइंट एस्टीमेट (point estimate) नहीं बदलता है, पोस्टीरियर वेरिएंस कृत्रिम रूप से कम हो जाता है। यह वास्तविक पक्षपात या जोखिम को कम किए बिना अति-आत्मविश्वास (संकुचित विश्वसनीय अंतराल/credible intervals) की ओर ले जाता है।

समाधान: कैलिब्रेशन अध्ययन (The Solution: Calibration Studies)

अवास्तविक शून्य-माध्य धारणा पर निर्भर रहे बिना भ्रम को तोड़ने के लिए, लेखक कैलिब्रेशन अध्ययन पेश करते हैं।

• परिभाषा: ऐसे अवलोकनात्मक अध्ययन जो एक ज्ञात वास्तविक कारण प्रभाव (आमतौर पर शून्य) वाले हस्तक्षेप को लक्षित करते हैं।
• तंत्र:
  • मान लीजिए $y_{c,k}$ एक कैलिब्रेशन अध्ययन है जहाँ वास्तविक प्रभाव 0 है। अनुमान $y_{c,k} \sim N(b_k, \sigma_{c,k}^2)$ है।
  • क्योंकि वास्तविक प्रभाव ज्ञात है, $y_{c,k}$ में कोई भी विचलन शुद्ध रूप से पक्षपात $b_k$ के कारण है।
  • ये अध्ययन शोधकर्ता को केवल कैलिब्रेशन डेटा का उपयोग करके पक्षपात वितरण के जनसंख्या मापदंडों $(\mu, \gamma^2)$ का सीधे अनुमान लगाने की अनुमति देते हैं।
• कैलिब्रेटेड एम्पिरिकल बेयस (CEB):
  1. कैलिब्रेशन अध्ययनों ($y_c$) का उपयोग करके $(\hat{\mu}, \hat{\gamma}^2)$ को फिट करें।
  2. इन अनुमानों को प्रयोगात्मक अध्ययन ($y_e$) और अवलोकनात्मक अध्ययनों ($y_o$) को संयोजित करने वाले पूर्ण मॉडल में डालें।
  3. परिणामी एस्टीमेटर $\hat{\theta}_{CEB}$ अवलोकनात्मक डेटा का उपयोग करके अनुमान को सिकोड़ता है, लेकिन यह संकुचन (shrinkage) एक अनिश्चित (unidentifiable) वितरण के बजाय सीखे गए पक्षपात वितरण द्वारा सूचित होता है।

3. मुख्य योगदान (Key Contributions)

1. भ्रम का औपचारिककरण: यह शोध पत्र एक कठोर गणितीय प्रमाण (Theorem 1 & 3) प्रदान करता है कि पक्षपात के बारे में बाहरी जानकारी के बिना, अवलोकनात्मक डेटा कारण अनुमान में सुधार नहीं कर सकता है और अनिश्चितता के अनुमानों को खतरनाक रूप से कम कर सकता है (अति-आत्मविश्वास)।
2. जीरो-मीन ट्रैप की पहचान: यह दर्शाता है कि शून्य-माध्य पक्षपात वितरण मानना भ्रम को तोड़ता है, लेकिन यह एक मजबूत, अक्सर अनुचित धारणा पर निर्भर करता है।
3. उपचार के रूप में कैलिब्रेशन अध्ययन: यह "नेगेटिव कंट्रोल" के रूप में कैलिब्रेशन अध्ययनों का उपयोग करने का प्रस्ताव देता है ताकि पूर्ण पक्षपात वितरण (माध्य और विचरण) को पहचाना जा सके, जिससे वैध एम्पिरिकल बेयस संकुचन संभव हो सके।
4. सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि कैलिब्रेटेड EB ढांचे के तहत, एस्टीमेटर अवलोकनात्मक और कैलिब्रेशन अध्ययनों की संख्या बढ़ने के साथ अनंत रूप से घटते जोखिम (asymptotically vanishing risk) को प्राप्त करता है (Theorem 4)।

4. परिणाम (Results)

• सिमुलेशन:
  • CEB एस्टीमेटर ($\hat{\theta}_{CEB}$) $O(J^{-1})$ के रूप में स्केल होने वाला MSE प्राप्त करता है, जो नमूना आकार बढ़ने के साथ वास्तविक पैरामीटर की ओर अभिसरित (converge) होता है।
  • इसके विपरीत, "इल्यूजन" मॉडल (जो केवल अवलोकनात्मक डेटा से माध्य और विचरण को फिट करता है) MSE को कम करने में विफल रहता है और भ्रामक रूप से संकुचित विश्वसनीय अंतराल उत्पन्न करता है।
• सेमी-सिंथेटिक अनुप्रयोग (जल उपयोग):
  • फेरारो और मिरांडा (2013) के जल संरक्षण संबंधी एक बड़े क्षेत्रीय प्रयोग पर आधारित।
  • सेटअप: लेखकों ने डेटा के 100 उपसमुच्चय (subsets) बनाए। एक उपसमुच्चय "प्रयोग" (यादृच्छिक) के रूप में कार्य करता है, जबकि अन्य को "अवलोकनात्मक" (कन्फाउंडेड) और "कैलिब्रेशन" (शून्य प्रभाव वाला छद्म-उपचार) डेटासेट में बदल दिया गया।
  • निष्कर्ष:
    • इल्यूजन मॉडल ने -1.40 का पॉइंट एस्टीमेट और [-1.84, -0.97] का एक तंग 95% विश्वसनीय अंतराल बनाया, लेकिन यह अंतराल वास्तविक प्रभाव (-0.48) को कवर करने में विफल रहा (कवरेज प्रोबेबिलिटी $\approx$ 0.006)।
    • कैलिब्रेटेड EB मॉडल ने -0.58 का पॉइंट एस्टीमेट और [-0.90, -0.27] का 95% अंतराल बनाया, जिसने वास्तविक प्रभाव को सफलतापूर्वक कवर किया (कवरेज प्रोबेबिलिटी $\approx$ 0.96)।
    • कैलिब्रेटेड EB मॉडल ने केवल प्रयोगात्मक डेटा की तुलना में 109 गुना अधिक सापेक्ष सटीकता (relative precision) प्राप्त की, जबकि इल्यूजन मॉडल ने (गंभीर मिसकैलिब्रेशन की कीमत पर) केवल 4.4 गुना सटीकता प्राप्त की।

5. महत्व (Significance)

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र अवलोकनात्मक और प्रयोगात्मक डेटा को सहजता से मिलाने की सामान्य प्रथा को चुनौती देता है। यह चेतावनी देता है कि पक्षपात के वितरण को समझे बिना, अवलोकनात्मक डेटा जोड़ना प्रतिगामी हो सकता है और झूठा विश्वास पैदा कर सकता है।
• व्यावहारिक उपयोगिता: यह एक ठोस, कार्रवाई योग्य समाधान प्रदान करता है: कैलिब्रेशन अध्ययन। अपने तरीकों के पक्षपात संरचना को अनुभवजन्य रूप से सीखने के लिए "प्लेसबो" या "नेगेटिव कंट्रोल" संस्करणों का उपयोग करके, शोधकर्ता पक्षपात को समझ सकते हैं।
• पद्धतिगत कठोरता: यह बेयस और फ्रीक्वेंटिस्ट दृष्टिकोणों के बीच के अंतर को पाटता है, यह दिखाते हुए कि कैसे एम्पिरिकल बेयस उन कारण अनुमान सेटिंग्स में फ्रीक्वेंटिस्ट निरंतरता (vanishing risk) को पुनः प्राप्त कर सकता है जहाँ पारंपरिक तरीके विफल हो जाते हैं।
• व्यापक प्रयोज्यता: यह ढांचा किसी भी क्षेत्र में लागू होता है जहाँ अवलोकनात्मक डेटा प्रचुर मात्रा में है लेकिन पक्षपाती है (जैसे महामारी विज्ञान, अर्थशास्त्र, राजनीति विज्ञान), बशर्ते कि कैलिब्रेशन अध्ययन (ज्ञात शून्य प्रभाव वाले हस्तक्षेप) निर्मित या पहचाने जा सकें।

संक्षेप में, यह शोध पत्र तर्क देता है कि अवलोकनात्मक डेटा केवल तभी उपयोगी है जब हम उसके पक्षपात के वितरण को सीख सकें। कैलिब्रेशन अध्ययन इस वितरण को सीखने के लिए आवश्यक "ग्राउंड ट्रुथ" प्रदान करते हैं, जिससे यह भ्रम टूट जाता है कि अवलोकनात्मक डेटा स्वाभाविक रूप से सूचनाहीन या खतरनाक रूप से भ्रामक है।