Prediction decomposition for causal analysis

यहाँ ओफिर रीच (Ofir Reich) के शोध पत्र "Prediction decomposition for causal analysis" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

अर्थशास्त्र और सामाजिक विज्ञानों में मशीन लर्निंग (ML) मॉडल के भविष्यवाणियों (predictions) को कारण संबंधी विश्लेषण (causal analysis) में परिणामों (outcomes) के रूप में उपयोग करने का एक बढ़ता हुआ चलन है (जैसे, मोबाइल फोन डेटा का उपयोग करके नकदी हस्तांतरण के उपभोग पर प्रभाव का अनुमान लगाना, या रिमोट सेंसिंग का उपयोग करके कृषि हस्तक्षेपों के उत्पादन पर प्रभाव का आकलन करना)। यह दृष्टिकोण इसलिए अपनाया जाता है क्योंकि बड़े नमूनों के लिए वास्तविक 'ग्राउंड-ट्रुथ' डेटा एकत्र करने की लागत बहुत अधिक होती है; ML शोधकर्ताओं को पूरी आबादी के लिए सस्ते में भविष्यवाणियाँ उत्पन्न करने की अनुमति देता है।

हालाँकि, एक महत्वपूर्ण चुनौती मौजूद है: उच्च भविष्यवाणी सटीकता (high prediction accuracy) सटीक कारण अनुमान (accurate causal inference) की गारंटी नहीं देती है।

• मुख्य मुद्दा: ML मॉडल भविष्यवाणी त्रुटि (prediction error) को कम करने के लिए अनुकूलित होते हैं (यानी देखे गए परिणामों को फिट करना), जबकि कारण अनुमान के लिए 'काउंटरफैक्चुअल' भिन्नता (counterfactual variation) को पकड़ना आवश्यक होता है (अर्थात उपचारित और अनुपचारित अवस्थाओं के बीच का अंतर)।
• विफलता का स्वरूप (Failure Mode): एक मॉडल उच्च $R^2$ प्राप्त कर सकता है क्योंकि वह स्थिर, इकाइयों के बीच के अंतरों (जैसे, समृद्ध क्षेत्रों में उच्च उपभोग) को पूरी तरह से कैप्चर करता है, जबकि वह उपचार-प्रेरित परिवर्तनों (जैसे, नकदी हस्तांतरण किसी घर की स्थिति/स्थान को नहीं बदलता) के प्रति पूरी तरह से असंवेदनशील हो सकता है। फलस्वरूप, ML भविष्यवाणियों का उपयोग करके अनुमानित उपचार प्रभाव (treatment effect) शून्य की ओर झुका हुआ (attenuated) या पूरी तरह से गलत हो सकता है, भले ही मॉडल पूर्ण स्तरों (absolute levels) की अच्छी भविष्यवाणी करता हो।
• वर्तमान सीमाएँ: मौजूदा मॉडल चयन मानदंड (जैसे मानक $R^2$ या मीन स्क्वेर्ड एरर) उन मॉडलों के बीच अंतर करने में विफल रहते हैं जो उपचार प्रभावों को कैप्चर करते हैं और जो केवल स्थिर इकाई विशेषताओं को कैप्चर करते हैं।

2. कार्यप्रणाली: प्रेडिक्शन डिकंपोजिशन (Methodology: Prediction Decomposition)

लेखक एक सैद्धांतिक ढांचा प्रस्तावित करते हैं जो ML भविष्यवाणी त्रुटि को तीन अलग-अलग घटकों में विभाजित (decompose) करता है। यह विभाजन स्पष्ट करता है कि मानक मेट्रिक्स क्यों विफल होते हैं और एक नया नैदानिक मीट्रिक (diagnostic metric) पेश करता है।

2.1 डिकंपोजिशन मॉडल (The Decomposition Model)

इकाई $i$ के लिए वास्तविक परिणाम को इस प्रकार मॉडल किया गया है:
$$Y_{i,t}^{actual} = \alpha + \mu_i + \gamma T_{i,t} + \epsilon_{i,t}$$
जहाँ:

• $\mu_i$: समय-अपरिवर्तनीय इकाई फिक्स्ड इफेक्ट्स (इकाइयों के बीच की भिन्नता)।
• $T_{i,t}$: उपचार सूचक (Treatment indicator)।
• $\gamma$: वास्तविक उपचार प्रभाव (True treatment effect)।
• $\epsilon_{i,t}$: समय-परिवर्तनीय त्रुटि (इकाई के भीतर की भिन्नता)।

ML-अनुमानित परिणाम को इस प्रकार विभाजित किया गया है:
$$Y_{i,t}^{pred} = \alpha + \eta_\mu \mu_i + \eta_T \gamma T_{i,t} + \eta_\epsilon \epsilon_{i,t} + \nu_{i,t}$$

गुणांक (Coefficients) विशिष्ट विविधताओं को पकड़ने की मॉडल की क्षमता को दर्शाते हैं:

• $\eta_\mu$ (Between-unit fit): इकाइयों के बीच स्थिर अंतरों को कितनी अच्छी तरह मॉडल कैप्चर करता है।
• $\eta_\epsilon$ (Within-unit fit): एक इकाई के भीतर प्राकृतिक अस्थायी परिवर्तनों (उपचार से असंबंधित) को कितनी अच्छी तरह मॉडल कैप्चर करता है।
• $\eta_T$ (Counterfactual fit): कारण संबंधी उपचार प्रभाव को कितनी अच्छी तरह मॉडल कैप्चर करता है।
• $\nu_{i,t}$: अवशिष्ट शोर (Residual noise)।

प्रमुख सैद्धांतिक अंतर्दृष्टि (Key Theoretical Insight):

• अनुमानित उपचार प्रभाव, जो अनुमानित परिणामों के रिग्रेशन से प्राप्त होता है, वह $\hat{\gamma}_{pred} = \eta_T \cdot \gamma$ है।
• मानक भविष्यवाणी सटीकता ($R^2$) $\eta_\mu$ से अत्यधिक प्रभावित होती है (जो अक्सर वास्तविक डेटा में बड़ा होता है), लेकिन $\eta_T$ के प्रति काफी हद तक असंवेदनशील होती है।
• परिकल्पना (Hypothesis): $\eta_\epsilon$, समग्र सटीकता की तुलना में $\eta_T$ के लिए एक संरचनात्मक रूप से बेहतर प्रॉक्सी (proxy) है। दोनों गतिशील, समय-परिवर्तनीय संकेतों पर निर्भर करते हैं, जबकि $\eta_\mu$ उन स्थिर विशेषताओं पर निर्भर करता है जो उपचार के प्रति प्रतिक्रिया नहीं करती हैं।

2.2 प्रस्तावित मीट्रिक: डिफ-वर्सेस-डिफ स्लोप (The Proposed Metric: Diff-vs-Diff Slope)

$\eta_T$ को सीधे अनुमानित करने के लिए आवश्यक प्रयोगात्मक डेटा (जो $\eta_T$ को सीधे मापने के लिए चाहिए) के बिना $\eta_\epsilon$ का अनुमान लगाने के लिए, लेखक पैनल डेटा (कम से कम दो समय अवधि) और एक गैर-उपचारित (कंट्रोल) उपसमूह का उपयोग करते हुए एक मीट्रिक प्रस्तावित करते हैं।

1. अंतर की गणना करें (Calculate Differences): प्रत्येक इकाई के लिए समय $t=1$ और $t=2$ के बीच वास्तविक और अनुमानित परिणामों के परिवर्तन की गणना करें: $\Delta Y_i = Y_{i,2} - Y_{i,1}$।
2. रिग्रेशन (Regression): कंट्रोल ग्रुप के लिए वास्तविक परिणामों के परिवर्तन पर अनुमानित परिणामों के परिवर्तन का रिग्रेशन करें (बिना इंटरसेप्ट के):
   $$\Delta Y_i^{pred} = \beta \cdot \Delta Y_i^{actual} + \text{error}$$
3. अनुमान (Estimation): अनुमानित ढलान (slope) $\hat{\beta}$, $\eta_\epsilon$ का एस्टिमेटर है।
   • व्युत्पत्ति (Derivation): उपचार की अनुपस्थिति में ($T=0$), $\Delta Y^{pred}$ और $\Delta Y^{actual}$ के बीच सहसंबंध (covariance) केवल $\eta_\epsilon$ और $\epsilon$ के विचरण (variance) द्वारा संचालित होता है। सह-विचरणों (covariances) का अनुपात $\eta_\epsilon$ प्रदान करता है।

3. प्रमुख योगदान (Key Contributions)

1. सैद्धांतिक अपघटन (Theoretical Decomposition): ML भविष्यवाणियों को उनके बीच-इकाई ($\eta_\mu$), भीतर-इकाई ($\eta_\epsilon$), और उपचार-प्रभाव ($\eta_T$) घटकों में अलग करके कारण विश्लेषण में ML भविष्यवाणियों की विफलता को औपचारिक रूप दिया।
2. नैदानिक मीट्रिक (Diagnostic Metric): मॉडल चयन उपकरण के रूप में डिफ-वर्सेस-डिफ स्लोप ($\hat{\eta}_\epsilon$) पेश किया। यह शोधकर्ताओं को ऐसे ML मॉडल चुनने की अनुमति देता है जो केवल स्थिर विशेषताओं के बजाय अस्थायी गतिशीलता (temporal dynamics) के प्रति संवेदनशील हैं।
3. बायस सुधार (Bias Correction): इस मजबूत धारणा के तहत कि $\eta_T \approx \eta_\epsilon$, यह मीट्रिक एक लगभग निष्पक्ष (unbiased) उपचार प्रभाव अनुमान का निर्माण करने में सक्षम बनाता है:
   $$\text{Unbiased Effect} = \frac{\text{Estimated Effect}}{\hat{\eta}_\epsilon}$$
4. सिमुलेशन साक्ष्य (Simulation Evidence): सिंथेटिक डेटा के माध्यम से सिद्ध किया कि:
   • उच्च $R^2$ और सटीक उपचार प्रभाव की प्राप्ति के बीच कोई संबंध नहीं है।
   • $\eta_\mu$, $R^2$ को संचालित करता है, जबकि $\eta_T$, कारण संबंधी सटीकता को संचालित करता है।
   • डिफ-वर्सेस-डिफ मीट्रिक, जब $\eta_T = \eta_\epsilon$ हो, तो स्केल्ड उपचार प्रभाव का सफलतापूर्वक पूर्वानुमान लगाता है।

4. सिमुलेशन परिणाम (Simulation Results)

लेखक ने एक सिंथेटिक डेटा का उपयोग करके अपने ढांचे को मान्य किया जो एक रैंडमाइज्ड कंट्रोल्ड ट्रायल (RCT) का अनुकरण करता है जिसमें शामिल हैं:

• डेटा संरचना: 2 समय अवधि, 50% उपचार दर, जिसमें इकाइयों के बीच का विचरण ($\mu$), इकाइयों के भीतर के विचरण ($\epsilon$) पर हावी है (अनुपात ~0.92:0.08)।
• निष्कर्ष:
  • चित्र 1: ML भविष्यवाणी $R^2$ और अनुमानित उपचार प्रभाव की सटीकता के बीच कोई सहसंबंध नहीं है।
  • चित्र 2 और 3: उच्च $R^2$ मुख्य रूप से $\eta_\mu$ (व्यक्तिगत विशेषताओं को फिट करने) द्वारा संचालित होता है, जबकि $\eta_\epsilon$ का $R^2$ पर बहुत कम प्रभाव पड़ता है।
  • चित्र 4: उपचार प्रभावों का पता लगाने के लिए सांख्यिकीय शक्ति (t-statistic) $\eta_T$ द्वारा निर्धारित होती है, न कि भविष्यवाणी $R^2$ द्वारा।
  • चित्र 6: जब $\eta_T = \eta_\epsilon$ हो, तो डिफ-वर्सेस-डिफ स्लोप ($\hat{\eta}_\epsilon$), स्केल्ड उपचार प्रभाव का सटीक अनुमान लगाता है।
  • चित्र 7: $\eta_T = \eta_\epsilon$ की धारणा के बिना, मीट्रिक और उपचार प्रभाव के बीच कोई संबंध नहीं है, जो इस संरचनात्मक तर्क के महत्व को रेखांकित करता कि $\eta_\epsilon$, $\eta_T$ के लिए एक प्रॉक्सी है।

5. शोधकर्ताओं के लिए व्यावहारिक मार्गदर्शिका (Practical Guide for Researchers)

यह शोध पत्र चिकित्सकों के लिए एक चरण-दर-चरण वर्कफ़्लो की रूपरेखा तैयार करता है:

1. डेटा संग्रह: सुनिश्चित करें कि एक लेबल वाले उपसमूह (labeled subsample) के पास कम से कम दो समय अवधियों (हस्तक्षेप से पहले और बाद में) के लिए वास्तविक परिणाम (ground-truth outcomes) उपलब्ध हैं।
2. प्रशिक्षण (Training): उपचार संकेतों के संदूषण (contamination) को रोकने के लिए ML मॉडल को केवल अनुपचारित इकाइयों पर प्रशिक्षित करें।
3. मीट्रिक गणना: कंट्रोल ग्रुप पर डिफ-वर्सेस-डिफ स्लोप ($\hat{\eta}_\epsilon$) की गणना करें।
4. मॉडल चयन: उच्चतम $R^2$ के बजाय उच्चतम $\hat{\eta}_\epsilon$ वाले मॉडल का चयन करें। कम $\hat{\eta}_\epsilon$ के साथ उच्च $R^2$ यह दर्शाता है कि मॉडल स्थिर इकाई विशेषताओं को ओवरफिट (overfit) कर रहा है।
5. बायस सुधार (वैकल्पिक): यदि $\hat{\eta}_\epsilon < 1$ है, तो अनुमानित उपचार प्रभाव कम (attenuated) है। यदि $\eta_T \approx \eta_\epsilon$ की धारणा लागू होती है, तो पूर्वाग्रह को ठीक करने के लिए अनुमानित प्रभाव को $\hat{\eta}_\epsilon$ से विभाजित करें।

6. महत्व और सीमाएँ (Significance and Limitations)

महत्व:

• ML-संचालित कारण अनुमान में "सरोगेट एंडपॉइंट" (surrogate endpoint) की समस्या के लिए एक कठोर समाधान प्रदान करता है।
• एक व्यावहारिक, कम लागत वाला नैदानिक उपकरण प्रदान करता है जो पूरी आबादी के लिए महंगे ग्राउंड-ट्रुथ डेटा संग्रह की आवश्यकता को समाप्त करता है।
• मॉडल चयन के फोकस को "लेवल की भविष्यवाणी करने" से बदलकर "परिवर्तन की भविष्यवाणी करने" की ओर ले जाता है, जिससे ML के उद्देश्यों को कारण संबंधी लक्ष्यों के साथ जोड़ा जा सके।

सीमाएँ और धारणाएँ:

• पैनल डेटा की आवश्यकता: इस पद्धति के लिए कम से कम दो समय अवधियों के ग्राउंड-ट्रुथ डेटा की आवश्यकता होती। इसे विशुद्ध रूप से क्रॉस-सेक्शनल डेटा पर लागू नहीं किया जा सकता।
• $\eta_T \approx \eta_\epsilon$ की धारणा: हालांकि संरचनात्मक तर्क (कि गतिशील विशेषताएं प्राकृतिक परिवर्तन और उपचार प्रतिक्रिया दोनों को संचालित करती हैं) मजबूत है, बिना प्रयोगात्मक भिन्नता के सटीक समानता को अनुभवजन्य रूप से सत्यापित करना कठिन है। इस मीट्रिक का उपयोग सीधे बायस-करेक्शन फैक्टर के रूप में करने के बजाय एक डायग्नोस्टिक/मॉडल सेलेक्टर के रूप में करना सबसे सुरक्षित है।
• रैखिकता (Linearity): यह अपघटन एक रैखिक-योगात्मक (linear-additive) ढांचे को मानता है, हालांकि लेखक का तर्क है कि गैर-रैखिक सेटिंग्स में भी गुणांकों को रैखिक प्रोजेक्शन के रूप में व्याख्यायित किया जा सकता है।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि कारण विश्लेषण के लिए, भविष्यवाणी सटीकता एक भ्रामक मीट्रिक है। शोधकर्ताओं को उन मॉडलों को प्राथमिकता देनी चाहिए जो इकाई के भीतर के अस्थायी परिवर्तन ($\eta_\epsilon$) को कैप्चर करते हैं, क्योंकि यही काउंटरफैक्चुअल उपचार प्रभावों ($\eta_T$) को कैप्चर करने के लिए एक संरचनात्मक पूर्व शर्त है।