Adversary-Free Counterfactual Prediction via Information-Regularized Representations

तकनीकी सारांश: सूचना-नियमित प्रतिनिधित्व के माध्यम से विरोधी-मुक्त प्रतितथ्यात्मक भविष्यवाणी (Adversary-Free Counterfactual Prediction via Information-Regularized Representations)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र असाइनमेंट बायस (confounding) की उपस्थिति में प्रतितथ्यात्मक भविष्यवाणी (counterfactual prediction - "क्या होता यदि" परिदृश्यों का अनुमान लगाना) की चुनौती को संबोधित करता है। अवलोकनात्मक अध्ययनों (observational studies) में, उपचार का निर्धारण (treatment assignment) शायद ही कभी यादृच्छिक होता है; उदाहरण के लिए, चिकित्सक कुछ दवाओं को अधिक बीमार रोगियों को निर्धारित कर सकते हैं। यह सह-चरों ($X$) और उपचारों ($T$) के बीच एक व्यवस्थित निर्भरता पैदा करता है, जिससे उपचारित और अनुपचारित समूहों के बीच सीधा तुलना करना पक्षपाती हो जाता है।

मौजूदा समाधान आमतौर पर निम्नलिखित पर निर्भर करते हैं:

• संतुलित प्रतिनिधित्व (Balanced Representations): उपचारित और अनुपचारित समूहों के वितरण को समान दिखाने के लिए मजबूर करना।
• विरोधी प्रशिक्षण (Adversarial Training): उपचार-प्रकट करने वाले संकेतों को विशेषताओं (features) से हटाने के लिए एक डिस्क्रिमिनेटर का उपयोग करना।
• पुनः भारण (Reweighting): चयन पूर्वाग्रह (selection bias) को समायोजित करने के लिए इम्पॉर्टेंस सैंपलिंग का उपयोग करना।

हालाँकि, लेखक नोट करते हैं कि विरोधी विधियाँ अक्सर प्रशिक्षण के लिए अस्थिर (unstable to train) होती हैं और उनमें भारी हाइपरपैरामीटर ट्यूनिंग की आवश्यकता होती है, जबकि संतुलन विधियाँ उच्च-आयामी (high-dimensional) सेटिंग्स में नाजुक हो सकती हैं।

2. कार्यप्रणाली (Methodology)

मुख्य नवाचार एक सूचना-सैद्धांतिक दृष्टिकोण (information-theoretic approach) है जो प्रतिकूल प्रशिक्षण (adversarial training) को सीधे म्यूचुअल इंफॉर्मेशन (Mutual Information - MI) के न्यूनीकरण (minimization) से बदल देता है।

A. सैद्धांतिक आधार (The Risk-Gap Bound)
लेखक एक गणितीय सीमा (bound) व्युत्पन्न करते हैं जो तथ्यात्मक जोखिम ($R_F$) और प्रतितथ्यात्मक जोखिम ($R_{CF}$) के बीच के अंतर को प्रतिनिधित्व ($Z$) और उपचार ($T$) के बीच के म्यूचुअल इंफॉर्मेशन (MI) से जोड़ता है:
$$R_{CF} \leq R_F + 2\sqrt{2\lambda} \sqrt{I(Z; T)}$$
यह एक सिद्धांत-आधारित प्रेरणा प्रदान करता है: प्रतितथ्यात्मक भविष्यवाणियों में त्रुटि को कम करने के लिए, व्यक्ति को उस सूचना को कम करना होगा जो सीखा गया प्रतिनिधित्व उपचार निर्धारण के बारे में रखता है।

B. प्रस्तावित मॉडल
लेखक दो मॉडल प्रस्तावित करते हैं जो एक मि-मैक्स गेम (min-max game) के बजाय एक एकल, स्थिर उद्देश्य फलन (objective function) को अनुकूलित करते हैं:

1. SICE (Static Information-theoretic Counterfactual Estimator):
   स्थिर सेटिंग्स के लिए, SICE एक स्टोकेस्टिक प्रतिनिधित्व $Z = \phi(X)$ सीखता है, जिसे हल करके:
   $$\min_{g, \phi, \psi} \mathbb{E}[L(y, g(z, t))] + \lambda I(z; t)$$
   इसे सुलभ बनाने के लिए, वे MI टर्म के लिए एक वेरिएशनल अपर बाउंड (variational upper bound) का उपयोग करते हैं। यह मॉडल को उपचार-भविष्यवाणी करने वाली विशेषताओं को संकुचित (compress) करने की अनुमति देता है, जबकि एक सुपरवाइज्ड डिकोडर के माध्यम से परिणाम-प्रासंगिक संकेतों को बनाए रखता है।

2. DICE (Dynamic Information-theoretic Counterfactual Estimator):
   अनुक्रमिक निर्णय लेने (sequential decision-making) के लिए (जहाँ सह-चर और उपचार समय के साथ बदलते हैं), DICE फ्रेमवर्क को आवर्ती आर्किटेक्चर (जैसे RNN, GRU, या Transformer) में विस्तारित करता है। यह प्रत्येक समय चरण पर अनुक्रमिक प्रतिनिधित्व पर सूचना दंड (information penalty) लागू करता है, यह सुनिश्चित करता है कि इतिहास-आधारित प्रतिनिधित्व उपचार-तटस्थ (treatment-agnostic) बना रहे।

3. मुख्य योगदान (Key Contributions)

• एकीकरण (Unification): जोखिम अंतराल (risk gap) को $I(X; T)$ से जोड़कर संतुलन, पुनः भारण और अपरिवर्तनीयता (invariance) को एकीकृत करने वाला एक सैद्धांतिक लेंस प्रदान करता है।
• विरोधी-मुक्त प्रशिक्षण (Adversary-Free Training): अस्थिर प्रतिकूल (min-max) प्रशिक्षण को एक स्थिर, एकल-उद्देश्य वाले वेरिएशनल अनुकूलन से बदलता है।
• स्केलेबिलिटी (Scalability): कई डोमेन-इनवेरियेंस विधियों के विपरीत, जो बड़े एक्शन स्पेस के साथ संघर्ष करती हैं, यह सूचना-सैद्धांतिक दंड अति-उच्च-आयामी उपचारों (जैसे सैकड़ों मेडिकेशन इंडिकेटर्स) के लिए स्वाभाविक रूप से स्केल करता है।
• गतिशील विस्तार (Dynamic Extension): समय-परिवर्तनीय, अनुक्रमिक सेटिंग्स में सूचना-नियमितीकरण सिद्धांत को सहजता से अनुकूलित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

नियंत्रित सिमुलेशन और वास्तविक नैदानिक डेटा पर मॉडलों का मूल्यांकन किया गया:

• सिंथेटिक डेटा (Static): SICE ने विभिन्न उपचार आयामों में अत्याधुनिक बेसलाइनों (जैसे TARNet, CFR, और GRL) को लगातार पछाड़ा। विशेष रूप से, जैसे-जैसे उपचार की विमा ($d_t$) बढ़ी, SICE का प्रदर्शन मजबूत बना रहा, जबकि बेसलाइन अक्सर खराब हो गए।
• अति-उच्च आयामीता (Ultra-High Dimensionality): $d_t$ के 1000 तक के परीक्षणों में, SICE ने PEHE (Precision in Estimating Heterogeneous Effects) में महत्वपूर्ण बढ़त बनाए रखी।
• वास्तविक दुनिया का डेटा (NHANES): NHANES नैदानिक डेटासेट (82 मेडिकेशन इंडिकेटर्स के साथ) पर, SICE ने अत्याधुनिक तथ्यात्मक भविष्यवाणी सटीकता (RMSE/MAE) और अत्यधिक प्रतिस्पर्धी ऑफ-पॉलिसी टारगेटिंग (AUUC) प्राप्त की।
• गतिशील डेटा (Dynamic Data): DICE ने सभी मेट्रिक्स (ATE Error, RMSE, और PEHE) में अनुक्रमिक सेटिंग्स में सभी बेसलाइनों को पीछे छोड़ दिया।

5. महत्व (Significance)

यह कार्य महत्वपूर्ण है क्योंकि यह कारण संबंधी अनुमान (causal inference) प्रतिनिधित्व शिक्षण को प्रतिकूल प्रशिक्षण के "ब्लैक बॉक्स" से हटाकर एक सिद्ध-प्रेरित, सूचना-सैद्धांतिक ढांचे की ओर ले जाता है। उच्च-आयामी उपचारों को संभालने के लिए एक स्थिर और स्केलेबल विधि प्रदान करके, यह व्यक्तिगत चिकित्सा (personalized medicine) और जटिल अनुशंसा प्रणालियों (recommendation systems) के लिए एक अधिक व्यावहारिक उपकरण प्रदान करता है जहाँ उपचार/एक्शन स्पेस विशाल है और असाइनमेंट बायस व्याप्त है।