Causal Imitation Learning Under Measurement Error and Distribution Shift

यहाँ "Causal Imitation Learning Under Measurement Error and Distribution Shift" (Shi Bo और AmirEmad Ghassami द्वारा लिखित) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ऑफलाइन इमिटेशन लर्निंग (IL) के उन परिदृश्यों को संबोधित करता है जहाँ दो महत्वपूर्ण चुनौतियाँ एक साथ मौजूद हैं:

1. मापन त्रुटि (Measurement Error): वास्तविक निर्णय-प्रासंगिक अवस्था (state) सीधे तौर पर देखी नहीं जा सकती। इसके बजाय, शिक्षार्थी एक गुप्त घटक (latent component) के शोर युक्त प्रॉक्सी (noisy proxies/माप) को देखता है।
2. वितरण बदलाव (Distribution Shift): प्रशिक्षण डोमेन (जहाँ विशेषज्ञ प्रदर्शन एकत्र किए गए हैं) और परिनियोजन (deployment) डोमेन के बीच गुप्त अवस्था और मापन प्रक्रिया का संयुक्त वितरण बदल सकता है।

ऐसे शासन (regimes) में, मानक बिहेवियरल क्लोनिंग (BC) विफल हो जाता है। BC आमतौर पर अवलोकनों के दिए गए एक्शन की कंडीशनल प्रोबेबिलिटी $\pi(a|o)$ को कम करके एक पॉलिसी सीखता है। लेखक तर्क देते हैं कि वितरण बदलाव के तहत, ये अवलोकनात्मक सहसंबंध (observational correlations) भ्रामक (spurious) हो जाते हैं। विशेष रूप से:

• कच्चे मापों पर आधारित कंडीशनिंग ($\pi_{BC2}$) पॉलिसी को मापन तंत्र (जैसे, सेंसर कैलिब्रेशन शिफ्ट) के प्रति नाजुक (brittle) बनाती है।
• मापों को अनदेखा करना और केवल देखे गए राज्यों पर कंडीशन करना ($\pi_{BC1}$) पॉलिसी को गुप्त गतिकी (latent dynamics) या स्टेट ट्रांजिशन कर्नेल में बदलाव के प्रति नाजुक बनाता है।
• महत्वपूर्ण रूप से, यह पूर्वाग्रह (bias) व्यवस्थित (systematic) है और अनंत डेटा या लंबे प्रक्षेप पथों (trajectories) के साथ भी समाप्त नहीं होता है।

2. कार्यप्रणाली (Methodology)

A. कारण ढांचा और लक्ष्य नीति (Causal Framework and Target Policy)

लेखक एक नई लक्ष्य नीति, CausIL, प्रस्तावित करते हैं, जिसे अवलोकनात्मक कंडीशनिंग के बजाय काउंटरफैक्चुअल हस्तक्षेप (counterfactual intervention) द्वारा परिभाषित किया गया है।

• मॉडल: सिस्टम में एक देखा गया राज्य $S_t$, एक गुप्त अवस्था $U_t$ (अदृश्य), एक शोर युक्त मापन $W_t$ ($U_t$ के लिए प्रॉक्सी), और एक विशेषज्ञ क्रिया $A_t$ शामिल है। विशेषज्ञ $S_t$ और एक विलंबित गुप्त अवस्था $U_{t-1}$ (अर्थात, $A_t \sim \pi_E(S_t, U_{t-1})$) के आधार पर कार्य करता है।
• लक्ष्य परिभाषा: $p(A_t | S_t, W_{t-1})$ का अनुकरण करने के बजाय, लक्ष्य कारण-इष्टतम नीति (causal-optimal policy) $\pi_{opt}(s)$ को सीखना है, जो हस्तक्षेप $do(S_t = s)$ के तहत विशेषज्ञ की क्रिया की संभावना को अधिकतम करती है:
  $$\pi_{opt}(s) := \arg\max_{a \in \mathcal{A}} p(A_t^{(s)} = a)$$
  जहाँ $A_t^{(s)}$ उस क्रिया का संभावित परिणाम (potential outcome) है यदि अवस्था को $s$ पर सेट किया गया हो।
• मजबूती (Robustness): यह लक्ष्य केवल $U_{t-1}$ के मार्जिनल वितरण और अपरिवर्तनीय विशेषज्ञ तंत्र $\pi_E$ पर निर्भर करता है। यह मापन चैनल $p(W_{t-1}|U_{t-1})$ में बदलाव के प्रति मजबूत है और कुछ शर्तों के तहत, उन स्टेट ट्रांजिशन कर्नेल्स के प्रति भी मजबूत है जो $U_{t-1}$ के मार्जिनल वितरण को सुरक्षित रखते हैं।

B. पहचान (Identification)

चूंकि $U_{t-1}$ अदृश्य है, लेखक ऐसी स्थितियों का विवरण देते हैं जिनके तहत $\pi_{opt}$ को केवल अवलोकनात्मक डेटा से पहचाना जा सकता है। वे प्रॉक्सिमल कॉज़ल इन्फरेंस (PCI) ढांचे को अनुकूलित करते हैं, जिसमें विलंबित देखे गए राज्य $Z_t = S_{t-1}$ को एक "ट्रीटमेंट-इंड्यूसिंग प्रॉक्सी" और शोर युक्त मापन $W_{t-1}$ को $U_{t-1}$ के लिए एक "आउटकम-इंड्यूसिंग प्रॉक्सी" के रूप में माना जाता है।

• डिस्क्रीट केस (Discrete Case): पहचान मैट्रिक्स इनवर्जन (matrix inversion) के माध्यम से प्राप्त की जाती है। यदि प्रॉक्सी $Z_t$ और $W_{t-1}$ पर्याप्त सूचनात्मक हैं (रैंक की स्थिति को संतुष्ट करते हैं), तो इंटरवेंशनल वितरण को इस प्रकार पहचाना जाता है:
  $$p(A_t^{(s)}) = P_{A|Z',s} (P_{W'|Z',s})^{-1} P_{W'}$$
  जहाँ $P$ मैट्रिसेस प्रॉक्सी के कंडीशनल और मार्जिनल प्रोबेबिलिटीज को दर्शाते हैं।
• कंटीन्यूअस केस (Continuous Case): पहचान पूर्णता (completeness) और कन्फाउंडिंग ब्रिज (confounding bridge) धारणाओं पर निर्भर करती है। लेखक दिखाते हैं कि एक "ब्रिज फंक्शन" $h_a(w, s)$ मौजूद है जो एक फ्रेडहोम इंटीग्रल इक्वेशन (Fredholm integral equation) को संतुष्ट करता है, जो देखे गए डेटा को काउंटरफैक्चुअल वितरण से जोड़ता है:
  $$p(A_t^{(s)} = a) = \int h_a(w, s) p(w) dw$$

C. अनुमान (Estimation)

लेखक डिस्क्रीट और कंटीन्यूअस दोनों सेटिंग्स के लिए एस्टिमेटर्स प्रस्तावित करते हैं:

1. डिस्क्रीट एस्टिमेटर: प्रायिकता मैट्रिसेस बनाने के लिए एम्पीरिकल फ्रीक्वेंसी का उपयोग करने वाला एक प्लग-इन एस्टिमेटर और पहचान प्रमेय से प्राप्त मैट्रिक्स इनवर्जन का उपयोग करता है।
2. कंटीन्यूअस एस्टिमेटर: रिप्रोड्यूसिंग कर्नेल हिलबर्ट स्पेस (RKHS) पर एक एडवरसेरियल एस्टीमेशन प्रक्रिया। ब्रिज फंक्शन $h_a$ को एक रेगुलराइज्ड मिनिमैक्स समस्या (सैंडल-पॉइंट ऑप्टिमाइज़ेशन) को हल करके सीखा जाता है जो कंडीशनल मोमेंट रिस्ट्रिक्शन $E[Y - h(W, S) | Z, S] = 0$ को लागू करता है।

3. मुख्य योगदान (Key Contributions)

• सैद्धांतिक सूत्रीकरण (Theoretical Formulation): यह शोध पत्र औपचारिक रूप से उस शासन को परिभाषित करता है जहाँ मापन त्रुटि और वितरण बदलाव एक साथ मौजूद होते हैं और यह प्रदर्शित करता है कि मानक BC लक्ष्य इस सेटिंग में मौलिक रूप से पक्षपाती (biased) होते हैं।
• कारण लक्ष्य (Causal Target): यह $\pi_{opt}$ पेश करता है, जो एक ऐसा पॉलिसी लक्ष्य है जो मापन प्रक्रिया और गुप्त गतिकी दोनों में बदलाव के प्रति मजबूत है, बशर्ते विशेषज्ञ तंत्र अपरिवर्तनीय हो।
• पहचान परिणाम (Identification Results): यह अनऑब्जर्व्ड कन्फाउंडर्स और मापन त्रुटि के साथ ऑफलाइन IL के लिए नवीन पहचान स्थितियाँ प्रदान करता है, जो प्रॉक्सिमल कॉज़ल इन्फरेंस विचारों (विशेष रूप से विलंबित अवस्थाओं और शोर युक्त मापों के रूप में प्रॉक्सी के उपयोग) का लाभ उठाता है।
• एल्गोरिदम (Algorithms): यह डिस्क्रीट और कंटीन्यूअस स्टेट स्पेस के लिए व्यावहारिक अनुमान रणनीतियों को विकसित करता है, जिसमें डिस्क्रीट केस के लिए क्लोज्ड-फॉर्म समाधान और कंटीन्यूअस केस के लिए RKHS-आधारित एडवरसेरियल एस्टिमेटर शामिल है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक दो सेटिंग्स में मानक BC बेसलाइन्स ($\pi_{BC1}$ और $\pi_{BC2}$) के विरुद्ध CausIL का मूल्यांकन करते हैं:

1. सेमी-सिम्युलेटेड लॉन्गिट्यूडनल डेटा (PhysioNet 2019):

   • सेटअप: आईसीयू वाइटल साइन्स को देखे गए राज्यों ($S_t$) के रूप में और लैक्टेट स्तर को एक विलंबित गुप्त संदर्भ ($U_t$) के रूप में उपयोग करना। विशेषज्ञ क्रियाएं (हेमोडायनामिक सपोर्ट तीव्रता) $S_t$ और $U_{t-1}$ पर आधारित होती हैं।
   • शिफ्ट्स: अध्ययन "पॉपुलेशन शिफ्ट्स" (अलग-अलग प्रक्षेप पथ संरचनाएं) और "मापन शिफ्ट्स" (लैक्टेट प्रॉक्सी के शोर/बायस में परिवर्तन) पेश करता है।
   • परिणाम: CausIL ने लगातार कम मीन स्क्वेर्ड एरर (MSE) प्राप्त किया और शिफ्ट्स के दौरान स्थिर रहा। इसके विपरीत, $\pi_{BC2}$ मापन शिफ्ट के तहत तेजी से खराब हो गया, और $\pi_{BC1}$ ने जनसंख्या शिफ्ट के तहत बढ़ता हुआ एरर दिखाया।

2. सिमुलेशन अध्ययन (Simulation Study):

   • सेटअप: सेक्शन 2 में दिए गए मॉडल से उत्पन्न सिंथेटिक डेटा।
   • परिणाम: प्रयोगों ने सैद्धांतिक मजबूती के दावों की पुष्टि की। $\pi_{opt}$ मापन चैनल बदलने पर भी अपरिवर्तित रहा, जबकि $\pi_{BC2}$ विफल रहा। इसी तरह, जब स्टेट ट्रांजिशन कर्नेल शिफ्ट हुए लेकिन मार्जिनल लेटेंट वितरण स्थिर रहा, तब $\pi_{opt}$, $\pi_{BC1}$ की तुलना में अधिक स्थिर था।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि CausIL उन स्थितियों में "कॉज़ल डेल्यूजन" (causal delusion) समस्या के लिए एक सिद्धांतवादी समाधान प्रदान करता है जब डेटा शोर युक्त हो और वातावरण बदल रहा हो।

• मजबूती (Robustness): प्राथमिक महत्व यह प्रदर्शन करना है कि इंटरवेंशनल मात्राओं को लक्षित करना (प्रॉक्सिमल आइडेंटिफिकेशन के माध्यम से) ऐसे पॉलिसियों को जन्म देता है जो रिवॉर्ड सिग्नल या इंटरैक्टिव विशेषज्ञ प्रश्नों के बिना भी नए डोमेन में बेहतर सामान्यीकरण (generalize) करते हैं।
• व्यावहारिकता (Practicality): यह विधि पूरी तरह से ऑफलाइन सेटिंग्स में काम करती है, जो स्वास्थ्य सेवा (जैसे, ICU निर्णय समर्थन) और रोबोटिक्स जैसे उच्च-दांव वाले डोमेन के लिए महत्वपूर्ण है जहाँ इंटरैक्टिव अन्वेषण असंभव या खतरनाक है।
• सीमाएँ (Limitations): दृष्टिकोण विशिष्ट पहचान धारणाओं (जैसे, वैध प्रॉक्सी का अस्तित्व और रैंक/पूर्णता की स्थिति) पर निर्भर करता है। लेखक नोट करते हैं कि ये स्थितियाँ गैर-तुच्छ (non-trivial) हैं लेकिन कई व्यावहारिक परिदृश्यों में संतुष्ट होती हैं जहाँ विलंबित गुप्त अवस्थाओं और शोर युक्त सेंसरों का उपयोग किया जाता है।

लेखक निष्कर्ष निकालते हैं कि वास्तविक, बदलते परिवेशों में, जिनमें मापन त्रुटि है, शुद्ध अवलोकनात्मक प्रदर्शनों से नीतियां सीखने के लिए व्यवहार संबंधी क्लोनिंग (behavioral cloning) से आगे बढ़कर ऐसे कारण ढांचों (causal frameworks) की आवश्यकता है जो गुप्त अवस्थाओं, प्रॉक्सी और क्रियाओं के बीच संबंध को स्पष्ट रूप से मॉडल करते हैं।