तकनीकी सारांश: गैर-निश्चयात्मक कारण मॉडलों के माध्यम से सुदृढ़ प्रतितथ्यात्मक नीति अनुकूलन (Robust Counterfactual Policy Optimisation via Nondeterministic Causal Models)

1. समस्या विवरण

अनुक्रमिक निर्णय लेने में प्रतितथ्यात्मक अनुमान (Counterfactual inference) यह निर्धारित करने का प्रयास करता है कि यदि एक अलग नीति निष्पादित की गई होती, तो देखे गए अवस्था (state), क्रिया (action) और परिणाम (outcome) के प्रक्षेपवक्र (trajectory) को देखते हुए क्या परिणाम होते। यह स्वास्थ्य सेवा जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों में अत्यंत महत्वपूर्ण है, जहाँ प्रयोगों को दोबारा चलाना अनैतिक या अव्यवहारिक हो सकता है।

मार्कोव निर्णय प्रक्रियाओं (MDPs) में प्रतितथ्यात्मक अनुमान के मौजूदा दृष्टिकोण आमतौर पर वातावरण को एक निश्चयात्मक संरचनात्मक कारण मॉडल (Deterministic Structural Causal Model - SCM) के रूप में मॉडल करते हैं। इस ढांचे में, सभी यादृच्छिकता (randomness) अनअवलोकित गुप्त चरों ($U$) के लिए जिम्मेदार होती है। हालाँकि, वास्तविक दुनिया के MDP स्वाभाविक रूप से स्टोकेस्टिक (stochastic) होते; यादृच्छिकता अक्सर दो अलग-अलग स्रोतों से उत्पन्न होती है:

1. गुप्त भ्रम (Latent Confounding): अनअवलोकित कारक (जैसे रोगी की आनुवंशिकी या जनसांख्यिकी) जो संक्रमणों (transitions) को प्रभावित करते हैं।
2. अपरिहार्य स्टोकेस्टिसिटी (Irreducible Stochasticity): प्रणाली में मौलिक यादृच्छिकता (जैसे रैंडम नंबर जेनरेटर या समग्र शोर) जिसे गुप्त चरों में नहीं बदला जा सकता।

यह शोध उस अंतर को संबोधित करता है जहाँ दोनों स्रोत सह-अस्तित्व में होते हैं। मानक SCMs इन दोनों के बीच अंतर करने में विफल रहते हैं, जिससे अपरिहार्य शोर को गुप्त भ्रम के रूप में या इसके विपरीत गलत तरीके से आरोपित किया जा सकता है। लेखक प्रायिकतात्मक गैर-निश्चयात्मक कारण मॉडलों (Probabilistic Nondeterministic Causal Models - PNSCMs) के तहत प्रतितथ्यात्मक नीति अनुकूलन को औपचारिक रूप देने का प्रस्ताव करते हैं, जो अंतर्निहित स्टोकेस्टिसिटी की अनुमति देते हैं और संवेदनशीलता विश्लेषण (sensitivity analysis) के माध्यम से गुप्त भ्रमों के प्रभाव को स्पष्ट रूप से सीमित करते हैं।

2. कार्यप्रणाली (Methodology)

2.1 प्रायिकतात्मक गैर-निश्चयात्मक कारण मॉडल (PNSCMs)

लेखक वातावरण को एक PNSCM के रूप में मॉडल करते हैं, जो निश्चयात्मक संरचनात्मक समीकरणों के स्थान पर सशर्त संभाव्यता वितरणों (conditional probability distributions) को प्रतिस्थापित करता है। PNSCMs की एक प्रमुख विशेषता वास्तविक रूप से परिष्कृत करना (actualised refinement) है: दिए गए अवलोकित सेटिंग $(u, v)$ के लिए, वितरण $P_X$ को अवलोकित परिणामों $x$ को निश्चित रूप से लौटाने के लिए परिष्कृत किया जाता है जब उसे अवलोकित माता-पिता (parents) दिए जाते हैं, जबकि अन्य इनपुट के लिए अपनी प्रायabilistic प्रकृति बनाए रखता है। यह इस अर्थ को पकड़ता है कि हम केवल वास्तविक सेटिंग से कारण तंत्र (causal mechanism) सीखते हैं, न कि प्रतितथ्यात्मक संभावनाओं से।

2.2 संवेदनशीलता विश्लेषण ढांचा (Sensitivity Analysis Framework)

उन वैश्विक गुप्त भ्रमों ($U$) को संभालने के लिए जो एक प्रक्षेपवक्र के दौरान स्थिर रहते हैं, लेखक कौसिक एट अल. [2024] के समान एक संवेदनशीलता विश्लेषण दृष्टिकोण का उपयोग करते हैं।

• संवेदनशीलता पैरामीटर ($\Delta$): गुप्त चर $U$ के प्रभाव को एक पैरामीटर $\Delta \ge 1$ द्वारा सीमित किया जाता है। यह सशर्त संक्रमण संभाव्यता $P(s' | s, a, u)$ और हाशिए वाली (marginal) संक्रमण संभाव्यता $P(s' | s, a)$ के बीच ऑड्स अनुपात (odds ratio) को नियंत्रित करता है:
  $$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$$
  • $\Delta = 1$: कोई भ्रम नहीं (पूर्णतः निर्दिष्ट PNSCM)।
  • $\Delta \to \infty$: अधिकतम भ्रम।

2.3 संवेदनशीलता ($\Delta$) का अंशांकन (Calibrating Sensitivity)

डोमेन ज्ञान के बिना $\Delta$ का चयन करना एक बड़ी चुनौती है। शोध पत्र अवलोकित अवस्था चरों से $\Delta(s, a)$ के लिए ऊपरी सीमा प्राप्त करने हेतु एक सिद्धांतपूर्ण विधि प्रस्तावित करता है:

1. चरों को छिपाना (Hiding Variables): प्रत्येक अवलोकित अवस्था चर $i$ के लिए, लेखक $i$ पर मार्जिनलाइज़ करके संक्रमण वितरण $P(s' | s_{-i}, a)$ की गणना करते हैं।
2. ऑड्स अनुपात गणना: वे पूर्ण संक्रमण और हाशिए वाले संक्रमण के बीच अधिकतम ऑड्स अनुपात की गणना करते हैं।
3. प्रॉक्सी चयन: संवेदनशीलता $\Delta(s, a)$ को सभी चरों में से इन अनुपातों में से अधिकतम के रूप में सेट किया जाता है। सीमा की कठोरता को समायोजित करने के लिए एक स्केलिंग कारक $\Gamma$ लागू किया जा सकता है।

2.4 अनुकूलन प्रक्रिया (Optimization Procedure)

लक्ष्य एक ऐसी नीति $\pi$ खोजना है जो $U$ की अनिश्चितता के तहत सबसे खराब स्थिति वाले प्रतितथ्यात्मक मूल्य $V^{CF}$ को अधिकतम करती है।

• प्रतितथ्यों में वास्तविक रूप से परिष्कृत करना (Actualised Refinement in Counterfactuals): एक अवलोकित संक्रमण $(s_t, a_t, s_{t+1})$ के लिए, प्रतितथ्यात्मक संक्रमण संभाव्यता $P^{CF}_t$ एक मिश्रण है: $P(U=u|\tau)$ की संभावना के साथ, संक्रमण नियत (deterministic) होता है (अर्थात $s_{t+1}$ पर रहना); अन्यथा, यह अनुकूलित संक्रमण संभाव्यता $\tilde{P}$ का अनुसरण करता है।
• विच्छेदित अनुकूलन (Decoupled Optimization): समस्या को सुलभ बनाने के लिए, लेखक समय चरणों और अवस्था-क्रिया युग्मों के बीच अनुकूलन को अलग करते हैं, प्रत्येक $(t, s, a)$ ट्रिपल को स्वतंत्र रूप से मानते हुए। यह वास्तविक निराशावादी (pessimistic) मूल्य का एक रूढ़िवादी निचला स्तर (lower bound) प्रदान करता है।
• प्रतिपक्षी प्रारूप (Adversarial Formulation): अनुकूलन में एक प्रतिपक्षी शामिल है जो मूल्य को कम करने के लिए $P(U|\tau)$ और संक्रमण संभावनाओं $\tilde{P}$ को संयुक्त रूप से चुनता है, संवेदनशीलता बाधाओं के अधीन। इस गैर-उत्तल (non-convex) समस्या को Gurobi का उपयोग करके हल किया जाता है।
• समय-समरूपता (Time-Homogeneity): शोध पत्र नोट करता है कि समय-समरूपता (जो निरंतर संक्रमणों की आवश्यकता रखती है) को शामिल करने से एक ट्रिलिनियर कपलिंग (trilinear coupling) बनती है जिसे ग्रेडिएंट डिसेंट के माध्यम से हल किया जा सकता है, हालांकि यह केवल स्थानीय मिनिमा की गारंटी देता है।

3. प्रयोगात्मक मूल्यांकन (Experimental Evaluation)

इस दृष्टिकोण को सेप्सिस उपचार सिम्युलेटर (ओबरस्ट और सोंटाग, 2019) पर मान्य किया गया।

• सेटअप: अवस्था स्थान में महत्वपूर्ण संकेत (हृदय गति, रक्तचाप आदि) शामिल हैं। क्रिया स्थान उपचारों को चालू/बंद करने से संबंधित है।
• भ्रम (Confounder): मधुमेह की स्थिति ($U \in \{0, 1\}$) एक वैश्विक गुप्त भ्रम के रूप में कार्य करती है, जो 20% आबादी को प्रभावित करती है। मूल्यांकन के लिए वास्तविक संक्रमण मैट्रिक्स $P(S' | S, A, U)$ ज्ञात है लेकिन नीति व्युत्पत्ति के दौरान छिपा हुआ है।
• डेटा: विधि हाशिए वाले संक्रमण मैट्रिक्स (जहाँ मधुमेह छिपा हुआ है) पर एक उप-इष्टतम नीति (0.5 की संभावना के साथ इष्टतम, अन्यथा रैंडम) से उत्पन्न प्रक्षेपवक्रों का उपयोग करती है।

मुख्य परिणाम

1. सुदृढ़ सुधार (Robust Improvement): व्युत्पन्न प्रतितथ्यात्मक नीतियां ($\pi^*_\Delta$) पूरी तरह से अवलोकित MDP (जहाँ मधुमेह ज्ञात है) पर मूल्यांकन किए जाने पर देखे गए उप-इष्टतम नीति से लगातार बेहतर प्रदर्शन करती हैं।
2. प्रॉक्सी सटीकता:
   • मधुमेह वाले प्रक्षेपवक्यों के लिए, बिना स्केल किया गया प्रॉक्सी ($\Gamma=1$) "ओरेकल" प्रदर्शन (सर्वश्रेष्ठ संभव परिणाम यदि वास्तविक मधुमेह संवेदनशीलता $\Delta^*$ ज्ञात होती) के करीब था।
   • गैर-मधुमेह प्रक्षेपवक्यों के लिए, प्रॉक्सी रूढ़िवादी था (भ्रम को अधिक आंकना), जिससे मूल्य अनुमान ओरेकल की तुलना में कम थे। हालांकि, परिणामी नीतियां ओरेकल के प्रदर्शन के करीब रहीं, जो दर्शाता है कि विधि तब भी सुदृढ़ नीतियां निकालती है जब मूल्य अनुमान रूढ़िवादी होते हैं।
3. $\Gamma$ के प्रति संवेदनशीलता: स्केलिंग कारक $\Gamma$ को समायोजित करके लेखकों ने मूल्य अनुमान सटीकता और नीति सुदृढ़ता के बीच संतुलन को ट्यून करने की अनुमति दी।

4. मुख्य योगदान

• औपचारिकीकरण: यह शोध PNSCMs के तहत संवेदनशीलता विश्लेषण ढांचे के भीतर सुदृढ़ प्रतितथ्यात्मक नीतियों को पहचानने के लिए पहले व्यावहारिक अनुकूलन समस्या को औपचारिक रूप देता है।
• संवेदनशीलता ढांचा: यह एक संवेदनशीलता विश्लेषण ढांचे का उपयोग करके सुदृढ़ प्रतितथ्यात्मक नीतियां पहचानने के लिए एक व्यावहारिक अनुकूलन समस्या प्रस्तावित करता है जो गुप्त चर के प्रभाव को सीमित करता है।
• अंशांकन विधि: यह अवलोकित अवस्था चरों का उपयोग करके संवेदनशीलता पैरामीटर $\Delta$ को कैलिब्रेट करने के लिए एक डेटा-संचालित विधि पेश करता है, जिससे विशेषज्ञ डोमेन ज्ञान पर निर्भरता कम होती है।
• प्रयोगात्मक सत्यापन: यह प्रदर्शित करता है कि छिपे हुए वैश्विक भ्रमों वाले यथार्थवादी स्वास्थ्य सेवा सिम्युलेटर पर सुदृढ़ प्रतितथ्यात्मक नीतियां निकाली और सत्यापित की जा सकती हैं।

5. महत्व और दावे

लेखक दावा करते हैं कि यह कार्य PNSCMs के भीतर संवेदनशीलता विश्लेषण ढांचे के तहत सुदृढ़ प्रतितथ्यात्मक नीतियों की पहचान करने के लिए पहला व्यावहारिक अनुकूलन समस्या प्रदान करता है। इसका महत्व उन मौजूदा निश्चयात्मक SCM दृष्टिकोणों की सीमाओं को दूर करने में निहित है, जो स्वाभाविक स्टोकेस्टिसिटी वाले वातावरण को ठीक से मॉडल नहीं कर सकते।

शोध पत्र निष्कर्ष निकालता है कि व्युत्पन्न नीतियां, भले ही संवेदनशीलता पैरामीटर का अनुमान देखे गए डेटा से लगाया गया हो, वास्तविक, पूर्णतः निर्दिष्ट वातावरण पर मूल्यांकन किए जाने पर सुदृढ़ होती हैं। लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि विच्छेदित अनुकूलन एक वैध निचला स्तर (lower bound) प्रदान करता है, लेकिन अधिक सटीक मूल्य अनुमान प्राप्त करने के लिए समय-समरूपता बाधाओं और विभिन्न प्रकार के गुप्त चरों (जैसे मेमोरीलेस कन्फाउंडर्स) को तलाशने के लिए भविष्य के कार्य की आवश्यकता है।