तकनीकी सारांश: PERRY – सहायक डेटा का उपयोग करके कॉन्फिडेंस इंटरवल के साथ पॉलिसी इवैल्यूएशन (नीति मूल्यांकन)

समस्या विवरण (Problem Statement)

ऑफ-पॉलिसी इवैल्यूएशन (OPE), एक नई सुदृढीकरण शिक्षण (Reinforcement Learning - RL) नीति के परिनियोजन (deployment) से पहले उसके मूल्य का अनुमान लगाने के लिए महत्वपूर्ण है, विशेष रूप से स्वास्थ्य सेवा जैसे उच्च-जोखिम वाले क्षेत्रों में जहाँ प्रत्यक्ष प्रयोग करना जोखिम भरा होता है। मानक OPE विधियाँ तब संघर्ष करती हैं जब लक्षित नीति (target policy) व्यवहार नीति (behavior policy) से काफी भिन्न होती है, क्योंकि डेटा कवरेज सीमित होता है। हालिया प्रगति बताती है कि सहायक डेटासेट, जैसे कि जनरेटिव मॉडल द्वारा उत्पन्न सिंथेटिक प्रक्षेपवक्र (synthetic trajectories), का लाभ उठाकर OPE की सटीकता में सुधार किया जा सकता है। हालाँकि, ये सहायक डेटासेट पूर्वाग्रह (bias) पेश कर सकते हैं, और डेटा ऑग्मेंटेशन का उपयोग करने वाली मौजूदा OPE विधियों में सिद्धांतपूर्ण अनिश्चितता मात्रा निर्धारण (uncertainty quantification) का अभाव है। उच्च-जोखिम वाले परिवेशों में, विश्वसनीय कॉन्फिडेंस इंटरवल (CI) सुरक्षित नीति चयन के लिए आवश्यक हैं। वर्तमान में, कोई भी मौजूदा विधि ऐसी नहीं है जो वास्तविक (offline) डेटा और सिंथेटिक प्रक्षेपवक्रों को संयोजित करने वाले OPE सेटिंग्स में CI के लिए औपचारिक गारंटी प्रदान करती हो।

कार्यप्रणाली (Methodology)

यह शोध पत्र वास्तविक और सिंथेटिक दोनों डेटा का उपयोग करते हुए मार्कोव डिसीजन प्रोसेस (MDPs) में पॉलिसी वैल्यू के लिए वैध कॉन्फिडेंस इंटरवल बनाने के लिए दो विधियाँ, CP-Gen और DR-PPI, प्रस्तावित करता है।

1. CP-Gen: स्टेट-कंडीशनड वैल्यूज के लिए कॉन्फॉर्मल प्रेडिक्शन

CP-Gen एक विशिष्ट प्रारंभिक अवस्था (initial state), $V^\pi(s)$, पर आधारित पॉलिसी वैल्यू का अनुमान लगाने के कार्य को संबोधित करता है। यह उन परिदृश्यों में महत्वपूर्ण है जहाँ हितधारकों को उन व्यक्तियों के लिए नीतियां चुननी होती हैं जो एक ही अवस्था से शुरू होते हैं (जैसे, समान रोग चरणों वाले रोगी)।

• मुख्य अवधारणा: यह विधि पॉलिसी वैल्यू को एक सिम्युलेटर एस्टीमेट (सिंथेटिक प्रक्षेपवक्रों का उपयोग करके) और एक "मॉडल बायस" पद (वास्तविक और सिंथेटिक रिटर्न के बीच का अंतर) में विभाजित करती है।
• तंत्र: यह निरंतर अवस्था स्थानों (continuous state spaces) वाले MDPs के लिए तैयार किए गए एक नवीन कॉन्फॉर्मल प्रेडिक्शन फ्रेमवर्क का उपयोग करता है।
  • यह एक रिटर्न डिफरेंस (वास्तविक प्रक्षेपवक्र और उसी अवस्था से शुरू होने वाले संगत सिंथेटिक प्रक्षेपवक्य के बीच का अंतर) के लिए प्रेडिक्शन इंटरवल का निर्माण करता है।
  • व्यवहार नीति ($\pi_b$) और लक्षित नीति ($\pi_e$) के बीच वितरण बदलाव (distribution shift) को संभालने और निरंतर अवस्था स्थान की प्रकृति को प्रबंधित करने के लिए, लेखक एक $\epsilon$-एप्रोक्सिमेशन तकनीक पेश करते हैं। यह सटीक बिंदुओं के बजाय स्थानीय पड़ोस (अवस्था के चारों ओर त्रिज्या $\epsilon_s$ के गोले और रिटर्न डिफरेंस के चारों ओर $\epsilon_r$ के गोले) पर आधारित होकर इम्पोर्टेंस वेट्स को अनुमानित करता है, जिससे वेट एस्टीमेशन व्यावहारिक बन जाता है।
  • $V^\pi(s)$ के लिए अंतिम कॉन्फिडेंस इंटरवल को सिंथेटिक एस्टीमेट में कॉन्फॉर्मल बैंड को जोड़कर बनाया जाता है।

2. DR-PPI: अनकंडीशनल वैल्यूज के लिए डबलली रोबस्ट एस्टीमेशन

DR-PPI प्रारंभिक अवस्थाओं के वितरण पर औसत पॉलिसी प्रदर्शन $V^\pi = \mathbb{E}_{s_0}[V^\pi(s_0)]$ का अनुमान लगाने के अधिक सामान्य कार्य को लक्षित करता है।

• मुख्य अवधारणा: यह विधि डबली रोबस्ट (DR) एस्टीमेशन और प्रेडिक्शन-पावर्ड इंफरेंस (PPI) से प्रेरणा लेती है।
• तंत्र:
  • व्यवहार डेटासेट को क्रॉस-फिटिंग के लिए दो भागों ($D_1, D_2$) में विभाजित किया जाता है।
    х * एक जनरेटिव मॉडल को एक हिस्से पर प्रशिक्षित किया जाता है ताकि लक्षित नीति के तहत सिंथेटिक प्रक्षेपवक्र (rollouts) उत्पन्न किए जा सकें।
  • एस्टीमेटर एक मॉडल-आधारित पद (सिंथेटिक प्रक्षेपवक्रों से प्राप्त रिटर्न का औसत) को एक सुधार पद (correction term) के साथ जोड़ता है जो वास्तविक डेटा से प्राप्त होता है। सुधार पद जनरेटिव मॉडल द्वारा पेश किए गए पूर्वाग्रह को समायोजित करने के लिए वास्तविक प्रक्षेपवक्रों पर इम्पोर्टेंस सैंपलिंग (IS) का उपयोग करता है।
  • विशेष रूप से, प्रत्येक वास्तविक प्रक्षेपवक्य के लिए, अपेक्षित सिंथेटिक रिटर्न का अनुमान लगाने के लिए उसी प्रारंभिक अवस्था से कई सिंथेटिक प्रक्षेपवक्य उत्पन्न किए जाते हैं, जिसे फिर पुन: भारित (re-weighted) वास्तविक रिटर्न से घटाया जाता है।
  • अंतिम अनुमान दो क्रॉस-फिटेड एस्टीमेटर्स का औसत है, और वेरिएंस की गणना एक एसिम्प्टोटिक कॉन्फिडेंस इंटरवल बनाने के लिए की जाती है।

मुख्य योगदान (Key Contributions)

1. औपचारिकीकरण (Formalization): लेखक उन MDPs में अनिश्चितता मात्रा निर्धारण के समस्या को औपचारिक रूप देते हैं जो सिंथेटिक रूप से उत्पन्न प्रक्षेपवक्रों का लाभ उठाते हैं।
2. नवीन एल्गोरिदम: वे CP-Gen और DR-PPI पेश करते हैं, जो क्रमशः स्टेट-कंडीशनड और अनकंडीशनल पॉलिसी वैल्यू एस्टीमेशन के लिए डिज़ाइन किए गए हैं।
3. सैद्धांतिक गारंटी:
   • CP-Gen: यह प्रमाणित है कि यह वैध कॉन्फॉर्मल प्रेडिक्शन इंटरवल उत्पन्न करता है जिनके कवरेज गारंटी निरंतर अवस्था स्थानों में भी एसिम्प्टोटिक रूप से या त्रुटि के छोटे मार्जिन के भीतर मान्य होते हैं। त्रुटि का मार्जिन स्पष्ट रूप से एप्रोक्सिमेशन रेडियस ($\epsilon_s, \epsilon_r$) के फलन के रूप में सीमित है।
   • DR-PPI: यह प्रमाणित है कि यह एसिम्प्टोटिक रूप से वैध कॉन्फिडेंस इंटरवल प्रदान करता है, भले ही जनरेटिव मॉडल गलत (misspecified) हो, बशर्ते कि इम्पोर्टेंस-सैंपलिंग सुधार सुसंगत (consistent) हो।
4. अनुभवजन्य सत्यापन (Empirical Validation): चार डोमेन (इन्वेंट्री कंट्रोल, सेप्सिस उपचार, रोबोटिक कंट्रोल, और MIMIC-IV EHR डेटा) में व्यापक प्रयोगों से पता चलता है कि ये विधियाँ वास्तविक डेटा पर निर्भर बेसलाइन्स की तुलना में अक्सर टाइट (सटीक) इंटरवल के साथ ग्राउंड ट्रुथ वैल्यूज को कवर करने के लिए सहायक डेटा का प्रभावी ढंग से लाभ उठाती हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई बेसलाइन्स के विरुद्ध अपने तरीकों का मूल्यांकन किया, जिनमें इम्पोर्टेंस सैंपलिंग (IS), डायरेक्ट मेथड (DM), डबलली रोबस्ट (DR), और उनके संवर्धित संस्करण (AugIS, AugDR), साथ ही पूर्व कार्य (Foffano et al., 2023) के कॉन्फॉर्मल बेसलाइन शामिल हैं।

• कवरेज: CP-Gen और DR-PPI दोनों ने सभी परीक्षण किए गए डोमेन में ग्राउंड ट्रुथ पॉलिसी वैल्यूज को कवर करने वाले कॉन्फिडेंस इंटरवल लगातार बनाए रखे।
• इंटरवल की चौड़ाई: कई सेटिंग्स में, विशेष रूप से निरंतर अवस्था स्थानों (इन्वेंट्री, D4RL HalfCheetah, MIMIC-IV) के साथ, प्रस्तावित विधियों ने बेसलाइन्स की तुलना में काफी टाइट इंटरवल का उत्पादन किया। उदाहरण के लिए, इन्वेंट्री डोमेन में, CP-Gen ने 5531.60 का इंटरवल लेंथ बनाया, जबकि Foffano et al. बेसलाइन के लिए यह 8550.00 था, और फिर भी इसने ग्राउंड ट्रुथ को कवर किया।
• मजबूती (Robustness): ये विधियाँ व्यवहार नीति के मध्यम मिसस्पेसिफिकेशन और सिंथेटिक प्रक्षेपवक्रों की गुणवत्ता (शोर/नॉइज़) में भिन्नता के प्रति मजबूत पाई गईं।
• बेसलाइन की विफलताएं: जो बेसलाइन बिना सिद्धांतपूर्ण अनिश्चितता सुधार के डेटा को नाइवली ऑगमेंट करते हैं (जैसे, AugIS, AugDR), वे अक्सर पक्षपाती (biased) इंटरवल उत्पन्न करते हैं जो ग्राउंड ट्रुथ को कवर करने में विफल रहते हैं या Q-लर्निंग में वेरिएंस के मुद्दों के कारण अत्यधिक बड़े इंटरवल उत्पन्न करते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह उन व्यवस्थाओं में अनिश्चितता-जागरूक OPE को सक्षम करने की दिशा में एक महत्वपूर्ण कदम है जहाँ वास्तविक और सिंथेटिक दोनों प्रक्षेपव्यों का उपयोग किया जाता है। लेखक इस बात पर जोर देते हैं कि उनका कार्य उच्च-जोखिम वाले डोमेन के लिए मौलिक है जहाँ RL नीतियों के सुरक्षित परिनियोजन के लिए कठोर अनिश्चितता अनुमानों की आवश्यकता होती है।

• अंतराल को पाटना: यह कार्य उस महत्वपूर्ण अंतर को संबोधित करता है जहाँ डेटा ऑग्मेंटेशन का उपयोग करने वाली मौजूदा OPE विधियों में अनुमान की गुणवत्ता पर औपचारिक आश्वासन की कमी है।
• स्केलेबिलिटी: $\epsilon$-एप्रोक्सिमेशन पेश करके, CP-Gen निरंतर और उच्च-आयामी अवस्था स्थानों वाले MDPs के लिए कॉन्फॉर्मल प्रेडिक्शन का विस्तार करता है, एक ऐसा सेटिंग जहाँ पिछले कॉन्फॉर्मल OPE तरीके संघर्ष कर रहे थे।
• व्यावहारिक उपयोगिता: अनुभवजन्य परिणाम बताते हैं कि इन विशिष्ट अनिश्चितता मात्रा निर्धारण तकनीकों के साथ सिंथेटिक डेटा का लाभ उठाने से वैधता से समझौता किए बिना OPE अनुमानों की सटीकता में सुधार किया जा सकता है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि हाइपरपैरामीटर ($\epsilon_s, \epsilon_r$) का चयन उच्च-आयामी सेटिंग्स में अधिक महत्वपूर्ण हो जाता है और भविष्य के कार्यों में उनके चयन के लिए अधिक सिद्धांतपूर्ण प्रक्रियाओं को विकसित करने और डिफ्यूजन मॉडल जैसे वैकल्पिक जनरेटिव मॉडल तलाशने की आवश्यकता है। वे यह भी स्वीकार करते हैं कि CP-Gen के लिए सैद्धांतिक गारंटी में इन मापदंडों पर निर्भर त्रुटि का एक छोटा मार्जिन शामिल है।