📊 statistics

Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

यह शोध पत्र LURE प्रस्तुत करता है, जो छिपे हुए कार्यों (hidden actions) वाले ऑफलाइन सुदृढीकरण शिक्षण (reinforcement learning) के लिए पहली विधि है, जो अनंत-क्षितिज वाले मार्कोव निर्णय प्रक्रियाओं (infinite-horizon Markov decision processes) में बहु-सुदृढ़ (multiply robust) और सांख्यिकीय रूप से वैध नीति मूल्य अनुमान को सक्षम करने के लिए अगली-अवस्था चरों (next-state variables) को प्रॉक्सी के रूप में उपयोग करता है।

मूल लेखक: Zeyu Bian, Ying Zhou, Yifan Cui

प्रकाशित 2026-07-29

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zeyu Bian, Ying Zhou, Yifan Cui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल खेल खेलना सिखाने की कोशिश कर रहे हैं, जैसे कि किसी शहर में नेविगेट करना या किसी मरीज के स्वास्थ्य का प्रबंधन करना। आपके पास रोबोट को वास्तविक समय में खेल चलाने का समय नहीं है; इसके बजाय, आप उसे एक मानव खिलाड़ी द्वारा किए गए पिछले प्रयासों की एक विशाल लॉगबुक देते हैं। यह रीइन्फोर्समेंट लर्निंग (RL) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ कंप्यूटर समय के साथ सर्वोत्तम निर्णय लेने के लिए परीक्षण और त्रुटि (trial and error) से सीखते हैं। इसका लक्ष्य आमतौर पर यह पता लगाना होता है: "यदि हम भविष्य में नियमों के एक विशिष्ट सेट (एक पॉलिसी) का पालन करते हैं, तो इस पुराने लॉगबुक के आधार पर हम कितना अच्छा प्रदर्शन करेंगे?"

हालाँकि, इसमें एक पेंच है। वास्तविक दुनिया में, लॉगबुक शायद ही कभी पूर्ण होती है। कभी-कभी, नोट लिखने वाले व्यक्ति ने गलती की होती है, या डेटा रिकॉर्ड करने वाली प्रणाली दोषपूर्ण होती है। इस शोध पत्र की भाषा में, वह "एक्शन" (क्रिया) जो इंसान ने वास्तव में लिया था (जैसे कि एक विशिष्ट दवा देना) छिपा हुआ हो सकता है, और हमें केवल उसका एक "प्रॉक्सि" या शोर भरा अनुमान दिखाई देता है (जैसे कि डॉक्टर का नोट कहता है "दवा दी गई" जबकि वास्तव में उन्होंने नहीं दी थी, या इसके विपरीत)। यदि आप एक ऐसी लॉगबुक का उपयोग करके अपने रोबोट को सिखाने की कोशिश करते हैं जो गलतियों से भरी है, तो वह गलत सबक सीख जाएगा, जिससे बाद में बुरे निर्णय लिए जाएंगे। यह शोध पत्र इस पेचीदा समस्या पर काम करता है कि कैसे प्रभावी ढंग से सीखा जाए जब कहानी का सबसे महत्वपूर्ण हिस्सा—वास्तविक एक्शन—गायब या छद्म रूप में हो।

लापता चाल का रहस्य

"लर्निंग फ्रॉम द अनसीन" (Learning from the Unseen) नामक शोध पत्र में, लेखक ज़ेयू बियान, यिंग झोउ और यिफान कुई एक ऐसी जासूसी कहानी का सामना करते हैं जहाँ मुख्य सुराग गायब है। कल्पना कीजिए कि आप एक सुरक्षा वीडियो देखकर अपराध को सुलझाने की कोशिश कर रहे हैं एक जासूस हैं। लेकिन यहाँ एक मोड़ है: वीडियो संदिग्ध की छाया दिखाता है, न कि स्वयं संदिग्ध को। आप छाया को हिलते हुए देख सकते हैं, लेकिन आप यह नहीं जान सकते कि संदिग्ध के हाथ वास्तव में क्या कर रहे थे। डेटा साइंस की दुनिया में, इसे "हिडन एक्शन्स" (छिपे हुए एक्शन) कहा जाता है।

आमतौर पर, जब वैज्ञानिक पिछले डेटा का उपयोग करके किसी रणनीति का मूल्यांकन करने की कोशिश करते हैं (जिसे ऑफ-पॉलिसी इवैल्यूएशन कहा जाता है), तो वे मानते हैं कि लॉगबुक एकदम सही है। वे मानते हैं कि यदि लॉग कहता है "एक्शन A लिया गया था," तो एक्शन A निश्चित रूप से लिया गया था। लेकिन वास्तविक दुनिया के अव्यवस्थित परिदृश्यों में—जैसे अस्पताल के रिकॉर्ड जहाँ एक डॉक्टर उपचार के घंटों बाद नोट लिख सकता है, या एक सिस्टम जो गलती से बटन दबाने को गलत लेबल कर देता है—यह धारणा एक जाल है। यदि आप गलतियों को अनदेखा करते हैं, तो आपकी रणनीति का मूल्यांकन पक्षपाती होगा, जैसे कि किसी शेफ के खाना बनाने के कौशल का आकलन उस मेनू के आधार पर करना जिसमें गलत सामग्री सूचीबद्ध है।

अगले कदम का जादू

लेखकों की बड़ी सफलता यह महसूस करने में है कि भले ही आप "एक्शन" को सीधे नहीं देख सकते, लेकिन आप अक्सर अगले क्षण में उसकी परछाई देख सकते हैं।

इसे इस तरह सोचिए: यदि एक जादूगर छड़ी लहराता है (छिपा हुआ एक्शन), तो आप कैमरे पर धुंध के कारण छड़ी को स्पष्ट रूप से नहीं देख पाते। लेकिन आप टोपी में खरगोब का प्रकट होना (अगली स्थिति/नेक्स्ट स्टेट) देख सकते हैं। खरगोब अचानक कहीं से भी प्रकट नहीं हुआ; वह छड़ी लहराने के कारण प्रकट हुआ। "नेक्स्ट स्टेट" (खरगोब) और "शोर भरे नोट" (धुंधला वीडियो) के बीच के संबंध का अध्ययन करके, लेखकों ने यह पता लगाया कि जादूगर ने वास्तव में क्या किया था।

वे अपने नए तरीके को LURE (लर्निंग फ्रॉम द अनसीन: रोबस्ट एस्टिमेटर) कहते हैं। यह एक सुपर-स्मार्ट जासूस की तरह है जो न केवल संदिग्ध की धुंधली फोटो देखता है, बल्कि यह भी देखता है कि पीछे पैरों के निशान क्या हैं और मौसम की रिपोर्ट क्या कहती है ताकि सटीक निष्कर्ष निकाला जा सके कि वास्तव में क्या हुआ था।

LURE कैसे काम करता है: "डबल-चेक" सिस्टम और जासूस का टूलकिट

यह शोध पत्र एक रणनीति के मूल्य का अनुमान लगाने का एक चतुर तरीका पेश करता है ताकि गलतियों से धोखा न खाया जाए। वे मल्टीपल रोबस्टनेस (बहु-मजबूती) नामक एक अवधारणा का उपयोग करते हैं।

कल्पना कीजिए कि आप बाहर के तापमान का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन आपका थर्मामीटर खराब है। आपके पास तीन अन्य सुराग हैं: एक गीला कुत्ता, एक हिलता हुआ पेड़ और एक बादल का निर्माण।

यदि आपका थर्मामीटर खराब है, तो भी आप सही अनुमान लगा सकते हैं यदि आपका "गीला कुצא" वाला सुराग सटीक है।
यदि कुत्ता सूखा है लेकिन पेड़ हिल रहा है, तो भी आप सही अनुमान लगा सकते हैं।
यह सिस्टम "रोबस्ट" है क्योंकि इसे हर सुराग के एकदम सही होने की आवश्यकता नहीं है; इसे बस उनके संयोजन में से कुछ के सही होने की आवश्यकता है।

LURE भी इसी तरह काम करता है। यह एक गणितीय मॉडल बनाता है जो डेटा के कई अलग-अलग हिस्सों की जांच करता है। भले ही "शोर वाले एक्शन" का मॉडल थोड़ा गलत हो, या "नेक्स्ट स्टेट" का मॉडल थोड़ा हटकर हो, एस्टिमेटर रणनीति के वास्तविक मूल्य को पा सकता है, बशर्ते कि अन्य भागों में से कम से कम एक सही हो। यह अंतिम उत्तर को पिछले तरीकों की तुलना में बहुत अधिक विश्वसनीय बनाता है, जो केवल एक हिस्से के खराब होने पर भी विफल हो जाते थे।

लेकिन LURE इस पहेली को कैसे सुलझाता है, इसमें एक छिपी हुई जटिलता है। चूंकि वास्तविक एक्शन कभी देखे नहीं जाते, इसलिए कंप्यूटर को यह अनुमान लगाना पड़ता है कि वास्तव में क्या हुआ था। इसे करने के लिए, लेखकों ने एक विशेष इटरेटिव एल्गोरिदम (जो 'एक्सपेक्टेशन-मैक्सिमाइजेशन' या EM नामक विधि पर आधारित है) विकसित किया है। इसे एक ऐसे जासूस के रूप में सोचें जो लगातार अपने सिद्धांत को परिष्कृत करता रहता है:

अनुमान (E-step): कंप्यूटर छिपे हुए एक्शन के बारे में एक अनुमान से शुरू करता है।
अपडेट (M-step): उस अनुमान का उपयोग करते हुए, यह उन मॉडलों को अपडेट करता है कि कैसे एक्शन रिवॉर्ड्स और नेक्स्ट स्टेट्स की ओर ले जाते हैं।
परिष्करण (Refinement): फिर यह छिपे हुए एक्शन के बारे में बेहतर अनुमान लगाने के लिए इन अपडेटेड मॉडलों का उपयोग करता है, और जब तक कहानी पूरी तरह से समझ में न आ जाए, तब तक यह चक्र दोहराता रहता है।

हालाँकि, एक अंतिम मोड़ भी है। क्योंकि कंप्यूटर अनुमान लगा रहा है, यह गलती से लेबल बदल सकता है। यह तय कर सकता है कि "एक्शन 0" वास्तव में "दवा" है और "एक्शन 1" "कोई दवा नहीं" है, जबकि वास्तव में यह बिल्कुल उल्टा है। गणित दोनों तरफ काम करता है, लेकिन अर्थ बदल जाता है। इसे ठीक करने के लिए, लेखक एक महत्वपूर्ण लेबल अलाइनमेंट चरण शामिल करते हैं। अंतिम उत्तर देने से पहले, सिस्टम यह जांचता है कि कौन सा "अनुमान" शोर वाले डेटा के साथ सबसे अधिक तर्कसंगत है (उदाहरण के लिए, कौन सा छिपा हुआ एक्शन देखे गए "दवा दी गई" नोट का परिणाम होने की अधिक संभावना रखता है)। फिर यह आवश्यक होने पर लेबल को पलट देता है ताकि अंतिम रिपोर्ट वास्तविकता से मेल खा सके।

सिद्धांत का परीक्षण

लेखकों ने केवल सिद्धांत नहीं लिखा; उन्होंने इसे तीन अलग-अलग तरीकों से परखा:

सरल सिमुलेशन: उन्होंने केवल तीन अवस्थाओं (states) और दो क्रियाओं (actions) के साथ एक छोटा, काल्पनिक संसार ("टेबुलर MDP") बनाया। उन्होंने जानबूझकर डेटा को 5% से 30% बार गलत लेबल करके बिगाड़ दिया। जबकि अन्य तरीके भ्रमित होकर गलत उत्तर देते रहे, LURE लक्ष्य पर बना रहा और रणनीति के मूल्य का सही अनुमान लगाया।
जटिल सिमुलेशन: वे एक अधिक जटिल, निरंतर दुनिया (जैसे एक चिकनी जगह में घूमता हुआ रोबोट) की ओर बढ़े और वही परिणाम पाया: LURE ने त्रुटियों को सहजता से संभाला, जबकि अन्य विफल रहे।
वास्तविक दुनिया का डेटा: उन्होंने अस्पताल (MIMIC-III) के वास्तविक रोगी रिकॉर्ड के एक विशाल डेटाबेस पर LURE का परीक्षण किया, विशेष रूप से सेप्सिस (संक्रमण के प्रति जीवन के लिए खतरा पैदा करने वाली प्रतिक्रिया) के उपचार पर ध्यान केंद्रित किया। इस वास्तविक परिदृश्य में, उन्होंने LURE की तुलना मानक तरीकों से की। परिणाम चौंकाने वाले थे: मानक तरीकों ने सुझाव दिया कि एक उपचार दूसरे से बेहतर था, लेकिन LURE ने, चिकित्सा रिकॉर्ड में छिपी त्रुटियों को ध्यान में रखते हुए, एक अलग, अधिक विश्वसनीय रैंकिंग का सुझाव दिया। वास्तव में, मानक तरीकों के कॉन्फिडेंस इंटरवल (संभावित उत्तरों की सीमा) इतने ओवरलैप हुए कि वे अंतर नहीं बता सके, जबकि LURE ने एक स्पष्ट, विशिष्ट उत्तर प्रदान किया।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि छिपे हुए एक्शन को अनदेखा करना एक खतरनाक जुआ है। "नेक्स्ट स्टेट" को सच्चाई को उजागर करने के लिए एक प्राकृतिक सुराग के रूप में उपयोग करके, और एक ऐसा सिस्टम बनाकर जो मॉडल के विभिन्न हिस्सों की गलतियों के प्रति मजबूत (robust) है, हम अंततः रणनीतियों का सटीक मूल्यांकन कर सकते हैं, भले ही हमारा डेटा अपूर्ण हो।

यह केवल एक सैद्धांतिक जीत नहीं है; यह भविष्य के लिए एक व्यावहारिक उपकरण है। चाहे चिकित्सा उपचार का निर्णय लेना हो, ट्रैफिक लाइट का प्रबंधन करना हो, या AI एजेंटों को प्रशिक्षित करना हो, LURE शोर से भ्रमित हुए बिना अतीत से सीखने का एक तरीका प्रदान करता है। लेखक दिखाते हैं कि सही गणितीय जासूसी के साथ, हम अनदेखे को देख सकते हैं और कल के लिए बेहतर निर्णय ले सकते हैं।

तकनीकी सारांश: अनदेखे से सीखना: छिपे हुए कार्यों के साथ ऑफलाइन सुदृढीकरण शिक्षण (Offline Reinforcement Learning)

1. समस्या का निरूपण (Problem Formulation)

मानक ऑफलाइन सुदृढीकरण शिक्षण (RL) और ऑफ-पॉलिसी मूल्यांकन (OPE) एल्गोरिदम आमतौर पर यह मान लेते हैं कि डेटासेट में दर्ज किए गए कार्य (actions) बिना किसी त्रुटि के देखे जा सकते हैं। हालाँकि, कई वास्तविक अनुप्रयोगों में—विशेष रूप से इलेक्ट्रॉनिक हेल्थ रिकॉर्ड्स (EHR) का उपयोग करने वाले स्वास्थ्य सेवा क्षेत्र में—वास्तविक कार्य ( $A_t$ ) अनऑब्जर्व्ड (अदृश्य/लैटेंट) होते हैं। इसके बजाय, केवल शोरयुक्त प्रॉक्सी या सरोगेट ( $\tilde{A}_t$ ) ही उपलब्ध होते हैं, जो एनोटेशन त्रुटियों, विलंबित चार्टिंग, अपूर्ण प्रबंधन प्रणालियों, या गोपनीयता-संरक्षण डेटा को सुस्त (coarsening) बनाने के कारण हो सकते हैं।

यह शोध पत्र एक अनंत-क्षित क्षितिज (infinite-horizon) डिस्काउंटेड मार्कोव निर्णय प्रक्रिया (MDP) में एक लक्षित नीति (target policy) $\pi$ के मूल्यांकन की समस्या को संबोधित करता है, जहाँ एक्शन स्पेस आंशिक या पूर्ण रूप से लैटेंट (छिपा हुआ) है। लक्ष्य एक व्यवहार नीति (behavior policy) $b$ द्वारा उत्पन्न ऐतिहासिक डेटा का उपयोग करके पॉलिसी वैल्यू $V(\pi)$ का अनुमान लगाना है, जहाँ देखा गया डेटा $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ है, न कि वास्तविक $\{(S_t, A_t, R_t, S_{t+1})\}$ । मौजूदा OPE विधियों में वास्तविक क्रिया $A_t$ के स्थान पर देखे गए सरोगेट $\tilde{A}_t$ को सीधे प्रतिस्थापित करना पक्षपाती (biased) अनुमानों की ओर ले जाता है, क्योंकि Q-फंक्शन और डेंसिटी रेश्यो लैटेंट वास्तविक क्रिया के संदर्भ में परिभाषित होते हैं।

2. कार्यप्रणाली (Methodology)

2.1 पहचान रणनीति (Identification Strategy)

लेखक स्थापित करते हैं कि विशिष्ट मान्यताओं के तहत देखे गए डेटा वितरण से पॉलिसी वैल्यू $V(\pi)$ की पहचान की जा सकती है। मुख्य अंतर्दृष्टि अगली स्थिति ( $S'$ ) का उपयोग करना है, जो एक प्राकृतिक प्रॉक्सी के रूप में कार्य करती है। चूंकि ट्रांज़िशन डायनेमिक्स वास्तविक क्रिया पर निर्भर करते हैं, इसलिए $S'$ में छिपे हुए कार्य के बारे में जानकारी होती है जिसका उपयोग पहचान के लिए किया जा सकता है।

पहचान चार प्रमुख मान्यताओं (Assumption 3.1) पर आधारित है:

कवरेज (Coverage): लक्षित नीति का सपोर्ट, व्यवहार नीति के सपोर्ट के भीतर है।
प्रासंगिकता (Relevance): रिवॉर्ड $R$ , सरोगेट $\tilde{A}$ , और अगली स्थिति $S'$ , अवस्था $S$ के दिए जाने पर वास्तविक क्रिया $A$ से सशर्त स्वतंत्र नहीं हैं।
सशर्त स्वतंत्रता (Conditional Independence): वास्तविक क्रिया $A$ और अवस्था $S$ के दिए जाने पर, सरोगेट $\tilde{A}$ , रिवॉर्ड $R$ , और अगली स्थिति $S'$ परस्पर स्वतंत्र हैं।
सरोगेट गुणवत्ता (Surrogate Quality): सरोगेट एक रैंडम गेस की तुलना में अधिक जानकारी प्रदान करता है (उदाहरण के लिए, बाइनरी एक्शन्स के लिए, जब $A=1$ होता है तो $\tilde{A}=0$ देखने की संभावना $A=0$ होने की तुलना में कम होती है)।

इन शर्तों के तहत, लेखक सिद्ध करते हैं (Theorem 1) कि $V(\pi)$ अद्वितीय रूप से पहचाना जा सकता है।

2.2 LURE एस्टिमेटर

मूल्य का अनुमान लगाने के लिए, यह शोध पत्र LURE (Learning from the Unseen: Robust Estimator) प्रस्तावित करता है। इस एस्टिमेटर का निर्माण पूर्ण-डेटा एफिशिएंट इन्फ्लुएंस फंक्शन से प्राप्त ऑब्जर्व्ड-डेटा इन्फ्लुएंस फंक्शन के आधार पर किया गया है।

इन्फ्लुएंस फंक्शन $\phi_\pi(O)$ को इस प्रकार परिभाषित किया गया है:
$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$
जहाँ:

$\omega(S, a)$ लक्षित और व्यवहार नीतियों के बीच मार्जिनल डेंसिटी रेश्यो है।
$\theta_R(S, a)$ रिवॉर्ड फंक्शन है।
$M V^\pi(S, a)$ अपेक्षित भविष्य का मूल्य है।
$g_a$ और $g'_a$ "ब्रिज" एस्टिमेटर्स के रूप में कार्य करने वाले निर्मित फंक्शन हैं जो इंडिकेटर फंक्शन $\mathbb{I}(A=a)$ को देखे गए सरोगेट $\tilde{A}$ और अगली-स्थिति प्रॉक्सी $S'$ का उपयोग करके प्रतिस्थापित करते हैं। विशेष रूप से, वे $S$ और $A$ के दिए जाने पर $\tilde{A}$ और $S'$ के कंडीशनल एक्सपेक्टेशन से संबंधित अनुपात हैं।

2.3 एस्टिमेशन प्रक्रिया (EM एल्गोरिदम)

चूंकि वास्तविक क्रिया $A$ लैटेंट है, इसलिए लैटेंट फंक्शन्स ( $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$ ) का अनुमान लगाने के लिए मानक सुपरवाइज्ड लर्निंग का सीधे उपयोग नहीं किया जा सकता है। लेखक एक नवीन एस्पेक्टेशन-मैक्सिमाइजेशन (EM) शैली का पुनरावृत्ति एल्गोरिदम (Algorithm 2) प्रस्तावित करते हैं:

आरंभ (Initialization): पोस्टीरियर प्रोबेबिलिटी $\eta(O; a) = P(A=a | O)$ को इनिशियलाइज़ करें।
M-स्टेप (Weighted Supervised Learning): पोस्टीरियर $\eta$ को ज्ञात वेट्स के रूप में मानें। व्यवहार नीति, मेजरमेंट मॉडल, रिवॉर्ड/ट्रांज़िशन मॉडल और डेंसिटी रेश्यो जैसे न्युसेंस फंक्शन्स को वेटेड रिग्रेशन या वेटेड मिनिमैक्स ऑप्टिमाइज़ेशन (डेंसिटी रेश्यो $\omega$ के लिए) का उपयोग करके अपडेट करें।
E-स्टेप (Posterior Update): बेयस रूल और अपडेटेड न्युसेंस एस्टिमेट्स का उपयोग करके पोस्टीरियर प्रोबेबिलिटी $\eta(O; a)$ को अपडेट करें।
पुनरावृत्ति (Iteration): अभिसरण (convergence) तक दोहराएं।

इसके अतिरिक्त, पेपर लेबल अलाइनमेंट (label alignment) को भी संबोधित करता है, क्योंकि EM एल्गोरिदम लैटेंट क्लासेस के लेबल को मनमाने ढंग से बदल सकता है (जैसे, वास्तविक $A=0$ को कंपोनेंट 1 में मैप करना)। सुसंगत व्याख्या सुनिश्चित करने के लिए अनुमान के बाद एक लेबल-अलाइनमेंट स्टेप किया जाता है।

2.4 क्रॉस-फिटिंग (Cross-Fitting)

ओवरफिटिंग बायस को कम करने और एम्पिरिकल-प्रोसेस शेष (remainders) को नियंत्रित करने के लिए, लेखक $K$ -फोल्ड क्रॉस-फिटिंग प्रक्रिया का उपयोग करते हैं। न्युसेंस फंक्शन्स को ट्रेनिंग फोल्ड्स पर अनुमानित किया जाता है और होल्ड-आउट फोल्ड्स पर उनका मूल्यांकन किया जाता है।

3. प्रमुख सैद्धांतिक योगदान

मल्टीपल रोबस्टनेस (Multiple Robustness): LURE एस्टिमेटर मल्टीपली रोबस्ट है। जैसा कि कोरोलरी 1 में दिखाया गया है, एस्टिमेटर तब भी सुसंगत (consistent) रहता है ( $\hat{V}(\pi) - V(\pi) = o_p(1)$ ) यदि न्युसेंस घटकों के कई विशिष्ट संयोजनों में से कम से कम एक सही ढंग से निर्दिष्ट किया गया हो। उदाहरण के लिए, यदि रिवॉर्ड ब्रिज $\theta_R$ सुसंगत है और साथ ही या तो लैटेंट-एक्शन रिग्रेशन $\theta_{\tilde{A}}$ या नेक्स्ट-स्टेट रिग्रेशन $\theta_{S'}$ सुसंगत है (बशर्ते कि कॉन्टिन्यूएशन वैल्यू एरर नगण्य हो), तो सुसंगतता बनी रहती है।
एसिम्प्टोटिक नॉर्मलिटी (Asymptotic Normality): नियमितता की शर्तों और न्युसेंस एस्टिमेटर्स के अभिसरण दर (विशेष रूप से यह आवश्यकता कि त्रुटियों का उत्पाद $n^{-1/2}$ से तेज़ी से कम हो) के तहत, एस्टिमेटर एसिम्प्टोटिकली नॉर्मल है (Theorem 4)। यह वैध वाल्ड-टाइप कॉन्फिडेंस इंटरवल के निर्माण को सक्षम बनाता है।
एरर बाउंड्स (Error Bounds): पेपर एक परिमित-नमूना (finite-sample) एरर बाउंड प्रदान करता है (Theorem 3) जो अनुमान त्रुटि को इन्फ्लुएंस फंक्शन औसत, एक लेबल-सिलेक्शन रिमाइंडर और न्युसेंस एस्टिमेशन त्रुटियों के उत्पादों से जुड़े एक सेकंड-ऑर्डर रिमाइंडर में विभाजित करता है।

4. प्रायोगिक परिणाम

लेखक सिमुलेशन और एक वास्तविक अनुप्रयोग के माध्यम से LURE का मूल्यांकन करते हैं:

टेबुलर और जनरल MDPs: विभिन्न मिसक्लासिफिकेशन दरों ( $\tau \in \{0.05, 0.1, 0.2, 0.3\}$ ) वाले सिंथेटिक वातावरण में, मानक OPE विधियाँ (SIS, FQE, LSTD, MIS, DRL) जो लैटेंट स्ट्रक्चर को अनदेखा करती हैं, महत्वपूर्ण पक्षपात (bias) प्रदर्शित करती हैं जो उच्च मिसक्लासिफिकेशन के साथ बढ़ता जाता है। LURE वास्तविक पॉलिसी वैल्यू के आसपास केंद्रित रहता है।
OpenAI Gym (CartPole): एक निरंतर-अवस्था (continuous-state) वातावरण में, LURE बेसलाइन से बेहतर प्रदर्शन करता है, कॉन्फिडेंस इंटरवल के लिए सटीक कवरेज रेट बनाए रखता है (नाममात्र 95% स्तर के करीब), जबकि बेसलाइन विधियाँ भारी पक्षपात या अस्थिर कवरेज दिखाती हैं।
MIMIC-III सेप्सिस विश्लेषण: विधि को सेप्सिस मैनेजमेंट डेटासेट पर लागू किया गया है। अध्ययन तीन नीतियों का मूल्यांकन करता है: "Always IV," "No IV," और एक "SOFA-tailored" नियम।
- LURE "Always IV" नीति को सबसे कम अपेक्षित SOFA स्कोर (62.10) के साथ अनुमानित करता है, जो यह सुझाव देता है कि यह इष्टतम नीति है।
- "Always IV" के लिए 95% कॉन्फिडेंस इंटरवल [60.16, 64.04] अन्य नीतियों के इंटरवल के साथ ओवरलैप नहीं होता है।
- इसके विपरीत, मानक DRL एस्टिमेटर सभी नीतियों के लिए ओवरलैपिंग कॉन्फिडेंस इंटरवल उत्पन्न करता है, जिससे वे आपस में अंतर करने में विफल रहता है। यह रेखांकित करता है कि छिपे हुए कार्यों को अनदेखा करने से क्लिनिकल सेटिंग्स में भ्रामक निष्कर्ष निकल सकते हैं।

5. महत्व और दावे

पेपर दावा करता है कि यह हिडन-एक्शन सेटिंग में ऑफलाइन सुदृढीकरण शिक्षण का अध्ययन करने वाला पहला कार्य है। इसका महत्व यहाँ है:

एक महत्वपूर्ण अंतराल को संबोधित करना: यह तब OPE के लिए एक सिद्धांतित ढांचा प्रदान करता है जब एक्शन डेटा शोरयुक्त या लैटेंट होता है, जो स्वास्थ्य सेवा अध्ययनों में एक सामान्य समस्या है जिसे मानक RL विधियाँ विश्वसनीय रूप से हैंडल नहीं कर सकतीं।
सैद्धांतिक कठोरता: यह पहचान की शर्तों को स्थापित करता है और एक ऐसा इन्फ्लुएंस फंक्शन व्युत्पन्न करता है जो RL की अनुक्रमिक प्रकृति को ध्यान में रखता है, जो इसे स्टेटिक हिडन-ट्रीटमेंट फ्रेमवर्क से अलग करता है।
व्यावहारिक उपयोगिता: मल्टीपल रोबस्टनेस और एसिम्प्टोटिक नॉर्मलिटी को प्रदर्शित करके, LURE उन सेटिंग्स में वैध सांख्यिकीय अनुमान (कॉन्फिडेंस इंटरवल और हाइपोथेसिस टेस्टिंग) को सक्षम बनाता है जहाँ पिछले तरीके पक्षपाती पॉइंट एस्टिमेट देंगे।
वास्तविक दुनिया पर प्रभाव: MIMIC-III डेटाबेस का अनुप्रयोग दिखाता है कि छिपे हुए कार्यों को ध्यान में रखने से पॉलिसी रैंकिंग और क्लिनिकल सिफारिशें मौलिक रूप से बदल सकती हैं, जो यह सुझाव देता है कि बिना ऐसे सुधारों के स्वास्थ्य सेवा में मानक RL मूल्यांकन अविश्वसनीय हो सकते हैं।

लेखक एक मध्यम स्वर बनाए रखते हैं, यह नोट करते हुए कि हालांकि ढांचा श्रेणीबद्ध (categorical) एक्शन्स के लिए सामान्यीकरण योग्य है, वर्तमान कार्य स्पष्टता के लिए बाइनरी एक्शन्स पर केंद्रित है, और विधि इस विशिष्ट धारणा पर निर्भर करती है कि अगली स्थिति (next state) एक वैध प्रॉक्सी के रूप में कार्य करती है।