तकनीकी सारांश: जनरलाइज्ड लीनियर मार्कोव डिसीजन प्रोसेस (GRASP-MDP)

1. समस्या विवरण

अनुदैर्ध्य अध्ययनों (longitudinal studies), विशेष रूप से स्वास्थ्य सेवा और डिजिटल हस्तक्षेपों के लिए ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में दो परस्पर जुड़े हुए सिद्धांतगत चुनौतियां हैं:

1. गैर-रेखीय पुरस्कार संरचनाएं (Non-Linear Reward Structures): परिणाम अक्सर बाइनरी (जैसे, पुनरावृत्ति) या सीमित निरंतर (जैसे, 0–10 के पैमाने पर विकलांगता स्कोर) होते हैं, जिन्हें लीनियर MDPs में मानक रेखीय पुरस्कार धारणाओं के बजाय जनरलाइज्ड लीनियर मॉडल्स (GLMs) द्वारा स्वाभाविक रूप से मॉडल किया जाता है।
2. अर्ध-पर्यवेक्षित डेटा की कमी (Semi-Supervised Data Scarcity): जबकि अवस्था-क्रिया-अगली-अवस्था (state-action-next-state) प्रक्षेपवक्र (trajectories) अक्सर पूर्ण रूप से रिकॉर्ड किए जाते हैं, संबंधित पुरस्कार अवलोकन केवल कुछ प्रक्षेपवળો या विशिष्ट समय बिंदुओं के लिए ही उपलब्ध हो सकते हैं। मौजूदा विधियां या तो ट्रांजिशन-ओनली डेटा को हटा देती हैं (जिससे निरंतरता मूल्यों के बारे में जानकारी का नुकसान होता है) या पुरस्कार प्रतिरोपण (reward imputation) पर निर्भर करती हैं (जो अपुष्ट धारणाएं पेश करता है)।

मानक लीनियर MDP विधियां यहाँ विफल हो जाती हैं क्योंकि एक गैर-रेखीय पुरस्कार माध्य (mean) लीनियर बेलमैन पुनरावृत्ति (Bellman recursion) को तोड़ देता है, और मौजूदा अर्ध-पर्यवेक्षित दृष्टिकोण ट्रांजिशन डायनेमिक्स के अनुमान को पुरस्कार मॉडलिंग से स्पष्ट रूप से अलग नहीं करते हैं।

GRASP-MDP एक ऐसा ढांचा प्रस्तावित करता है जो बेलमैन संरचना को बनाए रखते हुए पुरस्कार और ट्रांजिशन अनुमान को अलग करता है।

2. कार्यप्रणाली: GRASP-MDP

लेखक GRASP-MDP (Generalized Reward And Semi-supervised Pessimism for Markov Decision Processes) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो पुरस्कार और ट्रांजिशन अनुमान को अलग करता है और एक सुलभ बेलमैन संरचना बनाए रखता है।

2.1 मॉडल धारणाएं

GRASP-MDP एक हाइब्रिड संरचना मानता है:

• ट्रांजिशन डायनेमिक्स: ट्रांजिशन कर्नेल $\phi_p$ में रेखीय रहता है:
  $$P_h(x_{h+1} | x_h, a_h) = \langle \phi_p(x_h, a_h), \mu_h(x_{h+1}) \rangle$$
• पुरस्कार डायनेमिक्स: सशर्त माध्य पुरस्कार एक ज्ञात लिंक फंक्शन $g$ के साथ एक जनरलाइज्ड लीनियर मॉडल (GLM) का अनुसरण करता है:
  $$E[r_h(x_h, a_h) | x_h, a_h] = g(\langle \phi_r(x_h, a_h), \theta^*_h \rangle)$$
  यहाँ, $\phi_r$ और $\phi_p$ अलग-अलग फीचर मैप्स हैं, जो पुरस्कार-प्रासंगिक और ट्रांजिशन-प्रासंगिक जानकारी को अलग-अलग सांख्यिकीय भूमिकाएं निभाने की अनुमति देते हैं।

2.2 नॉनलीनियर-प्लस-लीनियर बेलमैन पूर्णता (Nonlinear-Plus-Linear Bellman Completeness)

मुख्य सैद्धांतिक अंतर्दृष्टि यह है कि हालांकि गैर-रेखीय पुरस्कार मानक लीनियर बेलमैन क्लास को तोड़ देता है, मॉडल एक नॉनलीनियर-प्लस-लीनियर फंक्शन क्लास $\mathcal{F}$ को प्रेरित करता है:
$$f_{\theta, \beta}(x, a) = g(\langle \phi_r(x, a), \theta \rangle) + \langle \phi_p(x, a), \beta \rangle$$
लेखक सिद्ध करते हैं (प्रपोजिशन 1) कि किसी भी बाउंडेड वैल्यू फंक्शन $V$ का बेलमैन बैकअप इस क्लास $\mathcal{F}$ में आता है। विशेष रूप से, बैकअप एक गैर-रेखीय पुरस्कार पद और एक लीनियर निरंतरता पद में विभाजित होता है। यह संरचना बिना पुरस्कार को लीनियर बनाए स्पष्ट बेलमैन पूर्णता की अनुमति देती है।

2.3 एल्गोरिदम: कंपोनेंटवाइज पेसिमिस्टिक वैल्यू इटरेशन (Componentwise Pessimistic Value Iteration)

सीखने की प्रक्रिया एक विभाजित पेसिमिस्टिक वैल्यू इटरेशन (एल्गोरिदम 1) का उपयोग करती है:

1. पुरस्कार अनुमान: पुरस्कार पैरामीटर $\theta_h$ का अनुमान केवल उस डेटा के उपसमुच्चय का उपयोग करके लगाया जाता है जहाँ पुरस्कार देखे गए हैं ($I^r_h$), एक GLM (जैसे, बाइनोमियल या बीटा रिग्रेशन) के माध्यम से।
2. ट्रांजिशन अनुमान: निरंतरता पैरामीटर $\beta_h$ का अनुमान सभी उपलब्ध अवस्था-क्रिया-अगली-अवस्था ट्रांजिशन ($n + N$ प्रक्षेपवक्रों) का उपयोग करके लगाया जाता है, चाहे पुरस्कार देखा गया हो या नहीं। यह रिज रिग्रेशन (ridge regression) के माध्यम से किया जाता है।
3. पेसिमिज्म (Pessimism): एल्गोरिदम एक पेसिमिस्टिक Q-फंक्शन का निर्माण करता है जो पुरस्कार और ट्रांजिशन घटकों के लिए अलग-अलग अनिश्चितता त्रिज्याओं को घटाता है:
   $$\hat{Q}_h(x, a) = \min \left\{ (\hat{B}_h \hat{V}_{h+1})(x, a) - \hat{\Gamma}_{r,h}(x, a) - \hat{\Gamma}_{p,h}(x, a), H-h+1 \right\}_+$$
   • $\hat{\Gamma}_{r,h}$ को GLM वक्रता (curvature) और पुरस्कार-देखे गए सेट के आकार से प्राप्त किया जाता है।
   • $\hat{\Gamma}_{p,h}$ को ट्रांजिशन फीचर कोवेरिएंस और कुल प्रक्षेपवक्रों की संख्या से प्राप्त किया जाता है।

यह दृष्टिकोण सुनिश्चित करता है कि ट्रांजिशन-ओनली अवलोकन पुरस्कार प्रतिरोपण की आवश्यकता के बिना ट्रांजिशन अनुमान त्रुटि को कम करते हैं।

3. मुख्य योगदान

1. सैद्धांतिक ढांचा: पुरस्कार-ट्रांजिशन पृथक्करण द्वारा प्रेरित नॉनलीनियर-प्लस-लीनियर फंक्शन क्लास के लिए बेलमैन पूर्णता की स्थापना।
2. एल्गोरिदम विकास: एक कंपोनेंटवाइज पेसिमिस्टिक वैल्यू इटरेशन एल्गोरिदम जो पुरस्कार और ट्रांजिशन अनिश्चितताओं को अलग-अलग नियंत्रित करता है।
3. फाइनाइट-सैंपल गारंटी (Finite-Sample Guarantees): सैद्धांतिक सीमाएं जो दिखाती हैं कि सीखे गए नीति की उप-इष्टतमता (suboptimality) दो अलग-अलग पदों द्वारा शासित होती है:
   • एक पुरस्कार पद जो $O(\sqrt{d_r/n})$ के साथ स्केल करता है, जहाँ $n$ पुरस्कार-देखे गए प्रक्षेपवक्रों की संख्या है।
   • एक ट्रांजिशन पद जो $O(\sqrt{d_p/(n+N)})$ के साथ स्केल करता है, जहाँ $n+N$ कुल प्रक्षेपवक्र हैं।
     यह सिद्ध करता है कि ट्रांजिशन-ओनली डेटा ($N$) नीति शिक्षण में सुधार करता है, भले ही पुरस्कार गायब हों।
4. विस्तार: ढांचे को स्टेप-लेवल रिवॉर्ड ऑब्जर्वेशन (जहाँ प्रक्षेपवक्रों के भीतर पुरस्कार रैंडमली गायब होते हैं) और परिमित माध्य रेंज वाले सब-गौसियन पुरस्कारों तक विस्तारित किया गया है।

4. अनुभवजन्य परिणाम (Empirical Results)

4.1 सिमुलेशन

• सेटिंग्स: प्रयोगों में बाइनरी और बाउंडेड कंटीन्यूअस रिवार्ड्स (बीटा वितरण) के साथ पूर्ण और आंशिक पुरस्कार अवलोकन को कवर किया गया।
• निष्कर्ष: जब पुरस्कार गैर-रेखीय थे, तो GRASP-MDP ने लीनियर MDP बेसलाइन्स (PEVI, लोकल/ग्लोबल Q-लर्निंग) को लगातार पछाड़ दिया। आंशिक पुरस्कार अवलोकन के तहत, ट्रांजिशन-ओनली प्रक्षेपवक्रों को बनाए रखने से उन तरीकों की तुलना में नीति प्रदर्शन में काफी सुधार हुआ जो उन्हें हटा देते थे या केवल लेबल वाले डेटा का उपयोग करते थे।

4.2 वास्तविक दुनिया का अनुप्रयोग: मल्टीपल स्क्लेरोसिस (MS)

• संदर्भ: इलेक्ट्रॉनिक हेल्थ रिकॉर्ड्स (EHRs) का उपयोग करके डिजीज-मॉडिफाइंग ट्रीटमेंट (DMT) रणनीतियों को सीखना।
• डेटा: मास जनरल ब्रिगहम EHR और CLIMB रजिस्ट्री से 4,295 रोगियों का एक समूह। पुरस्कार एक्सपेंडेड डिसेबिलिटी स्टेटस स्केल (EDSS) पर आधारित थे, जो कि बाउंडेड (0–10) है और रुक-रुक कर देखा जाता है (लगभग 40% रोगी-अवधियों में गायब)।
• परिणाम: GRASP-MDP नीति, जो रिवॉर्ड-मिसिंग डेटा (रिवॉर्ड-मिसिंग डेटा का उपयोग करते हुए ट्रांजिशन-ओनली प्रक्षेपवक्रों को बनाए रखना) का उपयोग करती है, ने केवल लेबल वाले डेटा या मानक लीनियर बेसलाइन्स की तुलना में औसत EDSS और EDSS $\le$ 4 वाले महीनों के लिए संख्यात्मक रूप से अनुकूल अनुमान प्राप्त किए। इसने क्लिनिकल सेटिंग्स में स्पार्स आउटकम रिपोर्टिंग में ट्रांजिशन-ओनली जानकारी का लाभ उठाने के व्यावहारिक लाभ को प्रदर्शित किया।

5. महत्व और दावे

पेपर का दावा है कि GRASP-MDP संरचित, रुक-रुक कर देखे जाने वाले परिणामों के लिए ऑफलाइन RL में एक सिद्धांतगत समाधान प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• व्यावहारिकता बनाए रखना (Preserving Tractability): यह लीनियर MDPs की कम्प्यूटेशनल और सांख्यिकीय व्यावहारिकता को बनाए रखता है जबकि वास्तविक दुनिया के डेटा में सामान्य गैर-रेखीय पुरस्कार संरचनाओं को समायोजित करता है।
• कुशल डेटा उपयोग: यह पुरस्कार प्रतिरोपण धारणाओं से उत्पन्न होने वाले पूर्वास (bias) से बचते हुए, नीति शिक्षण के लिए ट्रांजिशन-ओनली अवलोकनों के उपयोग को औपचारिक रूप से न्यायसंगत बनाता है।
• अनिश्चितता का पृथक्करण: पुरस्कार और ट्रांजिशन त्रुटियों को अलग-अलग नियंत्रित करके, विधि फाइनाइट-सैंपल गारंटी प्रदान करती है जो अतिरिक्त ट्रांजिशन डेटा बनाम अतिरिक्त पुरस्कार डेटा के मूल्य को स्पष्ट रूप से रेखांकित करती है।

लेखक नोट करते हैं कि विधि रिवॉर्ड के लिए 'मिसिंग-एट-रैंडम' और स्टेट-एक्शन क्षेत्रों के पर्याप्त कवरेज (positivity) जैसे मानक अनुमानों पर निर्भर करती है। वे स्वीकार करते हैं कि नॉन-इग्नोरेबल मिसिंगनेस और रिवॉर्ड-लेबल वाले और ट्रांजिशन-ओनली प्रक्षेपवक्रों के बीच वितरण बदलाव (distribution shifts) अभी भी खुली चुनौतियां हैं। फ्रेमवर्क को ऑनलाइन एक्सटेंशन (GLSVI-UCB) के लिए भी समर्थित बताया गया है जिसमें सबलीनियर रिग्रेट गारंटी है।