📊 statistics

Adaptive Estimation and Optimal Control in Offline Contextual MDPs without Stationarity

यह शोधपत्र ऑफलाइन कॉन्टेक्स्टुअल MDPs में एडेप्टिव एस्टीमेशन और ऑप्टिमल कंट्रोल के लिए एक नवीन, सैद्धांतिक रूप से सुदृढ़ दृष्टिकोण प्रस्तुत करता है जो $T$ -एस्टीमेशन का लाभ उठाकर पहले ओरकल रिस्क बाउंड्स और फाइनाइट-सैंपल कॉस्ट गारंटी स्थापित करने के माध्यम से नॉन-स्टेशनैरिटी और मॉडल इरेगुलैरिटी जैसी चुनौतियों पर विजय प्राप्त करता है।

मूल लेखक: Riddhiman Bhattacharyya, Sayak Chakrabarty, Imon Banerjee

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Riddhiman Bhattacharyya, Sayak Chakrabarty, Imon Banerjee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को शहर में रास्ता दिखाना सिखा रहे हैं। एक आदर्श दुनिया में, शहर स्थिर होता है: ट्रैफिक लाइट एक ही समय के लिए हरी रहती है और सड़कें कभी नहीं बदलतीं। लेकिन वास्तविक दुनिया में, शहर अराजक (chaotic) है। ट्रैफिक के पैटर्न बदलते रहते हैं, निर्माण कार्य सड़कों को अवरुद्ध कर देता है, और दिन के समय या मौसम के आधार पर सड़क के "नियम" बदल जाते हैं।

यह शोध पत्र एक विशिष्ट समस्या पर काम करता है: आप एक रोब lewat (रोबोट) को केवल अतीत की पुरानी, अव्यवस्थित लॉग्स (logs) का उपयोग करके सर्वोत्तम निर्णय लेना कैसे सिखा सकते हैं, बिना यह मान लिए कि शहर कभी भी दो बार एक जैसा व्यवहार करेगा?

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।

समस्या: पुराने डेटा का "टूटा हुआ दिशा-सूचक यंत्र" (Broken Compass)

रोबोट को सिखाने के मौजूदा अधिकांश तरीके (जिन्हें "कॉन्टेक्स्टुअल MDPs" कहा जाता है) एक बड़े अनुमान पर निर्भर करते हैं: कि अतीत भविष्य के लिए एक विश्वसनीय मानचित्र है। वे मानते हैं कि यदि कल शाम 5 बजे सड़क व्यस्त थी, तो आज भी शाम 5 बजे वह व्यस्त होगी।

लेखक कहते हैं: "यह एक खतरनाक धारणा है।"
वास्तविक जीवन में (जैसे स्वास्थ्य सेवा या वित्त में), "संदर्भ" (मरीज की स्थिति, बाजार का मिजाज) ऐसे तरीकों से बदलता है जो पूरी तरह से दोहराए नहीं जा सकते। यदि आप अपने रोबोट को यह मानने के लिए मजबूर करते हैं कि दुनिया स्थिर है, तो वह गलत नियम सीख लेगा और गलत निर्णय लेगा।

समाधान: "T-estimator" (एक स्मार्ट जासूस)

लेखक एक नया टूल पेश करते हैं जिसे T-estimator कहा जाता है। इसे एक कठोर नियम पुस्तिका के रूप में नहीं, बल्कि एक सुपर-स्मार्ट जासूस के रूप में सोचें।

संदिग्ध (The Model Class): कल्पना कीजिए कि आपके पास इस बारे में हजारों अलग-अलग सिद्धांतों की एक लाइनअप है कि शहर कैसे काम करता है। कुछ सिद्धांत कहते हैं "ट्रैफिक रैंडम है," अन्य कहते हैं "ट्रैफिक एक साइन वेव (sine wave) का पालन करता है," और अन्य कहते हैं "ट्रैफिक अराजक है।"
पूछताछ (The Comparison): किसी एक सिद्धांत को चुनने और यह उम्मीद करने के बजाय कि वह सही होगा, जासूस पुराने डेटा लॉग्स का उपयोग करके हर एक सिद्धांत की तुलना दूसरे हर सिद्धांत से करता है।
"दंड" (The Penalty - वास्तविकता की जाँच): जासूस संदेही है। यदि कोई सिद्धांत बहुत जटिल है (जैसे कि एक सिद्धांत जिसमें 1,000 चलते-फिरते हिस्से हैं), तो जासूस उसे एक "दंड" देता है क्योंकि हो सकता है कि वह केवल शोर (noise) का अनुमान लगा रहा हो। यदि कोई सिद्धांत बहुत सरल है, तो वह सच्चाई को चूक सकता है।
विजेता: जासूस उस सिद्धांत को चुनता है जो सटीक होने और डेटा के साथ होने के बीच संतुलन बनाता है, और इतना सरल भी है कि भरोसेमंद हो सके।

जादुई ट्रिक: यह जासूस तब भी काम करता है जब शहर हर सेकंड बदल रहा हो (non-stationary) या यदि डेटा अजीब और अनियमित हो। इसे "ट्रैफिक लाइटों" के अनुमानित होने की आवश्यकता नहीं है।

दो बड़ी चुनौतियाँ जिन्हें उन्होंने हल किया

1. "ज़ूम लेंस" की समस्या (बैंडविड्थ चयन)
कल्पना कीजिए कि आप भीड़ की फोटो लेने की कोशिश कर रहे हैं। यदि आप बहुत अधिक ज़ूम करते हैं, तो आप पिक्सेल देखते हैं लेकिन चेहरे नहीं। यदि आप बहुत अधिक ज़ूम आउट करते हैं, तो आप चेहरे देखते हैं लेकिन विवरण नहीं। गणित में, इसे "बैंडविड्थ चयन" कहा जाता है।

पुराना तरीका: आपको शुरू करने से पहले एक आदर्श ज़ूम स्तर का अनुमान लगाना पड़ता था। यदि आपका अनुमान गलत निकला, तो आपकी फोटो धुंधली थी।
नया तरीका: लेखकों का तरीका ज़ूम स्तर को स्वचालित रूप से समायोजित करता है। इसे पहले से यह जानने की आवश्यकता नहीं है कि डेटा कितना "स्मूथ" या "ऊबड़-खाबड़" है। यह खुद ही विवरण के सही स्तर को खोज लेता है, और डेटा के अनुसार खुद को ढाल लेता है।

2. "मशीन में भूत" की समस्या (Non-Stationarity)
कल्पना कीजिए कि एक मरीज जिसके स्वास्थ्य के संकेतक ऐसे तरीके से बदलते हैं जो किसी सरल पैटर्न का पालन नहीं करते (जैसे कि एक धड़कन जो अप्रत्याशित रूप से तेज और धीमी होती है)।

पुराना तरीका: अधिकांश तरीके यह मानकर चलते हैं कि मरीज का शरीर एक स्थिर लय का पालन करता है। यदि लय टूट जाती है, तो वह तरीका विफल हो जाता है।
नया तरीका: लेखकों का तरीका लय के बारे में कुछ भी नहीं मानता। यह बस कच्चे डेटा को देखता है और कहता है, "ठीक है, यह हुआ था, आइए इसके आधार पर एक मॉडल बनाएं।" यह बिना टूटे हुए "भूतों" (अप्रत्याशित परिवर्तनों) को संभालने के लिए पर्याप्त मजबूत है।

परिणाम: सर्वोत्तम चाल खोजना

एक बार जब जासूस यह मॉडल बना लेता है कि दुनिया कैसे काम करती है (भले ही दुनिया अस्त-व्यस्त हो), तो यह शोध पत्र दिखाता है कि उस मॉडल का उपयोग सर्वोत्तम क्रिया खोजने के लिए कैसे किया जाए।

लक्ष्य: "लागत" (cost) को कम करना। अस्पताल में, लागत "दुष्प्रभावों का जोखिम" हो सकती है। कारखाने में, यह "बर्बाद ऊर्जा" हो सकती है।
विधि: वे अपने नए, मजबूत मॉडल को एक कैलकुलेटर में डालते हैं ताकि उस चाल को पाया जा सके जो लागत को न्यूनतम करती है।
गारंटी: उन्होंने गणितीय रूप से सिद्ध किया कि थोड़े से डेटा के साथ भी, यह विधि एक ऐसी चाल खोज लेगी जो लगभग उतनी ही अच्छी होगी जितनी कि पूर्ण (perfect) चाल, और जैसे-जैसे डेटा बढ़ता है, यह पूर्णता के करीब पहुंचती जाती है।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

लेखक दावा करते हैं कि यह पहली बार है जब किसी ने ऐसा तरीका बनाया है जो:

जिसे दुनिया के अनुमानित होने की आवश्यकता नहीं है (कोई "स्टेशनैरिटी" नहीं)।
जिसे डेटा के आकार का पहले से अनुमान लगाने की आवश्यकता नहीं है (नॉन-पैरामीट्रिक)।
फिर भी गारंटी देता है कि लिए गए निर्णय लगभग इष्टतम (optimal) होंगे।

उन्होंने तीन अलग-अलग "सिम्युलेटेड वर्ल्ड्स" (चीजें कैसे चलती हैं इसके गणितीय मॉडल) पर इसका परीक्षण किया और दिखाया कि उनका तरीका लगातार सही पैटर्न खोजता है, जबकि अन्य तरीके संघर्ष करते हैं जब नियम बदलते हैं।

संक्षेप में: उन्होंने एक निर्णय लेने वाला इंजन बनाया जिसे काम करने के लिए दुनिया के उबाऊ या अनुमानित होने की आवश्यकता नहीं है। यह बिखरे हुए, बदलते इतिहास से सीख सकता है और फिर भी आपको अगला सबसे अच्छा कदम बता सकता है।

तकनीकी सारांश: गैर-स्थिरता वाले ऑफलाइन कॉन्टेक्स्टुअल MDPs में अनुकूली अनुमान और इष्टतम नियंत्रण

1. समस्या का निरूपण

यह शोध पत्र ऑफलाइन डेटासेट्स का उपयोग करके कॉन्टेक्स्टुअल मार्कोव डिसीजन प्रोसेस (MDPs) में संक्रमण तंत्र (transition mechanisms) के अनुमान और लागतों को अनुकूलित करने की चुनौती को संबोधित करता है। कॉन्टेक्स्टुअल MDPs मानक MDPs का सामान्यीकरण करते हैं, जो बाहरी जानकारी ("कॉन्टेक्स्ट") को शामिल करते हैं जो दोनों अवस्था संक्रमण (state transitions) और लागतों को नियंत्रित करती है। हालांकि ये मॉडल स्वास्थ्य सेवा, अर्थशास्त्र और ऑपरेशंस जैसे अनुप्रयोगों के लिए महत्वपूर्ण हैं, मौजूदा ऑफलाइन लर्निंग के लिए सांख्यिकीय सिद्धांत अत्यधिक प्रतिबंधात्मक धारणाओं पर निर्भर करता है:

स्थिरता/एर्गोडिसिटी (Stationarity/Ergodicity): अधिकांश विधियाँ मानती हैं कि डेटा उत्पन्न करने वाली प्रक्रिया स्थिर या एर्गोडिक है, जो वास्तविक दुनिया के लॉग्स (जैसे, विकसित होती रोगी की स्वास्थ्य स्थितियाँ) में अक्सर खंडित होती है।
पैरामीट्रिक मॉडलिंग (Parametric Modeling): कई दृष्टिकोण संक्रमण घनत्व (transition density) के लिए एक विशिष्ट पैरामीट्रिक रूप मान लेते हैं, जिससे मिसस्पेसिफिकेशन त्रुटियाँ होती हैं।
स्मूथनेस (Smoothness): मानक नॉन-पैरामीट्रिक विधियों को अक्सर मजबूत स्मूथनेस धारणाओं (जैसे, होल्डर निरंतरता) और निश्चित बैंडविड्थ चयन की आवश्यकता होती है, जो उच्च-आयामी या अनगिनत अनंत अवस्था, नियंत्रण और कॉन्टेक्स्ट स्पेस के मामले में अव्यावहारिक है।

लेखक एक नॉन-पैरामीट्रिक फ्रेमवर्क विकसित करने का लक्ष्य रखते हैं जो बिना स्थिरता या एर्गोडिसिटी की धारणाओं के कार्य करता है, एक एम्पीरिकल हेलिंगर मीट्रिक में ओरेकल रिस्क बाउंड्स प्रदान करता है, और इन गारंटियों को एक प्लग-इन योजना के माध्यम से इष्टतम नियंत्रण चयन में स्थानांतरित करता है।

2. कार्यप्रणाली

प्रस्तावित कार्यप्रणाली का मुख्य आधार T-एस्टिमेशन का अनुप्रयोग है, जो मॉडल चयन सिद्धांत (Baraud & Birgé, 2009; Baraud, 2011) में निहित एक सुदृढ़ सांख्यिकीय तकनीक है।

2.1 T-एस्टिमेटर का निर्माण

मान लीजिए कि $s(x, a, g, y)$ वास्तविक संक्रमण घनत्व है। लेखक एक समृद्ध, गणनीय मॉडल क्लास $\mathcal{S}$ पर एक दंडित युग्म तुलना फलन (penalized pairwise comparison functional) को न्यूनतम करके $\hat{s}$ का निर्माण करते हैं:
$\hat{s} \in \arg\min_{f \in \mathcal{S}} \left( \sup_{f' \in \mathcal{S}} \left[ \alpha H^2(f, f') + T(f, f') \right] + \frac{L \Delta_{\mathcal{S}}(f)}{n} \right)$
जहाँ:

$H^2$ एक एम्पीरिकल हेलिंगर लॉस है।
$T(f, f')$ एक तुलना फलन है जो उम्मीदवारों का देखे गए प्रक्षेप पथों (trajectories) के विरुद्ध मूल्यांकन करता है। इसमें एक डेंसिटी-करेक्टिंग टर्म शामिल है और यह तुलना करता है कि $f$ और $f'$ प्रक्रिया $(X_i, a_i, G_i, X_{i+1})$ को कितनी अच्छी तरह फिट करते हैं।
$\Delta_{\mathcal{S}}(f)$ एक डेटा-स्वतंत्र जटिलता दंड (complexity penalty) है (जैसे, मॉडल के आयाम या बिन की संख्या से संबंधित)।
$\alpha$ और $L$ सार्वभौमिक स्थिरांक हैं।

2.2 तकनीकी नवाचार

बिना स्थिरता की धारणा के गारंटी प्राप्त करने के लिए, विश्लेषण दो प्रमुख तकनीकी उपकरणों पर निर्भर करता है:

मार्टिंगेल बर्नस्टीन असमानता (Martingale Bernstein Inequality): मिश्रण (mixing) या स्थिरता की धारणा के बिना एम्पीरिकल विचलन को नियंत्रित करने के लिए उपयोग किया जाता है।
पोलराइजेशन आइडेंटिटी (Polarization Identity): वर्ग-मूल घनत्व स्थान में जोखिम को हेलिंगर लॉस से जोड़ने के लिए उपयोग किया जाता है, जिससे उच्च-संभावना वाली तुलनाएँ संभव होती हैं जो अपेक्षित ओरेकल असमानताओं में परिवर्तित होती हैं।

2.3 अनुमान से नियंत्रण तक

एक बार जब संक्रमण घनत्व $\hat{s}$ का अनुमान लग जाता है, तो यह शोध पत्र इष्टतम नियंत्रण को संबोधित करता है। दिए गए लागत फलन $L(x, a, g, y)$ के लिए, एम्पीरिकल लागत को इस प्रकार परिभाषित किया गया है:
$\hat{C}_n(a, g) = \int L(x, a, g, y) \hat{s}(x, a, g, y) \lambda_n^{(1)}(dx, dy)$
इष्टतम नियंत्रण $\hat{a}^*(g)$ को इस अनुमानित लागत को न्यूनतम करके चुना जाता है। यह फ्रेमवर्क पॉलिसी-अज्ञेयवादी (policy-agnostic) है, जिसका अर्थ है कि कोई भी प्रक्रिया जो इस प्लग-इन लागत को अनुकूलित करती है, वह एस्टिमेटर की सांख्यिकीय दरों को विरासत में प्राप्त करती है।

3. मुख्य योगदान और परिणाम

3.1 ओरेकल रिस्क बाउंड्स के साथ नॉन-पैरामीट्रिक अनुमान

यह शोध पत्र एम्पीरिकल हेलिंगर मीट्रिक में एस्टिमेटर $\hat{s}$ के लिए एक ओरेकल रिस्क बाउंड स्थापित करता है। हल्की धारणाओं (सीमितता और गैर-स्थिरता) के तहत, अपेक्षित जोखिम इस प्रकार संतुष्ट होता है:
$\mathbb{E}[H^2(s, \hat{s})] \lesssim \inf_{f \in \mathcal{S}} \left\{ H^2(s, f) + \frac{\Delta_{\mathcal{S}}(f) + \text{dim}(f)\log n}{n} \right]$
यह परिणाम बताता है कि एस्टिमेटर मॉडल क्लास $\mathcal{S}$ में सर्वश्रेष्ठ उम्मीदवार के समान प्रदर्शन करता है, केवल एक दंड पद (penalty term) के अंतर के साथ, बिना डेटा के स्थिर होने की आवश्यकता के।

3.2 मिनिमैक्स-रेट एडाप्टिविटी (Minimax-Rate Adaptivity)

मानक स्मूथनेस क्लासेज (जैसे, होल्डर या बेसोव स्पेस) के लिए, यह प्रक्रिया इष्टतम नॉन-पैरामीट्रिक दर प्राप्त करती है (पॉली-लॉगैरिद्मिक कारकों तक):
$\mathbb{E}[H^2(s, \hat{s})] \lesssim \left( \frac{\log n}{n} \right)^{\frac{\bar{\sigma}}{4+\bar{\sigma}}}$
यह अनुकूलनशीलता (adaptivity) प्रदर्शित करता है: एस्टिमेटर बिना किसी पूर्व ज्ञान के वास्तविक घनत्व की अज्ञात स्मूथनेस के अनुसार स्वतः समायोजन करता है।

3.3 इष्टतम नियंत्रण के लिए परिमित-नमूना गारंटी

यह शोध पत्र अनुमानित सरोगेट द्वारा चुने गए नियंत्रण और वास्तविक इष्टतम नियंत्रण के बीच लागत अंतराल के लिए गैर-एसिम्प्टोटिक बाउंड प्रदान करता है। बाउंड इस प्रकार स्केल होता है:
$O\left( \sqrt{\frac{\max(\Delta_{\mathcal{S}}(f), \log n)}{n}} \right)$
इसके अलावा, लेखक इष्टतम लागत के लिए $\Omega(1/\sqrt{n})$ का एक मिनिमैक्स लोअर बाउंड प्रदान करते हैं, जो यह दर्शाता है कि उनकी प्लग-इन योजना दर-इष्टतम (rate-optimal) है। यह संक्रमण कर्नेल (transition kernel) के अनुमान की कठिनाई को इष्टतम नियंत्रण के चयन की कठिनाई से सीधे जोड़ता है।

3.4 वितरण बदलाव (Distribution Shift) के प्रति मजबूती

इस फ्रेमवर्क को वितरण बदलाव (प्रशिक्षण और तैनाती के बीच कोवेरिएट शिफ्ट) वाले परिवेश में विस्तारित किया गया है। लेखक ऐसे बाउंड प्राप्त करते हैं जो दिखाते हैं कि शिफ्ट के तहत अनुमान त्रुटि, वास्तविक और शिफ्ट किए गए वितरणों के बीच हेलिंगर दूरी, और उनके इनवेरिएंट मेजर के बीच टोटल वेरिएशन दूरी पर निर्भर करती है।

4. महत्व और दावे

यह शोध पत्र दावा करता है कि यह ऑफलाइन कॉन्टेक्स्टुअल MDPs की वास्तविकता (अनियमित, गैर-स्थिर गतिकी) और मौजूदा सिद्धांत के बीच के एक महत्वपूर्ण अंतर को पाटता है। इसका प्राथमिक महत्व है:

प्रतिबंधात्मक धारणाओं को हटाना: यह पहला ऐसा सैद्धांतिक ढांचा प्रदान करता है जो स्थिरता, एर्गोडिसिटी या पैरामीट्रिक मॉडलिंग पर निर्भर नहीं करता है।
मजबूती (Robustness): T-एस्टिमेटर स्वाभाविक रूप से मॉडल की अनियमितता और गैर-स्थिरता के प्रति सुदृढ़ है, जो इसे वास्तविक दुनिया के लॉग्स के लिए उपयुक्त बनाता है जहाँ गतिकी समय के साथ बदलती है।
एकीकृत ढांचा: यह घनत्व अनुमान और इष्टतम नियंत्रण को एकीकृत करता है, यह दिखाते हुए कि एक सुदृढ़ एस्टिमेटर सीधे कठोर परिमित-नमूना गारंटी के साथ इष्टतम नियंत्रण चयन में परिवर्तित होता है।
व्यावहारिक प्रयोज्यता: लेखक उल्लेख करते हैं कि हालांकि T-एस्टिमेटर्स की कुछ क्लासेज के लिए कम्प्यूटेशनल लागत अधिक हो सकती है, वे स्वास्थ्य सेवा और अर्थशास्त्र जैसे जटिल डोमेन में निर्णय लेने के लिए एक "व्यावहारिक, धारणा-हल्का मार्ग" प्रदान करते हैं जहाँ डेटा अक्सर अव्यवस्थित और गैर-स्थिर होता है।

लेखक निष्कर्ष निकालते हैं कि यह विधि MDPs में अनुमानात्मक उद्देश्यों और ऑफलाइन सेटिंग्स में इष्टतम नीति निर्धारण के लिए एक प्रभावी उपकरण के रूप में कार्य करती है, जो विशेष रूप से गैर-स्थिरता और अनियमितता की सीमाओं को संबोधित करती है जो वर्तमान दृष्टिकोणों को प्रभावित करती हैं।