🤖 machine learning

A Measure-Theoretic Finite-Sample Theory for Adaptive-Data Fitted Q-Iteration

यह शोध पत्र एक एकीकृत माप-सिद्धांतिक ढांचे (measure-theoretic framework) को स्थापित करके ह्यूरिस्टिक डीप रीइन्फोर्समेंट लर्निंग और सैद्धांतिक आधारों के बीच के अंतर को पाटता है, जो सामान्य मापने योग्य स्थानों (general measurable spaces) पर एडेप्टिव-डेटा फिटेड Q-इटरेशन के लिए परिमित-नमूना प्रदर्शन सीमाएं (finite-sample performance bounds) और संचयी ऑनलाइन रिग्रेट गारंटी प्रदान करता है।

मूल लेखक: Manuel Haussmann, Mustafa Mert Çelikok, Melih Kandemir

प्रकाशित 2026-05-08

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Manuel Haussmann, Mustafa Mert Çelikok, Melih Kandemir

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल, अनंत भूलभुलैया (maze) में खजाना खोजने के लिए सबसे अच्छा रास्ता तय करना सिखाने की कोशिश कर रहे हैं। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) का सार है। रोबोट चीजों को आजमाकर, गलतियाँ करके और रास्ते में मिलने वाले पुरस्कारों (rewards) के आधार पर अपनी रणनीति को बदलकर सीखता है।

हाल के वर्षों में, रोबler वीडियो गेम में महारत हासिल करने और यहाँ तक कि परमाणु संलयन (nuclear fusion) रिएक्टरों को नियंत्रित करने में भी अविश्वसनीय रूप से कुशल हो गए हैं। हालाँकि, एक बड़ी समस्या है: हम पूरी तरह से यह नहीं समझते कि वे इतने बेहतर तरीके से क्यों काम करते हैं। उन्हें समझाने वाली गणित वर्तमान में तीन अलग-अलग, अलग-थलग समूहों में बंटी हुई है जो एक-दूसरे से बात नहीं करते हैं।

यह शोध पत्र एक अनुवादक और एक सेतु (bridge) के रूप में कार्य करता है, एक एकल, एकीकृत सिद्धांत बनाने के लिए जो यह समझा सके कि ये सीखने वाले रोबोट कैसे काम करते हैं, तब भी जब दुनिया उनके लिए निरंतर (continuous) और अव्यवस्थित (messy) हो (जैसे वास्तविक जीवन में), न कि केवल एक साधारण ग्रिड की तरह।

यहाँ समस्या और समाधान का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:

तीन अलग-थलग समूह (समस्या)

लेखकों का कहना है कि वर्तमान सिद्धांत एक ही कमरे में अलग-अलग भाषाएं बोलने वाले तीन लोगों की तरह है, जो एक-दूसरे को समझने में असमर्थ हैं:

शुद्ध गणितज्ञ (The Pure Mathematicians): उनके पास भूलभुलैया का एक सटीक, कठोर मानचित्र है (जिसे "मेज़र-थ्योरेटिक MDPs" कहा जाता है)। वे ठीक से जानते हैं कि सैद्धांतिक रूप से भूलभुलैया को कैसा होना चाहिए। लेकिन वे केवल उस आदर्श संस्करण को देखते हैं जहाँ रोबोट के पास अनंत मस्तिष्क शक्ति होती है और वह कोई गलती नहीं करता। वे इस तथ्य को अनदेखा कर देते हैं कि वास्तविक रोबोट गलतियाँ करते हैं और उनके पास सीमित डेटा होता है।
त्रुटि विश्लेषक (The Error Analysts): वे अध्ययन करते हैं कि गलतियाँ कैसे जमा होती हैं। वे जानते हैं कि यदि एक रोबोट ने एक बार गलत अनुमान लगाया, तो वह त्रुटि आगे की योजना बनाते समय बढ़ सकती है। उनके पास इस "त्रुटि प्रसार" (error propagation) के लिए सूत्र हैं, लेकिन वे यह मान लेते हैं कि रोबally का मानचित्र पहले से ही पूर्ण है और वे इस बात की चिंता नहीं करते कि रोबोट ने मूल रूप से उस मानचित्र को कैसे सीखा।
डेटा वैज्ञानिक (The Data Scientists): वे इस बात पर ध्यान केंद्रित करते हैं कि सीखने के लिए कितने डेटा की आवश्यकता है। उनके पास सरल, छोटे भूलभुलैया (जैसे एक ग्रिड) या बहुत सीधी रेखाओं के लिए बेहतरीन नियम हैं। लेकिन जब भूलभुलैया एक जटिल, निरंतर परिदृश्य (जैसे कार चलाना) बन जाती है, तो उनके नियम अक्सर टूट जाते हैं या उन धारणाओं पर निर्भर करते हैं जो वास्तविक दुनिया में कायम नहीं रहती हैं।

अंतराल (The Gap): क्योंकि ये तीन समूह आपस में बात नहीं करते हैं, इसलिए हमारे पास ऐसा कोई एकल सिद्धांत नहीं है जो यह समझा सके कि एक रोबोट सीमित डेटा का उपयोग करके एक जटिल, निरंतर दुनिया में कैसे सीखता है और गलतियाँ करता है।

समाधान: एक एकीकृत सिद्धांत

लेखकों ने एक नया ढांचा बनाया जिसे फिटेड क्यू-इटरेशन (Fitted Q-Iteration - FQI) कहा जाता है। इसे एक "लर्निंग लूप" के रूप में सोचें जहाँ रोबोट हर संभावित चाल के मूल्य (value) की भविष्यवाणी करने की कोशिश करता है।

अंतराल को भरने के लिए, उन्होंने इन तीनों समूहों को एक कहानी में जोड़ा:

नींव (मानचित्र): उन्होंने यह सुनिश्चित करने के लिए शुद्ध गणितज्ञों के कठोर गणित से शुरुआत की कि "भूलभुलैया" अच्छी तरह से परिभाषित है, भले ही वह अनंत और निरंतर हो।
सीखने की प्रक्रिया (डेटा): उन्होंने अपने अनुभवों से रोबोट कितना सीखता है, इसे मापने के लिए डेटा वैज्ञानिकों के उपकरणों का उपयोग किया। यह मानने के बजाय कि रोबोट को हर बार नया, यादृच्छिक (random) डेटा मिलता है (जो वास्तव में सच नहीं है), उन्होंने अनुकूली डेटा (Adaptive Data) को शामिल किया।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। पुराने सिद्धांत में, हम मानते हैं कि छात्र को हर बार प्रश्नों का एक नया, यादृच्छिक सेट मिलता है। वास्तव में, छात्र का अगला प्रश्न इस पर निर्भर करता है कि उसने अभी क्या सीखा है। लेखकों ने सीखने को मापने का एक नया तरीका विकसित किया है (जिसे सिक्वेंशियल रेडमेकर कॉम्प्लेक्सिटी कहा जाता है) जो इस "सीखते रहने" वाले परिदृश्य को संभालता है।
त्रुटि प्रबंधन (गलतियाँ): उन्होंने त्रुटि विश्लेषकों के तरीकों का उपयोग यह दिखाने के लिए किया कि सीखने के एक चरण में छोटी गलतियाँ अंतिम निर्णय को कैसे प्रभावित करती हैं। उन्होंने सिद्ध किया कि त्रुटियों के बावजूद, रोबोट का प्रदर्शन एक अनुमानित, सुरक्षित सीमा के भीतर रहता है।

मुख्य परिणाम

शोध पत्र इस सीखने की प्रक्रिया के लिए दो मुख्य "गारंटी" प्रदान करता है:

परिमित-नमूना गारंटी (The Finite-Sample Guarantee): उन्होंने सिद्ध किया कि यदि आप रोबोट को डेटा की एक विशिष्ट मात्रा देते हैं (भले ही वह अनंत न हो), तो आप गणितीय रूप से भविष्यवाणी कर सकते हैं कि उसकी अंतिम रणनीति पूर्ण रणनीति के कितने करीब होगी। यह कहने जैसा है कि, "यदि आप 100 घंटे अभ्यास करते हैं, तो आप एक मास्टर होने के 5% के भीतर होंगे।"
ऑनलाइन रिग्रेट गारंटी (The Online Regret Guarantee): उन्होंने इसे यह दिखाने के लिए विस्तारित किया कि भले ही रोबोट सीखते समय लाइव निर्णय ले रहा हो, समय के साथ उसके द्वारा किए गए "बुरे निर्णयों" की कुल संख्या सीमित है। वह बुरे निर्णयों का एक अंतहीन सिलसिला नहीं करेगा।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

लेखक कहते हैं कि यह कार्य आधुनिक डीप लर्निंग एल्गोरिदम का विश्लेषण करने के लिए आवश्यक आधार तैयार करता है।

यह "निरंतर" स्थानों के लिए काम करता है: पिछले सिद्धांतों के विपरीत जो केवल सरल ग्रिड या सीधी रेखाओं के लिए काम करते थे, यह उन जटिल, सुचारू दुनिया के लिए काम करता है जहाँ आधुनिक AI वास्तव में चमकता है (जैसे परमाणु रिएक्टर या रोबोटिक हाथ को नियंत्रित करना)।
यह "अनुकूली" डेटा को संभालता है: यह इस तथ्य को ध्यान में रखता है कि रोबोट का सीखने का डेटा उसके अपने पिछले कार्यों पर आधारित होता है, जो वास्तविक दुनिया के AI का तरीका है।
यह अंतराल को पाटता है: यह अंततः अतीत के कठोर गणित को आज की व्यावहारिक, डेटा-संचालित सफलता से जोड़ता है।

यह शोध पत्र क्या दावा नहीं करता

यह महत्वपूर्ण है कि हम जो शोध पत्र वास्तव में कहता है उस पर टिके रहें:

यह एक सिद्धांत पत्र (theory paper) है: यह नए प्रयोग, नए रोबोट हार्डवेयर या नया सॉफ्टवेयर कोड प्रस्तुत नहीं करता जिसे आप आज रोबोट को चलाने के लिए डाउनलोड कर सकें। यह एक गणितीय प्रमाण है।
यह "एक्सप्लोरेशन" (Exploration) की समस्या को हल नहीं करता: पत्र स्वीकार करता है कि जबकि यह बताता है कि रोबोट के पास अच्छा डेटा होने पर वह कैसे सीखता है, यह इस कठिन समस्या को पूरी तरह से हल नहीं करता कि रोबोट यह कैसे तय करता है कि उसे नई जगहों को कब तलाशना है जब उसे पता न हो कि कहाँ जाना है। यह भविष्य के शोध के लिए एक प्रश्न छोड़ देता है।
यह सभी AI को ठीक करने का दावा नहीं करता: यह विशेष रूप से "फिटेड क्यू-इटरेशन" पद्धति को संबोधित करता है, जो कई आधुनिक एल्गोरिदम के लिए एक मुख्य टेम्पलेट है, लेकिन यह दावा नहीं करता कि यह सीखने के हर संभव प्रकार की समस्या को तुरंत हल कर देगा।

संक्षेप में, यह शोध पत्र सीखने के सिद्धांतों की एक नई पीढ़ी के लिए ब्लूप्रिंट और सुरक्षा कोड बनाता है, यह सुनिश्चित करता है कि जब हम जटिल AI सिस्टम बनाते हैं, तो हमारे पास यह समझने के लिए एक ठोस गणितीय समझ हो कि वे कैसे सीखते हैं और उन पर कितना भरोसा किया जा सकता है।

तकनीकी सारांश: एडेप्टिव-डेटा फिटेड Q-इटरेशन के लिए एक माप-सिद्धांतिक परिमित-नमूना सिद्धांत

समस्या विवरण
जटिल डोमेन (जैसे अटाारी, गो, स्टारक्राफ्ट II, परमाणु संलयन नियंत्रण) में मॉडल-मुक्त, ऑफ-पॉलिसी डीप सुदृढीकरण शिक्षण (RL) की अनुभवजन्य सफलता के बावजूद, एक कठोर सैद्धांतिक आधार अभी भी अप्राप्य बना हुआ है। लेखक एक "सिद्धांत-से-अभ्यास अंतराल" (theory-to-practice gap) की पहचान करते हैं जो तीन अलग-अलग अनुसंधान परंपराओं के अलगाव के कारण उत्पन्न हुआ है:

माप-सिद्धांतिक MDP सिद्धांत: यह सामान्य (अगणनीय) बोरेल स्पेस और बेलमैन संकुचन (Bellman contraction) के लिए कठोर आधार प्रदान करता है, लेकिन यह फंक्शन एप्रोक्सिमेशन और सांख्यिकीय अनुमान त्रुटियों को अनदेखा करते हुए सटीक डायनेमिक प्रोग्रामिंग तक ही सीमित है।
एप्रोक्सिमेशन एरर प्रोपेगेशन: यह विश्लेषण करता है कि एप्रोक्सिमेशन त्रुटियां कॉन्सेन्ट्रैबिलिटी गुणांकों (concentrability coefficients) के माध्यम से बेलमैन बैकअप के माध्यम से कैसे संचित होती हैं, लेकिन यह आमतौर पर एक सुपरिभाषित MDP इंफ्रास्ट्रक्चर मानता है और परिमित-नमूना अनुमान या मापन संबंधी मुद्दों को संबोधित नहीं करता है।
परिमित-नमूना विश्लेषण: यह सांख्यिकीय जटिलता उपायों (जैसे रेडेमैकर कॉम्प्लेक्सिटी, एलुडर डायमेंशन) का उपयोग करके डिस्क्रीट या लीनियर MDPs के लिए PAC बाउंड और रिग्रेट गारंटी प्रदान करता है, लेकिन यह i.i.d. सैंपलिंग धारणाओं पर निर्भर करता है और व्यावहारिक RL में निहित एडेप्टिव, पॉलिसी-डिपेंडेंट डेटा संग्रह को संभालने में विफल रहता है।

परिणामस्वरूप, कोई भी मौजूदा ढांचा निरंतर अवस्था-क्रिया स्थानों (continuous state-action spaces) पर फंक्शन एप्रोक्सिमेशन के साथ ऑफ-पॉलिसी RL के लिए परिमित-नमूना प्रदर्शन गारंटी प्रदान नहीं करता है जो कि माप-सिद्धांतिक रूप से कठोर और एडेप्टिव डेटा संग्रह के तहत सांख्यिकीय रूप से सुदृढ़ हो।

कार्यप्रणाली
यह शोध पत्र सामान्य मापने योग्य बोरेल स्पेस पर फिटेड Q-इटरेशन (FQI) के लिए एक एकीकृत सैद्धांतिक ढांचे का प्रस्ताव करता है। FQI को इसलिए चुना गया है क्योंकि यह आधुनिक ऑफ-पॉलिसी डीप RL के लिए एक एल्गोरिद्मिक टेम्पलेट के रूप में कार्य करता है, जहाँ पुनरावृत्ति बेलमैन अपडेट को सुपरवाइज्ड रिग्रेशन के माध्यम से अनुमानित किया जाता है।

मुख्य कार्यप्रणाली में तीन-चरणीय व्युत्पत्ति शामिल है:

माप-सिद्धांतिक आधार: लेखक सामान्य बोरेल स्पेस $(S, \Sigma_S)$ और $(A, \Sigma_A)$ पर आवश्यक बुनियादी ढांचा स्थापित करते हैं, जो मापने योग्य अनुकूल चयनकर्ताओं (measurable optimal selectors) के अस्तित्व (Jankov–von Neumann प्रमेय के माध्यम से) और कठोर प्रक्षेपवक्र मापों (trajectory measures) (Ionescu–Tulcea प्रमेय के माध्यम से) को सुनिश्चित करता है। वे बेलमैन ऑपरेटरों को बाउंडेड मेजरेबल फंक्शन के बानाच स्पेस (Banach spaces) पर कार्यात्मक मैपिंग के रूप में परिभाषित करते हैं, और उनके संकुचन गुणों को सिद्ध करते हैं।
एडेप्टिव-डेटा विश्लेषण: RL डेटा की गैर-i.i.d. प्रकृति को संबोधित करने के लिए (जहाँ व्यवहार नीति वर्तमान इटरेट पर निर्भर करती है), लेखक सीक्वेंशियल रेडेमैकर कॉम्प्लेक्सिटी का उपयोग करते हैं। यह क्लासिकल रेडेमैकर कॉम्प्लेक्सिटी को प्रेडिक्टेबल ट्रीज़ (predictable trees) के लिए सामान्यीकृत करता है, जिससे मनमाने एडेप्टिव सैंपलिंग पथों के साथ एम्पिरिकल-प्रोसेस विचलन को नियंत्रित किया जा सके।
एरर प्रोपेगेशन और कॉन्सेन्ट्रैबिलिटी: विश्लेषण प्रशिक्षण वितरण (सैंपलिंग मेजर्स $\mu_k$ ) और मूल्यांकन वितरण ( $\rho$ ) के बीच के अंतर को एक एडेप्टिव कॉन्सेन्ट्रैबिलिटी गुणांक का उपयोग करके पाटता है। यह गुणांक डेटा-जनरेटिंग प्रक्रिया और लर्निंग के दौरान प्रेरित नीतियों के बीच वितरण बेमेल (distribution mismatch) को परिमाणित करता है।

यह ढांचा कुल त्रुटि को निम्नानुसार विभाजित करता है:

एप्रोक्सिमेशन एरर: संरचनात्मक त्रुटि क्योंकि फंक्शन क्लास $\mathcal{F}$ में वास्तविक बेलमैन टारगेट शामिल नहीं है।
सांख्यिकीय एरर: अनुमान त्रुटि जिसे सीक्वेंशियल रेडेमैकर कॉम्प्लेक्सिटी द्वारा नियंत्रित किया जाता है।
ऑप्टिमाइजेशन एरर: अनुमानित एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) के कारण होने वाला स्लैक।

प्रमुख योगदान

एकीकृत ढांचा: शोध पत्र सामान्य बोरेल स्पेस पर FQI के लिए माप-सिद्धांतिक MDP फाउंडेशन, बानाच स्पेस में बेलमैन ऑपरेटर संकुचन, और सांख्यिकीय शिक्षण सिद्धांत को एक एकल सुसंगत ढांचे में संश्लेषित करता है।
परिमित-नमूना एडेप्टिव बाउंड: यह एडेप्टिव डेटा कलेक्शन (जहाँ डेटा लर्निंग हिस्ट्री पर निर्भर करता है) के तहत FQI के लिए पहला परिमित-नमूना प्रदर्शन बाउंड प्रदान करता है। यह बाउंड माप-सिद्धांतिक संभाव्यता को बेलमैन-ऑपरेटर संकुचन के साथ जोड़कर प्राप्त किया गया है।
सीक्वेंशियल रेडेमैकर कंट्रोल: लेखक सिद्ध करते हैं कि सीक्वेंशियल रेडेमैकर कॉम्प्लेक्सिटी, पॉलिसी-डिपेंडेंट डेटा कलेक्शन के तहत बेलमैन रिग्रेशन के सामान्यीकरण त्रुटि (generalization error) को नियंत्रित करती है। यह पिछले बैच विश्लेषणों को ऑनलाइन, एडेप्टिव सेटिंग में विस्तारित करता है।
रिग्रेट एक्सटेंशन: विश्लेषण को विशिष्ट "रेसिडुअल सर्टिफिकेट्स" (डायगोनल बेलमान रेसिडुअल्स का नियंत्रण) और मजबूत कवरेज धारणाओं के अधीन, एक संचयी, पाथवाइज ऑनलाइन रिग्रेट गारंटी प्रदान करने के लिए विस्तारित किया गया है।
इंस्टांशिएशन: इस ढांचे को लीनियर क्लासेस, रिप्रोडसिंग कर्नेल हिल्बर्ट स्पेस (RKHS), और नॉर्म-कंट्रोल्ड न्यूरल नेटवर्क्स के लिए लागू किया गया है, जो निरंतर स्थानों पर $O(n^{-1/4})$ रेसिडुअल स्केलिंग को पुनः प्राप्त करता है।

परिणाम

थ्योरम 4 (परफॉर्मेंस बाउंड): बाउंडेड फंक्शन क्लासेस, एप्रोक्सिमेट ERM, और एडेप्टिव कॉन्सेन्ट्रैबिलिटी की धारणाओं के तहत, अंतिम FQI इटरेट $\hat{Q}_K$ से निकाला गया ग्रीडी पॉलिसी $\hat{\pi}_K$ एक परिमित-नमूना प्रदर्शन बाउंड संतुष्ट करता है:
$\|V^* - V^{\hat{\pi}_K}\|_{1,\rho} \leq \frac{4\sqrt{C_{ad}}}{(1-\gamma)^2 (1-\gamma^K)} \max_{0 \leq k < K} (\varepsilon_{app,k} + \sqrt{2\alpha'_k} + \varepsilon_{opt,k}) + \frac{8B\gamma^K}{1-\gamma}$
जहाँ $\alpha'_k$ , बेलमैन रेसिडुअल क्लास की सीक्वेंशियल रेडेमैकर कॉम्प्लेक्सिटी के साथ स्केल होता है।
दर (Rate): बाउंड निरंतर स्थानों (जैसे सोबोलेव बॉल्स) के लिए रेसिडुअल स्केलिंग के लिए एक मानक "धीमी" दर $O(n^{-1/4})$ प्रदान करता है, जो कि लोकलाइज्ड कॉम्प्लेक्सिटी उपायों के बजाय ग्लोबल सीक्वेंशियल रेडेमैकर कॉम्प्लेक्सिटी का उपयोग करने का परिणाम है।
पूर्व कार्य से तुलना: परिणाम मौजूदा बैच थ्योरी (i.i.d. स्पेशलाइजेशन) को समाहित करते हैं और एडेप्टिव सेटिंग्स तक विस्तारित करते हैं। डिस्क्रीट स्पेस या लीनियर मॉडल को मानने वाले पिछले कार्यों के विपरीत, यह ढांचा सामान्य बोरेल स्पेस को संभालता है।

महत्व और दावे
शोध पत्र का दावा है कि यह कई आधुनिक डीप RL एल्गोरिदम के औपचारिक विश्लेषण के लिए आवश्यक आधार तैयार करता है। माप-सिद्धांतिक कठोरता और सांख्यिकीय जटिलता के बीच के अंतर को पाटकर, यह निरंतर अवस्था-क्रिया स्थानों पर ऑफ-पॉलिसी डीप RL के लिए एक औपचारिक औचित्य प्रदान करता है, जहाँ पिछले सिद्धांत या तो बहुत प्रतिबंधात्मक (डिस्क्रीट/लीनियर) थे या जिनमें सांख्यिकीय गारंटी का अभाव था (सटीक DP)।

लेखक अपने परिणामों के दायरे के बारे में विनम्र हैं:

वे स्वीकार करते हैं कि $O(n^{-1/4})$ दर संभावित फास्ट रेट्स की तुलना में एक "धीमी दर" है जो लोकलाइज्ड कॉम्प्लेक्सिटी उपायों द्वारा प्राप्त की जा सकती है, लेकिन उनका तर्क है कि ग्लोबल फ्रेमवर्क उच्च-क्षमता वाले फंक्शन क्लासेस के लिए अधिक लचीला उपकरण प्रदान करता है।
वे स्पष्ट रूप से कहते हैं कि मुख्य परिणाम अंतिम ग्रीडी पॉलिसी की उप-इष्टतमता (suboptimality) को बांधता है, न कि पूरे प्रक्षेपवक्र की संचयी ऑनलाइन रिग्रेट को। इस अंतर को संचयी रिग्रेट तक ले जाने के लिए अतिरिक्त संरचनात्मक धारणाओं (जैसे इटरेट स्टेबिलिटी या UCB या थॉम्पसन सैंपलिंग जैसे स्पष्ट एक्सप्लोरेशन मैकेनिज्म) की आवश्यकता होती है, जिन्हें खुले प्रश्न के रूप में पहचाना गया है।
ढांचा एडेप्टिव कॉन्सेन्ट्रैबिलिटी (डिजाइन मेजर्स द्वारा अंतिम पॉलिसी के रेसिडुअल-इवैल्यूएशन मेजर्स का कवरेज) मानता है, जो ऑफ-पॉलिसी लर्निंग में एक मानक लेकिन गैर-तुच्छ धारणा है।

संक्षेप में, यह शोध पत्र एक नया एल्गोरिदम या प्रयोगात्मक बेंचमार्क प्रस्तावित नहीं करता है, बल्कि बोरेल वेल-पोस्डनेस से लेकर सीक्वेंशियल जनरलाइजेशन तक एक कठोर सैद्धांतिक "चेन" प्रदान करता है, जो आधुनिक ऑफ-पॉलिसी डीप RL को बोरेल ट्रांजिशन सिस्टम की मौलिक सीमाओं में स्थापित करता है।

तीन अलग-थलग समूह (समस्या)

समाधान: एक एकीकृत सिद्धांत

मुख्य परिणाम

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

यह शोध पत्र क्या दावा नहीं करता

इसी तरह के और पेपर