📊 statistics

Learning Kernel-Based MDPs from Episodic Preferential Feedback

यह शोध पत्र केवल बाइनरी प्रक्षेपवक्र प्राथमिकताओं (binary trajectory preferences) का उपयोग करके एपिसोडिक कर्नेल-आधारित MDPs सीखने के लिए एक कठोर सैद्धांतिक ढांचा प्रस्तुत करता है, जो उच्च-संभाव्यता वाले उप-रैखिक रिग्रेट बाउंड्स (sublinear regret bounds) स्थापित करता है जो यह गारंटी देते हैं कि सीखा गया नीति (policy) इष्टतम (optimal) नीति की ओर अभिसरित होता है।

मूल लेखक: Nikola Pavlovic, Sattar Vakili, Qing Zhao

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nikola Pavlovic, Sattar Vakili, Qing Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: स्कोरिंग नहीं, तुलना करके सीखना

कल्पना कीजिए कि आप एक रोबोट को एक बेहतरीन भोजन बनाना सिखा रहे हैं। पुराने समय में, AI ट्रेनिंग के लिए आपको एक सख्त फूड क्रिटिक की तरह काम करना पड़ता था, जहाँ आप रोबोट द्वारा बनाए गए हर व्यंजन के लिए एक विशिष्ट स्कोर (जैसे 10 में से 7.5) देते थे। यह कठिन है क्योंकि इंसान सटीक नंबर देने में माहिर नहीं होते। हम जानते हैं कि एक व्यंजन दूसरे से "बेहतर" है, लेकिन हम हमेशा यह नहीं बता पाते कि वह कितना बेहतर है।

यह शोध पत्र एक ऐसी समस्या पर काम करता है जहाँ AI केवल तुलना करके सीखता है। स्कोर देने के बजाय, इंसान बस कहता है, "मुझे पिज्जा की तुलना में पास्ता अधिक पसंद है।" AI को केवल इन "A बनाम B" के विकल्पों को सुनकर सबसे अच्छा खाना बनाना सीखना होगा।

शोधकर्ताओं ने एक नई गणितीय विधि (एक एल्गोरिदम) बनाई है जो AI को कुशलतापूर्वक सबसे अच्छी रणनीति सीखने में मदद करती है, भले ही वह दुनिया जिसमें वह रहता है, अविश्वसनीय रूप से जटिल और अव्यवस्थित हो (गणितीय रूप से इसे "Kernel MDP" कहा जाता है)।

चुनौती: प्राथमिकताओं का "ब्लैक बॉक्स"

कठिनाई यह है कि AI को बहुत कम जानकारी मिलती है।

पुराना तरीका (संख्यात्मक रिवॉर्ड्स): यदि आप AI को कहते हैं "इस पिज्जा को 9/10 मिला," तो आपको बहुत सारा डेटा मिलता है। आप जानते हैं कि वह कितना अच्छा था।
नया तरीका (प्राथमिकताएं): यदि आप केवल कहते हैं "मुझे पास्ता ज्यादा पसंद है," तो AI बहुत सारी जानकारी खो देता है। उसे यह नहीं पता चलता कि पास्ता अद्भुत था और पिज्जा बहुत बुरा था, या दोनों ही ठीक-ठाक थे। यह कमरे के तापमान का अनुमान लगाने जैसा है, जहाँ आपको केवल यह बताया गया है कि "यह कल से गर्म है" बिना यह जाने कि वास्तविक तापमान क्या है।

इसके अलावा, AI को इस जटिल वातावरण में सीखना होता है जहाँ शुरुआत में की गई एक छोटी सी गलती पूरे भोजन (जिसे "ट्रैजेक्टरी" कहा जाता है) को खराब कर सकती है। यह पेपर इस बात पर ध्यान केंद्रित करता है कि कैसे जटिल वातावरण (जटिल पैटर्न को संभालने के लिए "Kernel" गणित का उपयोग करके) और प्रति राउंड केवल एक "हाँ/नहीं" प्राथमिकता मिलने पर भी कुशलतापूर्वक कैसे सीखा जाए।

समाधान: PROSTO (आशावादी शेफ)

लेखकों ने PROSTO नामक एक एल्गोरिदम पेश किया है। PROSTO को एक बहुत ही आशावादी शेफ के रूप में सोचें जो एक बेहतरीन रेसिपी सीखने की कोशिश कर रहा है।

यहाँ बताया गया है कि PROSTO कैसे काम करता है, चरण-दर-चरण:

"क्या होगा अगर" का खेल (एक्सप्लोरेशन):
चूंकि शेफ को अभी तक सही रेसिपी का पता नहीं है, इसलिए उसे नई चीजें आज़माने की आवश्यकता है। लेकिन वह केवल अंदाज़ा नहीं लगा सकता; वह बर्बादी होगी। PROSTO एक गणितीय ट्रिक का उपयोग करता है जिसे Gaussian Process Perturbation कहा जाता है।
- उपमा: कल्पना कीजिए कि शेफ के पास एक "जादुई मसाला शेकर" है। हर बार जब वह खाना बनाता है, तो वह अपनी योजना में थोड़ा सा "रैंडम अनिश्चितता" (random uncertainty) मिला देता है। यह उसे पास्ता या पिज्जा के थोड़े अलग संस्करणों को आज़माने के लिए मजबूर करता है। यह सुनिश्चित करता है कि वह रसोई के सभी कोनों को खोज ले ताकि छिपे हुए रत्नों को ढूँढा जा सके, न कि केवल वही करता रहे जो वह पहले से जानता है।
"आत्मविश्वास" का स्कोर (रेगुलराइजेशन):
शेफ को यह जानने की ज़रूरत है कि उसे अपने अंदाज़ों पर कितना भरोसा है। यदि वह बहुत अनिश्चित है, तो उसे साहसी होना चाहिए। यदि वह आश्वस्त है, तो उसे योजना पर टिके रहना चाहिए।
- पेपर एक तकनीक का उपयोग करता है जिसे Regularized Kernel Logistic Regression कहा जाता है। इसे एक "कॉन्फिडेंस मीटर" के रूप में समझें। यह नई चीजें आज़माने की शेफ की इच्छा और सटीक होने की आवश्यकता के बीच संतुलन बनाता है। यह शेफ को बहुत ज़्यादा लापरवाह होने (जिससे खराब भोजन बनता है) या बहुत अधिक उबाऊ होने (जिससे वह सबसे अच्छी रेसिपी मिस कर देता है) से रोकता है।
"तुलना" इंजन:
हर दौर में, शेफ दो अलग-अलग व्यंजन (दो अलग-अलग रणनीतियाँ) बनाता है और इंसान से पूछता है, "आपको कौन सा पसंद है?"
- एल्गोरिदम इस एकल "हाँ/नहीं" उत्तर को लेता है और इसका उपयोग रसोई के अपने आंतरिक मानचित्र को अपडेट करने के लिए करता है। यह केवल उस विशिष्ट भोजन को अपडेट नहीं करता है; यह रसोई की पूरी प्रक्रिया के बारे में अपनी समझ को अपडेट करता है, यहाँ तक कि उन चरणों के लिए भी जिन्हें उसने सीधे तौर पर नहीं देखा।

यह शोध पत्र क्यों विशेष है (द "मैजिक" पार्ट)

शोधकर्ता दावा करते हैं कि उन्होंने एक बहुत कठिन गणितीय पहेली को हल किया है।

"कवरिंग" की समस्या: जटिल गणित में, यह साबित करने के लिए कि एक एल्गोरिदम काम करता है, आपको यह दिखाना होता है कि आप सभी संभावित परिदृश्यों को अनुमानों की एक प्रबंधनीय संख्या के साथ "कवर" कर सकते हैं। आमतौर पर, जब आप AI को एक्सप्लोर करने के लिए "रैंडम नॉइज़" (जैसे जादुकी मसाला शेकर) जोड़ते हैं, तो गणित इतना जटिल हो जाता है कि उसे कैलकुलेट करना असंभव हो जाता है।
ब्रेकथ्रू: लेखकों ने गणित को "नियंत्रित" रखने का एक तरीका खोजा है। उन्होंने सिद्ध किया कि इस रैंडम नॉइज़ के साथ भी, सबसे अच्छा समाधान खोजने के लिए आवश्यक अनुमानों की संख्या, जैसे-जैसे AI सीखता है, बहुत धीरे-धीरे (सबलीनियरली) बढ़ती है।
परिणाम: उन्होंने सिद्ध किया कि PROSTO एल्गोरिदम अंततः सबसे अच्छी रणनीति खोज लेगा, और वह यह भी कुशलतापूर्वक करेगा जिसके लिए लाखों मानव तुलनाओं की आवश्यकता नहीं होगी। यह जटिल वातावरणों (Matérn kernels) के एक विस्तृत वर्ग के लिए काम करता है, जो कई वास्तविक दुनिया के परिदृश्यों को कवर करता है जहाँ चीजें पूरी तरह से सुचारू या पूर्वानुमानित नहीं होती हैं।

निचोड़ (The Bottom Line)

यह शोध पत्र AI के लिए मानव प्राथमिकताओं (जैसे "मैं A को B से बेहतर मानता हूँ") से सीखने का एक नया, गणितीय रूप से कठोर तरीका प्रस्तुत करता है।

समस्या: सरल "A बनाम B" विकल्पों से सीखना कठिन है क्योंकि इसमें जानकारी का नुकसान होता है, और जटिल वातावरण इसे और भी कठिन बना देते हैं।
समाधान: PROSTO नामक एक एल्गोरिदम जो "आशावादी एक्सप्लोरेशन" (अनिश्चितता के आधार पर नई चीजें आज़माना) और कुशल रहने के लिए सावधानीपूर्वक गणितीय ट्यूनिंग का उपयोग करता है।
प्रमाण: लेखों ने गणितीय रूप से सिद्ध किया है कि यह तरीका काम करता है, और यह बेहतर होता जाता है, और बिना अत्यधिक कंप्यूटिंग पावर की आवश्यकता के सबसे अच्छे समाधान की ओर बढ़ता है।

संक्षेप में, उन्होंने AI के लिए हमारे सरल "थम्स अप" या "थम्स डाउन" फीडबैक से सीखने का एक स्मार्ट तरीका बनाया है, भले ही कार्य जटिल हो।

तकनीकी सारांश: एपिसोडिक प्रिफरेंशियल फीडबैक से लर्निंग कर्नल-बेस्ड MDPs

समस्या का निरूपण (Problem Formulation)
यह कार्य एपिसोडिक मार्कोव डिसीजन प्रोसेस (MDPs) के परिवेश में रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) की समस्या को संबोधित करता है। मानक RL के विपरीत, जहाँ एजेंट को स्केलर रिवॉर्ड प्राप्त होता है, यहाँ शिक्षार्थी (learner) को केवल बाइनरी प्रिफरेंशियल फीडबैक प्राप्त होता है। प्रत्येक एपिसोड $k$ में, शिक्षार्थी एक सामान्य स्टार्ट स्टेट से दो पॉलिसियाँ, $\pi$ और $\pi'$ तैनात करता है ताकि दो ट्रेजेक्टरीज, $\tau_k$ और $\tau'_k$ उत्पन्न की जा सकें। फीडबैक में एक एकल बाइनरी लेबल $y_k \in \{0, 1\}$ शामिल होता है जो यह दर्शाता है कि कौन सी ट्रेजेक्टरी पसंद की गई है। इस प्राथमिकता को संचयी (अदृश्य) रिवॉर्ड्स के अंतर पर लागू किए गए ब्रैडली-टेरी-लूस (BTL) लिंक फंक्शन के माध्यम से मॉडल किया गया है:
$y_k \sim \text{Ber}\left(\sigma\left(\sum_{h=1}^H r_h(z^k_h) - \sum_{h=1}^H r_h(z'^k_h)\right)\right)$
जहाँ $\sigma$ सिग्मॉइड फंक्शन है। लक्ष्य एक ऐसी पॉलिसी सीखना है जो वैल्यू फंक्शन $V^\pi_1$ को अधिकतम करे और संचयी रिग्रेट (cumulative regret) को न्यूनतम करे, जिसे इष्टतम वैल्यू और तैनात की गई पॉलिसियों के औसत वैल्यू के बीच के अंतर के रूप में परिभाषित किया गया है।

यह सेटिंग एक कर्नल MDP संरचना मानती है, जहाँ रिवॉर्ड फंक्शन $r_h$ और ट्रांजिशन ऑपरेटर $P_h$ , एक ज्ञात कर्नल $k$ द्वारा प्रेरित रिप्रोड्यूसिंग कर्नल हिल्बर्ट स्पेस (RKHS) $\mathcal{H}_k$ के तत्व हैं। विशेष रूप से, लेखक मैटर्न कर्नल फैमिली (Matérn kernel family) पर ध्यान केंद्रित करते हैं, जो नॉनलीनियर स्ट्रक्चर को कैप्चर करती है और सोबोलेव स्पेस (Sobolev spaces) के साथ नॉम-इक्विवेलेंट है, जो लीनियर MDPs से परे एक सामान्यीकरण प्रदान करती है।

कार्यप्रणाली: PROSTO एल्गोरिदम
लेखक PROSTO (Preference based Regularized Optimization via Sampled Trajectory induced Optimism) प्रस्तावित करते हैं। यह एल्गोरिदम एपिसोड्स में कार्य करता है और प्रिफरेंशियल फीडबैक और कर्नल फंक्शन एप्रोक्सिमेशन के अनुकूलित वैल्यू इटरेशन दृष्टिकोण का उपयोग करता है।

रेगुलराइज्ड कर्नल लॉजिस्टिक रिग्रेशन (KLRR) के माध्यम से रिवॉर्ड एस्टीमेशन:
चूँकि फीडबैक ट्रेजेक्टरी-लेवल का और बाइनरी है, रिवॉर्ड वेक्टर $\theta$ का अनुमान एक नॉम-वेटेड पेनल्टी के साथ मैक्सिमम लाइकलीहुड एस्टीमेशन का उपयोग करके लगाया जाता है। एस्टीमेटर $\hat{\theta}_k$ देखे गए प्रिफरेंस के नेगेटिव लॉग-लाइक्लीहुड और एक रेगुलराइजेशन टर्म $\tau \|\theta\|^2_{\mathcal{H}_k}$ को मिनिमाइज करता है। इस रिग्रेशन के लिए कोवेरियेट्स ट्रेजेक्टरी डिफरेंस फीचर्स $\phi_i = \sum_{h=1}^H \phi(z^i_h) - \phi(z'^i_h)$ हैं।
रैंडमाइज्ड GP परटर्बेशन के माध्यम से एक्सप्लोरेशन:
यह सुनिश्चित करने के लिए कि ट्रांजिशन डायनेमिक्स को पहले से जाने बिना ट्रेजेक्टरी लेवल पर पर्याप्त एक्सप्लोरेशन हो (जो डिटर्मिनिस्टिक एलिप्टिक बोनस को रोकता है), PROSTO रैंडमाइज्ड एक्सप्लोरेशन का उपयोग करता है। एक एक्सप्लोरेशन नॉइज़ वेक्टर $\epsilon_k$ को एक गाऊसी प्रोसेस (GP) से सैंपल किया जाता है जिसका कोवेरियेंस स्ट्रक्चर ट्रेजेक्टरी डिफरेंस के एम्पिरिकल कोवेरियेंस पर निर्भर करता है। ऑप्टिमिज्म प्रेरित करने के लिए रिवॉर्ड एस्टीमेट में यह नॉइज़ जोड़ी जाती है।
कर्नल रिज रिग्रेशन (KRR) के माध्यम से वैल्यू फंक्शन एस्टीमेशन:
वैल्यू फंक्शन का अनुमान रिकर्सिवली लगाया जाता है। नेक्स्ट-स्टेट एक्सपेक्टेड वैल्यू का अनुमान ट्रांजिशन सैंपल्स पर स्टैंडर्ड कर्नल रिज रिग्रेशन का उपयोग करके किया जाता है। फाइनल Q-फंक्शन एस्टीमेट $\hat{Q}^k_h$ , बाउंडेडनेस सुनिश्चित करने के लिए क्लिपिंग के अधीन, रिवॉर्ड एस्टीमेट (KLRR + GP नॉइज़) और ट्रांजिशन एस्टीमेट (KRR) को जोड़ता है।
पॉलिसी एक्जीक्यूशन:
लर्नर दो पॉलिसियाँ, $\pi$ और $\pi'$ , चुनता है जो अपने संबंधित ऑप्टिमिस्टिक Q-फंक्शन एस्टीमेट्स के प्रति ग्रीडी (greedy) होती हैं। इन पॉलिसियों को अगले एपिसोड की ट्रेजेक्टरीज और प्रिफरेंस फीडबैक उत्पन्न करने के लिए निष्पादित किया जाता है।

प्रमुख तकनीकी योगदान और चुनौतियाँ
पेपर तीन प्राथमिक तकनीकी चुनौतियों की पहचान करता है जो कर्नल MDPs को ट्रेजेक्टरी-लेवल प्रिफरेंशियल फीडबैक के साथ जोड़ने के लिए विशिष्ट हैं और उनके नवीन समाधान प्रदान करता है:

लॉग-कवरिंग नंबर्स को नियंत्रित करना: कर्नल MDPs में, वैल्यू फंक्शन क्लास का लॉग-कवरिंग नंबर कवरिंग मेश $\epsilon$ के इनवर्स के साथ पॉलीनोमियल रूप से स्केल करता है और एस्टीमेटर्स के RKHS नॉर्म्स पर निर्भर करता है। लीनियर MDPs के विपरीत, जहाँ कवरिंग नंबर्स एपिसोड काउंट में लॉगरिदमिक होते हैं, कर्नल सेटिंग्स में यदि एस्टीमेटर नॉर्म्स बहुत अधिक बढ़ जाते हैं तो रिग्रेट बाउंड्स निरर्थक (vacuous) हो सकते हैं।
- समाधान: लेखक KLRR में रेगुलराइजेशन पैरामीटर $\tau$ को सावधानीपूर्वक ट्यून करते हैं ताकि रिवॉर्ड एस्टीमेटर के RKHS नॉर्म को स्पष्ट रूप से नियंत्रित किया जा सके। यह प्रेरित फंक्शन क्लास के कवरिंग नंबर को छोटा रखता है, जिससे सार्थक कॉन्फिडेंस बाउंड्स संभव हो पाते हैं।
नॉन-स्मूथ नॉइज़ के साथ ट्रेजेक्टरी-लेवल एक्सप्लोरेशन: स्टैंडर्ड एक्सप्लोरेशन बोनस (एलिप्टिक बोनस) के लिए पूर्ण ट्रेजेक्टरी का ज्ञान आवश्यक होता है, जो निर्णय के समय उपलब्ध नहीं होता है। GP सैंपलिंग के माध्यम से रैंडमाइज्ड एक्सप्लोरेशन का उपयोग किया जाता है, लेकिन मैटर्न कर्नल से GP सैंपल पाथ्स आमतौर पर संबंधित RKHS में नहीं होते हैं (वे कम स्मूथ होते हैं)। यह स्टैंडर्ड कवरिंग बाउंड्स को अप्रासंगिक बना देता है।
- समाधान: लेखक पोस्टीरियर GP सैंपल पाथ्स के लिए नए हाई-प्रोबेबिलिटीिटी गाऊसी कवरिंग बाउंड्स व्युत्पन्न करते हैं। वे van der Vaart और van Zanten [2008] के परिणामों का लाभ उठाते हैं यह दिखाने के लिए कि जबकि GP पाथ्स RKHS बॉल के बाहर होते हैं, वे उच्च संभाव्यता के साथ एक उपयुक्त विस्तारित RKHS बॉल के $\epsilon$ -नेबरहुड ( $\ell_\infty$ नॉर्म में) के भीतर होते हैं। यह रिग्रेट एनालिसिस के लिए आवश्यक कवरिंग बाउंड्स के व्युत्पन्न को सक्षम बनाता है।
रेगुलराइजेशन और कवरिंग पैरामीटर्स को संतुलित करना: रेगुलराइजेशन पैरामीटर्स ( $\tau$ रिवॉर्ड के लिए, $\lambda$ ट्रांजिशन के लिए) और कवरिंग मेश $\epsilon$ को ट्यून करना गैर-मामूली है। एक छोटा $\epsilon$ मिसस्पेसिफिकेशन एरर को कम करता है लेकिन कवरिंग नंबर को बढ़ाता है; एक बड़ा $\epsilon$ इसके विपरीत करता है।
- समाधान: लेखक $\tau$ , $\lambda$ , और $\epsilon$ को एपिसोड्स की संख्या $K$ और कर्नल स्मूथनेस पैरामीटर $\beta_p$ के फलन (functions) के रूप में संयुक्त रूप से ऑप्टिमाइज़ करते हैं। यह संतुलन सुनिश्चित करता है कि कॉन्फिडेंस विड्थ्स सबलीनियर रिग्रेट के लिए पर्याप्त टाइट रहें जबकि फंक्शन क्लास की जटिलता को नियंत्रित किया जा सके।

परिणाम और रिग्रेट बाउंड्स
पेपर सिद्ध करता है कि PROSTO मैटर्न कर्नल फैमिली के सभी कर्नल्स के लिए एक सबलीनियर क्युमुलेटिव रिग्रेट बाउंड प्राप्त करता है। विशेष रूप से, रिग्रेट $R(K)$ इस प्रकार स्केल करता है:
$R(K) \leq \tilde{O}\left( \kappa_Z \max\left( H^{2.5} K^{1 - \frac{(\beta_p-1)^2}{2\beta_p(\beta_p+1)}}, H^3 K^{1 - \frac{\beta_p-1}{2(\beta_p+1)}} \right) \right)$
जहाँ $\beta_p > 1$ कर्नल का आइगेन-डिके (eigen-decay) पैरामीटर है, $H$ हॉराइजन है, और $\kappa_Z$ मैक्सिमम इनवर्स लिंक ग्रेडिएंट है। $K$ का एक्सपोनेंट 1 से कम है, जो $K \to \infty$ होने पर इष्टतम पॉलिसी की ओर अभिसरण (convergence) को दर्शाता है।

इसके अतिरिक्त, एल्गोरिदम कंप्यूटेशनल रूप से कुशल है, जिसका रनटाइम एपिसोड्स की संख्या $K$ के पॉलीनोमियल में है। यह उन्हें कर्नल MDPs के पिछले कार्यों (जैसे Maran et al. [2024b]) से अलग करता है जो, हालांकि सबलीनियर रिग्रेट प्राप्त करते हैं, डोमेन पार्टिशनिंग या ऑप्टिमाइजेशन ओरैकल्स पर निर्भर करते हैं जो सामान्य कर्नल सेटिंग्स के लिए पॉलीनोमियल समय में गणना योग्य नहीं हैं।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य मैटर्न कर्नल फैमिली के लिए प्रोवेबल सबलीनियर रिग्रेट प्राप्त करने वाला पहला एल्गोरिदम है जो कंप्यूटेशनल रूप से कुशल भी है।

सैद्धांतिक नवीनता: यह कार्य प्रिफरेंस-बेस्ड RL (जो आमतौर पर टैबुलर या लीनियर सेटिंग्स को संभालता है) और कर्नल-बेस्ड फंक्शन एप्रोक्सिमेशन (जो नॉनलीनियर सेटिंग्स को संभालता है) के बीच के अंतर को पाटता है। यह वैल्यू इटरेशन के संदर्भ में GP एक्सप्लोरेशन नॉइज़ की कमी में स्मूथनेस को संभालने के लिए नई तकनीकें पेश करता है।
कंप्यूटेशनल दक्षता: डोमेन पार्टिशनिंग या ऑप्टिमाइजेशन ओरैकल्स की आवश्यकता वाले पिछले नो-रिग्रेट एल्गोरिदम के विपरीत, PROSTO एक पॉलीनोमियल-टाइम कार्यान्वयन प्रदान करता है।
सीमाएँ: लेखक स्वीकार करते हैं कि प्राप्त रिग्रेट बाउंड ऑर्डर-ऑप्टिमल नहीं हो सकता है। वे नोट करते हैं कि डोमेन पार्टिशनिंग दृष्टिकोण, जो कुछ कर्नल सेटिंग्स में वर्तमान में ऑर्डर-ऑप्टिमल बाउंड्स प्रदान करते हैं, ट्रेजेक्टरी-लेवल फीडबैक के साथ असंगत हैं क्योंकि ट्रांजिशन की स्टोकेस्टिसिटी लोकलाइज्ड बेलमैन ऑपरेटर एस्टीमेशन को रोकती है।

पेपर निष्कर्ष निकालता है कि हालांकि व्युत्पन्न रिग्रेट बाउंड सबलीनियर है, ऑर्डर-ऑप्टिमल बाउंड प्राप्त करना एक खुला प्रश्न बना हुआ है, जिसके लिए वर्तमान डोमेन पार्टिशनिंग या यूनिफॉर्म कवरिंग विधियों से परे मौलिक रूप से भिन्न तकनीकों की आवश्यकता होगी।

मुख्य विचार: स्कोरिंग नहीं, तुलना करके सीखना

चुनौती: प्राथमिकताओं का "ब्लैक बॉक्स"

समाधान: PROSTO (आशावादी शेफ)

यह शोध पत्र क्यों विशेष है (द "मैजिक" पार्ट)

निचोड़ (The Bottom Line)

इसी तरह के और पेपर