🤖 machine learning

Pure Exploration for a Good Policy in Reinforcement Learning with Bandit Feedback

यह शोधपत्र सुदृढीकरण सीखने (रिनफोर्समेंट लर्निंग) के लिए शुद्ध अन्वेषण (प्योर एक्सप्लोरेशन) में गुड पॉलिसी आइडेंटिफिकेशन (जीपीआई) उद्देश्य को प्रस्तुत करता है, जिसका लक्ष्य इष्टतम नीति के बजाय एक दिए गए रिवॉर्ड थ्रेशोल्ड से अधिक रिवॉर्ड वाली नीति को कुशलतापूर्वक खोजना है, और BEE-GPI एल्गोरिदम का प्रस्ताव करता है जो अवस्था-क्रिया स्थान (स्टेट-एक्शन स्पेस) के आकार के बजाय इष्टतम और थ्रेशोल्ड रिवॉर्ड के बीच के अंतर पर निर्भरता के साथ निकट-इष्टतम नमूना जटिलता (सैंपल कॉम्प्लेक्सिटी) प्राप्त करता है।

मूल लेखक: Zitian Li, Wang Chi Cheung

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zitian Li, Wang Chi Cheung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अज्ञात भूलभुलैया में एक खजाना खोजने वाले (treasure hunter) हैं। आपका लक्ष्य पूरे भूलभुलैया में किसी एक सबसे मूल्यवान रत्न को खोजना नहीं है (जो शायद किसी बहुत ही छोटी, कठिन पहुँच वाली जगह में छिपा हो सकता है)। इसके बजाय, आपके बॉस ने आपको एक विशिष्ट नियम दिया है: "कोई भी रत्न ढूंढो जिसकी कीमत कम से कम $100 हो। यदि आप एक भी नहीं ढूंढ पाते हैं, तो मुझे 'कोई नहीं' (None) बताएं।"

यह उस मुख्य समस्या का केंद्र है जिसे यह शोध पत्र (paper) हल करता है। आर्टिफिशियल इंटेलिजेंस (विशेष रूप से रीइन्फोर्समेंट लर्निंग) की दुनिया में, इसे गुड पॉलिसी आइडेंटिफिकेशन (Good Policy Identification - GPI) कहा जाता है।

यहाँ इस शोध पत्र के विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका (बेस्ट पॉलिसी आइडेंटिफिकेशन):
लंबे समय से, AI शोधकर्ता भूलभुलैया के माध्यम से सबसे अच्छे रास्ते को खोजने पर ध्यान केंद्रित कर रहे थे। वे उस "गोल्डन टिकट" को खोजना चाहते थे जो उच्चतम इनाम देता हो।

समस्या: यह अविश्वसनीय रूप से कठिन और धीमा है। यह साबित करने के लिए कि आपने सबसे अच्छा रास्ता खोज लिया है, आपको हर एक बंद रास्ते (dead end) की जांच करनी होगी ताकि यह सुनिश्चित हो सके कि वहां कुछ बेहतर छिपा हुआ नहीं है। यह एक महल के हर कमरे की जांच करने जैसा है ताकि यह साबित किया जा सके कि आपने सबसे महंगी पेंटिंग ढूंढ ली है, भले ही आपको केवल $100 की पेंटिंग की ही आवश्यकता थी।

नया तरीका (गुड पॉलिसी आइडेंटिफिकेशन):
लेखकों ने महसूस किया कि वास्तविक दुनिया की कई स्थितियों में (जैसे चिकित्सा उपचार या ट्रैफिक रूटिंग में), हमें "परफेक्ट" समाधान की आवश्यकता नहीं होती है। हमें बस एक "काफी अच्छा" समाधान चाहिए जो एक विशिष्ट मानक ($100 की सीमा) को पार कर सके।

लाभ: यदि आप $150 का रत्न ढूंढ लेते हैं, तो आप तुरंत रुक सकते हैं। आपको$ 200 के रत्न की तलाश में आगे बढ़ने की आवश्यकता नहीं है। इससे समय और प्रयास की भारी बचत होती है।

2. चुनौती: आपको कैसे पता चलेगा कि कब रुकना है?

जटिल बात यह है कि AI को शुरुआत में रत्नों का मूल्य या भूलभुलैया का लेआउट पता नहीं होता। उसे भूलभुलैया में चलकर (एक्सप्लोर करके) सीखना होगा।

जोखिम: यदि AI बहुत जल्दी रुक जाता है, तो वह $90 का रत्न चुन सकता है और दावा कर सकता है कि यह पर्याप्त अच्छा है (एक गलती)।
जोखिम: यदि AI अनंत काल तक खोजता रहता है, तो वह संसाधनों को बर्बाद करता है।
लक्ष्य: AI को आत्मविश्वास (मान लीजिए 99.9% यकीन) होना चाहिए कि उसने या तो एक "अच्छा" रत्न ढूंढ लिया है या कोई अच्छा रत्न मौजूद नहीं है, और यह सब न्यूनतम चरणों (steps) का उपयोग करके करना है।

3. समाधान: "BEE-GPI" एल्गोरिदम

लेखकों ने BEE-GPI (Balanced Exploration-Exploitation for Good Policy Identification) नामक एक नया एल्गोरिदम बनाया है। इसे एक स्मार्ट, दो-चरणों वाली रणनीति के रूप में समझें:

चरण A: "स्काउट" (Scout - खोजकर्ता) (Exploration)
AI एक स्काउट भेजता है जो भूलभुलैया में तेजी से दौड़ता है। स्काउट परफेक्ट होने की कोशिश नहीं करता; वे बस कोई भी ऐसा रास्ता खोजने की कोशिश करते हैं जो आशाजनक लगे।

"अर्ली स्टॉप" (Early Stop) ट्रिक: आमतौर पर, एल्गोरिदम तब तक चलते रहते हैं जब तक कि वे 100% सुनिश्चित न हो जाएं। लेकिन BEE-GPI में एक विशेष "अर्ली स्टॉप" बटन है। यदि स्काउट एक ऐसा रास्ता ढूंढ लेता है जो बहुत अधिक संभावना रखता है कि $100 की सीमा से ऊपर होगा, तो एल्गोरिदम स्काउट को तुरंत रोक देता है। यह अभी तक हर एक विवरण को सत्यापित करने के लिए इंतजार नहीं करता है। यह बहुत सारा समय बचाता है।

चरण B: "इंस्पेक्टर" (Inspector - निरीक्षक) (Exploitation/Verification)
एक बार जब स्काउट एक संभावित रास्ता ढूंढ लेता है, तो AI "इंस्पेक्टर मोड" में बदल जाता है। वह गणित को दोबारा जांचने के लिए उसी विशिष्ट पथ को बार-बार चलाता है।

जादू: क्योंकि "स्काउट" चरण एक उम्मीदवार खोजने में इतना कुशल था, इसलिए "इंस्पेक्टर" चरण को पुष्टि करने के लिए केवल कुछ ही बार चलाने की आवश्यकता होती है।
परिणाम: यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह दो-चरणीय प्रक्रिया "परफेक्ट" पथ खोजने की तुलना में बहुत तेज़ है।

4. यह एक बड़ी बात क्यों है? (द मैजिक कोएफिशिएंट)

गणित और कंप्यूटर विज्ञान की दुनिया में, एक फॉर्मूला होता है जो भविष्यवाणी करता है कि एक एल्गोरिदम को कितना समय लगेगा। इस फॉर्मूले में आमतौर पर भूलभुलैया के आकार (कितने कमरे और दरवाजे हैं) के लिए एक "पेनल्टी" शामिल होती है।

पुराने एल्गोरिदम: लगने वाला समय बहुत बड़ा हो जाता था यदि भूलभुलैया बड़ी होती। फॉर्मूला कुछ ऐसा दिखता था: समय = भूलभुलैया का आकार × आप कितने आश्वस्त होना चाहते हैं।
BEE-GPI: लेखकों ने पाया कि एक "काफी अच्छा" पथ खोजने के लिए, समय का भूलभुलैया के आकार पर उसी तरह निर्भरता नहीं होती है।
- उनका फॉर्मूला कुछ ऐसा दिखता है: समय = आप कितने आश्वस्त होना चाहते हैं × थ्रेशोल्ड (सीमा) और सबसे अच्छे पथ के बीच की दूरी।
- उपमा: कल्पना कीजिए कि $100 का नोट ढूंढना है। यदि आप शहर में *सबसे अच्छा* नोट ढूंढ रहे हैं, तो आपको हर सड़क की जांच करनी होगी (शहर का आकार मायने रखता)। लेकिन यदि आपको केवल *कोई भी*$ 100 का नोट चाहिए, तो आप पहले कुछ ब्लॉक में ही एक पाकर रुक सकते हैं। इससे शहर का आकार उतना मायने नहीं रखता।

5. प्रमाण

लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा। उन्होंने:

सिद्ध किया कि यह काम करता है: उन्होंने गणितीय रूप से दिखाया कि एल्गोरिदम लगभग हमेशा सही उत्तर खोज लेगा।
सिद्ध किया कि यह तेज़ है: उन्होंने दिखाया कि कोई अन्य एल्गोरिदम उनसे बहुत अधिक तेज़ नहीं हो सकता (उन्होंने एक "लोअर बाउंड" सिद्ध किया, जिसका अर्थ है कि इस काम को करने की एक भौतिक सीमा है, और उनका एल्गोरिदम उस सीमा तक पहुँचता है)।
परीक्षण किया: उन्होंने कंप्यूटर सिमुलेशन (जैसे वीडियो गेम भूलभुलैया में एल्गोरिदम का परीक्षण करना) चलाए और पुष्टि की कि BEE-GPI पुराने "बेस्ट पाथ" एल्गोरिदम की तुलना में बहुत तेज़ी से अच्छे पथ खोजता है।

सारांश

यह शोध पत्र AI के लिए सीखने के एक स्मार्ट तरीके को पेश करता है। "परफेक्ट" समाधान की तलाश करने के जुनून (जिसमें बहुत समय लगता है) के बजाय, AI को एक "काफी अच्छे" समाधान से संतुष्ट होना सिखाया जाता है। एक चतुर "स्काउट फिर इंस्पेक्टर" रणनीति का उपयोग करके, यह जटिल समस्याओं के बावजूद बहुत तेज़ी से इन अच्छे समाधानों को खोज सकता है। यह वास्तविक दुनिया की स्थितियों में AI को कुशल बनाने की दिशा में एक बड़ा कदम है जहाँ "परफेक्ट" होना आवश्यक नहीं है, लेकिन "अच्छा" होना ज़रूरी है।

तकनीकी सारांश: सुदृढीकरण सीखने (Reinforcement Learning) में एक अच्छी नीति के लिए शुद्ध अन्वेषण (Pure Exploration)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र 'प्योर एक्सप्लोरेशन इन रिइन्फोर्समेंट लर्निंग' (RL) के ढांचे के भीतर गुड पॉलिसी आइडेंटिफिकेशन (GPI) समस्या को संबोधित करता है। पारंपरिक बेस्ट पॉलिसी आइडेंटिफिकेशन (BPI) उद्देश्य के विपरीत, जो उच्च विश्वास के साथ एक (निकट)-इष्टतम नीति की पहचान करने का प्रयास करता है, GPI एक ऐसी नीति खोजने पर ध्यान केंद्रित करता है जो एक विशिष्ट प्रदर्शन सीमा (performance threshold) को संतुष्ट करती हो।

औपचारिक रूप से, अज्ञात ट्रांजिशन डायनेमिक्स $P$ और प्रारंभिक वितरण $p$ , एक परिमित अवस्था स्थान (finite state space) $S$ , एक्शन स्पेस $A$ , और हॉरिजन $H$ वाले एक एपिसोडिक मार्कोव डिसीजन प्रोसेस (MDP) के लिए, एजेंट को एक रिवॉर्ड थ्रेशोल्ड $\mu_0$ प्रदान किया जाता है। लक्ष्य एक $\delta$ -प्रोबेबली एप्रोक्सिमेटली करेक्ट ( $\delta$ -PAC) एल्गोरिदम डिजाइन करना है जो:

पॉजिटिव इंस्टेंस (Positive Instance): यदि कोई नीति $\pi$ मौजूद है जिसके लिए अपेक्षित कुल रिवॉर्ड $V^\pi_0(s_0) \ge \mu_0$ है, तो एल्गोरिदम को कम से कम $1-\delta$ प्रायिकता के साथ ऐसी नीति आउटपुट करनी चाहिए।
नेगेटिव इंस्टेंस (Negative Instance): यदि इष्टतम नीति का मान $V^*_0(s_0) < \mu_0$ है, तो एल्गोरिदम को कम से कम $1-\delta$ प्रायिकता के साथ "None" आउटपुट करना चाहिए।

प्रदर्शन मीट्रिक अपेक्षित सैंपल कॉम्प्लेक्सिटी (खोजे गए एपिसोड की अपेक्षित संख्या, जिसे $\tau$ द्वारा दर्शाया गया है) है। यह शोध पत्र $V^*_0(s_0) = \mu_0$ के मामले को स्पष्ट रूप से बाहर करता है, क्योंकि पिछले कार्य (डेगेने और कूलन [2019]) ने स्थापित किया है कि इस सीमावर्ती मामले में किसी भी $\delta$ -PAC एल्गोरिदम को अनंत नमूनों की आवश्यकता होगी।

2. कार्यप्रणाली: BEE-GPI

लेखक BEE-GPI (बैलेंस्ड एक्सप्लोरेशन-एक्सप्लोइटेशन फॉर गुड पॉलिसी आइडेंटिफिकेशन) नामक एक नया एल्गोरिदम प्रस्तावित करते हैं। यह एल्गोरिदम चरणों $k=1, 2, \dots$ में संचालित होता है, जहाँ प्रत्येक चरण में एक अनुकूली अन्वेषण चरण (adaptive exploration stage) के बाद एक निर्णय शाखा तंत्र (decision branching mechanism) होता है।

मुख्य घटक:

अन्वेषण चरण (ES-BPI-UCRL):
- यह चरण एक अर्ली-स्टॉपिंग BPI-UCRL ऑरेकल का उपयोग करता है। यह ट्रांजिशन कर्नेल और वैल्यू फंक्शनों का अनुमान लगाने के लिए एक आशावादी सैंपलिंग रणनीति (BPI-UCRL के समान) का उपयोग करता है।
- महत्वपूर्ण रूप से, यह एक नवीन अर्ली-स्टॉपिंग मैकेनिज्म पेश करता है। ऑरेकल प्रत्येक चरण में दो स्थितियों की जाँच करता है:
  - शर्त (3): वर्तमान आशावादी नीति के मान का एक लोअर कॉन्फिडेंस बाउंड (lower confidence bound), $\mu_0$ (एक कारक $C$ द्वारा समायोजित) से अधिक हो जाता है। यदि यह पूरा होता है, तो एक कैंडिडेट नीति की पहचान की जाती है।
  - शर्त (4): इष्टतम वैल्यू फंक्शन का अपर कॉन्फिडेंस बाउंड $\mu_0$ से नीचे होता है। यदि यह पूरा होता है, तो इंस्टेंस को 'नेगेटिव' घोषित किया जाता है।
- यदि इनमें से कोई भी शर्त पूरी नहीं होती है और अन्वेषण बजट $T^{ee}_k$ समाप्त नहीं होता है, तो एल्गोरिदम सैंपलिंग जारी रखता है।
निर्णय शाखा (Decision Branching):
- यदि ऑरेकल "Not Completed" लौटाता है, तो एल्गोरिदम एक सख्त एरर टॉलरेंस $\delta_k$ और बढ़े हुए बजट के साथ अगले चरण में जाता है।
  कौशल सुनिश्चित करने के लिए एल्गोरिदम अगले चरण में जाता है।
- यदि ऑरेकल "None" लौटाता है लेकिन विश्वास अपर्याप्त है ( $\delta_k \ge \delta/10$ ), तो एल्गोरिदम $\delta$ -PAC गारंटी सुनिश्चित करने के लिए अगले चरण में जारी रहता है।
- यदि ऑरेकल एक कैंडिडेट नीति $\hat{\pi}_k$ लौटाता है, तो एल्गोरिदम एक्सप्लोइटेशन स्टेज में प्रवेश करता है।
एक्सप्लोइटेशन और वेरिफिकेशन:
- इस चरण में, कैंडिडेट नीति $\hat{\pi}_k$ को उसके वास्तविक मान का अनुमान लगाने के लिए बार-बार निष्पादित किया जाता है।
- एल्गोरिदम अनुभवजन्य माध्य रिवॉर्ड (empirical mean reward) के लिए एक कॉन्फिडेंस इंटरवल बनाता है। यदि लोअर कॉन्फिडेंस बाउंड एक विशिष्ट सैंपल बजट के भीतर $\mu_0$ से अधिक हो जाता है, तो नीति को समाधान के रूप में आउटपुट किया जाता है।
- यदि बजट समाप्त होने के बाद भी सत्यापन नहीं होता है, तो एल्गोरिदम अगले पुनरावृत्ति के अन्वेषण चरण में वापस चला जाता है।

3. प्रमुख योगदान

यह शोध पत्र तीन प्राथमिक सैद्धांतिक योगदान देता है:

GPI का औपचारिकीकरण: लेखक $\epsilon$ -BPI से भिन्न, फिक्स्ड-कॉन्फिडेंस सेटिंग में गुड पॉलिसी आइडेंटिफिकेशन समस्या को औपचारिक रूप से परिभाषित करते हैं। वे बताते हैं कि मानक $\epsilon$ -BPI रिडक्शन, GPI के लिए उप-इष्टतम (suboptimal) हैं क्योंकि गैप $V^*_0(s_0) - \mu_0$ पूर्व में ज्ञात नहीं होता है, जिससे $\epsilon$ का चयन करना कठिन हो जाता है।
एल्गोरिदम डिज़ाइन और अपर बाउंड्स: वे BEE-GPI का प्रस्ताव करते हैं और पॉजिटिव और नेगेटिव दोनों इंस्टेंस के लिए इसके सैंपल कॉम्प्लेक्सिटी पर सैद्धांतिक रूप से आधारित अपर बाउंड्स प्राप्त करते हैं।
- पॉजिटिव इंस्टेंस: सैंपल कॉम्प्लेक्सिटी $O\left(\frac{H^2 \log(1/\delta)}{(V^*_0(s_0) - \mu_0)^2}\right) + O\left(\frac{\text{poly}(S, A, H)}{(V^*_0(s_0) - \mu_0)^2}\right)$ द्वारा सीमित है।
- नेगेटिव इंस्टेंस: बाउंड में स्टेट और एक्शन स्पेस के आकार से जुड़े पद शामिल हैं, विशेष रूप से $O\left(\frac{(H+1)^4 SA \log(1/\delta)}{(V^*_0(s_0) - \mu_0)^2}\right)$ ।
लोअर बाउंड्स और निकट-इष्टतमता (Near-Optimality): लेखक निर्मित "यूनिफॉर्म इंस्टेंस" (पॉजिटिव मामलों के लिए) और "ट्री इंस्टेंस" (नेगेटिव मामलों के लिए) का उपयोग करके GPI समस्या के लिए लोअर बाउंड्स स्थापित करते हैं।
- वे सिद्ध करते हैं कि पॉजिटिव इंस्टेंस के लिए, किसी भी $\delta$ -PAC एल्गोरिदम को $\Omega\left(\frac{H \log(1/\delta)}{(V^*_0 - \mu_0)^2} + \frac{H^2 SA}{(V^*_0 - \mu_0)^2}\right)$ का सैंपल कॉम्प्लेक्सिटी वहन करना होगा।
- नेगेटिव इंस्टेंस के लिए, लोअर बाउंड $\Omega\left(\frac{HSA \log(1/\delta)}{(\mu_0 - V^*_0)^2}\right)$ है।
- ये परिणाम दर्शाते हैं कि BEE-GPI निकट-इष्टतम (near-optimal) है, जिसमें अपर और लोअर बाउंड के बीच का अंतर $S, A, H$ के बहुपद कारकों (polynomial factors) तक सीमित है।

4. परिणाम और विश्लेषण

सैद्धांतिक अंतर्दृष्टि

लॉगैरिद्मिक टर्म्स का डिकपलिंग (Decoupling of Logarithmic Terms): एक महत्वपूर्ण निष्कर्ष यह है कि पॉजिटिव इंस्टेंस के लिए, सैंपल कॉम्प्लेक्सिटी में $\log(1/\delta)$ टर्म का गुणांक $O(H^2)$ है और यह स्टेट स्पेस के आकार $S$ और एक्शन स्पेस $A$ से स्वतंत्र है। यह मानक BPI रिडक्शन के बिल्कुल विपरीत है, जहाँ गुणांक आमतौर पर $S$ और $A$ के साथ बहुपद रूप से बढ़ता है।
असममिति (Asymmetry): पॉजिटिव और नेगेटिव इंस्टेंस के बीच एक अंतर्निहित विषमता है। जहाँ पॉजिटिव इंस्टेंस पूरे स्टेट-एक्शन स्पेस को एक्सप्लोर किए बिना एक 'अच्छी' नीति की कुशल पहचान की अनुमति देते हैं, वहीं नेगेटिव इंस्टेस को यह प्रमाणित करने के लिए ग्लोबल एक्सप्लोरेशन की आवश्यकता होती है कि कोई भी नीति थ्रेशोल्ड को पूरा नहीं करती है, जिससे $\log(1/\delta)$ टर्म में $S$ और $A$ पर निर्भरता आती है।

संख्यात्मक प्रयोग (Numerical Experiments)

लेखक दो क्लासिक वातावरणों का उपयोग करके अपने दृष्टिकोण को मान्य करते हैं: सिंगल चेन (Single Chain) और डबल चेन (Double Chain) MDPs।

सेटअप: वे BEE-GPI की तुलना अत्याधुनिक BPI-UCRL एल्गोरिदम (Kaufmann et al. [2021]) से करते हैं। एक निष्पक्ष तुलना सुनिश्चित करने के लिए, BPI-UCRL को ऑरेकल पैरामीटर $\epsilon = V^*_0 - \mu_0$ के साथ प्रदान किया गया है, जो इसे महत्वपूर्ण पूर्व ज्ञान देता है।
निष्कर्ष: विभिन्न थ्रेशोल्ड $\mu_0$ के माध्यम से, BEE-GPI को योग्य नीति की पहचान करने के लिए BPI-UCRL की तुलना में लगातार काफी कम एपिसोड की आवश्यकता होती है। अनुभवजन्य परिणाम $\log(1/\delta)$ टर्म को स्टेट और एक्शन स्पेस के आकार से डिकपल करने के सैद्धांतिक लाभ की पुष्टि करते हैं।

5. महत्व और दावे

शोध पत्र का दावा है कि BEE-GPI उन व्यावहारिक RL परिदृश्यों के लिए अधिक कुशल समाधान प्रदान करता है जहाँ पूर्णतः इष्टतम नीति खोजना अनावश्यक या कम्प्यूटेशनल रूप से कठिन है, लेकिन एक "पर्याप्त अच्छी" नीति (बेंचमार्क से अधिक) खोजना महत्वपूर्ण है।

व्यावहारिक प्रासंगिकता: लेखक मेडिकल इंफॉर्मेटिक्स (मानक देखभाल से अधिक उपचारों की पहचान करना), क्लाउड कंप्यूटिंग (सर्विस लेवल एग्रीमेंट्स को पूरा करना), और फाइनेंस (ROI बेंचमार्क को पूरा करना) जैसे अनुप्रयोगों का उल्लेख करते हैं जहाँ लक्ष्य इष्टतमता के बजाय थ्रेशोल्ड संतुष्टि है।
सैद्धांतिक प्रगति: GPI को औपचारिक रूप से परिभाषित करके और निकट-इष्टतम बाउंड्स प्रदान करके, यह कार्य सैद्धांतिक प्योर एक्सप्लोरेशन और व्यावहारिक थ्रेशोल्ड-आधारित आवश्यकताओं के बीच के अंतर को पाटता है। यह प्रदर्शित करता है कि जब उद्देश्य इष्टतमता से बदलकर थ्रेशोल्ड संतुष्टि हो जाता है, तो सैंपल कॉम्प्लेक्सिटी को काफी कम किया जा सकता है, विशेष रूप से पॉजिटिव इंस्टेंस के मामले में।
भावी दिशाएँ: लेखक विनम्रतापूर्वक सुझाव देते हैं कि भविष्य के कार्यों में अधिक सटीक इंस्टेंस-डिपेंडेंट बाउंड्स प्राप्त करना और फंक्शन एप्रोक्सिमेशन का उपयोग करके बड़े पैमाने के MDPs तक इस ढांचे का विस्तार करना शामिल हो सकता है।

संक्षेप में, यह शोध पत्र स्थापित करता है कि एक रिवॉर्ड थ्रेशोल्ड को पूरा करने वाली नीति की पहचान करना, सर्वश्रेष्ठ नीति की पहचान करने से मौलिक रूप से भिन्न है, और एक ऐसा एल्गोरिदम प्रस्तावित करता है जो इस अंतर का लाभ उठाकर बेहतर सैंपल दक्षता प्राप्त करने के लिए डिज़ाइन किया गया है, विशेष रूप से तब जब इष्टतम मान और थ्रेशोल्ड के बीच का अंतर ही कठिनाई का मुख्य चालक हो।