📊 statistics

A Bit of Freedom Goes a Long Way: Classical and Quantum Algorithms for Reinforcement Learning under a Generative Model

यह शोध पत्र एक जेनेरेटिव मॉडल के तहत परिमित और अनंत-क्षितिज वाले मार्कोव निर्णय प्रक्रियाओं (Markov Decision Processes) के लिए नवीन शास्त्रीय और क्वांटम ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम प्रस्तुत करता है जो आशावाद (optimism) और पश्च वितरण नमूनाकरण (posterior sampling) जैसे पारंपरिक प्रतिमानों को दरकिनार करने के लिए प्रत्यक्ष इष्टतम नीति गणना का लाभ उठाते हैं, जिससे क्वांटम विधियों के लिए समय चरणों पर पॉलीलॉगैरिद्मिक निर्भरता सहित बेहतर रिग्रेट बाउंड्स प्राप्त होते हैं।

मूल लेखक: Andris Ambainis, Joao F. Doriguello, Debbie Lim

प्रकाशित 2026-07-20

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andris Ambainis, Joao F. Doriguello, Debbie Lim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जिसके नियम छिपे हुए हैं। आप नहीं जानते कि कौन से बटन खजाने की ओर ले जाते हैं और कौन से आपको गड्ढे में गिरा देते हैं। जीतने के लिए, आपको बटन दबाते रहना होगा, यह देखना होगा कि क्या होता है, और धीरे-धीरे सबसे अच्छी रणनीति समझना होगा। यही रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) का सार है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एक कंप्यूटर "एजेंट" पुरस्कारों को अधिकतम करने के लिए वातावरण के साथ बातचीत करके सीखता है। इसके लिए गणितीय ढांचा मार्कोव डिसीजन प्रोसेस (Markov Decision Process - MDP) कहलाता है। एक MDP को सभी संभावित गेम स्टेट्स (जैसे "चट्टान पर खड़ा होना" या "चाबी हाथ में होना") के मानचित्र के रूप में सोचें और इसमें एक क्रिया (action) लेने पर आगे क्या होने की संभावना है। लक्ष्य एक आदर्श "पॉलिसी" (policy) खोजना है—एक नियम पुस्तिका जो एजेंट को हर स्थिति में उच्चतम स्कोर प्राप्त करने के लिए ठीक वही करने के बारे में बताती है।

लंबे समय से, वैज्ञानिक इन लर्निंग एजेंटों को अधिक स्मार्ट और तेज़ बनाने की कोशिश कर रहे हैं। एक बड़ी बाधा "एक्सप्लोरेशन बनाम एक्सप्लॉइटेशन" (exploration vs. exploitation) की दुविधा रही है: क्या एजेंट को दुनिया के बारे में अधिक जानने के लिए नए, जोखिम भरे कदम उठाने चाहिए (एक्सप्लोरेशन), या उन कदमों पर टिके रहना चाहिए जिन्हें वह पहले से ही अच्छा जानता है (एक्सप्लॉइटेशन)? अधिकांश पारंपरिक तरीके "अनिश्चितता के सामने आशावाद" (optimism in the face of uncertainty) नामक एक रणनीति पर निर्भर करते हैं, जहाँ एजेंट यह अनुमान लगाता है कि अज्ञात रास्ते शानदार हो सकते हैं ताकि उन्हें आज़माने के लिए प्रोत्साहित किया जा सके। हालाँकि, यह शोध पत्र एक नया मोड़ पेश करता है: क्या होगा अगर एजेंट के पास एक "चीट कोड" या एक "सिम्युलेटर" हो जिसका उपयोग वह वास्तविक गेम खेलने के बिना चालों का परीक्षण करने के लिए कभी-कभी कर सके? लेखक अन्वेषण करते हैं कि कैसे एजेंट को इस विशेष पहुंच देने से, क्वांटम कंप्यूटिंग की शक्ति के साथ मिलकर, यह क्रांतिकारी बदलाव ला सकता है कि ये एजेंट कितनी तेज़ी से सीखते हैं।

शोध पत्र का बड़ा विचार: एक हाइब्रिड ट्रेनिंग कैंप

लेखक, एंड्रिस एम्बैनिस, जियाओ एफ. डोरिगुएलो और डेबी लिम, इन AI एजेंटों को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं। वे एक हाइब्रिड ऑनलाइन-ऑफलाइन मॉडल का सुझाव देते हैं। कल्पना कीजिए कि एजेंट एक छात्र है। "ऑनलाइन" चरण में, छात्र एक वास्तविक कक्षा में है, एक परीक्षा दे रहा है। हर गलत उत्तर के कारण उनके अंक कटते हैं (यह "रिग्रेट" या पूर्ण न होने का दंड है)। यह महंगा, वास्तविक दुनिया वाला हिस्सा है। लेकिन फिर, छात्र को ब्रेक मिलता है। वे एक "सिमुलेशन लैब" (ऑफलाइन चरण) में कदम रखते हैं। इस लैब में, उनके पास एक जादुई "जेनरेटिव मॉडल" है—एक सिम्युलेटर जो बिना किसी दंड के, तुरंत किसी भी चाल के परिणाम को बार-बार दिखा सकता है।

यहाँ मुख्य नवाचार यह है कि एजेंट इन दोनों मोडों के बीच स्विच कर सकता है। वह वास्तविक गेम कुछ समय के लिए खेलता है, कुछ गलतियाँ करता है, और फिर गणना करने और एक बेहतर रणनीति खोजने के लिए सिम्युलेटर में जाता है। एक बार जब उसके पास एक बेहतर योजना बन जाती है, तो वह वास्तविक गेम में वापस आता है। शोध पत्र का तर्क है कि सिम्युलेटर का उपयोग करने की यह "स्वतंत्रता" सब कुछ बदल देती है।

पुराने नियमों को छोड़ना

शोध पत्र का सबसे दिलचस्प हिस्सा वह है जो यह हमें करने से मना करता है। दशकों से, RL एजेंटों के लिए मानक सलाह "अनिश्चितता के सामने आशावाद" का उपयोग करना था। यह एक छात्र को बताने जैसा है, "चूंकि आप नहीं जानते कि वह दरवाजा सोने की ओर ले जाता है या जाल की ओर, मान लें कि वह सोना है ताकि आप जाकर देख सकें।" लेखक दिखाते हैं कि यदि आपके पास एक सिम्युलेटर (भले ही कभी-कभी) तक पहुंच है, तो आपको अनुमान लगाने की आवश्यकता नहीं है। आप सीधे सिम्युलेटर में जा सकते हैं, गणना कर सकते हैं और वास्तविक सर्वोत्तम चाल का पता लगा सकते हैं।

वे स्पष्ट रूप से "आशावाद" या "पोस्टीरियर सैंपलिंग" (एक अन्य जटिल अनुमान लगाने वाली विधि) की आवश्यकता के विरुद्ध तर्क देते हैं। अनुमान लगाने के बजाय कि क्या सच हो सकता है, एजेंट सिम्युलेटर डेटा का उपयोग करके सीधे इष्टतम नीति (optimal policy) की गणना कर सकता है। यह बदलाव उन्हें पारंपरिक लर्निंग के अस्त-व्यस्त, अनिश्चित हिस्सों से बचने और सीधे समाधान की ओर जाने की अनुमति देता है।

क्वांटम सुपरपावर

अब, "क्वांटम" वाले हिस्से की बात करते हैं। लेखकों ने केवल एक सिम्युलेटर का उपयोग करने तक ही सीमित नहीं रहे; उन्होंने पूछा, "क्या होगा यदि सिम्युलेटर एक क्वांटम कंप्यूटर पर चलता है?" क्वांटम कंप्यूटर एक साथ बड़ी मात्रा में संभावनाओं को संसाधित करने के लिए प्रसिद्ध हैं। सिम्युलेटर चरण के भीतर क्वांटम एल्गोरिदम का उपयोग करके, एजेंट क्लासिकल कंप्यूटर की तुलना में बहुत तेज़ी से क्रियाओं के परिणामों का अनुमान लगा सकता है।

शोध पत्र तीन अलग-अलग प्रकार के गेम परिदृश्यों के लिए नए एल्गोरिदम प्रस्तुत करता है:

फाइनाइट-होराइजन (Finite-Horizon): वे खेल जो चरणों की एक निर्धारित संख्या के बाद समाप्त हो जाते हैं (जैसे वीडियो गेम का एक स्तर)।
इनफिनिट-होराइजन डिस्काउंटेड (Infinite-Horizon Discounted): वे खेल जो अनंत काल तक चलते हैं, लेकिन भविष्य के पुरस्कार तत्काल पुरस्कारों की तुलना में थोड़े कम मूल्यवान होते हैं (जैसे पैसे पर ब्याज कमाना)।
इनफिनिट-होराइजन अनडिस्काउंटेड (Infinite-Horizon Undiscounted): वे खेल जो अनंत काल तक चलते हैं और सभी पुरस्कारों पर समान भार होता है (जैसे एक स्थिर नौकरी)।

इन सभी परिदृश्यों के लिए, लेखकों ने पाया कि उनके क्वांटम एल्गोरिदम एक "रिग्रेट बाउंड" (regret bound) प्राप्त कर सकते हैं जो समय के चरणों ( $T$ ) पर केवल बहुत मामूली मात्रा (जैसे $T$ का लघुगणक, या $\log T$ ) के आधार पर निर्भर करता है। हालाँकि, यह ध्यान देना अत्यंत महत्वपूर्ण है कि प्रदर्शन अभी भी गेम की दुनिया के आकार पर महत्वपूर्ण रूप से निर्भर करता है। एल्गोरिदम की दक्षता गेम के संभावित राज्यों ( $S$ ), संभावित क्रियाओं ( $A$ ), और गेम की लंबाई या प्रभावी क्षितिज ( $H$ या $\Gamma$ ) की संख्या से अत्यधिक प्रभावित होती है। जबकि क्वांटम एजेंट की त्रुटि जैसे-जैसे गेम लंबा होता है, बहुत धीरे बढ़ती है (समय के सापेक्ष पॉलीलॉगैरिद्मिक), गणना की जटिलता अभी भी स्टेट और एक्शन स्पेस के आकार के साथ स्केल करती है।

साधारण शब्दों में, इसका अर्थ यह है कि जैसे-जैसे गेम लंबा होता जाता है, क्वांटम एजेंट का प्रदर्शन समय के संबंध में बहुत कम बिगड़ता है, लेकिन सीखने का प्रारंभिक "लागत" अभी भी गेम मैप की जटिलता द्वारा निर्धारित होता है। इसके विपरीत, क्लासिकल एल्गोरिदम में आमतौर पर त्रुटियां समय के वर्गमूल ( $\sqrt{T}$ ) के साथ बढ़ती हैं। शोध पत्र दिखाता है कि क्वांटम सिम्युलेटर का उपयोग करके, एजेंट क्लासिकल बाधा को तोड़ सकता है, और विशेष रूप से तब तेजी से सीख सकता है जब एजेंट को सिम्युलेटर में एक निश्चित मात्रा में समय दिया जाता है (जो $\beta$ नामक "बजट" पैरामीटर द्वारा नियंत्रित होता है, जो 1 और 2 के बीच है)। यदि एजेंट को सिम्युलेटर में अभ्यास करने के लिए पर्याप्त स्वतंत्रता दी जाती है, तो क्वांटम लाभ विशाल है; यदि सिम्युलेटर का समय बहुत कम है, तो लाभ कम हो जाता है।

वे कितने आश्वस्त हैं?

लेखक अपने गणितीय प्रमाणों में बहुत आश्वस्त हैं। उन्होंने केवल कंप्यूटर पर एक सिमुलेशन नहीं चलाया और यह नहीं कहा कि "यह काम करता हुआ दिखता है।" उन्होंने कठोर गणितीय प्रमाण प्रदान किए जो दिखाते हैं कि उनके एल्गोरिदम एक विशिष्ट संभावना (आमतौर पर $1 - \delta$ , जहाँ $\delta$ विफलता की एक छोटी संभावना है) के साथ एक इष्टतम नीति बनाएंगे। उन्होंने सिद्ध किया कि उनके क्वांटम एल्गोरिदम को एक अच्छा समाधान तक पहुँचने के लिए सर्वश्रेष्ठ ज्ञात क्लासिकल तरीकों की तुलना में कम "क्वेरीज़" (या सिम्युलेटर की जाँच) की आवश्यकता होती है।

हालाँकि, वे शर्तों के बारे में भी सावधान हैं। उनके "सुपर-फास्ट" परिणाम "बजट" पैरामीटर ( $\beta$ ) पर बहुत अधिक निर्भर करते हैं, जो यह नियंत्रित करता है कि एजेंट वास्तविक दुनिया बनाम सिम्युलेटर में कितना समय बिताता है। यदि एजेंट को सिम्युलेटर में पर्याप्त समय दिया जाता है (विशेष रूप से जब $\beta$ , 1 और 2 के बीच होता है), तो क्वांटम लाभ बहुत बड़ा होता है। यदि सिम्युलेटर का समय बहुत कम है, तो लाभ कम हो जाता है। वे यह भी बताते हैं कि उनकी पद्धति इस बात पर निर्भर करती है कि एजेंट के पास एक "जेनरेटिव मॉडल" (सिम्युलेटर) तक पहुंच हो, जो एक विशिष्ट प्रकार का सेटअप है जो हमेशा हर वास्तविक दुनिया के परिदृश्य में उपलब्ध नहीं होता है।

निष्कर्ष

यह शोध पत्र बताता है कि यदि हम AI एजेंटों को अभ्यास करने के लिए एक "सैंडबॉक्स" दे सकें—एक सिम्युलेटर जहाँ वे बिना किसी परिणाम के डर के चालों का परीक्षण कर सकें—और यदि हम उस सैंडबॉक्स को क्वांटम कंप्यूटर पर चला सकें, तो हम उन्हें जटिल वातावरण में अविश्वसनीय रूप से तेज़ी से महारत हासिल करना सिखा सकते हैं। उन्हें अनुमान लगाने या अत्यधिक आशावादी होने की आवश्यकता नहीं है; वे सीधे सर्वोत्तम पथ की गणना कर सकते हैं। हालांकि इसके लिए एक विशिष्ट सेटअप (हाइब्रिड मॉडल और क्वांटम एक्सेस) की आवश्यकता होती है और गति सबसे नाटकीय रूप से तब होती है जब एजेंट के पास सिम्युलेटर में पर्याप्त "अभ्यास समय" होता है, परिणाम एक स्पष्ट मार्ग दिखाते हैं जिसकी ओर क्लासिकल कंप्यूटर शायद ही कभी पहुँच पाते हैं। यह एक याद दिलाता है कि कभी-कभी, बिना किसी परिणाम के अभ्यास करने की थोड़ी सी स्वतंत्रता बहुत काम आती है।

तकनीकी सारांश: थोड़ी सी स्वतंत्रता बहुत कुछ बदल सकती है

समस्या विवरण

यह शोध पत्र ऑनलाइन सेटिंग में मार्कोव निर्णय प्रक्रियाओं (MDPs) को सीखने की समस्या को संबोधित करता है, जो विशेष रूप से रिग्रेट (अनुकूलतम नीति और एजेंट के संचित पुरस्कार के बीच का अंतर) को कम करने पर केंद्रित है। लेखक तीन अलग-अलग MDP सेटिंग्स का अध्ययन करते हैं:

फाइनाइट-होराइजन (Finite-horizon) MDPs: एजेंट $H$ चरणों की एक निश्चित संख्या के लिए अंतःक्रिया करता है।
इनफाइनाइट-होराइजन डिस्काउंटेड (Infinite-horizon discounted) MDPs: एजेंट अनिश्चित काल तक अंतःक्रिया करता है, जहाँ पुरस्कारों को $\gamma \in [0, 1)$ कारक द्वारा डिस्काउंट किया जाता है।
इनफाइनाइट-होराइजन अनडिस्काउंटेड (Infinite-horizon undiscounted) MDPs: एजेंट औसत पुरस्कार मानदंडों के साथ अनिश्चित काल तक अंतःक्रिया करता है, जो विशेष रूप से वीकली कम्युनिकेटिंग (weakly communicating) MDPs पर केंद्रित है।

सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में एक केंद्रीय चुनौती अन्वेषण-शोषण (exploration-exploitation) का संतुलन है। पारंपरिक ऑनलाइन RL एल्गोरिदम अक्सर अनिश्चितता को प्रबंधित करने के लिए "अनिश्चितता के सामने आशावाद" (optimism in the face of uncertainty) या "पोस्टीरियर सैंपलिंग" जैसे सिद्धांतों पर निर्भर करते हैं। यह शोध पत्र इस बात की जांच करता है कि क्या इन प्रतिमानों को एक हाइब्रिड इंटरैक्शन मॉडल पेश करके दरकिनार किया जा सकता है, जो वातावरण तक "ऑफलाइन" जेनेरेटिव पहुंच की अनुमति देता है।

कार्यप्रणाली (Methodology)

हाइब्रिड ऑनलाइन-ऑफलाइन RL मॉडल

मुख्य पद्धतिगत योगदान एक हाइब्रिड ऑनलाइन-ऑफलाइन RL मॉडल का प्रस्ताव है। यह मॉडल सीखने की प्रक्रिया को दो वैकल्पिक चरणों में विभाजित करता है:

ऑनलाइन चरण (अन्वेषण): एजेंट शास्त्रीय रूप से वातावरण के साथ अंतःक्रिया करता है। वह क्रियाएं चुनता है, पुरस्कार प्राप्त करता है, और अवस्था संक्रमण (state transitions) देखता है। महत्वपूर्ण बात यह है कि इस चरण के दौरान रिग्रेट संचित होता है।
ऑफलाइन चरण (जेनेरेटिव लर्निंग): एजेंट के पास एक "सिम्युलेटर" या ऑरेकल ( $C_p$ शास्त्रीय रूप से, $Q_p$ क्वांटम रूप से) तक पहुंच होती है जो उसे जेनेरेटिव तरीके से संक्रमणों को सैंपल करने की अनुमति देता है। इस चरण के दौरान, एजेंट क्वांटम संचालन और ऑरेकल के व्युत्क्रम (inverse) तक पहुँचने सहित कोई भी गणना कर सकता है, बिना रिग्रेट संचित किए।

इस मॉडल में "स्वतंत्रता" को एक बजट पैरामीटर $\beta$ द्वारा नियंत्रित किया जाता है। यदि ऑनलाइन चरण $\tau$ चरणों तक चलता है, तो एजेंट को उसके बाद के ऑफलाइन चरण में ऑरेकल के $O(\tau^\beta)$ प्रश्नों (queries) की अनुमति दी जाती है। यह बाधा एजेंट को केवल वातावरण को पर्याप्त बार सिम्युलेट करके ऑनलाइन अंतःक्रिया करने से पहले ही इष्टतम नीति को पूरी तरह से सीखने के माध्यम से समस्या को आसानी से हल करने से रोकती है।

एल्गोरिद्मिक दृष्टिकोण

प्रस्तावित एल्गोरिदम एक चरणबद्ध संरचना (एल्गोरिदम 1) का पालन करते हैं:

एजेंट $\tau_\ell$ लंबाई के ऑनलाइन चरण को चलाता है।
इसके बाद के ऑफलाइन चरण में, एजेंट अनुभाग 2 से प्राप्त सब-रूटीन का उपयोग करके एक $\epsilon_\ell$ -इष्टतम नीति की गणना करने के लिए ऑरेकल का उपयोग करता है।
अन्वेषण की लागत और गणना की गई नीति की सटीकता के बीच संतुलन बनाने के लिए ऑनलाइन चरण की लंबाई (डबलिंग ट्रिक के माध्यम से) बढ़ती जाती है।

लेखक मानक "आशावाद" ह्यूरिस्टिक्स से बचते हैं। इसके बजाय, वे ऑफलाइन चरण के दौरान सीधे अनुमानित इष्टतम नीतियों की गणना करते हैं, जिसका उपयोग निम्नलिखित के माध्यम से किया जाता है:

शास्त्रीय सब-रूटीन: वेरिएंस-रिड्यूस्ड वैल्यू इटरेशन (Sidford et al. [55] पर आधारित) और मानक बैकवर्ड इंडक्शन।
क्वांटम सब-रूटीन: क्वांटम मीन एस्टीमेशन (Kothari and O'Donnell [57]) का उपयोग करके अपेक्षित मूल्यों का अनुमान लगाने के लिए क्वांटाइज्ड वर्जन और क्वांटम मिनिमम फाइंडिंग (Dürr and Høyer [58]) का उपयोग करके इष्टतम क्रियाओं का चयन करने के लिए क्वांटाइज्ड वर्जन।

यह शोध पत्र पिछले क्वांटम RL कार्यों (जैसे, [23, 24, 98]) का आलोचनात्मक विश्लेषण करता है, यह तर्क देते हुए कि उनमें एक मौलिक दोष है। उन कार्यों ने माना था कि क्वांटम एम्प्लीट्यूड एस्टीमेशन को संग्रहीत क्वांटम अवस्थाओं $\{Q_p|s\rangle, Q_p^\dagger|s\rangle\}$ के संग्रह पर किया जा सकता है। लेखक स्पष्ट करते हैं कि एम्प्लीट्यूड एस्टीमेशन के लिए एक एकल क्वांटम अवस्था पर ऑरेकल के क्रमिक, सुसंगत (sequential, coherent) अनुप्रयोगों की आवश्यकता होती है, न कि अवस्थाओं के एक स्थिर संग्रह तक पहुंच की। प्रस्तावित हाइब्रिड मॉडल इस समस्या को हल करता है क्योंकि यह अन्वेषण चरणों के संग्रह को "ऑनलाइन" चरण के रूप में और सुसंगत क्वांटम गणना को "ऑफलाइन" चरण के रूप में मानता है।

मुख्य योगदान और परिणाम

1. नीति गणना के लिए नवीन क्वांटम एल्गोरिदम

लेखक जेनेरेटिव मॉडल के तहत $\epsilon$ -इष्टतम नीतियों की गणना के लिए नए क्वांटम एल्गोरिदम प्रस्तुत करते हैं, जो ऑनलाइन लर्निंग प्रक्रिया के लिए सब-रूटीन के रूप में कार्य करते हैं:

फाइनाइट-होराइजन: एक क्वांटम एल्गोरिदम जिसकी क्वेरी कॉम्प्लेक्सिटी $\tilde{O}(\min\{H^{2.5}SA/\epsilon, H^3S\sqrt{A}/\epsilon\})$ है। यह शास्त्रीय बाउंड्स में सुधार करता है और समकालीन कार्य [60] से मेल खाता है।
इनफाइनाइट-होराइजन डिस्काउंटेड: एक क्वांटम एल्गोरिदम जिसकी क्वेरी कॉम्प्लेक्सिटी $\tilde{O}(\min\{\Gamma^{1.5}SA/\epsilon, \Gamma^3S\sqrt{A}/\epsilon\})$ है।
इनफाइनाइट-होराइजन अनडिस्काउंटेड: वीकली कम्युनिकेटिंग MDPs के लिए एक नया क्वांटम एल्गोरिदम जिसकी क्वेरी कॉम्प्लेक्सिटी $\tilde{O}(\Lambda S \sqrt{A} / \epsilon)$ है, यह मानते हुए कि बेलमैन ऑपरेटर एक $J$ -स्टेज $\nu$ -स्पैन कॉन्ट्रैक्शन है।

2. बेहतर रिग्रेट बाउंड्स

हाइब्रिड मॉडल और नए सब-रूटीन्स का लाभ उठाते हुए, यह शोध पत्र नए रिग्रेट बाउंड्स प्राप्त करता है:

फाइनाइट-होराइजन:
- शास्त्रीय: विशिष्ट पैरामीटर श्रेणियों के लिए स्टेट-ऑफ-द-आर्ट $\tilde{O}(\sqrt{HSAT})$ से मेल खाता है लेकिन पिछले कार्यों में पाए जाने वाले अतिरिक्त पदों से बचता है।
- क्वांटम: $\tilde{O}(\min\{H^{1.5}SA, H^2S\sqrt{A}\} T^{1-\beta})$ प्राप्त करता है। $\beta \in [1, 2)$ के लिए, $T$ पर निर्भरता घटकर पॉिलोलोगरिथमिक हो जाती है, जो शास्त्रीय $\sqrt{T}$ बाधा को तोड़ देती है।
इनफाइनाइट-होराइजन डिस्काउंटेड:
- शास्त्रीय: कुछ स्थितियों के तहत He et al. [97] के $\tilde{O}(\sqrt{\Gamma^3SAT})$ बाउंड से मेल खाता है।
- क्वांटम: $\tilde{O}(\min\{\Gamma^{1.5}SA, \Gamma^3S\sqrt{A}\} T^{1-\beta})$ प्राप्त करता है। $\beta \ge 1$ के लिए, रिग्रेट $T$ में पॉिलोलगणिक (polylogarithmic) है, जो एक नया परिणाम है।
इनफाइनाइट-होराइजन अनडिस्काउंटेड:
- शास्त्रीय: Bartlett and Tewari [26] के $\tilde{O}(\Lambda \sqrt{S^2AT})$ से सुधार कर $\tilde{O}(\sqrt{\Lambda SAT})$ करता है।
- क्वांटम: $\tilde{O}(\Lambda S \sqrt{A} T^{1-\beta})$ प्राप्त करता है। $\beta \ge 1$ के लिए, रिग्रेट पॉिलोलगणिक है, जो पिछले क्वांटम कार्य [98] के $\tilde{O}(\Lambda S^5 A^4)$ बाउंड की तुलना में एक महत्वपूर्ण सुधार है।

3. बजट पैरामीटर $\beta$ का विश्लेषण

शोध पत्र बजट पैरामीटर $\beta$ के लिए एक "स्वीट स्पॉट" की पहचान करता है:

$\beta < 1$ : शास्त्रीय और क्वांटम दोनों एल्गोरिदम $T$ में पॉलिनोमियल रिग्रेट प्रदर्शित करते हैं।
$\beta \in [1, 2)$ : क्वांटम एल्गोरिदम $T$ में एक्सपोनेंशियल सुधार (पॉलिलोगरिथमिक रिग्रेट) प्राप्त करते हैं, जबकि शास्त्रीय एल्गोरिदम (जो $\tilde{O}(\sqrt{T})$ रहते हैं) के मुकाबले।
$\beta \ge 2$ : क्वांटम लाभ $T$ में समाप्त हो जाता है क्योंकि शास्त्रीय एल्गोरिदम भी पॉिलोलगणिक रिग्रेट प्राप्त कर लेते हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि "थोड़ी सी स्वतंत्रता" (ऑफलाइन जेनेरेटिव चरण) का परिचय RL के परिदृश्य को मौलिक रूप से बदल देता है। रिग्रेट के संचय को नीति गणना से अलग करके, लेखक दर्शाते हैं कि:

प्रतिमान परिवर्तन (Paradigm Shift): "अनिश्चितता के सामने आशावाद" जैसे मानक RL ह्यूरिस्टिक्स से बचना संभव है और इसके बजाय जेनेरेटिव एक्सेस का उपयोग करके इष्टतम नीतियों की सीधे गणना की जा सकती है।
क्वांटम लाभ: क्वांटम कंप्यूटर लर्निंग प्रक्रिया में पर्याप्त लाभ प्रदान कर सकते हैं, विशेष रूप से बजट पैरामीटर की एक विशिष्ट सीमा ( $\beta \in [1, 2)$ ) के लिए $T$ के चरणों में पॉिलोलगणिक रिग्रेट प्राप्त करके।
मॉडल सुधार: यह कार्य एम्प्लीट्यूड एस्टीमेशन के कार्यान्वयन के संबंध में पिछले क्वांटम RL साहित्य की मौलिक त्रुटियों को सुधारता है, जिससे भविष्य के क्वांटम RL अनुसंधान के लिए एक कठोर ढांचा स्थापित होता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका मॉडल एक ऑफलाइन चरण मानता है (जो सभी भौतिक सेटिंग्स में मौजूद नहीं हो सकता है), यह नए RL मॉडलों के अन्वेषण को प्रेरित करता है और यह उजागर करता है कि जब एजेंटों के पास पर्यावरण सिमुलेशन तक सीमित, संरचित पहुंच होती है, तो क्वांटम स्पीडअप की कितनी क्षमता होती है। वे स्वीकार करते हैं कि बिना ऑफलाइन चरणों के भी पॉिलोलगणिक रिग्रेट प्राप्त करने वाला एक सार्थक क्वांटम RL मॉडल को औपचारिक रूप देना एक खुला प्रश्न बना हुआ है।