💻 computer science

A Bit of Freedom Goes a Long Way: Classical and Quantum Algorithms for Reinforcement Learning under a Generative Model

यह शोधपत्र एक जेनेरेटिव मॉडल के तहत परिमित (finite) और अनंत-क्षितिज (infinite-horizon) वाले मार्कोव निर्णय प्रक्रियाओं (Markov Decision Processes) के लिए नवीन शास्त्रीय और क्वांटम ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम प्रस्तावित करता है, जो अनुकूलतम नीतियों को सीधे कंप्यूट करने के लिए अनिश्चितता के विरुद्ध आशावाद (optimism in the face of uncertainty) जैसे पारंपरिक प्रतिमानों को दरकिनार करता है, जिससे क्वांटम विधियों के लिए समय चरणों पर पॉलीलॉगarithmic (polylogarithmic) निर्भरता सहित बेहतर रिग्रेट बाउंड्स प्राप्त होते हैं।

मूल लेखक: Andris Ambainis, Joao F. Doriguello, Debbie Lim

प्रकाशित 2026-08-14

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andris Ambainis, Joao F. Doriguello, Debbie Lim

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, बदलते हुए भूलभुलैया में सबसे अच्छा खजाना खोजने के लिए रास्ता तय करना सिखाने की कोशिश कर रहे हैं। कंप्यूटर विज्ञान की दुनिया में, इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है। रोबोट (जिसे "एजेंट" कहा जाता है) के पास कोई नक्शा नहीं होता; उसे केवल यह पता होता है कि कोई कदम उठाने पर क्या होता है। यदि वह एक कदम लेता है और दीवार से टकरा जाता है, तो वह सीखता है कि वह चाल खराब थी। यदि उसे कोई छोटा रास्ता मिलता है, तो वह सीखता है कि वह चाल अच्छी थी। लक्ष्य कदमों का एक आदर्श क्रम पता लगाना है ताकि वह अधिक से अधिक खजाना प्राप्त कर सके।

आमतौर पर, रोब tersebut को भूलभुलैया में वास्तव में चलकर, गलतियाँ करके और फंसकर सीखना पड़ता है। यह धीमा और निराशाजनक है। लेकिन क्या होगा अगर रोबोट के पास एक "जादुई सिम्युलेटर" हो? यह सिम्युलेटर रोबोट को समय रोकने, पीछे जाने (rewind) और बिना वास्तविक दुनिया में चले या फंसे, हजारों अलग-अलग रास्तों को तुरंत आज़माने की अनुमति देगा। इसे एक जेनरेटिव मॉडल (Generative Model) कहा जाता है। यह एक वीडियो गेम में "सेव गेम" फीचर की तरह है जो आपको एक बॉस फाइट को तब तक बार-बार अभ्यास करने की अनुमति देता है जब तक कि आप जीतना न सीख लें, बिना एक भी जीवन खोए।

अब, कल्पना कीजिए कि आप इस रोबोट को एक सुपरपावर देते हैं: एक क्वांटम कंप्यूटर। रेगुलर कंप्यूटरों के विपरीत जो एक बार में एक ही रास्ता देखते हैं, क्वांटम कंप्यूटर एक साथ कई रास्तों को खोज सकते हैं, जैसे कि एक भूत जो एक ही समय में भूलभुलैया के हर दरवाजे से गुजर सकता है। बड़ा सवाल यह है कि यदि हम इस "जादुई सिम्युलेटर" को "क्वांटम भूत" के साथ मिला दें, तो क्या हम रोबोट को लगभग तुरंत भूलभुलैया में महारत हासिल करना सिखा सकते हैं, जिससे वर्षों के परीक्षण और त्रुटि (trial and error) को छोड़ा जा सके?

यह शोध पत्र, जिसका शीर्षक है "A Bit of Freedom Goes a Long Way," इन दोनों शक्तिशाली विचारों को मिलाने का एक साहसिक प्रयोग है। लेखक, एंड्रिस एम्बैनिस, जोआओ एफ. डोरिगुएलो, और डेबी लिम, एक नया तरीका प्रस्तावित करते हैं जो सीखने के बारे में हमारी सामान्य सोच के नियमों को तोड़ देता है।

"आशावाद" (Optimism) के साथ समस्या

पारंपरिक रीइन्फोर्समेंट लर्निंग में, जब एक एजेंट को नहीं पता होता कि आगे क्या होगा, तो उसे अनुमान लगाना पड़ता है। सुरक्षित रहने के लिए, वह अक्सर "अनिश्चितता के बीच आशावाद" (optimism in the face of uncertainty) नामक रणनीति का उपयोग करता है। कल्पना कीजिए कि आप एक अंधेरे कमरे में दो दरवाजों के सामने हैं। आपको नहीं पता कि उनके पीछे क्या है। एक "निराशावादी" रोबोट सबसे बुरा मान लेगा और वहीं खड़ा रहेगा। एक "आशावादी" रोबोट यह मान लेता है कि सबसे अच्छा दरवाजा वही है जिसे उसने अभी तक आज़माया नहीं है, इस उम्मीद में कि शायद वह खजाने के बक्से तक ले जाए। वह उस दरवाजे को आज़माता है, सच्चाई सीखता है, और आगे बढ़ जाता है।

लेखकों का तर्क है कि यह "अनुमान लगाने का खेल" वास्तव में एक बाधा है। यह एजेंट को उन चीजों को खोजने में समय बर्बाद करने के लिए मजबूर करता है जिनकी उसे शायद आवश्यकता भी नहीं है, सिर्फ सुनिश्चित होने के लिए। वे एक अलग दृष्टिकोण प्रस्तावित करते हैं: अनुमान लगाना बंद करें और सिम्युलेट करना शुरू करें।

"फ्रीडम" मॉडल (The "Freedom" Model)

यह पेपर एक हाइब्रिड मॉडल पेश करता है जो सीखने की प्रक्रिया को दो अलग-अलग चरणों में विभाजित करता है: ऑनलाइन (Online) और ऑफलाइन (Offline)।

ऑनलाइन चरण (वास्तविक दुनिया): एजेंट वास्तविक वातावरण के साथ बातचीत करता है। वह एक चाल चलता है, इनाम (या दंड) प्राप्त करता है, और एक नई स्थिति में पहुँच जाता है। यहीं पर "रिग्रेट" (regress/पछतावा) होता है। रिग्रेट केवल उस अंतर को कहते हैं जो एजेंट को मिल सकने वाले खजाने और उस खजाने के बीच है जो उसे वास्तव में मिला, यदि उसे नक्शा पूरी तरह से पता होता। एजेंट इस रिग्रेट को कम करना चाहता है।
ऑफलाइन चरण (जादुई सिम्युलेटर): यहाँ, "स्वतंत्रता का एक अंश" (bit of freedom) है। एजेंट वास्तविक दुनिया को रोक देता है। वह एक पूर्ण सिम्युलेटर (एक जेनरेटिव मॉडल) तक पहुँच प्राप्त करता है जो एक क्वांटम ओरेकल की तरह कार्य करता है। इस चरण में, एजेंट सिम्युलेटर से पूछ सकता है, "क्या होगा यदि मैं X करता हूँ?" और बिना वास्तविक दुनिया में किए, तुरंत उत्तर प्राप्त कर सकता है। महत्वपूर्ण बात यह है कि यहाँ कोई रिग्रेट जमा नहीं होता है। एजेंट सिम्युलेटर में जितना चाहे उतना अभ्यास कर सकता है, असफल हो सकता है और सीख सकता है, और यह उसके अंतिम स्कोर में नहीं गिना जाता है।

लेखक इसे एक "बजट" प्रणाली कहते हैं। एजेंट को वास्तविक दुनिया (ऑनलाइन) में बिताए गए समय के साथ "भुगतान" करना पड़ता है ताकि वह सिम्युलेटर (ऑफलाइन) में समय बिताने का अधिकार प्राप्त कर सके। वह सिम्युलेटर में जितना अधिक समय बिताएगा, वास्तविक दुनिया के अगले दौर के अन्वेषण के लिए उसकी रणनीति उतनी ही बेहतर होगी।

क्वांटम छलांग (The Quantum Leap)

पेपर का मुख्य निष्कर्ष यह है कि जब आप इस "स्वतंत्रता" को एक क्वांटम कंप्यूटर देते हैं, तो परिणाम आश्चर्यजनक होते हैं।

क्लासिकल दुनिया में (सामान्य कंप्यूटरों का उपयोग करते हुए), सिम्युलेटर के साथ भी, एजेंट का रिग्रेट आमतौर पर बिताए गए समय के वर्गमूल ( $\sqrt{T}$ ) के साथ बढ़ता है। इसका मतलब है कि यदि आप एजेंट को 100 स्टेप्स के लिए चलाते हैं, तो आप एक निश्चित मात्रा में खजाना खो देते हैं; यदि आप इसे 10,000 स्टेप्स के लिए चलाते हैं, तो आप 10 गुना अधिक खजाना खो देते हैं। यह एक धीमी, स्थिर प्रगति है।

हालाँकि, लेखक दिखाते हैं कि उनके क्वांटम एल्गोरिदम के साथ, रिग्रेट केवल समय के लॉगारिदम ( $\log T$ ) के साथ बढ़ता है।

उपमा: कल्पना कीजिए कि आप एक पहाड़ चढ़ रहे हैं।
- क्लासिकल एजेंट एक खड़ी ढलान पर चढ़ता है। वह जितना ऊपर जाता है, सुधार करना उतना ही कठिन होता जाता है।
- क्वांटम एजेंट, सिम्युलेटर और क्वांटम स्पीडअप के कारण, एक छिपा हुआ लिफ्ट (elevator) ढूंढ लेता है। वह लगभग तुरंत शिखर पर पहुँच जाता है, और चढ़ाई की "लागत" (रिग्रेट) मुश्किल से बढ़ती है, भले ही पहाड़ कितना भी ऊँचा क्यों न हो जाए।

लेखक सिद्ध करते हैं कि कुछ प्रकार की समस्याओं (विशेष रूप से "फाइनाइट-होराइजन" और "इनफाइनाइट-होराइजन" मार्कोव निर्णय प्रक्रियाओं) के लिए, यह क्वांटम दृष्टिकोण उस स्तर की दक्षता प्राप्त कर सकता है जिसे क्लासिकल कंप्यूटर मैच भी नहीं कर सकते। रिग्रेट बाउंड $T$ स्टेप्स पर केवल लॉगारिदम के एक छोटे से बहुपद (polynomial) द्वारा निर्भर करता है, जो प्रभावी रूप से क्लासिकल बाधा को तोड़ देता है।

वे क्या खारिज करते हैं

लेखक बहुत सावधानी से यह बताते हैं कि उनका मॉडल क्या नहीं है। वे स्पष्ट रूप से उन पिछले क्वांटम रीइन्फोर्समेंट लर्निंग पेपर्स के खिलाफ तर्क देते हैं जिन्होंने समान परिणाम प्राप्त करने का दावा किया था। वे दिखाते हैं कि उन पिछले कार्यों में एक मौलिक दोष था: उन्होंने क्वांटम ट्रिक्स (जैसे "एम्प्लीट्यूड एस्टीमेशन") का उपयोग करने की कोशिश की, जबकि एजेंट अभी भी वास्तविक दुनिया की बातचीत के बीच में था।

लेखक समझाते हैं कि आप वास्तविक दुनिया में गलती को "अनडू" (undo) नहीं कर सकते। यदि कोई रोबोट वास्तविक दुनिया में खाई में गिर जाता है, तो आप क्वांटम कंप्यूटर में "अनडू" दबाकर उसे गिरने से नहीं रोक सकते। पिछले मॉडलों ने अप्रत्यक्ष रूप से यह माना था कि वे बिना किसी लागत के वास्तविक दुनिया को रिवाइंड कर सकते हैं, जो असंभव है। "वास्तविक" (ऑनलाइन) चरण को "सिम्युलेटेड" (ऑफलाइन) चरण से सख्ती से अलग करके, लेखक इस तार्किक छेद को ठीक करते हैं। वे दिखाते हैं कि इस भारी स्पीडअप को पाने के लिए आपके पास एक "रिग्रेट-फ्री" ऑफलाइन चरण होना अनिवार्य है।

निष्कर्ष

यह पेपर केवल यह सुझाव नहीं देता कि यह काम कर सकता है; यह गणितीय प्रमाण और एल्गोरिदम प्रदान करता है जो इन परिणामों को प्रदर्शित करते हैं। वे दिखाते हैं कि एजेंट को सिम्युलेटर में अभ्यास करने की थोड़ी सी "स्वतंत्रता" देकर, और उस अभ्यास को प्रोसेस करने के लिए क्वांटम मैकेनिक्स का उपयोग करके, हम पहले की तुलना में बहुत तेज़ी से इष्टतम रणनीतियाँ सीख सकते हैं।

जबकि पेपर नोट करता है कि यह एक "जेनरेटिव मॉडल" (एक पूर्ण सिम्युलेटर) तक पहुँच प्राप्त करने पर निर्भर करता है, जो हर वास्तविक दुनिया की समस्या के लिए बनाना कठिन हो सकता है, सैद्धांतिक सफलता स्पष्ट है: आज़ादी का एक छोटा सा अंश बहुत दूर तक जाता है। सही सिम्युलेशन और क्वांटम शक्ति के मिश्रण के साथ, पूर्ण सीखने का मार्ग घातीय (exponentially) रूप से छोटा हो जाता है।

तकनीकी सारांश: थोड़ी सी स्वतंत्रता बहुत काम आती है: एक जनरेटिव मॉडल के तहत सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए शास्त्रीय और क्वांटम एल्गोरिदम

समस्या विवरण

यह शोध पत्र ऑनलाइन सेटिंग में मार्कोव निर्णय प्रक्रियाओं (MDPs) को सीखने की समस्या को संबोधित करता है, जो विशेष रूप से रिग्रेट (एक इष्टतम नीति और एजेंट द्वारा संचित पुरस्कार के बीच का अंतर) को कम करने पर केंद्रित है। लेखक तीन अलग-अलग MDP सेटिंग्स पर विचार करते हैं:

फिनिट-होराइजन (Finite-horizon) MDPs: अंतःक्रियाएं $H$ चरणों की एक निश्चित संख्या में होती हैं।
इनफिनिट-होराइजन डिस्काउंटेड (Infinite-horizon discounted) MDPs: अंतःक्रियाएं $\gamma \in [0, 1)$ के कारक द्वारा डिस्काउंट किए गए पुरस्कारों के साथ अनिश्चित काल तक चलती रहती हैं।
इनफिनिट-होराइजन अनडिस्कउंटेड (Infinite-horizon undiscounted) MDPs: अंतःक्रियाएं औसत पुरस्कार मानदंडों के तहत अनिश्चित काल तक चलती हैं, विशेष रूप से कमजोर रूप से संचारित (weakly communicating) MDPs पर ध्यान केंद्रित करती हैं।

सुदृढीकरण शिक्षण (RL) में एक केंद्रीय चुनौती अन्वेषण-दोहन (exploration-exploitation) का संतुलन है। शास्त्रीय सेटिंग में, एजेंटों को पर्यावरण के साथ अंतःक्रिया करते हुए संक्रमण संभावनाओं $p(\cdot|s, a)$ को सीखना होता है। क्वांटम सेटिंग में, एक मौलिक मुद्दा उत्पन्न होता है: मानक क्वांटम ऑरेकल सुपरपोजिशन और इनवर्स ऑपरेशन्स की अनुमति देते हैं, जिससे एजेंट यदि सीखने की प्रक्रिया के दौरान क्वांटम तरीके से पर्यावरण के साथ अंतःक्रिया करता है, तो अनिर्भाषित रिग्रेट माप उत्पन्न हो सकते हैं। इसके अलावा, $T$ में पॉ्रोलॉगारिदमिक (polylogarithmic) रिग्रेट प्राप्त करने का प्रयास करने वाले पूर्ववर्ती क्वांटम RL कार्यों में क्वांटम एम्प्लीट्यूड एस्टीमेशन के सुसंगत अनुप्रयोग के संबंध में त्रुटिपूर्ण धारणाएं थीं।

कार्यप्रणाली

हाइब्रिड ऑनलाइन-ऑफलाइन RL मॉडल

रिग्रेट की परिभाषा संबंधी समस्याओं को हल करने और क्वांटम स्पीडअप का लाभ उठाने के लिए, लेखक एक हाइब्रिड ऑनलाइन-ऑफलाइन RL मॉडल का प्रस्ताव करते हैं। यह मॉडल सीखने की प्रक्रिया को दो विशिष्ट चरणों में विभाजित करता है:

ऑनलाइन चरण (अन्वेषण): एजेंट शास्त्रीय रूप से पर्यावरण के साथ अंतःक्रिया करता है। वह क्रियाएं चुनता है, पुरस्कार प्राप्त करता है, और अवस्था संक्रमण (state transitions) देखता है। महत्वपूर्ण रूप से, रिग्रेट इस चरण के दौरान संचित होता है। यहाँ एजेंट के पास क्वांटम ऑरेकल तक पहुँच नहीं होती है।
ऑफलाइन चरण (जनरेटिव लर्निंग): एजेंट को एक जनरेटिव मॉडल के माध्यम से पर्यावरण के साथ अंतःक्रिया करने की "स्वतंत्रता" दी जाती है।
- शास्त्रीय (Classical) ऑफलाइन चरण में, एजेंट एक सैंपलिंग ऑरेकल $C_p$ तक पहुँच प्राप्त करता है जो $(s, a)$ दिए जाने पर अगले राज्यों $s'$ को लौटाता है।
- क्वांटम (Quantum) ऑफलाइन चरण में, एजेंट एक क्वांटम ऑरेकल $Q_p$ (और इसके इनवर्स) तक पहुँच प्राप्त करता है जो अगले राज्यों के सुपरपोजिशन को तैयार करता है।
- प्रतिबंध: ऑफलाइन चरण में ऑरेकल कॉल्स की संख्या पिछले ऑनलाइन चरण की लंबाई $\tau$ के एक फलन द्वारा सीमित है, जिसे विशेष रूप से $O(\tau^\beta)$ के रूप में दर्शाया गया है, जहाँ $\beta \in [0, \infty)$ एक "बजट" पैरामीटर है। यह एजेंट को केवल अत्यधिक ऑरेकल क्वेरी करके शून्य रिग्रेट के साथ लगभग इष्टतम नीति प्राप्त करने से रोकता है।

एल्गोरिदम दृष्टिकोण

प्रस्तावित एल्गोरिदम (एल्गोरिदम 1) युगों (epochs) में आगे बढ़ते हैं। प्रत्येक युग $\ell$ में:

ऑफलाइन गणना: पिछले ऑनलाइन चरण (लंबाई $\tau_{\ell-1}$ $τ_{ℓ - 1}$ ) में एकत्र किए गए डेटा का उपयोग करते हुए, एजेंट एक $\epsilon_\ell$ $ϵ_{ℓ}$ -इष्टतम नीति की गणना करता है।
- शास्त्रीय: नीतियों को कंप्यूट करने के लिए ज्ञात सैंपल-ऑप्टिमल एल्गोरिदम (जैसे, सिडफोर्ड एट अल.) का उपयोग करता है।
- क्वांटम: लेखक एक जनरेटिव मॉडल के तहत इष्टतम नीतियों की गणना के लिए नवीन क्वांटम एल्गोरिदम पेश करते हैं। ये एल्गोरिदम वैल्यू इटरेशन (value iteration) को तेज करने के लिए क्वांटम मीन एस्टीमेशन (कोथारी और ओ'डोनेल) और क्वांटम मिनिमम/मैक्सिमम फाइंडिंग (ड्यूर और होयर) का उपयोग करते हैं।
ऑनलाइन निष्पादन: कंप्यूट की गई नीति $\pi^{(\ell)}$ को एक डबलिंग ट्रिक (क्षितिज को 2 या $2H$ के कारक से बढ़ाकर) द्वारा निर्धारित अवधि के लिए पर्यावरण में निष्पादित किया जाता है।
रिग्रेट विश्लेषण: कुल रिग्रेट को प्रत्येक ऑनलाइन चरण में उपयोग की गई नीतियों की उप-इष्टतमता (sub-optimality) को जोड़कर सीमित किया जाता है।

प्रमुख तकनीकी योगदान

जनरेटिव मॉडल्स के लिए नवीन क्वांटम एल्गोरिदम:
- फिनिट-होराइजन: लेखक क्वांटम एल्गोरिदम डिजाइन करते हैं जो शास्त्रीय क्वेरी जटिलता में सुधार करते हैं। वे वैल्यू इटरेशन को वेरिएंस रिडक्शन तकनीकों के साथ जोड़ते हैं। इनकी क्वेरी जटिलता $\tilde{O}(\min\{H^{2.5}SA/\epsilon, H^3S\sqrt{A}/\epsilon\})$ है, जो $H$ और $A$ पर निर्भरता के मामले में शास्त्रीय सीमाओं से बेहतर है।
- इनफिनिट-होराइजन डिस्काउंटेड: समान सुधार प्राप्त किए जाते हैं, जिसमें क्वेरी जटिलता $\tilde{O}(\Gamma^{1.5}SA/\epsilon, \Gamma^3S\sqrt{A}/\epsilon)$ है।
- इनफिनिट-होराइजन अनडिस्कउंटेड: यह एक नया योगदान है। लेखक इस धारणा के तहत कमजोर रूप से संचारित MDPs के लिए एक क्वांटम एल्गोरिदम प्रस्तावित करते हैं कि इष्टतम बेलमैन ऑपरेटर एक $J$ -स्टेज $\nu$ -स्पैन कॉन्ट्रैक्शन है। इसकी जटिलता $\tilde{O}(\Lambda S \sqrt{A} / \epsilon)$ है।
पूर्ववर्ती क्वांटम RL कार्यों का सुधार:
यह शोध पत्र उन पूर्ववर्ती कार्यों (जैसे, गंगुली एट अल., झोंग एट अल.) की आलोचना करता जिन्होंने पॉ्रोलॉगारिदमिक रिग्रेट का दावा किया था। लेखक तर्क देते कि उन कार्यों ने गलत तरीके से माना था कि क्वांटम एम्प्लीट्यूड एस्टीमेशन को संग्रहीत अवस्थाओं के एक संग्रह पर किया जा सकता है, जबकि इसके लिए ऑरेकल और उसके इनवर्स के क्रमिक, सुसंगत अनुप्रयोग की आवश्यकता होती है। प्रस्तावित हाइब्रिड मॉडल इसे एक स्पष्ट ऑफलाइन चरण लागू करके ठीक करता है जहाँ ऐसे सुसंगत संचालन किए जा सकते हैं बिना रिग्रेट के।
हाइब्रिड मॉडल के तहत रिग्रेट बाउंड्स:
लेखक बजट पैरामीटर $\beta$ के फलन के रूप में शास्त्रीय और क्वांटम दोनों सेटिंग्स के लिए रिग्रेट बाउंड्स निकालते हैं:
- फिनिट-होराइजन:
  - शास्त्रीय: $\tilde{O}(\sqrt{HSAT})$ (स्टेट-ऑफ-द-आर्ट से मेल खाता है) जब $\beta \ge 2$ हो।
  - क्वांटम: $\beta < 1$ के लिए $\tilde{O}(\min\{H^{1.5}SA, H^2S\sqrt{A}\} T^{1-\beta})$ के लिए, और $\beta \ge 1$ के लिए $T$ में पॉ्रोलॉगारिदमिक रिग्रेट।
- इनफिनिट-होराइजन डिस्काउंटेड:
  - क्वांटम: $\beta \ge 1$ होने पर $\tilde{O}(\text{polylog}(T))$ रिग्रेट प्राप्त करता है, जो शास्त्रीय $\Omega(\sqrt{T})$ बाधा को तोड़ता है।
- इनफिनित-होराइजन अनडिस्कउंटेड:
  - क्वांटम: $\beta \ge 1$ के लिए $\tilde{O}(\Lambda S \sqrt{A} \cdot \text{polylog}(T))$ रिग्रेट प्राप्त करता है, जो पूर्ववर्ती क्वांटम कार्यों के $\tilde{O}(\Lambda S^5 A^4)$ बाउंड में महत्वपूर्ण सुधार है।

परिणाम और महत्व

शोध पत्र का दावा है कि ऑफलाइन जनरेटिव चरण द्वारा प्रदान की गई "थोड़ी सी स्वतंत्रता" सीखने की दक्षता में पर्याप्त सुधार की अनुमति देती है।

क्वांटम लाभ: सबसे महत्वपूर्ण परिणाम यह प्रदर्शन है कि क्वांटम कंप्यूटर समय क्षितिज $T$ में प्रोलॉगारिदमिक रिग्रेट प्राप्त कर सकते हैं (विशेष रूप से जब $\beta \in [1, 2)$ हो), जबकि शास्त्रीय एल्गोरिदम इन सेटिंग्स में मौलिक रूप से $\Omega(\sqrt{T})$ रिग्रेट तक सीमित हैं। यह $T$ पर निर्भरता में एक घातीय (exponential) सुधार का प्रतिनिधित्व करता है।
पैरामीटर निर्भरता: क्वांटम एल्गोरिदम स्टेट स्पेस साइज $S$ , एक्शन स्पेस साइज $A$ , और होराइजन $H$ (या प्रभावी होराइजन $\Gamma$ ) पर निर्भरता के मामले में शास्त्रीय एल्गोरिदम और पिछले क्वांटम प्रयासों दोनों की तुलना में बेहतर हैं।
मॉडल वैधता: यह शोध पत्र स्थापित करता है कि हाइब्रिड ऑनलाइन-ऑफलाइन मॉडल क्वांटम RL के लिए एक आवश्यक और सार्थक ढांचा है। यह रिग्रेट को परिभाषित करने में अस्पष्टता को हल करता है और उन सैद्धांतिक खामियों को ठीक करता है जो रिग्रेट-मुक्त क्वांटम अन्वेषण के लिए पूर्ववर्ती साहित्य में मानी गई थीं।

लेखक निष्कर्ष निकालते हैं कि हालांकि $\beta \ge 2$ (जहाँ शास्त्रीय एल्गोरिदम भी पॉ्रोलॉगारिदमिक रिग्रेट प्राप्त करते हैं) के लिए बहुत बड़े बजट $\beta$ के साथ घातीय क्वांटम लाभ समाप्त हो जाता है, फिर भी एक महत्वपूर्ण रेंज ( $\beta \in [1, 2)$ ) मौजूद है जहाँ क्वांटम कंप्यूटर पर्याप्त लाभ प्रदान करते हैं। वे इस रेंज को पहचानते हैं जहाँ प्रस्तावित मॉडल के तहत RL में क्वांटम स्पीडअप सबसे अधिक प्रभावशाली क्षेत्र है।