🤖 machine learning

QuantFPFlow: Quantum Amplitude Estimation for Fokker--Planck Policy Optimisation in Continuous Reinforcement Learning

QuantFPFlow एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो फॉकर-प्लैंक (Fokker–Planck) विभाजन फलन अनुमान में एक प्रमाणित द्विघातीय त्वरण (quadratic speedup) प्राप्त करने के लिए क्वांटम एम्प्लीट्यूड अनुमान (quantum amplitude estimation) का लाभ उठाता है, जिससे सॉफ्ट एक्टर-क्रिटिक (Soft Actor-Critic) जैसे शास्त्रीय तरीकों की तुलना में निरंतर नियंत्रण कार्यों में अधिक प्रभावी अन्वेषण सक्षम होता है और समयपूर्व अभिसरण (premature convergence) को रोकता है।

मूल लेखक: Abraham Itzhak Weinberg

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abraham Itzhak Weinberg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले पर्वत श्रृंखला में सबसे ऊँची चोटी खोजने की कोशिश कर रहे हैं। एक कंप्यूटर "एजेंट" किसी कार्य को सीखने के लिए जो करता है, वह यही है: वह पुरस्कारों (rewards) के परिदृश्य की खोज करता है, सर्वोत्तम संभव परिणाम खोजने के लिए।

समस्या यह है कि कई लर्निंग एल्गोरिदम उन हाइकर्स की तरह होते हैं जो एक छोटी, धूप वाली घाटी में फंस जाते हैं। वे सोचते हैं, "यह बहुत बढ़िया है! मैंने एक अच्छा स्थान ढूंढ लिया है," और वे तलाश करना बंद कर देते हैं। वे अगली पहाड़ी के पार स्थित एक विशाल पर्वत शिखर को मिस कर देते हैं क्योंकि वहां तक पहुँचना कठिन होता है। इसे "लोकल ऑप्टिमम" (local optimum) में फंसना कहा जाता है।

QuantFPFlow सीखने का एक नया, अधिक स्मार्ट तरीका है, जिसे विशेष रूप से उन छोटी घाटियों में फंसने से बचने और उच्चतम पर्वत शिखर खोजने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. मानचित्र निर्माता (The Map Maker): "फॉकर-प्लैंक" (Fokker–Planck) समीकरण

अधिकांश लर्निंग एजेंट केवल अनुमान लगाते हैं और जाँचते हैं। हालाँकि, QuantFPFlow एक विशेष गणितीय मानचित्र का उपयोग करता है जिसे फॉकर-प्लैंक (FP) समीकरण कहा जाता है।

इस समीकरण को एजेंट की गति के लिए एक मौसम पूर्वानुमान के रूप में समझें। केवल यह पूछने के बजाय कि "मुझे आगे कहाँ जाना चाहिए?", यह पूछता है, "यदि मैं बेतरतीब ढंग से घूमता हूँ, तो लंबे समय के बाद मैं कहाँ पहुँचने की सबसे अधिक संभावना रखता हूँ?"

लक्ष्य: यह एक "स्टेशनरी डिस्ट्रीब्यूशन" (stationary distribution) की गणना करता है, जो अनिवार्य रूप से एक ऐसा मानचित्र है जो दिखाता है कि एजेंट को सफल होने के लिए अपना समय कहाँ बिताना चाहिए।
समस्या: इस मानचित्र की गणना करना सामान्य कंप्यूटरों के लिए अविश्वसनीय रूप से कठिन है। यह समुद्र तट पर रेत के हर एक कण को गिनने जैसा है ताकि सही स्थान मिल सके। मानक गणित के साथ ऐसा करना धीमा है और जैसे-जैसे समुद्र तट बड़ा होता जाता है, यह और भी कठिन होता जाता है।

2. सुपर-स्कैनर: "क्वांटम एम्प्लीट्यूड एस्टीमेशन" (Quantum Amplitude Estimation)

यहीं पर "क्वांटम" वाला हिस्सा आता है। पेपर एक तकनीक पेश करता है जिसे क्वांटम एम्प्लीट्यूड एस्टीमेशन (QAE) कहा जाता है।

उपमा: कल्पना कीजिए कि आपको घास के ढेर में एक विशिष्ट सुई ढूंढनी है।
- पुराना तरीका (क्लासिकल): आप एक तिनका निकालते हैं, उसे देखते हैं, वापस रखते हैं, और इसे दोहराते हैं। निश्चित होने के लिए आपको लाखों तिनके चेक करने पड़ सकते हैं।
- नया तरीका (क्वांटम-प्रेरित): आप एक जादुई स्कैनर का उपयोग करते हैं जो एक साथ पूरे घास के ढेर को "महसूस" कर सकता है। यह सुई के सिग्नल को बढ़ा देता है ताकि आप उसे बहुत तेज़ी से ढूंढ सकें।
परिणाम: पेपर का दावा है कि यह विधि क्वाड्रेटिक रूप से तेज़ (quadratically faster) है। यदि पुराने तरीके को सटीक उत्तर पाने के लिए 10,000 चरणों की आवश्यकता होती है, तो इस नए तरीके को केवल 100 चरणों की आवश्यकता होती है। यह एजेंट द्वारा अपने मानचित्र को पढ़ने की गति में एक बड़ी बढ़त है।

नोट: लेखक स्वीकार करते हैं कि उन्होंने अभी तक इसे वास्तविक क्वांटम कंप्यूटर पर नहीं बनाया है। इसके बजाय, उन्होंने यह साबित करने के लिए कि गणित काम करता है और स्पीडअप संरचना वास्तविक है, एक सामान्य कंप्यूटर पर इस "जादुई स्कैनर" का अनुकरण (simulate) किया है।

3. "जिज्ञासा" बोनस (The "Curiosity" Bonus)

एक बार जब एजेंट के पास यह तेज़, सटीक मानचित्र आ जाता है, तो वह इसका उपयोग अन्वेषण (exploring) के लिए एक "बोनस" प्राप्त करने के लिए करता है।

यह कैसे काम करता है: एजेंट को उन स्थानों पर जाने के लिए अतिरिक्त अंक मिलते जो मानचित्र पर दुर्लभ हैं लेकिन महत्वपूर्ण हो सकते हैं।
रूपक: कल्पना कीजिए कि एक पर्यटक जो आमतौर पर भीड़भाड़ वाले शहर के केंद्र में रहता है। QuantFPFlow उन्हें एक शांत, धुंधले रास्ते पर हाइकिंग करने के लिए बोनस देता है जो एक छिपे हुए शिखर की ओर ले जाता है। यह "बोनस" एजेंट को उन बाधाओं (धुंधली लकीरों) को पार करने के लिए प्रेरित करता है जो अन्य एजेंटों को छोटी घाटियों में फंसा देती हैं।

4. "नो-स्टॉप" इंजन: समय से पहले अभिसरण (Convergence) को रोकना

AI में एक आम समस्या यह है कि जैसे-जैसे यह सीखता है, यह बहुत आत्मविश्वासी हो जाता है और अन्वेषण करना बंद कर देता है। यह "लालची" हो जाता है और केवल उसी एक स्थान पर जाता है जिसे यह अच्छा जानता है।

SAC (प्रतिद्वंद्वी): पेपर SAC नामक एक लोकप्रिय पद्धति की तुलना करता है। SAC एक "शोर" (noise) कारक जोड़कर जिज्ञासु रहने की कोशिश करता है, लेकिन अंततः, यह थक जाता है और अन्वेषण करना बंद कर देता है। इसकी "जिज्ञासा मीटर" (entropy) लगभग शून्य तक गिर जाती है।
QuantFPFlow: इस पद्धति में एक अंतर्निहित नियम है जो एजेंट को चलते रहने के लिए मजबूर करता है। यह एजेंट की गति को मानचित्र के "डिफ्यूजन" (प्राकृतिक फैलाव) के साथ मेल खाता है। यह एक ट्रेडमिल की तरह है जो एजेंट को तब भी चलते रहने के लिए मजबूर करता है जब वह बैठना चाहता है।
परिणाम: QuantFPFlow ने प्रशिक्षण के दौरान अपनी "जिज्ञासा" को उच्च (लगभग 6.5 यूनिट) बनाए रखा, जबकि प्रतिद्वंद्वी का स्तर 1.5 तक गिर गया।

परिणाम: क्या यह काम आया?

लेखकों ने इसका परीक्षण एक कस्टम "पर्वत श्रृंखला" पर किया जिसे लालची एजेंटों को चकमा देने के लिए डिज़ाइन किया गया था।

शिखर की खोज: QuantFPFlow ने 33.9% बार वैश्विक उच्चतम शिखर पाया, जबकि प्रतिद्वंद्वी के लिए यह 30.7% था। यह सर्वोत्तम समाधान खोजने में 10.4% का सुधार है।
स्कोर: इसने थोड़ा उच्च औसत स्कोर (1,295 बनाम 1,284) प्राप्त किया।
दक्षता: जैसे-जैसे समस्या अधिक जटिल (अधिक आयामों वाली) होती गई, QuantFPFlow पुराने तरीकों की तुलना में बहुत धीरे-धीरे धीमी हुई।

सारांश

QuantFPFlow एक नया लर्निंग फ्रेमवर्क है जो अपने वातावरण के मानचित्र को बहुत तेज़ी से पढ़ने के लिए एक "क्वांटम-प्रेरित" गणितीय ट्रिक का उपयोग करता है। यह एक "जिज्ञासा बोनस" की गणना करने की अनुमति देता है जो एजेंट को उन कठिन, उच्च-पुरस्कार वाले क्षेत्रों का पता लगाने के लिए मजबूर करता है जिन्हें अन्य एजेंट अनदेखा कर देते हैं। यह सफलतापूर्वक छोटी, औसत दर्जे की समाधानों में फंसने से बचता है और सर्वोत्तम परिणाम खोजने तक अन्वेषण जारी रखता है।

पेपर का दावा है कि यह एक सैद्धांतिक सफलता है जो आज सिमुलेशन में काम करती है और वास्तविक क्वांटम कंप्यूटरों पर चलने के लिए तैयार है जब वे पर्याप्त शक्तिशाली हो जाएंगे।

तकनीकी सारांश: QuantFPFlow

समस्या विवरण

निरंतर अवस्था-क्रिया (continuous state–action) स्थानों में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दो प्राथमिक चुनौतियों का सामना करता है: आयामीता का अभिशाप (curse of dimensionality) और ग्रेडिएंट-आधारित नीति अनुकूलन (gradient-based policy optimization) की स्थानीय इष्टतम (local optima) की ओर अभिसरण करने की प्रवृत्ति, विशेष रूप से बहुविध पुरस्कार परिदृश्यों (multimodal reward landscapes) में। जबकि SAC और DDPG जैसी विधियाँ अन्वेषण (exploration) के लिए एंट्रॉपी रेगुलाइजेशन या नॉइज़ इंजेक्शन का उपयोग करती हैं, वे व्यवहार में अक्सर लालची (greedy) बनी रहती हैं, जिससे वे प्रमुख पुरस्कार मोड पर सिमट जाती हैं और बाधाओं द्वारा अलग किए गए वैश्विक इष्टतम (global optima) को खोजने में विफल रहती हैं।

इसके अतिरिक्त, फॉकर-प्लैंक (Fokker–Planck - FP) समीकरण संभाव्यता वितरणों (probability distributions) के विकास को चित्रित करके स्टोकेस्टिक नीति अनुकूलन के लिए एक सिद्धांतगत ढांचा प्रदान करता है। ग्रेडिएंट ड्रिफ्ट के तहत FP समीकरण का अद्वितीय स्थिर समाधान (stationary solution) वैश्विक रूप से इष्टतम स्टोकेस्टिक नीति (बोल्ट्ज़मैन वितरण) के अनुरूप होता है। हालाँकि, इस दृष्टिकोण के लिए मुख्य बाधा विभाजन फलन (partition function) $Z = \int e^{-V(x)/D} dx$ का अनुमान लगाना है। $\epsilon$ परिशुद्धता के लिए $Z$ का शास्त्रीय मोंटे कार्लो अनुमान $O(1/\epsilon^2)$ नमूनों की आवश्यकता रखता है, जो गणनात्मक रूप से महंगा है और उच्च-आयामी या जटिल वातावरणों में FP-आधारित विधियों के व्यावहारिक अनुप्रयोग को सीमित करता है।

कार्यप्रणाली: QuantFPFlow

यह शोध पत्र QuantFPFlow प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण ढांचा है जो विभाजन फलन की बाधा को दूर करने और अन्वेषण को बढ़ाने के लिए FP फॉर्मूलेशन में क्वांटम एम्प्लीट्यूड एस्टीमेशन (Quantum Amplitude Estimation - QAE) को एकीकृत करता है।

मुख्य घटक

विभाजन फलनों के लिए क्वांटम एम्प्लीट्यूड एस्टीमेशन (QAE):
- यह विधि विभाजन फलन $Z$ को एक क्वांटम अवस्था के वर्ग मानदंड (squared norm) के रूप में एनकोड करती है।
- ग्रोवर जैसे एम्प्लीट्यूड एम्प्लीफिकेशन ऑपरेटर का उपयोग करते हुए, QAE विभाजन फलन का अनुमान $O(1/\epsilon)$ की क्वेरी जटिलता के साथ लगाता है, जो शास्त्रीय $O(1/\epsilon^2)$ निचली सीमा की तुलना में एक प्रमाणित द्विघातीय गति (quadratic speedup) प्रदान करता है।
- क्षमता परिदृश्य (potential landscape) की जटिलता को संभालने के लिए, एल्गोरिदम टेम्परेचर-एनेल्ड QAE (एल्गोरिदम 1) का उपयोग करता है। यह एक सपाट वितरण के साथ शुरू होता है और धीरे-धीरे स्थिर वितरण $\rho^*$ की ओर अनुमान को तीव्र करता है, जिससे एकल मोड पर समयपूर्व पतन (premature collapse) को रोका जा जाता है।
FP-निर्देशित अन्वेषण बोनस (FP-Guided Exploration Bonus):
- अनुमानित स्थिर वितरण $\hat{\rho}^*(s)$ का उपयोग एक सिद्धांतगत रूप से पुष्ट अन्वेषण बोनस बनाने के लिए किया जाता है: $r_{aug}(s) = r_{env}(s) + \alpha \log(1/\hat{\rho}^*(s))$ ।
- यह बोनस एजेंट को उन अवस्थाओं पर जाने के लिए प्रोत्साहित करता है जो FP स्थिर वितरण के तहत दुर्लभ हैं (जैसे, मोड के बीच की बाधा क्षेत्र) लेकिन वैश्विक रूप से महत्वपूर्ण हैं, जो प्रभावी रूप से एजेंट को वैश्विक इष्टतम की ओर निर्देशित करता है।
FP-एक्टर-क्रिटिक आर्किटेक्चर:
- एक्टर (Actor): नीति माध्य ( $\mu$ ) और लॉग-मानक विचलन ( $\log \sigma$ ) को FP-निर्देशित ग्रेडिएंट्स का उपयोग करके अपडेट करता है। महत्वपूर्ण रूप से, लॉग-मानक विचलन को एक FP कंसिस्टेंसी लॉस (समीकरण 10) के माध्यम से अपडेट किया जाता है जो नीति विचरण $\sigma^2$ को डिफ्यूजन गुणांक $D$ ( $\sigma^2 \to D$ ) के साथ मेल खाने के लिए संचालित करता है। यह संरचनात्मक बाधा मानक एंट्रॉपी-रेगुलराइज्ड विधियों में देखे गए एंट्रॉपी पतन (entropy collapse) को रोकती है।
- क्रिटिक (Critic): एक रैखिक वैल्यू फंक्शन $V_\phi(s)$ जिसे संवर्धित पुरस्कार (augmented reward) का उपयोग करके टेम्पोरल डिफरेंस (TD) लर्निंग के माध्यम से प्रशिक्षित किया जाता है।

मुख्य योगदान

पेपर चार प्राथमिक योगदानों का दावा करता है:

एल्गोरिद्मिक ढांचा: QuantFPFlow का विकास, जो एक FP-एक्टर-क्रिटिक है जो अन्वेषण बोनस और अनुकूली डिफ्यूजन मिलान की गणना के लिए टेम्परेचर-एनेल्ड QAE का उपयोग करता है।
सैद्धांतिक गति (Theoretical Speedup): विभाजन फलन अनुमान के लिए एक द्विघातीय क्वेरी गति स्थापित करने वाला एक प्रमाण (थ्योरम 1), जो जटिलता को $O(1/\epsilon^2)$ से घटाकर $O(1/\epsilon)$ कर देता है।
बेहतर वैश्विक इष्टतम खोज: मल्टीमॉडल निरंतर नियंत्रण बेंचमार्क पर SAC की तुलना में वैश्विक इष्टतम की खोज में 10.4% सापेक्ष सुधार का अनुभवजन्य प्रदर्शन।
आयामीता स्केलिंग: QuantFPFlow के लिए अनुकूल कम्प्यूटेशनल स्केलिंग $O(d^{0.35})$ के साथ साक्ष्य, जो शास्त्रीय FP अनुमान के $O(d^{0.76})$ की तुलना में बेहतर है।

प्रयोगात्मक परिणाम

लेखकों ने एक कस्टम MultimodalRewardEnv पर SAC, DDPG और एक रैंडम बेसलाइन के विरुद्ध QuantFPFlow का मूल्यांकन किया। इस वातावरण में एक रिवॉर्ड लैंडस्केप है जिसमें एक स्थानीय इष्टतम (ऊंचाई 8) एक बाधा द्वारा वैश्विक इष्टतम (ऊंचाई 15) से अलग किया गया है।

प्रदर्शन: QuantFPFlow ने 1,295.7 ± 423.2 का औसत पुरस्कार प्राप्त किया, जो SAC (1,284.0 ± 474.0) से थोड़ा बेहतर और DDPG (628.4 ± 1005.5) से काफी बेहतर था।
वैश्विक इष्टतम खोज: QuantFPFlow ने चरणों के 33.9% में वैश्विक इष्टतम की खोज की, जबकि SAC के लिए यह 30.7% था (एक 10.4% सापेक्ष सुधार)। DDPG बाधा को पार करने में विफल रहा।
नीति एंट्रॉपी (Policy Entropy): एक महत्वपूर्ण विभेदक नीति एंट्रॉपी थी। FP डिफ्यूजन मिलान के कारण QuantFPFlow ने पूरे प्रशिक्षण के दौरान ~6.5 नैट्स की स्थिर एंट्रॉपी बनाए रखी। इसके विपरीत, SAC की एंट्रॉपी गिरकर 1.5 नैट्स (5 गुना कमी) हो गई, जिससे समयपूर्व अभिसरण हुआ।
जटिलता और स्केलिंग:
- क्वेरी जटिलता: प्रयोगात्मक परिणामों ने QuantFPFlow के लिए $O(1/\epsilon)$ स्केलिंग बनाम शास्त्रीय अनुमान के लिए $O(1/\epsilon^2)$ की पुष्टि की, जिससे परिशुद्धता $\epsilon = 10^{-3}$ पर 1,000 गुना लाभ मिला।
- आयामीता: QuantFPFlow के लिए गणना समय $O(d^{0.35})$ के रूप में स्केल हुआ, जो शास्त्रीय $O(d^{0.76})$ की तुलना में काफी बेहतर है।
- Qubit एब्लेशन: स्थिर वितरण अनुमान का मीन स्क्वेर्ड एरर (MSE) $\ge 5$ क्यूबिट्स पर स्थिर हुआ।

महत्व और दावे

यह पेपर QuantFPFlow को एक सिद्धांतगत क्वांटम-उन्नत RL एल्गोरिदम के रूप में स्थापित करता है जिसका दोष-सहिष्णु (fault-tolerant) क्वांटम हार्डवेयर के लिए सीधा मार्ग है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक आधार: ह्यूरिस्टिक क्यूरियोसिटी-आधारित अन्वेषण के विपरीत, अन्वेषण बोनस FP समीकरण के सटीक स्थिर वितरण से प्राप्त होता है, जो कि प्रमाणित रूप से इष्टतम दीर्घकालिक ऑक्यूपेंसी मेजर (occupancy measure) है।
निरंतर अन्वेषण के लिए तंत्र: FP कंसिस्टेंसी बाधा सक्रिय रूप से उस एंट्रॉपी पतन को रोकती है जो मानक एंट्रॉपी-रेगुलराइज्ड विधियों को प्रभावित करता है, जिससे यह सुनिश्चित होता है कि एजेंट मल्टीमॉडल परिदृश्यों का अन्वेषण करने की क्षमता बनाए रखता है।
क्वांटम तत्परता (Quantum Readiness): हालांकि वर्तमान प्रयोगों में एक "क्वांटम-प्रेरित" शास्त्रीय सिमुलेशन का उपयोग किया गया है (जो विश्लेषणात्मक रूप से सस्ता है, कोई GPU आवश्यक नहीं है), एल्गोरिदम को स्पष्ट रूप से उपलब्ध होने पर QAE के द्विघातीय गति का लाभ उठाने के लिए डिज़ाइन किया गया है। लेखक नोट करते हैं कि एल्गोरिद्मिक संरचना ( $O(1/\epsilon)$ ) पहले से ही प्रदर्शित है, और भविष्य में गेट-ओवरहेड दंड के बिना पूर्ण हार्डवेयर गति प्राप्त की जाएगी।

लेखक सीमाओं को स्वीकार करते हैं, विशेष रूप से कि वर्तमान QAE अवस्था स्थान के 1D प्रोजेक्शन पर काम करता है और FP पोटेंशियल को एक सीखे गए क्रिटिक के माध्यम से अनुमानित किया जाता है। टेन्सर नेटवर्क या वेरिएशनल क्वांटम आइजनवैल्यू सॉल्वर (VQE) का उपयोग करके उच्च-आयामी विस्तार और वास्तविक क्वांटम हार्डवेयर (जैसे, IBM Quantum, IonQ) पर कार्यान्वयन के लिए भविष्य के कार्य प्रस्तावित किए गए हैं।