🤖 मशीन लर्निंग

Quantum-Inspired Episode Selection for Monte Carlo Reinforcement Learning via QUBO Optimization

यह शोध पत्र MC+QUBO का प्रस्ताव करता है, जो एक मोंटे कार्लो सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो QUBO फॉर्मूलेशन के माध्यम से एपिसोड चयन को अनुकूलित करने के लिए क्वांटम-प्रेरित सॉल्वर का उपयोग करती है, जिससे विरल पुरस्कारों (sparse rewards) और बड़े स्टेट स्पेस वाले वातावरण में अभिसरण गति (convergence speed) और नीति की गुणवत्ता में सुधार होता है।

मूल लेखक: Hadi Salloum, Ali Jnadi, Yaroslav Kholodov, Alexander Gasnikov

प्रकाशित 2026-01-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hadi Salloum, Ali Jnadi, Yaroslav Kholodov, Alexander Gasnikov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

बड़ी समस्या: प्रयास और त्रुटि (Trial and Error) से सीखना बर्बादी है

कल्पना कीजिए कि आप एक विशाल, उलझन भरे भूलभुलैया (maze) के माध्यम से सबसे अच्छा रास्ता सीखने की कोशिश कर रहे हैं। आप एक विधि का उपयोग करने का निर्णय लेते हैं जिसे मोंटे कार्लो रीइन्फोर्समेंट लर्निंग (Monte Carlo Reinforcement Learning) कहा जाता है। सरल शब्दों में, इसका अर्थ है कि आप भूलभुलैया में कई बार दौड़ लगाते हैं, अपने द्वारा उठाए गए हर कदम और मिलने वाले पुरस्कारों (जैसे खजाना मिलना) को रिकॉर्ड करते हैं। प्रत्येक दौड़ के अंत में, आप यह पता लगाने के लिए अपने नोट्स देखते हैं कि कौन सा रास्ता सबसे अच्छा था।

समस्या यह है कि यह विधि अविश्वसनीय रूप से अक्षम है।

बहुत अधिक शोर (Noise): हो सकता है कि आप भूलभुलैया में 100 बार दौड़ें, लेकिन उन 100 में से 90 दौड़ें केवल गोल-गोल घूमने या बंद रास्तों से टकराने में बीती हों।
अनावश्यकता (Redundancy): हो सकता है कि आप भूलभुलैया में 10 बार दौड़ें और हर बार वही गलत रास्ता चुनें। उन 10 समान खराब दौड़ों को देखने से आपको कुछ नया नहीं पता चलता; यह केवल आपके नोट्स को अव्यवस्थित करता है।
दुर्लभ पुरस्कार (Sparse rewards): एक बड़ी भूलभुलैया में, खजाना मिलना दुर्लभ है। आपकी अधिकांश दौड़ शून्य पुरस्कार के साथ समाप्त होती है, जिससे यह सीखना कठिन हो जाता है कि वास्तव में क्या काम करता है।

लेखक इसे "उच्च सैंपल कॉम्प्लेक्सिटी" (high sample complexity) कहते हैं। यह घास के ढेर में सुई खोजने जैसा है, जहाँ आप घास के हर एक टुकड़े को देखते हैं, यहाँ तक कि उन्हें भी जो स्पष्ट रूप से केवल घास ही हैं।

समाधान: "स्मार्ट एडिटर" (The Smart Editor)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे MC+QUBO कहा जाता है। इसे अपनी सीखने की प्रक्रिया में एक "स्मार्ट एडिटर" जोड़ने के रूप में सोचें।

हर उस दौड़ का उपयोग करने के बजाय जो आप करते हैं, स्मार्ट एडिटर आपकी दौड़ों के एक बैच (मान लीजिए 50 प्रयास) को देखता है और वास्तव में अध्ययन करने के लिए उनमें से सबसे अच्छी 10 को चुनता है। यह बाकी को हटा देता है।

लेकिन यह तय कैसे करता है कि 10 सबसे अच्छी कौन सी हैं? यह दो-भागों वाले नियम का उपयोग करता है:

उच्च पुरस्कार (High Reward): "क्या इस दौड़ में खजाना मिला?" (अच्छी दौड़ों को हरा टिक मिलता है)।
विविधता (Diversity): "क्या यह दौड़ कहीं नई जगह गई?" यदि आपके पास 10 दौड़ें हैं जिन्होंने खजाना तो पाया लेकिन बिल्कुल एक ही रास्ता अपनाया, तो एडिटर केवल एक को ही रखता है। यह चाहता है कि दौड़ें भूलभुलैया के विभिन्न हिस्सों की खोज करें ताकि आप पूरे मानचित्र को सीख सकें, न कि केवल एक शॉर्टकट को।

असली मंत्र: "क्वांटम-प्रेरित" कैलकुलेटर (The "Quantum-Inspired" Calculator)

कठिन हिस्सा यह है कि 50 में से 10 दौड़ों का सही मिश्रण चुनना गणितीय रूप से एक दुःस्वप्न (nightmare) है। इसमें अरबों संयोजन (combinations) हैं। एक सामान्य कंप्यूटर उन सभी की जाँच करने में बहुत समय लेगा।

यहीं पर शोध पत्र QUBO (Quadratic Unconstrained Binary Optimization) पेश करता है।

उपमा (Analogy): कल्पना कीजिए कि आपके पास पहाड़ियों और घाटियों से बना एक विशाल, ऊबड़-खाबड़ परिदृश्य है। "घाटियाँ" अच्छी दौड़ों के संयोजनों (उच्च पुरस्कार + उच्च विविधता) का प्रतिनिधित्व करती हैं, और "पहाड़ियाँ" बुरे संयोजनों का प्रतिनिधित्व करती हैं।
लक्ष्य: आप जितनी जल्दी हो सके सबसे गहरी घाटी को खोजना चाहते हैं।
उपकरण: लेखक "क्वांटम-प्रेरित" सॉल्वर (विशेष रूप से सिम्युलेटेड क्वांटम एनीलिंग और सिम्युलेटेड बिफर्केशन) का उपयोग करते हैं।

ये उपकरण क्या हैं?

सिम्युलेटेड क्वांटम एनीलिंग (Simulated Quantum Annealing - SQA): उस ऊबड़-खाबड़ परिदृश्य में लुढ़कती हुई एक गेंद की कल्पना करें। एक सामान्य गेंद (क्लासिकल कंप्यूटर) एक छोटे से गड्ढे (स्थानीय घाटी) में फंस सकती है और यह सोच सकती है कि यही सबसे निचला बिंदु है। एक "क्वांटम" गेंद पहाड़ के पीछे छिपे सबसे गहरे गड्ढे तक पहुँचने के लिए पहाड़ों के पार टनल (tunnel) कर सकती है।
सिम्युलेटेड बिफर्केशन (Simulated Bifurcation - SB): पानी के पाइपों के एक सिस्टम की कल्पना करें। जैसे-जैसे आप दबाव बढ़ाते हैं, पानी अचानक विशिष्ट चैनलों में विभाजित (bifurcate) हो जाता है, स्वाभाविक रूप से सबसे कुशल रास्तों में बहने लगता है।

ये उपकरण एक सुपर-फास्ट "ब्लैक बॉक्स" की तरह काम करते हैं जो तुरंत दौड़ों का सबसे अच्छा मिश्रण खोज लेते हैं, बिना किसी वास्तविक क्वांटम कंप्यूटर की आवश्यकता के (यह नियमित कंप्यूटरों पर चलता है लेकिन क्वांटम भौतिकी की नकल करता है)।

प्रयोगों में क्या हुआ?

लेखकों ने परीक्षण के लिए विभिन्न आकारों (3x3 से लेकर विशाल 20x20 तक) के डिजिटल "ग्रिडवर्ल्ड" (एक सरल ग्रिड-आधारित भूलभैया) का उपयोग किया।

परिणाम: "स्मार्ट एडिटर" (MC+QUBO) ने मानक विधि (Vanilla MC) की तुलना में बहुत तेज़ी से सीखा।
कमी (The Catch): सबसे बड़ी भूलभुलैया में, मानक विधि या तो अटक जाती थी या बहुत धीरे सीखती थी क्योंकि वह खराब और दोहराव वाले डेटा से घिरी हुई थी। MC+QUBO विधि ने शोर को काट दिया, और केवल सबसे सूचनात्मक और विविध रास्तों पर ध्यान केंद्रित किया।
आश्चर्य: लेखकों ने पाया कि उन्हें "पुरस्कार" (खजाने) को बहुत अधिक प्राथमिकता देने की आवश्यकता नहीं थी। मुख्य रूप से विविधता (मानचित्र के विभिन्न हिस्सों को कवर करना) पर ध्यान केंद्रित करके, एजेंट ने एक बेहतर समग्र रणनीति सीखी और किसी एक भाग्यशाली ट्रिक को दोहराने में नहीं फंसा।

सारांश

यह शोध पत्र दिखाता है कि एक "क्वांटम-प्रेरित" गणितीय ट्रिक का उपयोग करके एक फ़िल्टर के रूप में, आप एक AI एजेंट को बहुत तेज़ी से सिखा सकते हैं। खराब या दोहराव वाले डेटा के समुद्र में डूबने के बजाय, एजेंट को सबसे उपयोगी अनुभवों की एक चुनी हुई सूची मिलती है, जिससे वह भूलभुलैया को कुशलतापूर्वक सीख पाता है, भले ही पुरस्कार दुर्लभ हों और मानचित्र विशाल हो।

मुख्य बात: यह अधिक प्रयासों के बारे में नहीं है; यह सही प्रयासों के बारे में है, और उन्हें तुरंत चुनने के लिए उन्नत गणित का उपयोग करने के बारे में है।

तकनीकी सारांश: QUBO अनुकूलन के माध्यम से मोंटे कार्लो सुदृढीकरण शिक्षण के लिए क्वांटम-प्रेरित एपिसोड चयन

समस्या विवरण
मोंटे कार्लो (MC) सुदृढीकरण शिक्षण (reinforcement learning) महत्वपूर्ण चुनौतियों का सामना करता है, विशेष रूप से उन वातावरणों में जो विरल पुरस्कारों (sparse rewards), बड़े स्टेट-स्पेस और टेम्पोरल रूप से सह-संबंधित प्रक्षेप पथों (trajectories) द्वारा चिह्नित होते हैं। मानक MC विधियाँ i.i.d. (स्वतंत्र और समान रूप से वितरित) डेटा नमूनों की धारणा पर निर्भर करती हैं, जो कि मार्कोवियन प्रकृति के कारण उल्लंघन होती है। फलस्वरूप, MC अनुमानकों (estimators) में निम्नलिखित समस्याएँ आती हैं:

विचरण प्रसार (Variance Propagation): रिटर्न में संचयी विचरण होता है, जिसके लिए अनुमान त्रुटि को कम करने हेतु आवश्यक एपिसोड्स की संख्या ( $N_s$ ) $O(\epsilon^{-2})$ के रूप में स्केल करती है।
उप-इष्टतम प्रक्षेप पथ तनुकरण (Suboptimal Trajectory Dilution): विरल-पुरस्कार डोमेन में, अनुमानक कम-पुरस्कार वाले प्रक्षेप पथों द्वारा तनु (dilute) हो जाता है, जिससे इष्टतम पथों की पर्याप्त कवरेज सुनिश्चित करने के लिए नमूना आकार में घातीय वृद्धि की आवश्यकता होती है।
संयोजन विस्फोट (Combinatorial Explosion): सैद्धांतिक रूप से, मूल्य अनुमान सटीकता को अधिकतम करने के लिए $N$ उम्मीदवारों में से $m$ एपिसोड के इष्टतम उपसमुच्चय (subset) का चयन करना एक NP-hard समस्या है, जो फीचर चयन और सेट कवर के समरूपी (isomorphic) है, जिसका समाधान स्थान $\binom{N}{m}$ है।

कार्यप्रणाली
लेखक MC+QUBO प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो एपिसोड चयन प्रक्रिया को क्वाड्रेटिक अनकन्स्ट्रेंड बाइनरी ऑप्टिमाइज़ेशन (QUBO) समस्या के रूप में पुनर्गठित करता है। सभी नमूना लिए गए एपिसोड्स का उपयोग पॉलिसी अपडेट के लिए करने के बजाय, यह विधि एक बैच के प्रक्षेप पथों को फ़िल्टर करती है ताकि एक ऐसा उपसमुच्चय चुना जा सके जो संचयी पुरस्कार को अधिकतम करने के साथ-साथ स्टेट-स्पेस कवरेज (विविधता) को बढ़ावा दे।

QUBO सूत्रीकरण: चयन समस्या को इस प्रकार एनकोड किया गया है:
$\min_{x \in \{0,1\}^n} \left( -\alpha \sum_{i=1}^n R_i x_i + \gamma \sum_{i<j} w_{ij} x_i x_j \right)$
जहाँ:
- $x_i = 1$ एपिसोड $\tau_i$ के चयन को दर्शाता है।
- $R_i$ एपिसोड $i$ का संचयी पुरस्कार है।
- $w_{ij}$ एपिसोड के बीच युग्मवार समानता (pairwise similarity) को दर्शाता है (जैसे, विज़िट किए गए स्टेट सेट्स की जेकार्ड समानता/Jaccard similarity)।
- $\alpha$ एक रिवॉर्ड-स्केलिंग मल्टीप्लायर है, और $\gamma$ समानता दंड (similarity penalty) को भार देता है।
- रैखिक पद ( $-\alpha R_i$ ) उच्च-पुरस्कार वाले एपिसोड्स का पक्ष लेता है, जबकि द्विघाती पद ( $\gamma w_{ij}$ ) रेडंडेंसी (अनावश्यकता) को दंडित करता है, जिससे विविध प्रक्षेप पथों का चयन करने के लिए प्रोत्साहन मिलता है।
क्वांटम-प्रेरित सॉल्वर: QUBO समस्या को ब्लैक-बॉक्स क्वांटम-प्रेरित सैंपलर, विशेष रूप से सिमुलेटेड क्वांटम एनीलिंग (SQA) और सिमुलेटेड बिफर्केशन (SB) का उपयोग करके हल किया जाता है।
- SQA क्वांटम टनलिंग को ऊर्जा मिनिमा के बीच सिम्युलेट करने के लिए क्लासिकल स्टोकेस्टिक अपडेट और पाथ-इंटिग्रल मोंटे कार्लो का उपयोग करके क्वांटम एनीलिंग की नकल करता है।
- SB एक क्लासिकल डायनेमिकल सिस्टम दृष्टिकोण का उपयोग करता है जहाँ निरंतर चर (continuous variables) बाइफर्केशन घटनाओं के माध्यम से बाइनरी अवस्थाओं की ओर विकसित होते हैं।
- लेखक इन सॉल्वरों को ऑरेकल (oracles) के रूप में मानते हैं जो व्यावहारिक कम्प्यूटेशनल बजट के भीतर उच्च-गुणवत्ता वाले अनुमानित समाधान प्रदान करते हैं।
एकीकरण: वर्कफ़्लो में एपिसोड्स का एक बैच उत्पन्न करना, पुरस्कार और समानता की गणना करना, QUBO को तैयार करना, सॉल्वर को भेजना, और फिर फर्स्ट-विज़िट MC के माध्यम से एक्शन-वैल्यू टेबल $Q(s, a)$ को अपडेट करने के लिए सर्वश्रेष्ठ-प्रेक्षित समाधान (बाइनरी वेक्टर $x^*$ ) का उपयोग करना शामिल है।

प्रमुख योगदान

एपिसोड चयन का पुनर्गठन: शोध पत्र MC एपिसोड चयन और कॉम्बिनेटरियल ऑप्टिमाइज़ेशन के बीच एक औपचारिक संबंध स्थापित करता है, यह प्रदर्शित करते हुए कि चयन समस्या को QUBO सूत्रीकरण में मैप किया जा सकता है।
एल्गोरिद्मिक एकीकरण: यह एक ठोस पाइपलाइन (एल्गोरिदम 2) पेश करता है जो मानक MC लर्निंग में प्रक्षेप पथ सैंपलिंग और पॉलिसी इवैल्यूएशन के बीच एक QUBO-आधारित फ़िल्टरिंग स्टेप को सम्मिलित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): अध्ययन का मूल्यांकन विभिन्न आकारों ( $3\times3$ से $20\times20$ ) के ग्रिडवर्ल्ड वातावरण में किया गया है, जिसमें MC+QUBO की तुलना वेनिला MC बेसलाइन से की गई है।

परिणाम
ग्रिडवर्ल्ड वातावरण में किए गए प्रयोगों से पता चलता है कि MC+QUBO, कन्वर्जेंस की गति और अंतिम पॉलिसी गुणवत्ता के मामले में वेनिला MC की तुलना में लगातार बेहतर प्रदर्शन करता है।

स्केलेबिलिटी: प्रदर्शन का अंतर बड़े वातावरणों ( $\ge 10\times10$ ) में बढ़ जाता है, जहाँ विरल पुरस्कार और घातीय स्टेट-स्पेस वृद्धि आमतौर पर मानक MC मूल्यांकन को बाधित करती है।
कन्वर्जेंस: MC+QUBO कम बैचों में अभिसरण (converge) करता है क्योंकि यह सूचनात्मक और विविध प्रक्षेप पथों पर ध्यान केंद्रित करता है, जिससे अनावश्यक एपिसोड प्रभावी ढंग से फ़िल्टर हो जाते हैं।
डिज़ाइन अंतर्दृष्टि: लेखक नोट करते हैं कि स्टेट-स्पेस कवरेज को प्राथमिकता देने (रिवॉर्ड वेट के प्रभाव को शून्य के करीब रखने) से रिवॉर्ड-ड्रिवन चयन की तुलना में अधिक संतुलित लर्निंग और बेहतर सामान्यीकरण (generalization) प्राप्त हुआ, जो कि रिवॉर्ड-ड्रिवन चयन की तुलना में तेज़ लेकिन कम स्थिर कन्वर्जेंस की ओर ले जाता था।
सॉल्वर प्रदर्शन: क्वांटम-प्रेरित सॉल्वर्स (SQA और SB) ने क्लासिकल ह्यूरिस्टिक्स (जैसे टैबू सर्च और सिमुलेटेड एनीलिंग) की तुलना में इस संदर्भ में बेहतर प्रदर्शन किया। कम्प्यूटेशनल लेटेंसी क्लाउड कम्युनिकेशन द्वारा संचालित थी, न कि सॉल्वर समय द्वारा (जो $n \le 200$ के लिए नगण्य था)।

महत्व और दावे
शोध पत्र का दावा है कि सुदृढीकरण शिक्षण में निर्णय लेने वाले सब-रूटीन के रूप में क्वांटम-प्रेरित अनुकूलन को एकीकृत करना, विशेष रूप से विरल पुरस्कारों और सह-संबंधित प्रक्षेप पथों वाले कार्यों के लिए, MC विधियों के लिए एक व्यावहारिक संवर्धन प्रदान करता है। RL को कॉम्बिनेटरियल ऑप्टिमाइज़ेशन के साथ जोड़कर, यह अध्ययन एक ऐसे मार्ग का सुझाव देता है जहाँ क्वांटम और क्वांटम-प्रेरित विधियाँ डेटा चयन चरण को अनुकूलित करने के लिए सक्रिय रूप से मार्गदर्शन करती हैं ताकि सैंपल इनएफिशिएंसी (sample inefficiency) को दूर किया जा सके।

लेखक अपने दायरे के संबंध में विनम्र रहते हुए नोट करते हैं कि हालांकि यह फ्रेमवर्क ग्रिडवर्ल्ड में आशाजनक दिखता है, भविष्य के कार्यों में निरंतर नियंत्रण (continuous control), पदानुक्रमित RL (hierarchical RL), और मल्टी-एजेंट सिस्टम तक विस्तार की आवश्यकता है, साथ ही वास्तविक क्वांटम हार्डवेयर पर तैनाती भी आवश्यक है। वर्तमान कार्य सुदृढीकरण शिक्षण के डेटा चयन चरण को अनुकूलित करने के लिए भौतिकी-प्रेरित सॉल्वर्स का उपयोग करने के एक प्रूफ-ऑफ-कॉन्सेप्ट के रूप में कार्य करता है।

बड़ी समस्या: प्रयास और त्रुटि (Trial and Error) से सीखना बर्बादी है

समाधान: "स्मार्ट एडिटर" (The Smart Editor)

असली मंत्र: "क्वांटम-प्रेरित" कैलकुलेटर (The "Quantum-Inspired" Calculator)

प्रयोगों में क्या हुआ?

सारांश

इसी तरह के और पेपर