⚛️ quantum physics

Post-Error Correction for Quantum Annealing Processor using Reinforcement Learning

मूल लेखक: Tomasz Śmierzchalski, Łukasz Pawela, Zbigniew Puchała, Tomasz Trzciński, Bartłomiej Gardas

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Tomasz Śmierzchalski, Łukasz Pawela, Zbigniew Puchała, Tomasz Trzciński, Bartłomiej Gardas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Post-Error Correction for Quantum Annealing Processor using Reinforcement Learning" पेपर का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: एक शोर वाला क्वांटम मशीन (A Noisy Quantum Machine)

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, हाई-टेक रोबोट (क्वांटम एनेलर) है जिसे दुनिया की सबसे कठिन पहेलियों को हल करने के लिए डिज़ाइन किया गया है। ये पहेलियाँ एक विशाल, धुंधले पर्वत श्रृंखला (समस्या का "ग्राउंड स्टेट") में सबसे निचले बिंदु को खोजने जैसी हैं।

हालाँकि, यह रोबोट परफेक्ट नहीं है। क्योंकि यह एक वास्तविक भौतिक मशीन है, इसमें "शोर" (noise) आ जाता है और यह गलतियाँ करता है। यह अक्सर एक छोटी घाटी में रुक जाता है यह सोचकर कि यही सबसे निचला बिंदु है, जबकि पास में ही एक गहरी घाटी मौजूद होती है। इस पेपर का लक्ष्य एक स्मार्ट असिस्टेंट बनाना है जो रोबोट की "गलती" को देखे और उसे ठीक करे, जिससे समाधान को एक बेहतर, कम ऊर्जा वाले स्तर तक पहुँचाया जा सके।

समस्या: "धुंधला पर्वत" (The "Foggy Mountain")

वह विशिष्ट पहेली जिसे रोबोट हल करने की कोशिश कर रहा है, उसे Ising Spin-Glass कहा जाता है।

उपमा (Analogy): एक विशाल ग्रिड की कल्पना करें जिसमें लाइट स्विच (स्पिन्स) हैं। प्रत्येक स्विच या तो ON (+1) है या OFF (-1) है।
नियम: कुछ स्विच अपने पड़ोसियों के समान रहना चाहते हैं; अन्य अलग रहना चाहते हैं। इसके अलावा, "हवा" के बल (मैग्नेटिक फील्ड्स) भी हैं जो कुछ स्विचों को एक दिशा में धकेल रहे हैं।
लक्ष्य: उस एक विशिष्ट स्विच व्यवस्था को खोजना जो सबसे कम ऊर्जा का उपयोग करती है।
मुद्दा: यह एक NP-hard समस्या है, जिसका अर्थ है कि इसे पूरी तरह से हल करना अविश्वसनीय रूप से कठिन है। क्वांटम रोबोट इस व्यवस्था को खोजने की कोशिश करता है लेकिन अक्सर एक "लोकल मिनिमम" (local minimum) में फंस जाता है—एक उथला गड्ढा जो नीचे की ओर दिखता तो है पर वास्तव में वह सबसे निचला बिंदु नहीं है।

समाधान: सुदृढीकरण सीखने (Reinforcement Learning) वाला एक "कोच"

लेखकों ने एक नई विधि बनाई है जिसे Simulated Annealing with Reinforcement (SAwR) कहा जाता है। इसे एक स्पोर्ट्स कोच के रूप में सोचें जो एक एथलीट (क्वांटम रोबोट) को उसका प्रदर्शन सुधारने में मदद कर रहा है।

एथलीट (क्वांटम एनेलर): पहले दौड़ पूरी करता है और आपको अपना फिनिश टाइम (एक समाधान) देता है। यह अच्छा है, लेकिन शायद सबसे अच्छा नहीं।
कोच (Reinforcement Learning): फिनिश लाइन को देखता है और कहता है, "हे, अगर तुम इस विशिष्ट स्विच को थोड़ा बदल दो, तो तुम तेज़ दौड़ सकते हो।"
प्रशिक्षण (Training): कोच एक कंप्यूटर प्रोग्राम (एक ग्राफ न्यूरल नेटवर्क) है जिसे हजारों छोटी पहेलियों पर प्रशिक्षित किया गया है। यह एक रणनीति सीखता है: "जब मैं स्विचों का यह पैटर्न देखता हूँ, तो उस स्विच को पलटने से आमतौर पर बेहतर परिणाम मिलता है।"

"कोच" कैसे काम करता है (DIRAC आर्किटेक्चर)

पेपर में एक विशिष्ट AI आर्किटेक्चर का उपयोग किया गया है जिसे DIRAC कहा जाता है। यहाँ बताया गया है कि यह पहेली को AI की समझ के अनुकूल कैसे बनाता है:

एनकोडिंग (The Map): AI पहेली को एक मानचित्र के रूप में देखता है। स्विच "शहर" (नोड्स) हैं, और उन्हें जोड़ने वाले नियम "सड़कें" (एजेस) हैं। AI इस पूरे शहर का एक मानसिक मानचित्र बनाता है।
रणनीति (Q-Values): AI हर संभावित चाल के लिए एक "स्कोर" (Q-value) की गणना करता है। वह पूछता है, "यदि मैं स्विच #5 को पलट दूँ, तो स्कोर कितना बेहतर होगा?"
एक्शन (The Action): स्विचों को रैंडम तरीके से पलटने के बजाय, AI उस चाल को चुनता है जिसका स्कोर सबसे अधिक होता है और उस स्विच को पलट देता है। वह यह काम एक-एक करके, स्टेप-दर-स्टेप करता है, जब तक कि उसे और कोई सुधार नहीं मिल पाता।

हाइब्रिड दृष्टिकोण: SAwR

लेखकों ने केवल AI का उपयोग नहीं किया; उन्होंने इसे Simulated Annealing नामक एक पुराने तरीके के साथ मिलाया (जो गर्म धातु को उसके ढांचे को ठीक करने के लिए धीरे-धीरे ठंडा करने जैसा है)।

प्रक्रिया: वे क्वांटम रोबोट के समाधान से शुरू करते हैं। वे "Simulated Annealing" प्रक्रिया को चलने देते हैं, जिसमें आमतौर पर खराब जगहों से बचने के लिए रैंडम अनुमान (random guessing) शामिल होता है।
ट्विस्ट: जब प्रक्रिया "ठंडी" हो जाती है (अंत के करीब, जहाँ रैंडम अनुमान कम प्रभावी होता है), तो वे रैंडम अनुमान को AI कोच के सबसे अच्छे अनुमान से बदल देते हैं। AI समाधान के माध्यम से एक चक्कर लगाता है, और ऊर्जा की बचत के लिए सबसे आशाजनक स्विचों को पलटता है।

परिणाम: अच्छी खबर, बुरी खबर

लेखकों ने इसका परीक्षण एक वास्तविक D-Wave क्वांटम कंप्यूटर (2000Q मॉडल) पर किया।

अच्छी खबर (Scalability): यह विधि अविश्वसनीय रूप से स्केलेबल है। उन्होंने AI को छोटी पहेलियों (जैसे 3x3 ग्रिड) पर प्रशिक्षित किया और सफलतापूर्वक बड़ी पहेलियों (16x16 ग्रिड) के समाधानों को ठीक करने में इसका उपयोग किया। आकार बढ़ने पर भी AI भ्रमित नहीं हुआ; इसने बस उसी तर्क को लागू किया।
बुरी खबर (Performance): हालांकि AI ने कच्चे क्वांटम रोबोट की तुलना में बेहतर समाधान खोजे, लेकिन यह मानक "Simulated Annealing" एल्गोरिदम को अकेले हराने में सफल नहीं रहा।
- केवल AI वाला दृष्टिकोण (सिर्फ एक बार स्पिन पलटना) वास्तव में काफी खराब था (लग केवल 1% सफलता दर)।
- हाइब्रिड दृष्टिकोण (SAwR) कुछ मामलों में मानक Simulated Annealing से थोड़ा बेहतर था, लेकिन अंतर बहुत कम था और सांख्यिकीय रूप से महत्वपूर्ण (statistically significant) नहीं था।

निष्कर्ष

यह पेपर मूल रूप से एक "प्रूफ ऑफ कॉन्सेप्ट" है। यह दिखाता है कि:

आप क्वांटम कंप्यूटरों में त्रुटियों को ठीक करने के लिए Reinforcement Learning का उपयोग कर सकते हैं।
आप छोटी समस्याओं पर प्रशिक्षण ले सकते हैं और इसे बड़ी समस्याओं पर लागू कर सकते हैं (बेहतरीन स्केलेबिलिटी)।
हालांकि, वर्तमान में यह फैंसी AI तरीका हमारे पास मौजूद सरल, पुराने गणितीय तरीकों से बेहतर नहीं है।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह विशिष्ट दृष्टिकोण अभी तक विजेता नहीं है, लेकिन क्वांटम कंप्यूटरों में त्रुटियों को ठीक करने के लिए AI का उपयोग करने का विचार भविष्य के अनुसंधान के लिए एक आशाजनक मार्ग है, विशेष रूप से जैसे-जैसे क्वांटम कंप्यूटर अधिक जटिल होते जा रहे हैं।

तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) का उपयोग करके क्वांटम एनीलिंग प्रोसेसर के लिए पोस्ट-एरर करेक्शन

समस्या विवरण
आइसिंग स्पिन-ग्लास (Ising spin-glass) के ग्राउंड स्टेट को खोजना कंडेंस्ड मैटर फिजिक्स में एक मौलिक NP-हार्ड समस्या है, जिसके संयोजन अनुकूलन (combinatorial optimization) में व्यापक अनुप्रयोग हैं, जिसमें ट्रैवलिंग सेल्समैन प्रॉब्लम और प्रोटीन फोल्डिंग शामिल हैं। जबकि क्वांट क्वांटम एनीलिंग (QA) द्विघात अनकन्स्ट्रेंड बाइनरी ऑप्टिमाइजेशन (QUBO) समस्याओं को हल करने के लिए एक उपयुक्त प्रतिमान है, व्यावसायिक रूप से उपलब्ध उपकरणों (विशेष रूप से, D-Wave 2000Q) में अंतर्निहित त्रुटियाँ होती हैं। इनमें डिकोहेरेंस (decoherence) का कारण बनने वाला थर्मल नॉइज़ और कपलिंग गुणांकों ( $J_{i,j}$ ) तथा बायस ( $h_i$ ) में प्रोग्रामिंग कंट्रोल त्रुटियां शामिल हैं। फलस्वरूप, QA अक्सर वास्तविक निम्न-ऊर्जा वाले ग्राउंड स्टेट्स खोजने में विफल रहता है, जिससे एनीलर द्वारा आउटपुट किए गए स्टेट्स की ऊर्जा को कम करने के लिए एक पोस्ट-प्रोसेसिंग एरर करेक्शन योजना की आवश्यकता होती है।

कार्यप्रणाली
लेखक एक पोस्ट-प्रोसेसिंग फ्रेमवर्क प्रस्तावित करते हैं जिसे Simulated Annealing with Reinforcement (SAwR) कहा जाता है। यह दृष्टिकोण डीप रिइन्फोर्समेंट लर्निंग (RL) को क्लासिकल सिम्युलेटेड एनीलिंग (SA) के साथ जोड़ता है ताकि पारंपरिक क्वांटम एरर करेक्शन (जिसमें प्रत्येक लॉजिकल क्यूबिट के लिए कई भौतिक क्यूबिट्स की आवश्यकता होती है) के ओवरहेड के बिना QA आउटपुट्स की त्रुटियों को ठीक किया जा सके।

सुदृढीकरण शिक्षण (Reinforcement Learning) फॉर्मूलेशन:
- स्टेट ( $s$ ): आइसिंग इंस्टेंस का प्रतिनिधित्व करता है, जिसमें स्पिन कॉन्फ़िगरेशन $\sigma$ , कपलिंग स्ट्रेंथ $\{J_{i,j}\}$ और बाहरी चुंबकीय क्षेत्र $\{h_i\}$ शामिल हैं।
- एक्शन ( $a$ ): एक एकल स्पिन $i$ को पलटना (स्पिन $\sigma_i$ को $+1$ से $-1$ या इसके विपरीत बदलना)। प्रत्येक एपिसोड में प्रत्येक स्पिन को अधिकतम एक बार ही पलटा जा सकता है।
- रिवॉर्ड ( $r$ ): स्पिन फ्लिप के परिणामस्वरूप ऊर्जा में परिवर्तन ( $\Delta E$ )।
- उद्देश्य: एजेंट एक पॉलिसी सीखने का प्रयास करता है जो अपेक्षित रिटर्न को अधिकतम करती है, प्रभावी रूप से निम्न ऊर्जा अवस्था तक पहुँचने के लिए स्पिन को क्रमिक रूप से पलटने की रणनीति सीखता है।
मॉडल आर्किटेक्चर (DIRAC-प्रेरित):
सिस्टम आइसिंग इंस्टेंस को एनकोड करने के लिए DIRAC आर्किटेक्चर पर आधारित एक ग्राफ न्यूरल नेटवर्क (GNN) का उपयोग करता है।
- एनकोडिंग: आइसिंग इंस्टेंस को एक ग्राफ के रूप में माना जाता है जहाँ कपलिंग एज-वेट्स (edge weights) हैं और स्पिन/बायस नोड-वेट्स (node weights) हैं। एक संशोधित स्पिन ग्लास न्यूरल नेटवर्क (SGNN) एज-सेंट्रिक और नोड-सेंट्रिक अपडेट के माध्यम से मैसेज पासिंग करता है ताकि प्रत्येक नोड (स्पिन) और ग्लोबल स्टेट के लिए लो-डायमेंशनल वेक्टर एम्बेडिंग उत्पन्न की जा सके।
- डिकोडिंग: एक फीड-फॉरवर्ड न्यूरल नेटवर्क स्टेट एम्बेडिंग और एक विशिष्ट एक्शन एम्बेडिंग (नोड) के संयोजन को लेता है और एक Q-वैल्यू आउटपुट करता है, जो उस विशिष्ट स्पिन को पलटने के लिए अपेक्षित भविष्य के रिवॉर्ड का अनुमान लगाता है।
SAwR प्रक्रिया:
एल्गोरिदम मानक सिम्युलेटेड एनीलिंग के साथ शुरू होता है। जैसे-जैसे तापमान कम होता है, मेट्रोपोलिस-हेस्टिंग्स मानदंड (जो ऊर्जा बढ़ाने वाले मूव्स को संभाव्यता के आधार पर स्वीकार करता है) को प्रशिक्षित RL एजेंट के एक सिंगल पास द्वारा प्रतिस्थापित किया जाता है। एजेंट उच्चतम Q-वैल्यू के आधार पर स्पिन को पलटने का चयन करता है, और प्रत्येक चरण के बाद ऊर्जा अवस्था को रिकॉर्ड करता है। अंतिम समाधान इस प्रक्रिया के दौरान मिले सबसे निचले ऊर्जा वाले स्टेट को परिभाषित करता है।

प्रमुख योगदान

नवोन्मेषी पोस्ट-प्रोसेसिंग स्कीम: SAwR का परिचय, जो QA त्रुटियों को ठीक करने के लिए डीप RL को सिम्युलेटेड एनीलिंग के साथ एकीकृत करता है।
स्केलेबिलिटी (Scalability): यह विधि उत्कृष्ट स्केलेबिलिटी प्रदर्शित करती है। मॉडल को छोटे चिमेरा इंस्टेंस (विशेष रूप से $C_3$ , 72 स्पिन) पर प्रशिक्षित किया गया है और इसे बिना पुन: प्रशिक्षण के काफी बड़े इंस्टेंस ( $C_{16}$ , 2048 स्पिन) पर सफलतापूर्वक तैनात किया गया है, जो GNN की ग्राफ-लेवल एनकोडिंग क्षमताओं का लाभ उठाता है।
आर्किटेक्चर अनुकूलन: D-Wave 2000Q चिमेरा ग्राफ की विशिष्ट बाधाओं और टोपोलॉजी के लिए DIRAC आर्किटेक्चर का अनुकूलन।

प्रायोगिक परिणाम
लेखकों ने चार चिमेरा आकारों ( $C_4$ से $C_{16}$ ) में 500 रैंडम आइसिंग इंस्टेंस पर मानक सिम्युलेटेड एनीलिंग और एक सिंगल-पास स्पिन-फ्लिपिंग प्रक्रिया (केवल RL मॉडल के रूप में कार्य करना) के विरुद्ध SAwR का मूल्यांकन किया।

सफलता की संभावना (Success Probability): SAwR ने मानक सिम्युलेटेड एनीलिंग की तुलना में निम्न-ऊर्जा अवस्था खोजने की थोड़ी कम संभावना दिखाई। यह अंतर सभी सिस्टम साइजों में सुसंगत था, जो एक व्यवस्थित (systemic) न कि रैंडम विचरण का सुझाव देता है।
सुधार का परिमाण (Improvement Magnitude): औसतन, SAwR मानक SA की तुलना में बेहतर निम्न-ऊर्जा अवस्था खोजने में सक्षम था, हालांकि यह अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं था।
सिंगल-पास प्रदर्शन: स्टैंडअलोन RL एजेंट (स्पिन फ्लिपिंग का सिंगल पास) खराब प्रदर्शन करता है, जो लगभग 1% सफलता दर प्राप्त करता है, जो सिम्युलेटेड एनीलिंग की व्यापक खोज क्षमताओं के साथ संयोजन की आवश्यकता को उजागर करता है।

महत्व और दावे
यह शोध पत्र SAwR को एक "प्रूफ-ऑफ-कांसेप्ट" के रूप में प्रस्तुत करता है जो यह दर्शाता है कि क्वांटम एनीलर आउटपुट्स को ठीक करने के लिए रिइन्फोर्समेंट लर्निंग को लागू किया जा सकता है। लेखक स्पष्ट रूप से स्वीकार करते हैं कि चिमेरा ग्राफ पर SAwR का प्रदर्शन वर्तमान में मानक एल्गोरिदम जैसे कि मानक सिम्युलेटेड एनीलिंग की तुलना में निम्न (inferior) है।

इसका महत्व तत्काल श्रेष्ठ प्रदर्शन में नहीं, बल्कि स्केलेबिलिटी के प्रदर्शन और पोस्ट-एरर करेक्शन के लिए RL के उपयोग की व्यवहार्यता में निहित है। लेखक नोट करते हैं कि पूर्ववर्ती DIRAC अध्ययनों में उपयोग किए जाने वाले नियमित लैटिस (lattices) की तुलना में वास्तविक दुनिया के चिमेरा ग्राफ की जटिलता, प्रदर्शन अंतराल में योगदान देने वाले कारकों में से एक है। वे निष्कर्ष निकालते हैं कि हालांकि वर्तमान परिणाम मामूली हैं, फिर भी रिइन्फोर्समेंट लर्निंग का उपयोग पोस्ट-एरर करेक्शन के लिए करना एक "खुला और आशाजनक अनुसंधान का मार्ग" बना हुआ है, विशेष रूप से जैसे-जैसे D-Wave सिस्टम अधिक जटिल टोपोलॉजी जैसे पेगासस (Pegasus) और जेफर (Zephyr) की ओर विकसित होते हैं। भविष्य के कार्य के रूप में आर्किटेक्चरल परिवर्तनों (जैसे, एनकोडर और डिकोडर ट्रेनिंग को अलग करना) या वैकल्पिक RL एल्गोरिदम (जैसे, एसिंक्रोनस मेथड्स या मोंटे कार्लो ट्री सर्च) का अन्वेषण करने का सुझाव दिया गया है।