Scalable Quantum Reinforcement Learning on NISQ Devices with Dynamic-Circuit Qubit Reuse and Grover Optimization
यह शोध पत्र एक स्केलेबल, संसाधन-कुशल क्वांटम सुदृढीकरण लर्निंग (reinforcement learning) ढांचे को प्रस्तुत करता है जो NISQ हार्डवेयर पर प्रक्षेपवक्र निष्ठा (trajectory fidelity) को बनाए रखते हुए मल्टी-स्टेप क्वांटम मार्कोव निर्णय प्रक्रियाओं की क्यूबिट जटिलता को रैखिक से स्थिर में कम करने के लिए डायनेमिक-सर्किट क्यूबिट पुन: उपयोग और ग्रोवर-आधारित आयाम प्रवर्धन (amplitude amplification) का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी समस्या: "बहुत सारे कमरों" की दुविधा
कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। क्वांटम रीइन्फोर्समेंट लर्निंग (QRL) की दुनिया में, रोबोट केवल भूलभुलैया के माध्यम से चलता नहीं है; वह क्वांटम मैकेनिक्स की अजीब शक्तियों (जैसे सुपरपोजिशन) का उपयोग करके एक ही समय में हर संभव रास्ते का पता लगाता है।
हालाँकि, इसमें एक बड़ी बाधा थी। पिछले तरीकों में, यदि आप चाहते थे कि रोबोट 10 कदम आगे की योजना बनाए, तो आपको प्रत्येक चरण पर रोबोट की स्थिति को स्टोर करने के लिए 10 अलग-अलग क्वांटम "कमरों" (qubits) के सेट की आवश्यकता होती। यदि आप 1,000 कदमों की योजना बनाना चाहते, तो आपको 1,000 सेटों की आवश्यकता होती।
उपमा: इसे एक फिल्म सेट की तरह समझें। पुराने तरीके में, यदि आपको एक दृश्य फिल्माना है जहाँ एक पात्र 10 सेकंड तक गलियारे में चलता है, तो आपको सेट पर 10 अलग-अलग, समान गलियारे बनाने होंगे, एक प्रत्येक सेकंड के लिए। यदि फिल्म लंबी होती, तो आप तुरंत स्टूडियो स्पेस (जगह) खत्म कर देते। इसे लीनियर स्केलिंग (Linear Scaling) कहा जाता है। चूंकि वर्तमान क्वांटम कंप्यूटर (जिन्हें NISQ डिवाइस कहा जाता है) छोटे और शोर वाले (noisy) होते हैं, इसलिए उनके पास लंबी फिल्में बनाने के लिए पर्याप्त "स्टूडियो स्पेस" (qubits) नहीं होता है।
समाधान: "रीसाइक्लिंग रूम" का कमाल
इस शोध पत्र के लेखकों ने फिल्म फिल्माने का एक चतुर नया तरीका पेश किया है। 10 अलग-अलग गलियारे बनाने के बजाय, उन्होंने एक गलियारा बनाया और एक "मैजिक रिसेट बटन" का उपयोग किया।
- एक्शन (Action): रोबोट एक कदम उठाता है।
- स्नैपशॉट (Snapshot): कंप्यूटर एक तस्वीर लेता है कि रोबोट कहाँ है (मेजरमेंट)।
- रिसेट (Reset): रोबोट को तुरंत उस विशिष्ट गलियारे की शुरुआती रेखा पर टेलीपोर्ट कर दिया जाता है, लेकिन जहाँ वह समाप्त हुआ था, उसकी याददाश्त (memory) को एक नोटबुक (क्लासिकल मेमोरी) में सुरक्षित रखा जाता है।
- पुन: उपयोग (Reuse): अब वही गलियारा अगले कदम के लिए तैयार है।
उपमा: कल्पना कीजिए कि आप एक बोर्ड गेम खेल रहे हैं। हर मोड़ पर एक नया बोर्ड खरीदने के बजाय, आप एक ही बोर्ड पर खेलते हैं। अपनी चाल चलने के बाद, आप अपने स्कोरकार्ड पर अपनी नई स्थिति लिखते हैं, और फिर आप अपने मोहरे को उठाकर वापस शुरुआती वर्ग पर रख देते हैं ताकि आप अपनी अगली चाल चल सकें। खेल चाहे कितना भी लंबा क्यों न हो, आपको केवल एक बोर्ड की आवश्यकता होती है।
इसे डायनेमिक सर्किट क्यूबिट रियूज़ (Dynamic Circuit Qubit Reuse) कहा जाता है। यह गणित को कदमों के लिए कमरों की आवश्यकता से बदलकर कदमों के लिए केवल एक कमरे की आवश्यकता में बदल देता है।
गुप्त हथियार: ग्रोवर का "सुपर सर्च"
एक बार जब रोबोट ने खेल खेला होता और कई संभावित पथ (trajectories) बना लिए होते, तो कंप्यूटर को सबसे अच्छा पथ (वह जिसमें सबसे अधिक अंक/पुरस्कार हों) खोजना होता है।
एक क्लासिकल कंप्यूटर में, आपको हर एक पथ की एक-एक करके जांच करनी होगी, जैसे घास के ढेर में सुई ढूँढना।
लेखकों ने ग्रोवर के एल्गोरिदम (Grover's Algorithm) का उपयोग किया, जो एक जादुई मेटल डिटेक्टर की तरह है।
- क्लासिकल सर्च: आप घास के ढेर में चलते हैं, और घास के हर तिनके की जांच करते हैं।
- ग्रोवर सर्च: आप एक जादुई छड़ी घुमाते हैं, और सुई तुरंत चमकने और कंपन करने लगती है, जिससे वह घास से खुद बाहर खिंची चली आती है।
इस शोध पत्र में, उन्होंने "रीसाइक्लिंग रूम" के कमाल को इस "जादुई छड़ी" के साथ जोड़ा। उन्होंने क्वांटम कंप्यूटर को पुनर्चक्रित (recycled) क्यूबिट्स का उपयोग करके सभी पथ उत्पन्न करने दिया, और फिर ग्रोवर के एल्गोरिदम का उपयोग करके सबसे अच्छे पथ की संभावना को तुरंत बढ़ा दिया, जिससे अंत में उसे ढूंढ पाना बहुत आसान हो गया।
उन्होंने वास्तव में क्या किया?
- ढांचा तैयार किया: उन्होंने एक ऐसा सिस्टम बनाया जहाँ एक क्वांटम एजेंट एक क्वांटम वातावरण के साथ इंटरैक्ट करता है, लेकिन समय के हर सेकंड के लिए नए क्यूबिट्स का उपयोग करने के बजाय, वे बार-बार उन्हीं 7 क्यूबिट्स को मापते हैं, रिसेट करते हैं और पुन: उपयोग करते हैं।
- सिद्ध किया कि यह काम करता है: उन्होंने इसे एक कंप्यूटर पर सिम्युलेट किया और दिखाया कि यह पुराने, अधिक स्थान घेरने वाले तरीके के समान ही परिणाम देता है, लेकिन इसमें 66% कम क्यूबिट्स का उपयोग होता है।
- असली हार्डवेयर पर परीक्षण: उन्होंने इसे एक वास्तविक, शोर वाले (noisy) क्वांटम कंप्यूटर (IBM Heron प्रोसेसर) पर चलाया। भले ही कंप्यूटर "शोर वाला" (गलतियों के प्रति संवेदनशील) था, सिस्टम सफलतापूर्वक इष्टतम पथ (optimal path) खोजने में सफल रहा, जिससे यह सिद्ध हुआ कि यह तरीका आज के वास्तविक उपकरणों पर काम करता है।
यह क्यों महत्वपूर्ण है?
इस शोध पत्र से पहले, पूरी तरह से क्वांटम रीइन्फोर्समेंट लर्निंग "खिलौना चरण" (toy phase) में फंसी हुई थी। आप केवल बहुत सरल, छोटे कार्यों को हल कर सकते थे क्योंकि आप बहुत जल्दी क्यूबिट्स खत्म कर देते थे।
यह शोध पत्र इस बाधा को तोड़ता है। यह दिखाता है कि अब हम छोटे, अपूर्ण क्वांटम कंप्यूटरों पर बिना किसी बड़े शहर जितने बड़े क्वांटम कंप्यूटर की आवश्यकता के, लंबे और अधिक जटिल भविष्य की योजना बनाने के लिए क्वांटम एजेंटों को सिखा सकते हैं। यह "असंभव" को आज के दौर में "संभव" में बदल देता है।
संक्षेप में: उन्होंने यह पता लगाया कि कैसे एक क्वांटम कंप्यूटर को शतरंज का लंबा खेल खेलने के लिए बनाया जाए, जिसमें हर चाल के लिए एक नया बोर्ड लगाने के बजाय उसी 7 वर्गों वाले बोर्ड का पुन: उपयोग किया जाए, और फिर जीतने वाली रणनीति को तुरंत खोजने के लिए एक जादुई खोज मंत्र का उपयोग किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।