Approximate Quantum State Preparation Through Proximal Policy Optimization

द क्वांटम लेगो चैलेंज (The Quantum Lego Challenge)

कल्पना कीजिए कि आप लेगो ब्रिक्स से एक विशिष्ट, अविश्वसनीय रूप से जटिल मूर्ति बनाने की कोशिश कर रहे हैं। अब, कल्पना कीजिए कि सामान्य ब्लॉक्स को आपस में जोड़ने के बजाय, हर बार जब आप एक टुकड़ा जोड़ते हैं, तो पूरी संरचना सामान्य भौतिकी को चुनौती देने वाले तरीकों से बदल जाती है, घूमती है और अपना रंग बदल लेती है। यह क्वांटम कंप्यूटिंग की दुनिया है। आपकी जेब में मौजूद साधारण कंप्यूटरों के विपरीत, जो सरल ऑन/ऑफ स्विच (बिट्स) का उपयोग करते हैं, क्वांटम कंप्यूटर "क्यूबिट्स" (qubits) का उपयोग करते हैं जो एक साथ कई अवस्थाओं में रह सकते हैं। इन मशीनों को कुछ भी उपयोगी करने के लिए, वैज्ञानिकों को पहले एक पेचीदा नृत्य करना पड़ता है जिसे क्वांटम स्टेट प्रिपरेशन (QSP) कहा जाता है। इसे "सेटअप" चरण के रूप में समझें: आप एक खाली स्लेट (सभी शून्य) से शुरू करते हैं और आपको क्यूब्स को तब तक घुमाने और मोड़ने की आवश्यकता होती है जब तक कि वे एक बहुत ही विशिष्ट, वांछित पैटर्न न बना लें।

समस्या यह है कि जैसे-जैसे आप अधिक क्यूब्स जोड़ते हैं, उनके व्यवस्थित होने के तरीकों की संख्या विस्फोट की तरह बढ़ती है। यह एक ऐसे ब्रह्मांड में सही लेगो रेसिपी खोजने की कोशिश करने जैसा है जहाँ रेसिपी की संख्या आपकी गिनती करने की क्षमता से कहीं अधिक तेजी से बढ़ती है। यदि आप रेसिपी गलत बनाते हैं, तो क्वांटम कंप्यूटर काम नहीं करेगा। वर्षों से, मनुष्यों ने इन रेसिपीज़ को हाथ से लिखने की कोशिश की है, लेकिन यह एक ऐसे भूलभुलैया को हल करने जैसा है जो अपना आकार बदलती रहती है। यहीं पर रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) काम आती है। यह कृत्रिम बुद्धिमत्ता (AI) का एक प्रकार है जो परीक्षण और त्रुटि (trial and error) से सीखता है, ठीक वैसे ही जैसे एक कुत्ता इनाम के लिए बैठना सीखता है। AI एक क्रिया आज़माता है, यदि वह करीब है तो उसे "पुरस्कार" मिलता है, और यदि वह दूर है तो उसे "दंड" मिलता है, जिससे वह बिना किसी मानवीय सहायता के धीरे-धीरे सबसे अच्छा रास्ता खोज लेता है।

शोध पत्र की कहानी: एक रोबोट को क्वांटम सर्किट बनाना सिखाना

इस शोध पत्र में, यूनिवर्सिटी ऑफ पार्मा के मार्को मोरडाची और मिशेल अमोरेटी ने इस लेगो पहेली को हल करने का एक नया तरीका प्रस्तावित किया है। उन्होंने एक विशिष्ट प्रकार की रीइन्फोर्समेंट लर्निंग, जिसे प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) कहा जाता है, का उपयोग करके एक डिजिटल "एजेंट" (एक स्मार्ट रोबोट मस्तिष्क) बनाया। उनका लक्ष्य सरल लेकिन कठिन था: इस एजेंट को एक ऐसा क्वांटम सर्किट बनाने के लिए सिखाना जो एक विशिष्ट लक्षित अवस्था (target state) बनाता है, जिसमें कम से कम "गेट्स" (क्वांटम के बराबर लेगो ब्रिक्स) का उपयोग किया गया हो, जबकि परिणाम गणितीय रूप से जितना संभव हो सके उतना सटीक हो।

एजेंट चरण-दर-चरण काम करता है। वह क्वांटम सिस्टम की वर्तमान स्थिति को देखता है और एक नया गेट जोड़ने का निर्णय लेता है। जिन गेट्स को वह चुन सकता है, वे एक बुनियादी टूलकिट की तरह हैं: तीन प्रकार के सिंगल-क्यूबिट रोटेशन (सोचिए कि ये एक सिंगल ब्रिक को अलग-अलग दिशाओं में घुमाना है: $R_x$, $R_y$, और $R_z$) और एक "एंटैंगलिंग" गेट जिसे CNOT कहा जाता है (जो दो क्यूब्स को आपस में जोड़ता है, जैसे दो ब्रिक्स को इस तरह जोड़ना कि वे एक के रूप में हिलें)। हर बार जब एजेंट एक गेट जोड़ता है, तो कंप्यूटर रोटेशन के कोणों को थोड़ा बदलने के लिए एक त्वरित, लघु-प्रशिक्षण सत्र चलाता है ताकि परिणाम लक्ष्य के जितना संभव हो सके उतना करीब आ सके। यदि परिणाम करीब आता है, तो एजेंट को पुरस्कार मिलता है; यदि यह दूर जाता है या बहुत अधिक गेट्स का उपयोग करता है, तो उसे दंड मिलता है।

शोधकर्ताओं ने इस "रोबोट आर्किटेक्ट" का परीक्षण 2 क्यूब्स से लेकर 5 क्यूब्स तक की विभिन्न चुनौतियों पर किया। उन्होंने एजेंट को प्रसिद्ध, पूर्व-निर्धारित पैटर्न (जैसे "बेल," "GHZ," "W," और "डिके" अवस्थाएं, जो मानक, सुप्रसिद्ध लेगो मॉडलों की तरह हैं) और पूरी तरह से यादृच्छिक (random), अव्यवस्थित पैटर्न बनाने के लिए कहा।

परिणाम प्रभावशाली थे, विशेष रूप से छोटे सिस्टम के लिए। 2-क्यूबिट और 3-क्यूबिट कार्यों के लिए, एजेंट ने अक्सर अत्यधिक कुशल समाधान खोजे, हालांकि हमेशा पूर्ण सैद्धांतिक न्यूनतम नहीं। उदाहरण के लिए, जब "बेल स्टेट" (एक सरल दो-क्यूबिट कनेक्शन) बनाने के लिए कहा गया, तो एजेंट ने सटीक सैद्धांतिक समाधान नहीं पाया (जिसके लिए एक हैडामार्ड गेट की आवश्यकता होती है, जो उसके टूलकिट में नहीं है)। इसके बजाय, इसने लक्ष्य प्राप्त करने के लिए एक रोटेशन गेट ($R_y$) का उपयोग करके प्रभाव का अनुमान लगाया। यादृच्छिक 2-क्यूबिट अवस्थाओं से निपटने के दौरान, इसने लगातार 7 गेट्स का उपयोग करके समाधान खोजे, जो अन्य वैज्ञानिकों द्वारा गणना किए गए न्यूनतम गेट्स के बराबर है। हालाँकि, पेपर नोट करता है कि कुछ मामलों में, एजेंट इष्टतम समाधान तक नहीं पहुँच पाता है; यह सही गेट्स तो पहचान सकता है लेकिन अपर्याप्त दंड के कारण उनका अत्यधिक उपयोग कर सकता है, जिसके लिए बाद में मैन्युअल सरलीकरण की आवश्यकता होती है। इन खामियों के बावजूद, एजेंट इतना सटीक था कि वह $10^{-14}$ जितनी कम त्रुटि दर प्राप्त कर सका, जिसका अर्थ है कि परिणाम आदर्श लक्ष्य से लगभग अभिन्न था।

हालाँकि, जैसे-जैसे पहेलियाँ बड़ी होती गईं, कहानी थोड़ी जटिल होती गई। जब शोधकर्ताओं ने 4-क्यूबिट और 5-क्यूबिट सिस्टम का परीक्षण किया, तो एजेंट ने सीखा तो, लेकिन वह हर बार सबसे छोटा रास्ता खोजने में संघर्ष करता रहा। यादृच्छिक 4-क्यूबिट अवस्थाओं के लिए, एजेंट ने आमतौर पर 47 और 70 गेट्स के बीच के सर्किट बनाए (औसत लगभग 63), जबकि "अनुकूलित" संस्करण (मैन्युअल सफाई के बाद) लगभग 53 तक नीचे आ सकते थे। 5 क्यूब्स के लिए, सर्च स्पेस इतना विशाल हो गया कि एजेंट आवंटित समय में काम पूरा नहीं कर सका, हालांकि इसने दिखाया कि वह बुनियादी बातें अभी भी सीख सकता है।

लेखकों ने एजेंट की मदद के लिए एक चतुर तकनीक भी खोजी। एक "सक्सेस बफर" (success buffer) का उपयोग करके—एक मेमोरी बैंक जिसने एजेंट द्वारा खोजे गए सर्वश्रेष्ठ 10 सर्किटों को सहेज कर रखा और कभी-कभी उन पर पुन: प्रशिक्षण लिया—रोबोट बेहतर समाधान तेज़ी से खोज सका। उन्होंने यह भी पाया कि "रिवॉर्ड" (पुरस्कार) की गणना करने के तरीके को बदलकर, विशेष रूप रूप से एक लॉगरिदमिक स्केल का उपयोग करके जिससे सूक्ष्म सुधार भी बड़ी जीत की तरह महसूस हों, एजेंट तब भी सीख सकता था जब वह पहले से ही 99.999% सटीक था।

अंत में, यह पेपर सुझाव देता है कि यह AI-संचालित दृष्टिकोण क्वांटम सर्किट डिजाइन करने के लिए एक शक्तिशाली नया उपकरण है। यह केवल मानव विचारों की नकल नहीं करता है; यह संभावनाओं के स्थान का अपने आप अन्वेषण करता है। हालाँकि, जैसे-जैसे क्यूब्स की संख्या बढ़ती है, यह जटिलता की दीवार से टकरा जाता है (जो समस्या की घातीय प्रकृति को देखते हुए अपेक्षित है), फिर भी यह ढांचा छोटे-से-मध्यम क्वांटम सिस्टम के लिए डिज़ाइन प्रक्रिया को सफलतापूर्वक स्वचालित करता है, और $10^{-14}$ जितनी कम त्रुटि प्राप्त करता है। लेखक नोट करते हैं कि भविष्य का कार्य प्रशिक्षण को और तेज़ बनाना और इन विचारों का परीक्षण और भी बड़े क्वांटम सिस्टम पर करना है, इस उम्मीद में कि एक दिन वे इन AI आर्किटेक्ट्स को वास्तविक दुनिया के क्वांटम कंप्यूटरों के लिए आवश्यक जटिल सर्किट डिजाइन करने में सक्षम बना सकें।