⚛️ quantum physics

Investigation of Automated Design of Quantum Circuits for Imaginary Time Evolution Methods Using Deep Reinforcement Learning

यह शोध पत्र एक डबल डीप-क्यू नेटवर्क (DDQN) फ्रेमवर्क प्रस्तुत करता है जो वेरिएशनल इमेजिनरी टाइम इवोल्यूशन (VITE) सर्किट के डिज़ाइन को स्वचालित करता है, जो मैक्स-कट और मॉलिक्यूलर हाइड्रोजन समस्याओं को NISQ उपकरणों पर हल करने के लिए मानक एंसेट की तुलना में काफी कम गेट काउंट और डेप्थ के साथ गैर-सहज संरचनाओं को सफलतापूर्वक खोजता है।

मूल लेखक: Ryo Suzuki, Shohei Watabe

प्रकाशित 2026-04-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ryo Suzuki, Shohei Watabe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले पर्वत श्रृंखला में सबसे निचले बिंदु (एक क्वांटम सिस्टम का "ग्राउंड स्टेट") को खोजने की कोशिश कर रहे हैं। यह नई दवाओं को डिजाइन करने या ट्रैफिक प्रवाह को अनुकूलित करने जैसे जटिल समस्याओं को हल करने के लिए एक महत्वपूर्ण कार्य है।

क्वांटम कंप्यूटिंग की दुनिया में, हमारे पास एक उपकरण है जिसे VITE (वैरिएशनल इमेजिनरी टाइम इवोल्यूशन) कहा जाता है, जो हमें इस पहाड़ से नीचे फिसलने में मदद करता है। हालाँकि, आज के शोर वाले, अपूर्ण क्वांटम कंप्यूटरों पर इस उपकरण का उपयोग करने के लिए, हमें इस पर सवारी करने के लिए एक बहुत ही विशिष्ट "स्लेज" (एक क्वांटम सर्किट) बनाने की आवश्यकता है।

समस्या क्या है? हाथ से इस स्लेज को बनाना अविश्वसनीय रूप से कठिन है। यदि स्लेज बहुत जटिल है (बहुत अधिक पुर्जों वाली), तो कंप्यूटर में मौजूद शोर उसे नीचे पहुँचने से पहले ही तोड़ देगा। यदि यह बहुत सरल है, तो आप एक छोटी पहाड़ी पर फंस जाएंगे और कभी भी वास्तविक निचले बिंदु तक नहीं पहुँच पाएंगे।

यह शोध पत्र इस बारे में है कि कैसे एक कंप्यूटर को खुद के लिए एक आदर्श स्लेज डिजाइन करना सिखाया जाए, जिसके लिए डीप रिइन्फोर्समेंट लर्निंग (RL) नामक तकनीक का उपयोग किया जाता है। यहाँ RL एजेंट को एक जिज्ञासु, सुपर-स्मार्ट प्रशिक्षु इंजीनियर के रूप में सोचें।

यहाँ शोध पत्र का विवरण दिया गया है, कुछ रोजमर्रा के उपमाओं का उपयोग करते हुए:

1. प्रशिक्षु और खेल

शोधकर्ताओं ने अपने AI प्रशिक्षु के लिए एक खेल सेट किया।

लक्ष्य: एक क्वांटम सर्किट (स्लेज) बनाना जो सबसे कम ऊर्जा स्कोर प्राप्त करे।
नियम: स्लेज यथासंभव सरल और छोटा होना चाहिए।
चालें (Moves): AI बुनियादी चालों (रोटेशन और कनेक्शन) के टूलबॉक्स से एक समय में एक "गेट" (एक स्विच या मोड़ जैसा घटक) जोड़ सकता है।
स्कोरकार्ड (पुरस्कार):
- यदि ऊर्जा कम होती है, तो AI को अंक मिलते हैं।
- यदि सर्किट छोटा रहता है, तो AI को बोनस अंक मिलते हैं।
- यदि सर्किट बहुत लंबा या जटिल हो जाता है, तो उसे दंडित किया जाता है।

2. "डबल" दिमाग (DDQN)

AI एक विशिष्ट प्रकार के दिमाग का उपयोग करता है जिसे डबल डीप-क्यू नेटवर्क (DDQN) कहा जाता है।

उपमा: एक छात्र की कल्पना करें जो परीक्षा दे रहा है। एक सामान्य छात्र उत्तर का अनुमान लगा सकता है और फिर तुरंत खुद को विश्वास दिला सकता है कि वह सही था, भले ही वह गलत हो (इसे "ओवरएस्टिमेशन" कहा जाता है)।
समाधान: DDQN दो दिमागों का उपयोग करता है।
- ब्रेन A चाल (एक्शन) चुनता है।
- ब्रेन B मूल्यांकन करता है कि वह चाल वास्तव में कितनी अच्छी है।
- "चुनने" को "जज करने" से अलग करके, AI अति-आत्मविश्वासी होने से बचता है और बहुत स्मार्ट निर्णय लेता है।

3. "खिसकता हुआ लक्ष्य" (एडैप्टिव थ्रेशोल्ड्स)

एक बड़ी चुनौती जिसे यह पेपर हल करता है, वह है "खिसकता हुआ लक्ष्य" (Moving Goalpost)।

समस्या: यदि AI को केवल "काफी अच्छा" होने की आवश्यकता है, तो वह एक अच्छा समाधान मिलने के बाद प्रयास करना बंद कर सकता है। लेकिन क्वांटम केमिस्ट्री में, "काफी अच्छा" (जैसे एक रफ अनुमान) पर्याप्त नहीं है; हमें सटीक उत्तर चाहिए।
समाधान: शोधकर्ताओं ने एक एडैप्टिव थ्रेशोल्ड बनाया।
- उपमा: कल्पना करें कि एक कोच एक धावक से कहता है, "10 सेकंड से तेज़ दौड़ें।" एक बार जब धावक 9 सेकंड तक पहुँच जाता है, तो कोच तुरंत कहता है, "ठीक है, अब 9 सेकंड से तेज़ दौड़ें!"
- AI को लगातार अपने पिछले सर्वश्रेष्ठ स्कोर को मात देने के लिए प्रेरित किया जाता है। यह इसे और अधिक अन्वेषण करने और एक औसत दर्जे के सर्किट पर समझौता न करने के लिए मजबूर करता है।

4. परिणाम: बेहतर स्लेज बनाना

शोधकर्ताओं ने दो अलग-अलग "पहाड़ों" पर इस AI का परीक्षण किया:

A. मैक्स-कट समस्या (एक लॉजिक पहेली)

परिणाम: AI ने एक ऐसा सर्किट खोजा जो मानक मानव-डिजाइन किए गए सर्किटों की तुलना में 37% छोटा और 43% उथला (छोटा) था।
उपमा: मनुष्यों ने 30 पुर्जों वाला एक स्लेज बनाया। AI ने उसी काम को केवल 12 पुर्जों के साथ करने का तरीका ढूंढ लिया। यह जंगल के बीच से एक ऐसे शॉर्टकट को खोजने जैसा था जिसे कोई और नहीं जानता था।

B. हाइड्रोजन अणु (रसायन विज्ञान)

परिणाम: यह कठिन था। AI को हाइड्रोजन अणु की सटीक ऊर्जा खोजनी थी।
चुनौती: शुरू में, AI आलसी था। उसने एक "काफी अच्छा" समाधान (जैसे एक रफ स्केच) पाया और प्रयास करना बंद कर दिया क्योंकि नियमों ने इसे अनुमति दी थी।
समाधान: नियमों को कड़ा करके (एडैप्टिव थ्रेशोल्ड द्वारा) और बेहतर पुरस्कार देकर, AI अंततः ऐसे सर्किट खोजने में सफल रहा जो सटीक वैज्ञानिक उत्तर (Full-CI limit) तक पहुँचते हैं।
बोनस: AI ने पूर्ण स्लेज बनाने के कई अलग-अलग तरीके खोजे। शोधकर्ताओं ने उन सभी का अध्ययन किया और एक सामान्य "कंकाल" या कोर संरचना पाई। उन्होंने महसूस किया कि अतिरिक्त फालतू चीजों को हटाकर, वे एक और भी सरल, पूर्ण सर्किट बना सकते हैं जिसे इंसानों ने नहीं सोचा था।

यह क्यों मायने रखता है?

वर्तमान में, क्वांटम सर्किट डिजाइन करना एक फेरारी इंजन को एक बार में एक बोल्ट करके हाथ से बनाने जैसा है, इस उम्मीद में कि यह काम करेगा। इसमें विशेषज्ञों को वर्षों के परीक्षण और त्रुटि (trial and error) की आवश्यकता होती है।

यह पेपर दिखाता है कि हम कंप्यूटर को हमारे लिए इंजन का आविष्कार करना सिखा सकते है।

दक्षता: AI ऐसे सर्किट डिजाइन करता है जो छोटे और तेज़ होते हैं, जो आज के नाजुक क्वांटम कंप्यूटरों के लिए महत्वपूर्ण है जो बहुत लंबे सर्किट होने पर टूट जाते हैं।
खोज: AI ने "गैर-सहज" (non-intuitive) डिजाइन खोजे—ऐसी संरचनाएं जो मानव द्वारा स्वाभाविक रूप से बनाई जाने वाली संरचनाओं जैसी नहीं दिखती हैं, लेकिन बेहतर काम करती हैं।
भविष्य: केवल एक समस्या को हल करने के बजाय, यह AI क्वांटम सर्किट के लिए "सड़क के नियम" सीख सकता है। हम इसका उपयोग पूर्ण डिजाइनों की एक लाइब्रेरी बनाने के लिए कर सकते हैं जिसका उपयोग वैज्ञानिक बीमारियों के इलाज से लेकर वैश्विक आपूर्ति श्रृंखलाओं को अनुकूलित करने जैसी वास्तविक दुनिया की समस्याओं को हल करने के लिए कर सकते हैं।

संक्षेप में: लेखकों ने एक कंप्यूटर को क्वांटम कंप्यूटरों के लिए एक मास्टर आर्किटेक्ट बनने के लिए प्रशिक्षित किया है, जिससे हमें सरल, मजबूत और स्मार्ट मशीनें बनाने में मदद मिलती है ताकि दुनिया की सबसे कठिन समस्याओं को हल किया जा सके।

यहाँ रयो सुजुकी और शोहेई वटाबे के शोध पत्र "Investigation of Automated Design of Quantum Circuits for Imaginary Time Evolution Methods Using Deep Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

नॉयजी इंटरमीडिएट-स्केल क्वांटम (NISQ) उपकरणों के लिए कुशल क्वांटम एल्गोरिदम का विकास डिकोहेरेंस (decoherence) और सीमित गेट फिडेलिटी (gate fidelities) द्वारा बाधित है। फलस्वरूप, कम्प्यूटेशनल सटीकता बनाए रखते हुए गेट गणना और गहराई (depth) को कम करने वाले इष्टतम क्वांटम सर्किट (ansatz) को खोजना एक महत्वपूर्ण चुनौती है।

वर्तमान सीमाएँ: मौजूदा विधियाँ जैसे वेरिएशनल क्वांटम आइजनसोलवर (VQE) और क्वांटम एप्रोक्सिमेट ऑप्टिमाइज़ेशन एल्गोरिदम (QAOA) अक्सर मैन्युअल रूप से डिज़ाइन किए गए या हार्डवेयर-कुशल एंसेट्ज़ (ansatzes) पर निर्भर करती हैं, जो उप-इष्टतम (suboptimal), अनावश्यक और अत्यधिक गहरे हो सकते हैं।
अंतराल (The Gap): जबकि VQE और QAOA के लिए रिइन्फोर्समेंट लर्निंग (RL) का उपयोग किया गया है, वेरिएशनल इमेजिनरी टाइम इवोल्यूशन (VITE) पद्धति के लिए इसका अनुप्रयोग अभी भी कम खोजा गया है। इसके अलावा, मौजूदा RL ढांचे अक्सर सर्किट के आकार को कम करने के लिए स्पष्ट प्रोत्साहन की कमी रखते हैं, जिससे एक ऐसा ट्रेड-ऑफ पैदा होता है जहाँ एजेंट सर्किट की गहराई को अव्यवहारिक बनाने की कीमत पर ऊर्जा सटीकता को प्राथमिकता देते हैं।
लक्ष्य: VITE पद्धति के लिए विशेष रूप से कॉम्पैक्ट और उच्च-सटीक क्वांटम सर्किट डिजाइन करने के लिए डीप रिइन्फोर्समेंट लर्निंग (DRL) का उपयोग करके एक स्वचालित ढांचा विकसित करना।

2. कार्यप्रणाली (Methodology)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जहाँ एक स्वायत्त एजेंट डबल डीप-क्यू नेटवर्क (DDQN) का उपयोग करके चरण-दर-चरण क्वांटम सर्किट का निर्माण करता है।

A. VITE ढांचा

VITE पद्धति हैमिल्टोनियन के ग्राउंड स्टेट को खोजने के लिए नॉन-यूनिटरी इमेजिनरी टाइम इवोल्यूशन ( $\tau = it$ ) का अनुमान लगाती है। यह विक-रोटेशन (Wick rotation) के माध्यम से श्रोडिंगर समीकरण से प्राप्त रैखिक समीकरणों को हल करके ट्रायल स्टेट $|\phi(\theta)\rangle$ में पैरामीटर $\theta$ को अपडेट करने के लिए मैकलान के वेरिएशनल सिद्धांत (McLachlan's variational principle) का उपयोग करती है।

B. रिइन्फोर्समेंट लर्निंग फॉर्मूलेशन

सर्किट डिजाइन को एक मार्कोव डिसीजन प्रोसेस (MDP) के रूप में मॉडल किया गया है:

स्टेट ( $S_t$ ): क्वांटम सर्किट का वर्तमान विन्यास (एक वेक्टरकृत गेट ग्रिड के रूप में प्रतिनिधित्व)।
एक्शन ( $A_t$ ): सर्किट में $\{R_x, R_y, R_z, I, \text{CNOT}\}$ के सेट से एक एकल गेट जोड़ना।
रिवॉर्ड ( $R_t$ ): ऊर्जा में कमी और सर्किट की सघनता (compactness) के बीच संतुलन बनाने वाला एक मिश्रित रिवॉर्ड।
- प्रारंभिक रिवॉर्ड: $R_t = (E_{t-1} - E_t) + c(g_{max} - g)\Theta(E_{threshold} - E_t)$ ।
- परिष्कृत रिवॉर्ड (अनुभाग VI): अज्ञात ग्राउंड स्टेट्स को संभालने के लिए एक सामान्यीकृत (normalized) रिवॉर्ड फंक्शन पेश किया गया था: $R_t = \frac{E_{t-1} - E_t}{E_{t-1} - E_{bound}} + \frac{g_{max} - g}{g_{max}}\Theta(E_{threshold} - E_t)$ । यहाँ, $E_{bound}$ पाउली गुणांकों (Pauli coefficients) से प्राप्त एक सैद्धांतिक निचली सीमा है।
समाप्ति (Termination): एपिसोड तब समाप्त होता है जब ऊर्जा थ्रेशोल्ड से नीचे गिर जाती है (सफलता) या यदि गेट/डेप्थ की सीमा पार हो जाती है (विफलता)।

C. प्रमुख एल्गोरिद्मिक नवाचार

अनुकूली थ्रेशोल्डिंग (Adaptive Thresholding): एक निश्चित ऊर्जा लक्ष्य के बजाय, थ्रेशोल्ड ( $E_{threshold}$ ) गतिशील रूप से विकसित होता है। इसे सर्वोत्तम पाई गई ऊर्जा ( $E_{best}$ ) और एक छोटे मार्जिन ( $\xi$ ) के आधार पर अपडेट किया जाता है ताकि एजेंट स्थानीय मिनिमा (local minima) में न फंसे, जबकि स्थिरता प्राप्त होने पर एक माध्यमिक तंत्र थ्रेशोल्ड को कड़ा कर देता है।
संशोधित $\epsilon$ -greedy डिके (Decay): एक्सप्लोरेशन रेट $\epsilon$ के लिए एक नया डिके फंक्शन उपयोग किया गया है, जो कुल स्टेप्स के बजाय एपिसोड इंडेक्स के साथ स्केल करता है, जिससे प्रशिक्षण प्रक्रिया के दौरान निरंतर एक्सप्लोरेशन सुनिश्चित होता है।
संरचनात्मक बाधाएं (Structural Constraints): हार्डवेयर दक्षता सुनिश्चित करने के लिए, एजेंट को प्रतिबंधित किया गया है:
- एक ही क्वबिट पर लगातार समान सिंगल-क्वबिट गेट नहीं।
- CNOT गेट्स निकटतम पड़ोसी (nearest-neighbor) क्वबिट्स तक सीमित हैं।

3. मुख्य योगदान (Key Contributions)

प्रथम स्वचालित VITE डिज़ाइन: यह VITE पद्धति के लिए विशेष रूप से एंसेट्ज़ डिज़ाइन को ऑटोमेट करने के लिए DDQN का उपयोग करने वाला पहला अध्ययन है, जो VQE या QAOA से भिन्न है।
दोहरा-उद्देश्य अनुकूलन (Dual-Objective Optimization): ढांचा सफलतापूर्वक ऊर्जा सटीकता (ग्राउंड स्टेट कन्वर्जेंस) और सर्किट जटिलता (गेट काउंट/डेप्थ) दोनों को एक साथ अनुकूलित करता है।
अनुकूली तंत्र: अनुकूली ऊर्जा थ्रेशोल्ड और सामान्यीकृत रिवॉर्ड फंक्शन की शुरूआत ने एजेंट की क्षमता में काफी सुधार किया है कि वह सटीक ग्राउंड स्टेट ऊर्जा के पूर्व ज्ञान के बिना भी केमिकल एक्यूरेसी (Full-CI) तक पहुँच सके।
कंकाल निष्कर्षण (Skeleton Extraction): RL एजेंट द्वारा उत्पन्न विविध सर्किटों का विश्लेषण करके, लेखक एक "कंकाल" (skeleton) संरचना निकाल सकते हैं जो अनावश्यकता को हटाते हुए आवश्यक कार्यात्मक रूपांकनों (motifs) को बनाए रखती है, जिससे और भी अधिक कुशल सर्किट प्राप्त होते हैं।

4. परिणाम (Results)

ढांचे का मूल्यांकन दो बेंचमार्क पर किया गया: Max-Cut समस्या (कॉम्बिनेटरियल ऑप्टिमाइज़ेशन) और हाइड्रोजन अणु ( $H_2$ ) हैमिल्टोनियन (क्वांटम केमिस्ट्री)।

A. Max-Cut समस्या

प्रदर्शन: एजेंट ने मानक हार्डवेयर-कुशल SU(2) एंसेट्ज़ की तुलना में ~37% कम गेट्स और ~43% कम डेप्थ वाले सर्किट स्वायत्त रूप से खोजे।
इष्टतम खोज: एजेंट ने न्यूनतम ऊर्जा तक पहुँचने के लिए सैद्धांतिक इष्टतम सर्किट (4 गेट्स, डेप्थ 1) खोजा, जो बेसलाइन की तुलना में गेट काउंट में 79% की कमी और डेप्थ में 86% की कमी को दर्शाता है।

B. हाइड्रोजन अणु ( $H_2$ )

प्रारंभिक चुनौती: ढीले थ्रेशोल्ड के साथ शुरुआती प्रयोगों में एजेंट Full-CI सीमा के बजाय हार्ट्री-फॉक (Hartree-Fock) सन्निकटन की ओर अभिसरित (converge) हुआ, क्योंकि गेट रिडक्शन के रिवॉर्ड ने Full-CI तक पहुँचने के छोटे ऊर्जा लाभ की तुलना में अधिक भार डाला।
परिष्कृत सफलता: परिष्कृत रिवॉर्ड फंक्शन और अनुकूली थ्रेशोल्डिंग लागू करने के बाद:
- Full-CI सीमा तक पहुँचने वाले सर्किट खोजने की सफलता दर 0.38% से बढ़कर 8.91% हो गई।
- केमिकल एक्यूरेसी प्राप्त करने वाले सर्किटों के लिए, विधि ने बेसलाइन ( $p=2$ SU(2) एंसेट्ज़) की तुलना में गेट काउंट में 31% की कमी और डेप्थ में 37% की कमी हासिल की।
कंकाल निष्कर्षण (Skeleton Extraction): सफल RL-जनित सर्किटों का विश्लेषण करके, लेखकों ने एक सुव्यवस्थित "कंकाल" सर्किट (7 गेट्स, डेप्थ 4) निकाला जिसने Full-CI सटीकता प्राप्त की, जो बेसलाइन की तुलना में गेट काउंट में 77% की कमी और डेप्थ में 64% की कमी को दर्शाता है।

5. महत्व और भविष्य का दृष्टिकोण (Significance and Future Outlook)

हार्डवेयर जागरूकता: यह अध्ययन सिद्ध करता है कि RL गैर-सहज (non-intuitive), अत्यधिक कुशल सर्किट संरचनाओं की खोज कर सकता है जो मानव-निर्मित ह्यूरिस्टिक्स से बेहतर प्रदर्शन करते हैं, जो विशेष रूप से NISQ हार्डवेयर के प्रतिबंधों के लिए तैयार किए गए हैं।
रियल-टाइम समाधान से परे: हालांकि प्रशिक्षण की कम्प्यूटेशनल लागत अधिक है (5,000 एपिसोड के लिए हफ्तों), लेखक इस ढांचे के वास्तविक मूल्य को यहाँ देखते हैं:
1. सुपरवाइज्ड लर्निंग मॉडल्स के लिए उच्च-गुणवत्ता वाले ट्रेनिंग डेटासेट तैयार करना।
2. उन सार्वभौमिक संरचनात्मक रूपांकनों ("कंकाल") को निकालना जो भविष्य में कॉम्पैक्ट, समस्या-विशिष्ट एंसेट्ज़ के निर्माण के लिए दिशानिर्देश के रूप में काम कर सकते हैं।
स्केलेबिलिटी: यह कार्य बड़े आणविक सिस्टम और विविध क्वांटम मशीन लर्निंग समस्याओं तक स्वचालित डिज़ाइन को स्केल करने की नींव रखता है, जो क्वांटम एल्गोरिदम डिज़ाइन में मैनुअल ट्रायल-एंड-एरर से आगे बढ़ता है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि डीप रिइन्फोर्समेंट लर्निंग, जब अनुकूली थ्रेशोल्डिंग और सामान्यीकृत रिवॉर्ड के साथ जोड़ा जाता है, तो इमेजरी टाइम इवोल्यूशन के लिए कम गहराई वाले, उच्च-सटीक क्वांटम सर्किट के डिज़ाइन को स्वचालित करने के लिए एक शक्तिशाली उपकरण है, जो शोर वाले हार्डवेयर पर व्यावहारिक क्वांटम लाभ की ओर एक व्यवहार्य मार्ग प्रदान करता है।