🤖 machine learning

Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits

यह लेख एक हाइब्रिड पदानुक्रमित सुदृढीकरण शिक्षण (hierarchical reinforcement learning) एजेंट का प्रस्ताव करता है जो ऑप्शन-क्रिटिक (Option-Critic) आर्किटेक्चर में वेरिएशनल क्वांटम सर्किट को एकीकृत करता है और यह प्रदर्शित करता है कि क्वांटम फीचर एक्सट्रैक्टर्स काफी कम मापदंडों के साथ शास्त्रीय बेसलाइन से बेहतर प्रदर्शन कर सकते हैं, जबकि क्वांटम ऑप्शन वैल्यू एस्टीमेशन (quantum option value estimation) को एक महत्वपूर्ण प्रदर्शन बाधा के रूप में पहचानता है।

मूल लेखक: Yu-Ting Lee, Samuel Yen-Chi Chen, Fu-Chieh Chang

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu-Ting Lee, Samuel Yen-Chi Chen, Fu-Chieh Chang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में नेविगेट करना सिखा रहे हैं। पुराने समय में, आप शायद रोबोट को बस इतना ही बताते: "यदि तुम्हें दीवार दिखे, तो बाईं ओर मुड़ जाओ।" हालांकि, जटिल भूलभुलैया के लिए यह बहुत धीमा है। आपको एक स्मार्ट दृष्टिकोण की आवश्यकता है: Hierarchical Reinforcement Learning (HRL)।

HRL को एक कॉर्पोरेट प्रबंधन संरचना (management structure) की तरह समझें। बजाय इसके कि CEO (रोबोट) हर एक कदम का निर्णय ले, वह प्रबंधकों (जिन्हें "options" कहा जाता है) को काम पर रखता है।

CEO एक मैनेजर चुनता है (जैसे, "रसोई में जाओ")।
मैनेजर फिर निचले स्तर के विवरणों को संभालता है (बाएं मुड़ना, आगे बढ़ना, दाएं मुड़ना) जब तक कि कार्य पूरा न हो जाए या किसी नए मैनेजर की आवश्यकता न हो।

यह कार्य एक बड़ा सवाल खड़ा करता है: क्या होगा यदि हम इनमें से कुछ मानव प्रबंधकों को "क्वांटम कंप्यूटरों" से बदल दें?

क्वांटम कंप्यूटर उन सुपर-शक्तिशाली कैलकुलेटरों की तरह हैं जो एक साथ कई संभावनाओं पर विचार कर सकते हैं। शोधकर्ता यह पता लगाना चाहते थे कि क्या इन क्वांटम कैलकुलेटरों को रोबोट के मस्तिष्क के साथ जोड़ने से सीखने की गति तेज होगी और मेमोरी की आवश्यकता कम होगी।

प्रयोग: एक हाइब्रिड रोबोट

टीम ने एक "हाइब्रिड" रोबोट बनाया। उन्होंने मानक प्रबंधन संरचना ली और उसके विशिष्ट हिस्सों को Variational Quantum Circuits (VQC) के साथ बदल दिया। एक VQC को एक विशेष, क्वांटम-संचालित उपकरण के रूप में समझें जो जानकारी को एक अनूठे तरीके से प्रोसेस कर सकता है।

उन्होंने रोबोट के मस्तिष्क के चार विशिष्ट हिस्सों का परीक्षण किया ताकि यह निर्धारित किया जा सके कि किसे क्वांटम तकनीक में अपग्रेड किया जा सकता है:

आंखें (Feature Extractor): रोबोट दुनिया को कैसे देखता है।
मैनेजर की वैल्यू टेबल (Option-Value Function): रोबोट यह तय करने के लिए कि कौन सा मैनेजर कार्य के लिए सबसे उपयुक्त है।
"स्टॉप" बटन (Termination Function): रोबोट को यह पता कैसे चलता है कि मैनेजर का कार्य कब समाप्त हुआ।
वर्कर के हाथ (Intra-Option Policies): वे वास्तविक कदम जिन्हें रोबोट एक मैनेजर का अनुसरण करते हुए निष्पादित करता है।

परिणाम: अच्छा, बुरा और बदतर

1. बड़ी जीत: क्वांटम आंखें

सबसे आश्चर्यजनक और सफल खोज यह थी कि रोबोट क्वांटम आंखों के साथ एक सुपरस्टार बन जाता है।

उपमा: कल्पना कीजिए कि एक व्यक्ति धुंधले मानचित्र को पढ़ने की कोशिश कर रहा है बनाम एक हाई-टेक स्कैनर जो छवि को तुरंत स्पष्ट कर देता है। क्वांटम फीचर एक्सट्रैक्टर उस स्कैनर की तरह था।
परिणाम: रोबोट ने कार्यों को (एक पोल को संतुलित करना और एक रोबोटिक आर्म को घुमाना) मानक रोबोट की तुलना में काफी बेहतर तरीके से सीखा। इससे भी बेहतर: इसे हासिल करने के लिए इसे 66% कम मेमोरी पैरामीटर्स की आवश्यकता थी। यह एक कॉम्पैक्ट कार में फेरारी इंजन लगाने जैसा था।

2. बड़ी विफलता: क्वांटम वैल्यू टेबल्स

हालांकि, जब उन्होंने मैनेजर की वैल्यू टेबल (वह हिस्सा जो यह तय करता है कि किस मैनेजर को चुनना है) को क्वांटम टूल से बदलने की कोशिश की, तो रोबोट पूरी तरह से टूट गया।

उपमा: यह एक ऐसे भ्रमित मैनेजर को काम पर रखने जैसा है जो कोई निर्णय नहीं ले सकता। वह हर चुनाव के लिए बस एक सिक्का उछालता है।
परिणाम: रोबोट ने सीखना पूरी तरह से बंद कर दिया। यह एक ऐसे रोबोट जितना प्रभावी हो गया जो बस अपने हाथ हवा में लहरा रहा था। शोधकर्ता इसे "बॉटलनेक" (bottleneck) कहते हैं। क्वांटम टूल यह निर्धारित नहीं कर सका कि कौन सा मैनेजर अच्छा था, जिससे पूरा सिस्टम फ्रीज हो गया।

3. मिला-जुला परिणाम: क्वांटम स्टॉप बटन और हाथ

जब उन्होंने "स्टॉप बटन" या "हाथों" के लिए क्वांटम टूल्स का परीक्षण किया, तो परिणाम असंगत रहे। कभी इसने मदद की, कभी नहीं। यह पूरी तरह से इस पर निर्भर था कि वे कौन सा खेल खेल रहे हैं। ऐसा कोई स्पष्ट नियम नहीं था कि "क्वांटम हाथ" हमेशा बेहतर होते हैं।

यह भविष्य के लिए क्या मायने रखता है

यह कार्य इन हाइब्रिड रोबोटों को बनाने के लिए सरल नियम प्रदान करता है:

करें: क्वांटम सर्किट्स का उपयोग रोबोट को अपने वातावरण को देखने और समझने में मदद करने के लिए करें। यह लागत (पैरामीटर्स) बचाता है और प्रदर्शन को बढ़ाता है।
न करें: क्वांटम सर्किट्स का उपयोग यह तय करने के लिए न करें कि कौन सी उच्च-स्तरीय रणनीति चुनी जानी चाहिए। फिलहाल, क्लासिकल कंप्यूटर इस विशिष्ट कार्य के लिए बहुत बेहतर हैं।
डिजाइन महत्वपूर्ण है: जिस तरह से क्वांटम टूल बनाया जाता है (परतों की गहराई, हिस्सों का जुड़ाव) वह बहुत बड़ा अंतर पैदा करता है। आप केवल किसी भी क्वांटम सर्किट को प्लग इन नहीं कर सकते और सफलता की उम्मीद नहीं कर सकते; इसे सावधानीपूर्वक ट्यून किया जाना चाहिए।

सारांश

यह कार्य AI में क्वांटम और क्लासिकल कंप्यूटिंग को मिलाने का एक ब्लूप्रिंट है। यह हमें दिखाता है कि जबकि क्वांटम कंप्यूटर कच्चे डेटा को प्रोसेस करने (जैसे दृश्य धारणा) में उत्कृष्ट हैं, वे अभी तक उच्च-स्तरीय रणनीतियों को चुनने वाले निर्णय तर्क (decision logic) को बदलने के लिए तैयार नहीं हैं। यदि आप आज एक स्मार्ट, अधिक कुशल रोबोट बनाना चाहते हैं, तो उसे क्वांटम आंखें दें, लेकिन बड़े निर्णयों के लिए मानव (या क्लासिकल) मस्तिष्क को रखें।

तकनीकी सारांश: वेरिएशनल क्वांटम सर्किट के माध्यम से क्वांटम पदानुक्रमित सुदृढीकरण सीखना (Quantum Hierarchical Reinforcement Learning)

समस्या विवरण
सुदृढीकरण सीखना (Reinforcement Learning - RL) लंबे समय के क्षितिज (long time horizons) वाले कार्यों और विरल पुरस्कारों (sparse rewards) वाले वातावरणों में महत्वपूर्ण चुनौतियों का सामना करता है। पदानुक्रमित सुदृढीकरण सीखना (Hierarchical Reinforcement Learning - HRL), विशेष रूप से 'ऑप्शन-क्रिटिक' (Option-Critic) आर्किटेक्चर, टेम्पोरल एब्स्ट्रैक्शन (temporal abstraction) के माध्यम से इन समस्याओं का समाधान करता है, जिससे एजेंट कई समय-पैमानों पर क्रियाओं के अनुक्रम ("विकल्पों" या "options") को सीखने में सक्षम होता है। जबकि वेरिएशनल क्वांटम सर्किट (Variational Quantum Circuits - VQCs) पैरामीटर दक्षता और प्रतिस्पर्धी प्रदर्शन के कारण गैर-पदानुक्रमित RL में आशाजनक दिखते हैं, यह एक खुला प्रश्न बना हुआ है कि क्या ये क्वांटम यांत्रिक लाभ HRL द्वारा आवश्यक संरचित, बहु-स्तरीय निर्णय लेने की प्रक्रिया में स्थानांतरित किए जा सकते हैं। यह कार्य एक हाइब्रिड क्वांटम-क्लासिकल ऑप्शन-क्रिटिक ढांचे में VQCs को एकीकृत करने की व्यवहार्यता और प्रभावशीलता की जांच करता है।

कार्यप्रणाली
लेखक एक हाइब्रिड एजेंट का प्रस्ताव करते जो ऑप्शन-क्रिटिक आर्किटेक्चर पर आधारित है, जहाँ शास्त्रीय न्यूरल नेटवर्क घटकों को चुनिweise रूप से VQCs द्वारा प्रतिस्थापित किया गया है। इस ढांचे में चार मुख्य रूप से सीखने योग्य घटक शामिल हैं:

फीचर एक्सट्रैक्टर (Feature Extractor): कच्चे पर्यावरणीय प्रेक्षणों (raw environmental observations) को संसाधित करता है।
ऑप्शन वैल्यू फंक्शन ( $Q_\Omega$ ): एक विशिष्ट विकल्प को निष्पादित करने से अपेक्षित रिटर्न का अनुमान लगाता है।
टर्मिनेशन फंक्शन ( $\beta_\omega$ ): यह निर्धारित करता है कि एक विकल्प कब समाप्त होना चाहिए।
इंट्रा-ऑप्शन पॉलिसीज ( $\pi_\omega$ ): एक सक्रिय विकल्प के भीतर क्रियाओं का चयन करती है।

लेखक आठ हाइब्रिड वेरिएंट को परिभाषित करते हैं जहाँ इन घटकों को व्यक्तिगत रूप से या संयोजन में VQCs के साथ बदला जाता है (जैसे, हाइब्रिड F केवल फीचर एक्सट्रैक्टर को बदलता है, जबकि हाइब्रिड FOTP सभी को बदलता है)। VQC आर्किटेक्चर एक डेटा री-अपलोडिंग (Data Re-uploading) संरचना का उपयोग करता है, जिसमें $Rx $एनकोडिंग गेट्स (प्रशिक्षण योग्य स्केलिंग पैरामीटर्स$ \lambda $के साथ), एंटैंगलमेंट के लिए$ CNOT $गेट्स, और पैरामीटराइज्ड$ Ry $/$ Rz $रोटेशन ब्लॉक्स का उपयोग किया जाता है। इनपुट को रोटेशन एंगल्स के रूप में उपयोग करने के लिए$ [-\pi, \pi]$ तक सामान्यीकृत किया जाता है। प्रशिक्षण एल्गोरिदम एक रिप्ले बफर, टारगेट फंक्शन्स और एक एकीकृत लॉस फंक्शन (जो पॉलिसी, टर्मिनेशन और क्रिटिक लॉस को जोड़ता है) का उपयोग करके DQN-शैली के ऑप्शन-क्रिटिक दृष्टिकोण (एल्गोरिदम 1) का अनुसरण करता है।

प्रयोग Gymnasium के दो मानक निरंतर-अवस्था (continuous-state), असतत-क्रिया (discrete-action) वातावरणों: CartPole और Acrobot में आयोजित किए गए थे। हाइब्रिड मॉडलों की तुलना शास्त्रीय बेसलाइन (Deep Q-Network शैली) और एक रैंडम बेसलाइन से की गई थी।

मुख्य योगदान

क्वांटम फीचर एक्सट्रैक्टर की प्रभावशीलता: अध्ययन यह प्रदर्शित करता है कि एक हाइब्रिड एजेंट, जो विशेष रूप से फीचर एक्सट्रैक्टर के रूप में VQC का उपयोग करता है (Hybrid F), शास्त्रीय बेसलाइन से बेहतर प्रदर्शन करता है और साथ ही प्रशिक्षण योग्य पैरामीटर्स की संख्या को काफी कम कर देता है।
एक महत्वपूर्ण बाधा (Bottleneck) की पहचान: लेखक पहचानते हैं कि ऑप्शन वैल्यू फंक्शन को VQC से बदलने (Hybrid O) से गंभीर प्रदर्शन गिरावट आती है, जिसके परिणामस्वरूप प्रभावी रूप से सीखने की विफलता होती है।
आर्किटेक्चरल एब्लेशन (Architectural Ablation): लेख यह अनुभवजन्य प्रमाण प्रदान करता है कि विशिष्ट VQC डिजाइन निर्णय—सर्किट गहराई, सीखने योग्य इनपुट स्केलिंग, और एंटैंगलमेंट—हाइब्रिड पदानुक्रमित एजेंटों की प्रभावशीलता को कैसे प्रभावित करते हैं।

प्रायोगिक परिणाम

प्रदर्शन में सुधार: CartPole वातावरण में, हाइब्रिड-F मॉडल ने शास्त्रीय बेसलाइन की तुलना में 2.95 गुना अधिक औसत एपिसोडिक रिवॉर्ड प्राप्त किया। Acrobot में, इसने शास्त्रीय बेसलाइन की तुलना में दंड (penalty) को 46% कम कर दिया।
पैरामीटर दक्षता: हाइब्रिड-F मॉडल ने 24 छिपे हुए न्यूरॉन्स वाले शास्त्रीय बेसलाइन की तुलना में CartPole में 66% और Acrobot में 52% कम प्रशिक्षण योग्य पैरामीटर्स के साथ ये परिणाम प्राप्त किए। इसके प्रदर्शन को पार करने के लिए केवल एक शास्त्रीय मॉडल (32 छिपे हुए न्यूरॉन्स के साथ, जो काफी अधिक क्षमता वाला है) की आवश्यकता थी।
द ऑप्शन वैल्यू बॉटलनेक: वे मॉडल जहाँ ऑप्शन वैल्यू फंक्शन को VQC से बदला गया था (Hybrid O और फलस्वरूप पूर्णतः क्वांटम हाइब्रिड FOTP), सीखने में विफल रहे और रैंडम एजेंट से बेहतर प्रदर्शन नहीं कर सके। विश्लेषण से पता चला कि क्वांटम क्रिटिक ने फ्लैट लॉस कर्व्स और सैद्धांतिक अधिकतम के पास पॉलिसी एंट्रॉपी उत्पन्न की, जो उपयोगी लर्निंग सिग्नल प्रदान करने में विफलता का संकेत देती है। लेखक नोट करते हैं कि उपयोग की गई उथली (shallow) सर्किट गहराई को देखते हुए "बैरन प्लेटो" (barren plateaus) इसका कारण होने की संभावना कम है।
एब्लेशन निष्कर्ष:
- गहराई (Depth): एक निश्चित बिंदु के बाद सर्किट की गहराई बढ़ाने से प्रदर्शन में लगातार सुधार नहीं हुआ, जबकि इसे कम करने से परिणाम खराब हो गए।
- स्केलिंग (Scaling): इनपुट स्केलिंग पैरामीटर्स ( $\lambda$ ) को प्रशिक्षित करना महत्वपूर्ण था; उन्हें 1 पर स्थिर करने से प्रदर्शन को काफी नुकसान पहुँचा।
- एंटैंगलमेंट (Entanglement): एंटैंगलिंग $CNOT$ गेट्स को हटाने से दोनों वातावरणों में प्रदर्शन गिर गया, जो मल्टी-क्यूबिट एंटैंगलमेंट की उपयोगिता की पुष्टि करता है।

महत्व और दावे
यह लेख पैरामीटर-कुशल हाइब्रिड पदानुक्रमित एजेंटों के लिए डिजाइन सिद्धांतों को स्थापित करता है। प्राथमिक महत्व पदानुक्रम (hierarchy) के भीतर क्वांटम सर्किट के विशिष्ट प्लेसमेंट की पहचान करने में निहित है: क्वांटम सर्किट फीचर एक्सट्रैक्टर के रूप में फायदेमंद हैं, लेकिन वर्तमान आर्किटेक्चर में ऑप्शन वैल्यू अनुमान के लिए हानिकारक हैं। लेखक दावा करते हैं कि उनका कार्य "निकट-अवधि के क्वांटम उपकरणों पर RL में व्यावहारिक क्वांटम लाभ को वास्तविकता के करीब लाता है", यह प्रदर्शित करते हुए कि क्वांटम घटक कम पैरामीटरों के साथ सीखने की गतिशीलता में सुधार कर सकते हैं, बशर्ते उन्हें सही आर्किटेक्चरल स्थिति में रखा जाए।

लेखक अपने दायरे के संबंध में विनम्र बने हुए हैं, यह स्वीकार करते हुए कि उनके निष्कर्ष विशिष्ट बेंचमार्क वातावरणों तक सीमित हैं और ऑप्शन वैल्यू बॉटलनेक का सटीक मूल कारण अभी भी एक खुला प्रश्न बना हुआ है। वे यह भी बताते हैं कि वर्तमान सिमुलेशन हार्डवेयर शोर (hardware noise) को ध्यान में नहीं रखते हैं, जो भविष्य के अनुसंधान के लिए एक कारक है।