Trainability-Simulability Tradeoff in Parameterized IQP-based Reinforcement Learning Policies

तकनीकी सारांश: पैरामीटराइज्ड IQP-आधारित सुदृढीकरण शिक्षण (Reinforcement Learning) नीतियों में ट्रेनैबिलिटी-सिमुलेबिलिटी ट्रेडऑफ

समस्या विवरण

पैरामीटराइज्ड क्वांटम सर्किट्स (PQCs), विशेष रूप से इंस्टेंटेनियस क्वांटम पॉलिनॉमियल-टाइम (IQP) सर्किट, सुदृढीकरण शिक्षण (RL) नीतियों के लिए एक आशाजनक आर्किटेक्चर प्रदान करते हैं क्योंकि उनके पूर्ण आउटपुट वितरणों को नमूना लेने (sampling) की शास्त्रीय जटिलता अनुमानित है। हालांकि, RL में, एक क्वांटम सर्किट जिसमें $n$ क्विबिट्स और $2^n$ मापन परिणाम होते हैं, उसे एक क्लासिकल डिकोडर के माध्यम से बहुत छोटे एक्शन स्पेस $A \ll 2^n$ में मैप किया जाना चाहिए।

यह एक मौलिक तनाव (tension) पैदा करता है:

1. ट्रेनैबिलिटी (Trainability): "बैरन प्लेटो" (रैंडम इनिशियलाइजेशन पर पॉलिसी प्रोबेबिलिटीज का घातीय संकेंद्रण) से बचने के लिए, पॉलिसी वेरिएंस को इन्वर्स-पॉलिनॉमियल रहना चाहिए। यह इस बात पर निर्भर करता है कि डिकोडर कम-भार वाले (low-weight) पाउली ऑब्जर्वेबल्स को कैसे उजागर करता है जिनका "बैकवर्ड लाइट कोन" छोटा हो।
2. सिमुलेबिलिटी (Simulability): यदि डिकोडर परिणामों को इस तरह से एकत्रित करता है कि परिणामी एक्शन प्रोबेबिलिटीज को शास्त्रीय रूप से अनुमान लगाना आसान हो जाता है (जैसे, स्पार्स फूरियर एक्सपेंशन के माध्यम से), तो क्वांटम लाभ की क्षमता को क्लासिकल सिमुलेशन द्वारा नकारा जा सकता है।

मुख्य प्रश्न जिसका समाधान किया गया है: क्लासिकल डिकोडर का चयन संयुक्त रूप से पॉलिसी के इनिशियलाइजेशन वेरिएंस (ट्रेनैबिलिटी) और एक्शन प्रोबेबिलिटीज तक क्लासिकल एक्सेस की लागत (सिमुलेबिलिटी) को कैसे निर्धारित करता है?

कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक पॉलिसी $\pi_\theta(a)$ को एक IQP स्टेट पर डायगोनल प्रोजेक्टर $\Pi_a$ के एक्सपेक्टेशन के रूप में विश्लेषित करते हैं। वे डिकोडर के एक्शन इंडिकेटर फंक्शन के वाल्श-पाउली एक्सपेंशन (जो बूलीय फूरियर ट्रांसफॉर्म के समान है) का उपयोग करते हैं:
$$\Pi_a = \sum_{u \in \{0,1\}^n} c_{a,u} Z_u$$
जहाँ $c_{a,u}$ फूरियर गुणांक हैं और $Z_u$ डायगोनल पाउली स्ट्रिंग्स हैं।

प्रमुख सैद्धांतिक उपकरण शामिल हैं:

• एक्टिव-जेनेरेटर रैंक ($r_u$): उन IQP जनरेटर्स के बाइनरी रैंक का सेट जो एक विशिष्ट पाउली स्ट्रिंग $Z_u$ के साथ एंटी-कम्यूट (anticommute) करते हैं।
• बैकवर्ड इंटरैक्शन लाइट कोन ($\Delta_G(u)$): ग्राफ-IQP सर्किट्स के लिए, प्रोपेगेटेड पाउली स्ट्रिंग के सपोर्ट में क्विबिट्स की संख्या।
• वेरिएंस डिकंपोजिशन: स्वतंत्र यूनिफॉर्म इनिशियलाइजेशन के तहत, पॉलिसी वेरिएंस को गैर-कॉन्स्टेंट पाउली घटकों के सटीक योग के रूप में प्राप्त किया जाता है:
  $$\text{Var}_\theta[\pi(a)] = \sum_{u \neq 0} c_{a,u}^2 2^{-r_u}$$
  (उन मामलों के लिए संशोधनों के साथ जहाँ जनरेटर्स पूर्ण स्थान को स्पैन नहीं करते हैं)।

डिकोडर आर्किटेक्चर

पेपर कई डिकोडिंग रणनीतियों की तुलना करता है:

1. कंटिगअस/बेसिस-मॉड्यूलो (Contiguous/Basis-Modulo): बिट स्ट्रिंग्स को बिट्स के निरंतर ब्लॉकों के आधार पर एक्शन्स में मैप करता है। ये लो-वेट (1-लोकल) पाउली टर्म्स को उजागर करते हैं।
2. रिकर्सिव पैरिटी (Recursive Parity): नेस्टेड पैरिटी बिट्स के आधार पर एक्शन्स को मैप करता है। $A=2$ के लिए, यह केवल एक ग्लोबल पैरिटी टर्म (हाई रैंक) को उजागर करता है, जिससे घातीय संकेंद्रण होता है। $A \ge 4$ के लिए, लोकल टर्म्स फिर से उभरते हैं।
3. मेजोरिटी-मॉड्यूलो (Majority–Modulo - MM): यह एक नया डिकोडर है जो विजातीय (disjoint) ब्लॉक्स के मेजोरिटी बिट की गणना करता है और परिणाम को $A$ के मॉड्यूलो में बदल देता है। इस डिज़ाइन का उद्देश्य लो-वेट गुणांकों को बनाए रखना (ट्रेनैबिलिटी सुनिश्चित करना) जबकि एक घातीय बड़े सटीक फूरियर सपोर्ट को बनाना है (क्लासिकल एन्यूमरेशन को बाधित करना)।

प्रयोगात्मक सेटअप

• इनिशियलाइजेशन लॉज: ग्राफ-IQP (पाथ) और प्योर-RXX (रिंग) सर्किट्स के स्टेटवेक्टर सिमुलेशन का उपयोग करके 2, 4, 6, 8, 10, 12, 14, और 16 क्विबिट्स पर सत्यापन किया गया।
• RL बेंचमार्क्स: CartPole वातावरण पर नियंत्रित प्रयोग किए गए, जिसमें निम्नलिखित का उपयोग किया गया:
  • 5-क्विबिट रिंग और 10-क्विबिट क्यूबिक ग्राफ टोपोलॉजी।
  • फिक्स्ड लोकल रीडआउट्स, रिकर्सिव पैरिटी और मेजोरिटी के बीच तुलना।
  • लर्निंग परफॉरमेंस को मापने के लिए "होल्ड-आउट" रिटर्न्स का मूल्यांकन।

प्रमुख योगदान

1. डिकोडर-डिपेंडेंट इनिशियलाइजेशन सर्टिफिकेट:
   लेखक सटीक वेरिएंस लॉ स्थापित करते हैं जो दिखाते हैं कि पॉलिसी नॉन-कंसेंट्रेशन तब गारंटीकृत होती है जब डिकोडर के प्रोजेक्टर में कम से कम एक नॉन-आइडेंटिटी पाउली घटक हो, जिसका इन्वर्स-पॉलिनॉमियल गुणांक और लॉगरिदमिक एक्टिव-जेनेरेटर रैंक (या लाइट-कोन साइज) हो। यह तब भी लागू होता है जब अन्य घटकों का व्यापक सपोर्ट हो।

2. क्लासिकल सिमुलेबिलिटी बाउंड्स:
   वे लक्षण वर्णन करते हैं कि कब एक्शन प्रोबेबिलिटीज क्लासिकली सिमुलेबल होती हैं। वे डिकोडर जिनका पॉलिनॉमियल-साइज पाउली एक्सपेंशन है (जैसे $A=2^k$ के लिए रिकर्सिव पैरिटी) या कंटिगअस इंटरवल्स, कुशल एडिटिव एस्टीमेशन की अनुमति देते हैं। इसके विपरीत, घने (dense) फूरियर सपोर्ट वाले डिकोडर (जैसे मेजोरिटी) कुशल टर्मवाइज एन्यूमरेशन को रोकते हैं, हालांकि वे सभी क्लासिकल सिमुलेशन विधियों (जैसे टेंसर नेटवर्क) के लिए क्लासिकल हार्डनेस को सख्ती से सिद्ध नहीं करते हैं।

3. डेंस सपोर्ट के साथ प्रोटेक्टेड कंपोनेंट्स:
   मेजोरिटी-मॉड्यूलो डिकोडर को एक डिज़ाइन सिद्धांत के रूप में पेश किया गया है जो जोड़ता है:

   • ट्रेनैबिलिटी: यह लो-वेट (1-लोकल या 2-लोकल) पाउली टर्म्स को बनाए रखता है, जिससे घातीय संकेंद्रण रुकता है।
   • डेंस सपोर्ट: इसका एक सटीक पाउली एक्सपेंशन $2^{\Omega(n)}$ आकार का है, जो सटीक विस्तार के प्रत्यक्ष पॉलिनॉमियल-साइज एन्यूमरेशन को रोकता है।
     यह एक ऐसा "ट्रेडऑफ" बनाता है जहाँ पॉलिसी विशिष्ट सर्किट-स्ट्रक्चर विधियों (जैसे बाउंडेड-विड्थ ग्राफ के लिए टेंसर नेटवर्क) के माध्यम से क्लासिकली सिमुलेबल है, लेकिन सरल फूरियर स्पार्सिटी तर्क के माध्यम से सिमुलेशन का विरोध करती है।

4. अनुभवजन्य सत्यापन (Empirical Validation):

• वेरिएंस लॉज: संख्यात्मक प्रयोग सटीक वेरिएंस डिकंपोजिशन और बिना लोकल रोटेशन वाले सर्किट्स के लिए ग्रुपड वेरिएंस लॉ की पुष्टि करते हैं।
• RL परफॉरमेंस: 10-क्विबिट कार्टपोल प्रयोगों में, मेजोरिटी डिकोडर रिकर्सिव पैरिटी और फिक्स्ड लोकल रीडआउट्स की तुलना में उच्च रिटर्न प्राप्त करता है। हालांकि, एक आकार-मैच किए गए क्लासिकल मल्टीलेयर परसेप्ट्रॉन (MLP) के साथ तुलना करने पर, प्रदर्शन का अंतर सांख्यिकीय रूप से अनसुलझा (unresolved) है (कॉन्फिडेंस इंटरवल अंतर के लिए स्पष्ट लाभ को बाहर करता है)। इसके अलावा, यूनिफॉर्म इनिशियलाइजेशन का उपयोग करने वाले फॉलो-अप अध्ययन में, प्रदर्शन का क्रम उलट जाता है, जहाँ MLP मेजोरिटी पॉलिसी से बेहतर प्रदर्शन करता है।
• ग्रेडिएंट डायग्नोस्टिक्स: प्रशिक्षण के दौरान, उच्च-भार वाले पाउली सेक्टर ग्रेडिएंट मैग्नीट्यूड में बढ़ता हुआ सापेक्ष हिस्सा योगदान करते हैं, जो सुझाव देता है कि डेंस फूरियर सपोर्ट केवल लो-वेट टर्म्स के अलावा सीखने में भी कार्यात्मक भूमिका निभाता है।

परिणाम और महत्व

यह पेपर प्रदर्शित करता है कि पॉलिसी नॉन-कंसेंट्रेशन, लर्निंग परफॉरमेंस, और क्लासिकल सिमुलेबिलिटी अलग-अलग गुण हैं, जिन्हें डिकोडर डिजाइन के माध्यम से अलग किया जा सकता है।

• ट्रेडऑफ का महत्व: यह कार्य क्वांटम-इंस्पायर्ड RL नीतियों को डिजाइन करने के लिए एक सैद्धांतिक और अनुभवजन्य मार्गदर्शिका प्रदान करता है। यह दिखाता है कि आप (लो-रैंक घटकों को सुनिश्चित करके) बैरन प्लेटो से बच सकते हैं, बिना आवश्यक रूप से अपनी पॉलिसी को सरल फूरियर विश्लेषण के माध्यम से ट्रिवियली क्लासिकली सिमुलेबल बनाए (घने सटीक सपोर्ट को सुनिश्चित करके)।
• परफॉरमेंस बनाम सिमुलेबिलिटी: मेजोरिटी पॉलिसी, रिकर्सिव पैरिटी और लोकल रीडआउट्स जैसे अन्य क्वांटम डिकोडर्स की तुलना में एक विशिष्ट कार्य के लिए एपिसोड दक्षता में बेहतर प्रदर्शन करती है, भले ही इसकी बाउंडेड-विड्थ संरचना टेंसर नेटवर्क के माध्यम से कुशल क्लासिकल सिमुलेशन की अनुमति देती है। यह रेखांकित करता है कि "क्लासिकल सिमुलेबिलिटी" एक सूक्ष्म अवधारणा है; एक पॉलिसी टेंसर नेटवर्क जैसी विशिष्ट विधियों के माध्यम से कुशलतापूर्वक सिमुलेबल हो सकती है, जबकि वह स्पार्स फूरियर एन्यूमरेशन जैसे अन्य तरीकों के प्रति कठिन हो सकती है, फिर भी व्यावहारिक लर्निंग लाभ प्रदान कर सकती है। हालांकि, यह अध्ययन क्लासिकल न्यूरल नेटवर्क पर निर्णायक लाभ स्थापित नहीं करता है, क्योंकि MLP के साथ तुलना अनिर्णायक रही।
• मामूली दावे: लेखक स्पष्ट रूप से कहते हैं कि ये परिणाम क्लासिकल एल्गोरिदम पर क्वांटम कम्प्यूटेशनल एडवांटेज को सिद्ध नहीं करते हैं। 10-क्विबिट प्रयोग परिमित-आकार के स्ट्रेस टेस्ट हैं। मुख्य योगदान डिकोडर के लिए एक डिज़ाइन सिद्धांत है जो ट्रेनिंग के लिए आवश्यक स्थितियों को अनुकूलन (optimization) की स्थितियों से अलग करते हुए, ट्रेनैबिलिटी और सिमुलेबिलिटी के बीच संतुलन बनाता है।

निष्कर्षतः, यह पेपर तर्क देता है कि डिकोडर का चुनाव क्वांटम RL में एक महत्वपूर्ण मॉडलिंग निर्णय है। एक "मेजोरिटी-लाइक" डिकोडर लर्निंग के लिए आवश्यक नॉन-कंसेंट्रेशन को बनाए रखते हुए एक ऐसी संरचनात्मक जटिलता पेश कर सकता है जो क्लासिकल सिमुलेशन को कठिन बनाती है, जो अधिक मजबूत क्वांटम-इंस्पायर्ड लर्निंग नीतियों के लिए एक मार्ग प्रशस्त करती है।