Entanglement as a Structural Complexity Axis: A PAC-Bayesian View of Generalization in Quantum Policies and Value Functions

तकनीकी सारांश: क्वांटम नीतियों में संरचनात्मक जटिलता अक्ष के रूप में एंटैंगलमेंट (Entanglement)

समस्या विवरण
पैरामीटराइज्ड क्वांटम सर्किट (PQCs) का उपयोग क्वांटम सुदृढीकरण लर्निंग (QRL) में नीतियों और वैल्यू फंक्शन्स के रूप में तेजी से किया जा रहा है। हालांकि, यह क्षेत्र मुख्य रूप से अनुभवजन्य (empirical) बना हुआ है, जहाँ मूल्यांकन आमतौर पर केवल औसत रिटर्न (average return) की रिपोर्ट करते हैं। यह एक महत्वपूर्ण सैद्धांतिक अंतराल छोड़ देता है: इस बात की कोई कठोर समझ नहीं है कि क्वांटम नीति कब और क्यों सामान्यीकरण (generalize) करती है। क्वांटम मॉडलों के लिए मौजूदा सामान्यीकरण सीमाएँ (generalization bounds) अक्सर पैरामीटर गणना या गेट गणनाओं पर निर्भर करती हैं, जो एंटैंगलमेंट की संरचनात्मक बारीकियों को पकड़ने में विफल रहती हैं। इसके अलावा, किसी भी पूर्ववर्ती PAC-Bayesian विश्लेषण ने क्वांटम नीतियों के लिए एक नियंत्रक जटिलता कारक के रूप में एंटैंगलमेंट को अलग नहीं किया है।

कार्यप्रणाली
लेखक स्टोकेस्टिक क्वांटम नीतियों के लिए एक सामान्यीकरण सीमा (generalization bound) प्राप्त करने हेतु एक PAC-Bayesian ढांचे का प्रस्ताव करते हैं। मुख्य पद्धतिगत नवाचार जटिलता मीट्रिक को सर्किट द्वारा प्रेरित फिशर ज्योमेट्री (Fisher geometry) के प्रभावी आयाम (effective dimension) ($d_{\text{eff}}$) में बदलना है, न कि कच्चे पैरामीटर संख्या ($d$) में।

1. PAC-Bayes सीमा व्युत्पत्ति:

   • लेखक एक स्टोकेस्टिक नीति $\pi_Q$ को सर्किट पैरामीटर्स पर एक गॉसियन पोस्टीरियर $Q = \mathcal{N}(\theta, \Sigma)$ के माध्यम से परिभाषित करते हैं, जो प्रारंभिक अवस्था $\theta_0$ पर केंद्रित है।
   • मानक आइसोट्रोपिक सीमाओं के विपरीत, पोस्टीरियर कोवेरिएंस $\Sigma$, फिशर इंफॉर्मेशन मैट्रिक्स (FIM), $\hat{F}(\theta)$ द्वारा आकार दिया जाता है, जो लॉस लैंडस्केप की स्थानीय वक्रता (local curvature) को कैप्चर करता है।
   • परिणामी सीमा (थ्योरम 2) में एक जटिलता पद शामिल है जो प्रायर (prior) से दूरी और फिशर प्रभावी आयाम से बना है:
     $$d_{\text{eff}}(\gamma) = \log \det(I + \gamma \hat{F}) = \sum_{i=1}^d \log(1 + \gamma \lambda_i)$$
     जहाँ $\lambda_i$ FIM के आइजनवैल्यू (eigenvalues) हैं।

2. एंटैंगलमेंट तंत्र (The Entanglement Mechanism):

   • लेखक यह प्रतिपादित करते हैं कि सिंगल-ऑब्जर्वेबल रीडआउट (जो QRL में मानक है) के लिए, FIM का रैंक रीडआउट ऑब्जर्वेबल के बैकवर्ड लाइट-कोन (backward light-cone) के आकार द्वारा निर्धारित होता है।
   • प्रपोजिशन 1 स्थापित करता है कि एंटैंगलिंग गेट्स को जोड़ने से यह लाइट-कोन विस्तृत होता है, जिससे FIM का रैंक बढ़ता है और $d_{\text{eff}}$ बढ़ जाता है, भले ही कुल प्रशिक्षित पैरामीटर्स ($d$) स्थिर रहें।

3. प्रायोगिक डिजाइन:

   • एंटैंगलमेंट को पैरामीटर गणना से अलग करने के लिए, लेखक एक निश्चित एंसेट लेआउट ( $R_Y$ और $R_Z$ रोटेशन की परतें) का उपयोग करते हैं और केवल एंटैंगलिंग कनेक्टिविटी को बदलते हैं: None (कोई CNOT नहीं), Linear (CNOT श्रृंखला), और Full (सभी-से-सभी CNOT)।
   • प्रयोगों में सुपरवाइज्ड क्लासिफिकेशन (4–16 क्वबिट), एक रिवॉर्ड-ओनली कॉन्टेक्स्टुअल बैंडिट (एक-चरणीय RL), और मल्टी-स्टेप वैल्यू-फंक्शन जनरलाइजेशन शामिल हैं।
   • नियंत्रण समूहों (controls) में मैच की गई ट्रेनिंग एक्यूरेसी, वैकल्पिक रीडआउट ऑब्जर्वेबल्स, विभिन्न ऑप्टिमाइज़र, और वास्तविक IBM Heron हार्डवेयर पर निष्पादन शामिल हैं।

प्रमुख योगदान

1. क्वांटम नीतियों के लिए एक PAC-Bayes सीमा: लेखकों ने एक ऐसी सामान्यीकरण सीमा व्युत्पन्न की है जहाँ जटिलता पद पैरामीटर संख्या के बजाय फिशर प्रभावी आयाम ($d_{\text{eff}}$) है। यह सीमा मार्कोवियन डायनेमिक्स के तहत स्टोकेस्टिक नीतियों के लिए मान्य है।
2. स्वतंत्र जटिलता अक्ष के रूप में एंटैंगलमेंट: लेखक प्रदर्शित करते हैं कि एंटैंगलमेंट एक विशिष्ट संरचनात्मक कारक है जो सामान्यीकरण को नियंत्रित करता है। समान पैरामीटर संख्या पर, एंटैंगलमेंट कनेक्टिविटी बढ़ाने से $d_{\text{eff}}$ और जनरलाइजेशन गैप दोनों मोनोटोनिक रूप से बढ़ते हैं।
3. डोमेनों में अनुभवजन्य सत्यापन: अध्ययन पुष्टि करता है कि एंटैंगल्ड सर्किट, समान पैरामीटर संख्या वाले नॉन-एंटैंगल्ड सर्किट की तुलना में खराब सामान्यीकरण करते हैं:
   • सिंथेटिक और वास्तविक दुनिया के डेटासेट (Iris, Breast Cancer, Wine) पर सुपरवाइज्ड क्लासिफिकेशन।
   • कॉन्टेक्स्टुअल बैंडिट (रिवॉर्ड-ओनली RL)।
   • मल्टी-स्टेप वैल्यू-फंक्शन रिग्रेशन।
   • वास्तविक क्वांटम हार्डवेयर (IBM Heron)।

परिणाम

• भविष्यवाणी शक्ति (Predictive Power): 300 कॉन्फ़िगरेशन के ग्रिड में, फिशर प्रभावी आयाम ($d_{\text{eff}}$) ने जनरलाइजेशन गैप के साथ सबसे मजबूत स्पीयरमैन सहसंबंध ($\rho = 0.82$) दिखाया, जिसने कच्चे पैरामीटर काउंट ($\rho = 0.45$) और सीखे गए पैरामीटर नॉर्म्स ($\rho = 0.73$) को पीछे छोड़ दिया।
• जनरलाइजेशन गैप: निश्चित पैरामीटर काउंट (जैसे, $d=16$) के लिए, जनरलाइजेशन गैप का क्रम इस प्रकार था: None < Linear < Full। उदाहरण के लिए, $N=64$ के साथ सुपरवाइज्ड क्लासिफिकेशन में, "Full" एंटैंगल्ड सर्किट का गैप 0.104 था, जबकि "None" सर्किट का गैप -0.01 (प्रभावी रूप से शून्य) था।
• रैंकिंग सर्टिफिकेट: हालांकि पूर्ण संख्यात्मक सीमा ढीली (लगभग $2.3\text{--}4.5\times$ वास्तविक गैप के भीतर) है, यह एक मजबूत रैंकिंग सर्टिफिकेट के रूप में कार्य करती है। यह समान आकार के सर्किटों को सही ढंग से क्रमबद्ध करती है, एक ऐसी क्षमता जिसे पैरामीटर-काउंटिंग सीमाएं पूरी तरह से नहीं पकड़ पाती हैं।
• रीडआउट निर्भरता: यह तंत्र "रीडआउट-गेटेड" (readout-gated) है। लोकल रीडआउट ($\langle Z_0 \rangle$) को ग्लोबल रीडआउट ($\frac{1}{n}\sum \langle Z_i \rangle$) से बदलने पर नॉन-एंटैंगल्ड सर्किट में पैरामीटर्स सक्रिय हो जाते हैं, जिससे उनका $d_{\text{eff}}$ और गैप बढ़ जाता है, जिससे छोटे क्वबिट काउंट पर एंटैंगलमेंट कंट्रास्ट समाहित हो जाता है। यह पुष्टि करता है कि गैप उन पैरामीटर्स की संख्या से संचालित होता है जो रीडआउट के साथ कॉज़ली कपल्ड (causally coupled) हैं।
• वास्तविक हार्डवेयर: एंटैंगलमेंट-जनरलाइजेशन ट्रेड-ऑफ वास्तविक शोर के तहत IBM Heron प्रोसेसर पर भी बना रहता है, जहाँ एंटैंगल्ड सर्किट नॉन-एंटैंगल्ड सर्किट की तुलना में बड़े गैप दिखाते हैं।
• सीमाएँ: यह प्रभाव डेप्थ-गेटेड (depth-gated) है (एक सिंगल एंटैंगलिंग लेयर सिंगल-क्विबिट रीडआउट के लिए निष्क्रिय होती है)। बैरन प्लेटो (barren plateaus) के करीब पहुँचने वाले गहरे सर्किटों में, फिशर स्पेक्ट्रम फ्लैट हो जाता है, जिससे $d_{\text{eff}}$ दब जाता है और यह तंत्र कम हो जाता है। एंड-टू-एंड मल्टी-स्टेप पॉलिसी लर्निंग (REINFORCE) में, रिटर्न अनुमानों में उच्च विचरण (high variance) के कारण पूर्ण रैंकिंग को हल करना कठिन हो जाता है, हालांकि रुझान छोटे सैंपल साइज में भी महत्वपूर्ण रहता है।

महत्व और दावे
यह शोध पत्र क्वांटम नीतियों के डिजाइन को केवल एक्सप्रेसिविटी (expressivity) के बजाय एक एंटैंगलमेंट-जनरलाइजेशन ट्रेड-ऑफ के रूप में पुनर्गठित करता है। लेखक दावा करते हैं कि एंटैंगलमेंट एक "दोधारी तलवार" है: यह प्रतिनिधित्व योग्य फंक्शन स्पेस को बढ़ाता है लेकिन एक ऐसा जनरलाइजेशन खर्च भी लाता है जिसे पैरामीटर-काउंटिंग विश्लेषण मिस कर देते हैं।

प्राथमिक योगदान सभी एंड-टू-एंड हाई-वेरिएंस मल्टी-स्टेप पॉलिसी लर्निंग के लिए एक पूर्ण समाधान नहीं है, बल्कि एक नियंत्रित अध्ययन है जो दर्शाता है कि:

1. एंटैंगलमेंट जटिलता के एक स्वतंत्र अक्ष के रूप में कार्य करता है।
2. फिशर प्रभावी आयाम क्वांटम निर्णय मॉडल (नीतियाँ और वैल्यू फंक्शन्स) में सामान्यीकरण के लिए शासी मात्रा है।
3. डिजाइनरों को अपने $d_{\text{eff}}$ लागत के विरुद्ध एंटैंगलमेंट को "बजट" करना चाहिए, और आवश्यक ट्रेनिंग फिट प्राप्त करने के लिए सबसे स्पार्स (sparse) एंटैंगलिंग पैटर्न का चयन करना चाहिए बिना अत्यधिक जटिलता वृद्धि के।

लेखक स्पष्ट रूप से कहते हैं कि उनका सबसे मजबूत प्रमाण लो-वेरिएंस सेटिंग्स (क्लासिफायर, वैल्यू हेड्स, और वन-स्टेप पॉलिसीज) से आता है, और वे इस पेपर को क्वांटम RL में सामान्यीकरण को समझने की दिशा में एक मौलिक कदम के रूप में देखते हैं।