Efficient classical computation of the neural tangent kernel of quantum neural networks

तकनीकी सारांश: क्वांटम न्यूरल नेटवर्क के न्यूरल टैनजेंट कर्नेल का कुशल शास्त्रीय कंप्यूटेशन

समस्या विवरण
यह शोध पत्र क्वांटम न्यूरल नेटवर्क्स (QNNs) की प्रशिक्षण गतिशीलता (training dynamics) को चरित्रित करने की कम्प्यूटेशनल जटिलता को संबोधित करता है, विशेष रूप से अनंत चौड़ाई (infinite width) के शासन के भीतर। जबकि हालिया सैद्धांतिक कार्यों ने यह स्थापित किया है कि सुपरवाइज्ड लर्निंग कार्यों पर प्रशिक्षित विस्तृत (wide) QNNs, न्यूरल टैनजेंट कर्नेल (NTK) द्वारा शासित गाऊसी प्रक्रियाओं (Gaussian processes) में अभिसरित (converge) होते हैं, सामान्य क्वांटम सर्किटों के लिए इस कर्नेल की गणना करने के लिए आमतौर पर क्वांटम सिस्टम का अनुकरण (simulation) करना आवश्यक होता है, जो बड़े सिस्टमों के लिए शास्त्रीय रूप से अव्यवहार्य (intractable) है। लेखक यह जांचते हैं कि क्या QNNs का एक विशिष्ट, व्यापक वर्ग—जो इनपुट एनकोडिंग के लिए क्लिफोर्ड गेट्स (Clifford gates) और पैरामीट्रिक इवोल्यूशन के लिए पॉली-ग्रुप हैमिल्टोनियन (Pauli-group Hamiltonians) का उपयोग करता है—उनके NTK को शास्त्रीय संसाधनों का उपयोग करके कुशलतापूर्वक अनुमानित किया जा सकता है। यदि ऐसा अनुमान संभव है, तो इसका तात्पर्य यह है कि ये विशिष्ट विस्तृत QNNs शास्त्रीय कंप्यूटरों पर क्वांटम लाभ (quantum advantage) प्राप्त नहीं कर सकते।

कार्यप्रणाली (Methodology)
प्रस्तावित दृष्टिकोण QNN आर्किटेक्चर के एक संरचनात्मक गुण और पैरामीटर स्पेस के एक विशिष्ट विविक्तकरण (discretization) पर निर्भर करता है:

1. आर्किटेक्चर परिभाषा: अध्ययन उन QNNs पर विचार करता है जो मनमाने क्लिफोर्ड ग्रुप यूनिटरीज (जो इनपुट $x$ पर निर्भर हो सकते हैं) से बने यूनिटरी ऑपरेटर्स $U_{x,\theta}$ द्वारा परिभाषित हैं, जो पॉली समूह के हैमिल्टोनियंस के तहत समय विकास (time evolution) के माध्यम से उत्पन्न पैरामीट्रिक गेट्स के साथ इंटरलीव (interleaved) हैं। मॉडल फंक्शन एक पॉली ऑब्जर्वेबल $O$ का एक्सपेक्टेशन वैल्यू (expectation value) है।
2. पैरामीटर विविक्तकरण अंतर्दृष्टि (Parameter Discretization Insight): मुख्य पद्धतिगत योगदान यह अवलोकन है कि विश्लेतिक (analytic) NTK, जो यूनिफॉर्म डिस्ट्रीब्यूशन $\theta \in [0, 2\pi)^L$ पर प्रारंभिक पैरामीटर्स के एम्पिरिकल NTK के एक्सपेक्टेशन के रूप में परिभाषित है, को सटीक रूप से चार मानों के एक विविक्त सेट $\{0, \pi/2, \pi, 3\pi/2\}$ के एक्सपेक्टेशन द्वारा प्रतिस्थापित किया जा सकता है।
   • इन विशिष्ट पैरामीटर मानों के लिए, पैरामीट्रिक पॉली रोटेशन्स क्लिफोर्ड ऑपरेशन्स बन जाते हैं।
   • चूंकि गैर-पैरामीट्रिक गेट्स भी परिकल्पना के अनुसार क्लिफोर्ड ऑपरेशन्स हैं, इसलिए संपूर्ण सर्किट $U_{x,\theta}$ इन पैरामीटर विकल्पों के लिए क्लिफोर्ड समूह का हिस्सा होता है।
   • पूरी तरह से क्लिफोर्ड गेट्स से बने सर्किटों को शास्त्रीय कंप्यूटर पर कुशलतापूर्वक सिम्युलेट किया जा सकता है (गोटेसमैन-कनील प्रमेय/Gottesman-Knill theorem)।
3. अनुमान एल्गोरिदम (Estimation Algorithm): लेखक एक शास्त्रीय संभाव्यता एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं जो विविक्त सेट $\{0, \pi/2, \pi, 3\pi/2\}^L$ से $N$ बार नमूनों (samples) का चयन करता है। प्रत्येक नमूने के लिए, मॉडल फंक्शन के ग्रेडिएंट की गणना 'पैरामीटर-शिफ्ट नियम' का उपयोग करके की जाती है, जो फिनिट डिफरेंस (finite differences) में बदल जाता है। NTK का अनुमान ग्रेडिएंट्स के आउटर प्रोडक्ट्स (outer products) के औसत के रूप में लगाया जाता है।
4. प्रशिक्षण गतिशीलता का विस्तार: विस्तृत प्रशिक्षित QNNs और गाऊसी प्रक्रियाओं के बीच समानता का लाभ उठाते हुए, लेखक वास्तविक NTK मैट्रिक्स को ट्रेनिंग डेटा पर इनवर्ट करके और उसे ट्रेनिंग लेबल्स पर लागू करके प्रशिक्षित मॉडल फंक्शन $\mu_\infty(x)$ के सीमा (limit) की गणना करते हैं (एल्गोरिदम 2)।

प्रमुख योगदान और परिणाम
लेखक प्रस्तावित एल्गोरिदम के लिए सैंपल और कम्प्यूटेशनल जटिलता पर कठोर सीमाएं (rigorous bounds) प्रदान करते हैं:

• अनबायस्ड एस्टीमेशन (Unbiased Estimation): लेखक सिद्ध करते हैं कि विश्लेतिक NTK के लिए एस्टीमेटर अनबायस्ड है; विविक्त सेट पर इसका अपेक्षित मान निरंतर यूनिफॉर्म डिस्ट्रीब्यूशन पर परिभाषित वास्तविक NTK के बराबर है।
• NTK के लिए सैंपल जटिलता: सटीकता $\epsilon$ और विफलता की संभावना $\delta$ के साथ NTK एंट्री $K(x, x')$ का अनुमान लगाने के लिए, एल्गोरिदम को $N = O(L^2 m^2 \epsilon^{-2} \log(1/\delta))$ नमूनों की आवश्यकता होती है, जहाँ $L$ पैरामीटर्स की संख्या है और $m$ ऑब्जर्वेबल के पॉली टर्म्स की संख्या है।
• $\mu_\infty$ के लिए सैंपल जटिलता: प्रशिक्षित नेटवर्क के औसत आउटपुट $\mu_\infty(x)$ को सटीकता $\epsilon$ के साथ अनुमानित करने के लिए, आवश्यक नमूनों की संख्या ट्रेनिंग उदाहरणों ($d_{train}$), पैरामीटर्स की संख्या ($L$), और ऑब्जर्वेबल कॉम्प्लेक्सिटी ($m$) के साथ बहुपद (polynomial) रूप से स्केल करती है। विशेष रूप से, सैंपल जटिलता $d_{train}$ और $L$ के बहुपद में है।
• कम्प्यूटेशनल जटिलता: प्रत्येक पैरामीटर शिफ्ट के लिए क्लिफोर्ड सर्किटों का शास्त्रीय सिमुलेशन $O(L m n^2)$ ऑपरेशन्स की आवश्यकता रखता है। NTK का अनुमान लगाने के लिए कुल शास्त्रीय जटिलता $O(N L^2 m n^2)$ है। $\mu_\infty$ के अनुमान के लिए, इसमें मैट्रिक्स इनवर्जन शामिल है, जिसकी स्केलिंग $O(N L^2 d_{train} (m n^2 + d_{train}^2))$ है।
• यूनिफॉर्म कन्वर्जेंस (Uniform Convergence): लेखक दिखाते हैं कि पूरे फीचर स्पेस $X$ पर यूनिफॉर्मली बाउंडेड एरर प्राप्त करने के लिए आवश्यक नमूनों की संख्या $X$ के आकार के साथ केवल लॉगरिदमिक रूप से बढ़ती है।

महत्व और दावे
लेखक निष्कर्ष निकालते हैं कि लॉग-डेप्थ वाले विस्तृत क्वांटम न्यूरल नेटवर्क, जहाँ इनपुट को क्लिफोर्ड गेट्स के माध्यम से एनकोड किया जाता है और पैरामीटर्स को यूनिफॉर्मली इनिशियलाइज़ किया जाता है, सुपरवाइज्ड लर्निंग कार्यों में क्वांटम लाभ प्राप्त नहीं कर सकते। ऐसा इसलिए है क्योंकि उनकी प्रशिक्षण गतिशीलता और अपेक्षित आउटपुट को शास्त्रीय कंप्यूटरों द्वारा कुशलतापूर्वक सिम्युलेट किया जा सकता है।

लेखक स्पष्ट रूप से कहते हैं कि उनका परिणाम साहित्य के एक बढ़ते समूह के अनुरूप है जो प्रदर्शित करता है कि कुछ वेरिएशनल क्वांटम सर्किट क्लासिकली सिम्युलेबल हैं। वे स्वीकार करते हैं कि उनके व्युत्पन्न टाइम कॉम्प्लेक्सिटी बाउंड्स (विशेष रूप से $\mu_\infty$ के लिए वर्स्ट-केस विश्लेषण में $d_{train}^6$ के साथ स्केलिंग) निराशावादी हो सकते हैं और इष्टतम स्केलिंग निर्धारित करने के लिए संख्यात्मक प्रयोगों की आवश्यकता है। हालांकि, इस व्यापक श्रेणी के नेटवर्कों के लिए एक कुशल शास्त्रीय एल्गोरिदम का सैद्धांतिक अस्तित्व यह सुझाव देता है कि QML में "क्वांटम एडवांटेज" के लिए ऐसे आर्किटेक्चर की आवश्यकता हो सकती है जो क्लिफोर्ड-आधारित इनपुट एनकोडिंग पर निर्भर न हों या अलग इनिशियलाइजेशन डिस्ट्रीब्यूशन का उपयोग करते हों।

अंत में, लेखक सुझाव देते हैं कि प्रस्तावित एल्गोरिदम का उपयोग शास्त्रीय मशीन लर्निंग कार्यों के लिए एक्सप्रेसिव कर्नेल (expressive kernels) को सिंथेसाइज करने के लिए एक विधि के रूप में किया जा सकता है, जो प्रभावी रूप से वास्तविक क्वांटम हार्डवेयर की आवश्यकता के बिना फीचर मैप्स के लिए एक जेनेरेटिव मैकेनिज्म के रूप में क्वांटम सर्किट संरचना का उपयोग करता है।