Triple descent in quantum linear regression

क्वांटम मशीन लर्निंग के उभरते क्षेत्र में, कंप्यूटर क्वांटम यांत्रिकी के विचित्र, संभाव्य (probabilistic) जगत में मौजूद डेटा से पैटर्न सीखने का प्रयास करते हैं। स्क्रीन पर नंबर पढ़ने के बजाय, ये मशीनें क्वांटम अवस्थाओं—कणों की नाजुक संरचनाओं—के साथ अंतःक्रिया करती हैं और फिर जानकारी निकालने के लिए उन्हें मापती हैं। यह प्रक्रिया स्वाभाविक रूप से शोरयुक्त (noisy) होती है। क्योंकि क्वांटम माप संभाव्य होते हैं, इसलिए किसी क्वांटम प्रणाली पर एक एकल दृष्टि शायद पूरी कहानी नहीं बताती। एक विश्वसनीय रीडिंग प्राप्त करने के लिए, शोधकर्ताओं को माप को कई बार दोहराना पड़ता है, जिसे "शॉट्स" (shots) लेना कहा जाता है, और फिर परिणामों का औसत निकालना पड़ता है। जितने अधिक शॉट्स लिए जाते हैं, तस्वीर उतनी ही स्पष्ट होती जाती है, और रैंडम शोर उतना ही कम हस्तक्षेप करता है। वर्षों तक, प्रचलित धारणा यह थी कि यह शोर केवल एक बाधा था, एक अस्थायी रुकावट जिसे केवल अधिक डेटा एकत्र करके सुधारा जा सकता था। यदि कंप्यूटर माप में किसी आकस्मिक त्रुटि के कारण गलती करता था, तो समाधान स्पष्ट माना जाता था: बस दोबारा माप लें।

शोधकर्ताओं की एक टीम ने अब यह दिखाया है कि यह अंतर्ज्ञान अधूरा है। क्वांटम लीनियर रिग्रेशन—एक ऐसी विधि जहाँ एक मशीन क्वांटम मापों के आधार पर एक मान (value) की भविष्यवाणी करना सीखती है—के अध्ययन में, उन्होंने पाया कि इन मापों से होने वाला शोर केवल गायब नहीं हो जाता है। इसके बजाय, यह इस तरह से सीखने की प्रक्रिया के व्यवहार को मौलिक रूप रूप से बदल सकता है, जिससे त्रुटियों के अप्रत्याशित शिखर (peaks) उत्पन्न होते हैं जो मानक अपेक्षाओं को चुनौती देते हैं। शोधकर्ताओं ने पाया कि जैसे-जैसे माप परिणामों की संख्या बढ़ती है, भविष्यवाणी की त्रुटि केवल लगातार नहीं गिरती है। यह एक जटिल पैटर्न के साथ ऊपर-नीचे होती है जिसमें तीन विशिष्ट चरण होते हैं, एक घटना जिसे वे "ट्रिपल डिसेंट" (triple descent) कहते हैं। यह व्यवहार प्रकट करता है कि शोर कभी-कभी सीखने की प्रक्रिया में मदद कर सकता है, और अन्य समय में, यह गहरे, अटूट जाल बना सकता है जिन्हें अधिक डेटा भी ठीक नहीं कर सकता।

यह अध्ययन एक विशिष्ट प्रकार की सीखने की समस्या पर केंद्रित है जहाँ एक क्वांटम उपकरण विशेषताओं (features) का एक सेट उत्पन्न करता है, जो अनिवार्य रूप से विभिन्न माप परिणामों की संभावनाएँ हैं। इसके बाद एक क्लासिकल कंप्यूटर इन विशेषताओं के माध्यम से एक रेखा फिट करने का प्रयास करता है ताकि एक लक्ष्य मान की भविष्यवाणी की जा सके। शोधकर्ताओं ने यादृच्छिक (random) क्वांटम मापों और प्रशिक्षण डेटा का उपयोग करके इस प्रक्रिया का अनुकरण किया, जिसमें माप परिणामों की संख्या और प्रत्येक अवस्था को मापने की संख्या को बदला गया। उन्होंने देखा कि भविष्यवाणी में त्रुटि एक विशिष्ट पथ का अनुसरण करती है। प्रारंभ में, जैसे-जैसे माप परिणामों की संख्या बढ़ती है, त्रुटि गिरती है। फिर, यह पहले शिखर पर पहुँचती है। यह पहला शिखर तब होता है जब माप सेटअप सैद्धांतिक रूप से क्वांटम अवस्था के बारे में सभी जानकारी प्राप्त करने के लिए पर्याप्त जटिल हो जाता है, जिसे "सूचनात्मक पूर्णता" (informational completeness) कहा जाता है। इस सटीक क्षण पर, माप की गणितीय संरचना अस्थिर हो जाती है, जिससे त्रुटि बढ़ जाती है। यह एक ज्ञात समस्या है क्लासिकल सांख्यिकी (classical statistics) में, जहाँ समस्या को हल करने के लिए पर्याप्त डेटा बिंदु होना समाधान को अत्यधिक संवेदनशील बना सकता है। शोधकर्ताओं ने पुष्टि की कि यह पहला शिखर एक "क्लासिकल" प्रभाव है, जो स्वयं माप की ज्यामिति द्वारा संचालित है।

हालाँकि, कहानी यहाँ समाप्त नहीं होती। जैसे-जैसे शोधकर्ता और अधिक माप परिणाम जोड़ते रहे, त्रुटि केवल गिरती नहीं रही। यह दूसरे, विशिष्ट शिखर तक फिर से ऊपर उठी। यह दूसरा शिखर तब दिखाई देता है जब माप परिणामों की संख्या प्रशिक्षण उदाहरणों (training examples) की संख्या से मेल खाती है, जिसे "इंटरपोलेशन थ्रेशोल्ड" (interpolation threshold) कहा जाता है। पहले शिखर के विपरीत, यह विशुद्ध रूप से "क्वांटम" मूल का है। यह इसलिए उत्पन्न होता है क्योंकि संभावनाओं का अनुमान लगाने के लिए उपयोग किए गए शॉट्स की सीमित संख्या यादृच्छिक उतार-चढ़ाव पैदा करती है जो नकली विशेषताएं (fake features) बनाती है। ये नकली विशेषताएं वास्तविक क्वांटम अवस्था में मौजूद नहीं होती हैं; वे शुद्ध शोर हैं। जब परिणामों की संख्या प्रशिक्षण अवस्थाओं की संख्या से मेल खाती है, तो लर्निंग एल्गोरिदम इन शोर-मात्र विशेषताओं को पूरी तरह से फिट करने की कोशिश करता है। यह उन्हें भारी वेट (weights) आवंटित करता है, प्रभावी रूप से अंतर्निहित पैटर्न के बजाय रैंडम शोर को याद (memorize) कर लेता है। यह त्रुटि का एक दूसरा स्पाइक बनाता है जो मौलिक रूप से पहले वाले से भिन्न है।

सबसे आश्चर्यजनक खोज यह है कि ये दो शिखर अधिक डेटा के प्रति कैसे प्रतिक्रिया करते हैं। पहला शिखर, जो माप की ज्यामिति के कारण है, प्रशिक्षण चरण के दौरान अधिक शॉट्स लेकर दबाया जा सकता है। यदि शोधकर्ताओं ने प्रत्येक प्रशिक्षण अवस्था के लिए मापों की संख्या बढ़ाई, तो शोर का औसत निकल गया, और पहला शिखर सपाट हो गया। हालाँकि, दूसरा शिखर, जो क्वांटम वाला है, अलग तरह से व्यवहार करता है। भले ही शोधकर्ताओं ने मॉडल को प्रशिक्षित करने के लिए अत्यधिक संख्या में शॉट्स लिए, यह दूसरा शिखर गायब नहीं हुआ। यह केवल उस सैद्धांतिक सीमा में गायब हुआ जहाँ प्रशिक्षण विशेषताएं पूर्ण, अनंत सटीकता के साथ ज्ञात थीं। किसी भी वास्तविक दुनिया के परिदृश्य में जहाँ डेटा सीमित है, यह शिखर बना रहता है। शोधकर्ताओं ने दिखाया कि अधिक प्रशिक्षण शॉट्स जोड़ने से वास्तव में यह शिखर और खराब हो जाता है क्योंकि एल्गोरिदम शोर को फिट करने में अधिक आश्वस्त हो जाता है। इसका अर्थ है कि केवल अधिक डेटा एकत्र करना रामबाण इलाज नहीं है; वास्तव में, क्वांटम शासन में, अधिक डेटा कभी-कभी मॉडल की गलतियों को और गहरा कर सकता है।

टीम ने उन्नत गणितीय उपकरणों का उपयोग किया, विशेष रूप से गणित के एक क्षेत्र जिसे "रैंडम मैट्रिक्स थ्योरी" (random matrix theory) कहा जाता है, ताकि इन त्रुटि वक्रों (error curves) के सटीक आकार को प्राप्त किया जा सके। उन्होंने सिद्ध किया कि इन शिखरों की ऊंचाई और चौड़ाई माप परिणामों की संख्या, प्रशिक्षण अवस्थाओं की संख्या और लिए गए शॉट्स की संख्या के बीच संतुलन पर निर्भर करती है। उन्होंने यह भी दिखाया कि "रिज रेगुलराइजेशन" (ridge regularization) नामक एक तकनीक, जो किसी भी एकल विशेषता को बहुत अधिक महत्व देने से रोकने के लिए एक छोटा दंड (penalty) जोड़ती है, इन शिखरों को सुचारू बना सकती है। यह सुझाव देता है कि जबकि क्वांटम शोर एक मौलिक अस्थिरता पैदा करता है, इसे सही गणितीय बाधाओं के साथ प्रबंधित किया जा सकता है। इनके परिणाम इस विचार को चुनौती देते हैं कि क्वांटम विशेषताओं को इस तरह माना जा सकता है जैसे वे पूरी तरह से ज्ञात हों। यदि शोधकर्ता शोर को अनदेखा करते हैं और मानते हैं कि विशेषताएं सटीक हैं, तो वे माप ज्यामिति द्वारा उत्पन्न अस्थिरता को कम आंकेंगे और उस नई, क्वांटम-विशिष्ट अस्थिरता को पूरी तरह से मिस कर देंगे जो स्वयं शोर से उत्पन्न होती है।

यह कार्य क्वांटम प्रणालियों में माप की सटीकता और सीखने की स्थिरता के बीच एक सूक्ष्म लेकिन महत्वपूर्ण संबंध को उजागर करता है। यह दिखाता है कि सटीक भविष्यवाणियों का मार्ग एक सीधी रेखा नहीं है। ऐसे विशिष्ट थ्रेशोल्ड हैं जहाँ प्रणाली नाजुक हो जाती है, और नाजुकता की प्रकृति इस बात पर निर्भर करती है कि क्या माप सेटअप केवल पूर्ण होने के लिए पर्याप्त जटिल है या क्या मॉडल शोर को फिट करने की कोशिश कर रहा है। शोधकर्ता निष्कर्ष निकालते हैं कि क्वांटम लर्निंग सिस्टम को डिजाइन करने के लिए एक सावधानीपूर्ण संतुलन की आवश्यकता होती है। कोई भी स्वतंत्र रूप से परिणामों की संख्या या शॉट्स की संख्या नहीं बढ़ा सकता है। माप परिणामों का चयन प्रशिक्षण सेट के आकार और उपलब्ध शॉट बजट के साथ समन्वित होना चाहिए। यदि ये कारक संरेखित नहीं हैं, तो अधिक माप परिणाम जोड़ने से भविष्यवाणियां वास्तव में बदतर हो सकती हैं, भले ही माप स्वयं अधिक सटीक हो रहा हो। यह अध्ययन इन अस्थिरताओं को समझने के लिए एक रोडमैप प्रदान करता है, जो यह अनुमान लगाने का एक तरीका प्रदान करता है कि कब एक क्वांटम लर्निंग मॉडल संघर्ष करेगा और ट्रिपल-डिसेंट परिदृश्य के गड्ढों से बचने के लिए इसे कैसे ट्यून किया जाए।