Stochastic Reconfiguration as Statistical Filtering for Overparameterized Neural Quantum States

क्वांटम यांत्रिकी की विचित्र और विरोधाभासी दुनिया को समझने की खोज में, वैज्ञानिक अक्सर 'न्यूरल क्वांटम स्टेट' नामक एक शक्तिशाली उपकरण पर भरोसा करते हैं। कल्पना कीजिए कि आप कणों की एक विशाल भीड़ के व्यवहार का मानचित्र बनाने की कोशिश कर रहे हैं जो सभी आपस में उलझे (entangled) हुए हैं, जिसका अर्थ है कि उनकी अवस्थाएँ इस तरह जुड़ी हुई हैं जो सामान्य तर्क को चुनौती देती हैं। इसे करने के लिए, शोधकर्ता कृत्रिम तंत्रिका नेटवर्क (artificial neural networks)—जो मानव मस्तिष्क से प्रेरित कंप्यूटर प्रोग्राम हैं—का उपयोग करते हैं ताकि वे क्वांटम प्रणाली के एक लचीले मानचित्र के रूप में कार्य कर सकें। ये मानचित्र स्थिर नहीं होते; इन्हें प्रणाली की ऊर्जा का सबसे सटीक विवरण खोजने के लिए लगातार समायोजित किया जाता है। इन मानचित्रों को समायोजित करने की प्रक्रिया 'स्टोकेस्टिक रीकॉन्फ़िगरेशन' (stochastic reconfiguration) नामक एक मानक गणितीय तकनीक पर निर्भर करती है। यह विधि एक दिशा-सूचक यंत्र (compass) की तरह कार्य करती है, जो क्वांटम प्रणाली से लिए गए सीमित यादृच्छिक नमूनों (random samples) का विश्लेषण करके न्यूरल नेटवर्क को एक बेहतर समाधान की ओर निर्देशित करती है। दशकों तक, यह दृष्टिकोण तब अच्छी तरह से काम करता था जब नेटवर्क में समायोज्य सेटिंग्स की संख्या एकत्र किए गए नमूनों की संख्या से कम होती थी।

हालाँकि, इस शोध का परिदृश्य नाटकीय रूप रूप से बदल गया है। क्वांटम भौतिकी के लिए उपयोग किए जाने वाले आधुनिक न्यूरल नेटवर्क अविश्वसनीय रूप से जटिल हो गए हैं, जिनमें लाखों समायोज्य सेटिंग्स हैं, जो उन नमूनों की संख्या से कहीं अधिक हैं जिन्हें शोधकर्ता एक ही चरण में व्यावहारिक रूप से एकत्र कर सकते हैं। यह एक कठिन स्थिति पैदा करता है: कंप्यूटर एक ऐसी पहेली को हल करने की कोशिश कर रहा है जिसमें उसके पास जानकारी भरने के लिए टुकड़ों की संख्या से कहीं अधिक हिस्से हैं। इस ओवरपैरामीटराइज्ड (overparameterized) युग में, नेटवर्क को समायोजित करने की मानक विधि एक नई चुनौती का सामना करती है। गणनाओं को स्थिर करने के लिए उपयोग किया जाने वाला गणितीय उपकरण, जिसे 'डायगोनल शिफ्ट' (diagonal shift) नामक एक सरल संख्यात्मक सुधार कहा जाता है, ऐतिहासिक रूप से केवल एक सुरक्षा तंत्र के रूप में देखा जाता था ताकि गणित विफल न हो जाए। लेकिन इन विशाल न्यूरल नेटवर्कों के इस नए युग में, इस शिफ्ट की भूमिका कहीं अधिक गहरी है। यह केवल एक स्टेबलाइजर नहीं है; यह एक सांख्यिकीय फिल्टर (statistical filter) के रूप में कार्य करता है, जो यह तय करता है कि डेटा के किन हिस्सों पर भरोसा किया जाना चाहिए और किन्हें अनदेखा किया जाना चाहिए, ताकि मॉडल केवल यादृच्छिक उतार-चढ़ाव को याद करने के बजाय वास्तविक भौतिकी को सीख सके।

वॉटरलू विश्वविद्यालय के एक शोधकर्ता, टैक हुर (Tak Hur) ने इस मौलिक प्रक्रिया का पुनर्मूल्यांकन किया है, जिससे यह पता चला है कि मानक दृष्टिकोण अनिवार्य रूप से एक प्रकार का रिग्रेशन (regression) है जो एक ऐसे लक्ष्य को फिट करने की कोशिश कर रहा है जिसे पूरी तरह से प्राप्त नहीं किया जा सकता। लक्ष्य क्वांटम अवस्था में वांछित परिवर्तन है, लेकिन क्योंकि न्यूरल नेटवर्क अनंत रूप से शक्तिशाली नहीं है, इसलिए नेटवर्क द्वारा दर्शाए जाने वाले विवरण और भौतिकी की मांग के बीच हमेशा एक अंतर बना रहता है। यह अंतर अपरिहार्य शोर (noise) की तरह कार्य करता है। जब नेटवर्क में डेटा की तुलना में बहुत अधिक सेटिंग्स होती हैं, तो इसके 'ओवरफिटिंग' (overfitting) का जोखिम होता है, जिसका अर्थ है कि यह वास्तविक संकेत के बजाय इस शोर को याद करना शुरू कर देता है। इसलिए, डायगोनल शिफ्ट एक नियामक (regulator) के रूप में कार्य करता है जो उपयोगी पैटर्न सीखने की आवश्यकता और यादृच्छिक त्रुटियों के पीछे भागने के खतरे के बीच संतुलन बनाता है। हुर का कार्य यह प्रदर्शित करता है कि इस शिफ्ट को केवल एक संख्यात्मक सुधार के बजाय एक सांख्यिकीय फिल्टर के रूप में देखने से यह समझने में बहुत अधिक गहराई मिलती है कि ये क्वांटम मॉडल कैसे सीखते हैं।

इस विचार का परीक्षण करने के लिए, शोधकर्ता ने पहले एक छोटा, पूर्णतः हल करने योग्य क्वांटम सिस्टम देखा: सोलह परस्पर क्रिया करने वाले स्पिन (spins) का एक ग्रिड। दो अलग-अलग प्रकार के न्यूरल नेटवर्क्स की तुलना करके—एक जिसमें कम सेटिंग्स हैं और दूसरा जिसमें बहुत अधिक सेटिंग्स हैं—अध्ययन ने दिखाया कि बड़ा नेटवर्क वास्तव में मॉडल और वास्तविक भौतिकी के बीच के अंतर को कम कर सकता है। हालाँकि, जब नमूनों की संख्या सीमित थी, तो बड़े नेटवर्क में शेष शोर को ओवरफिट करने की प्रवृत्ति भी अधिक थी। प्रयोगों ने पुष्टि की कि डायगोनल शिफ्ट का आकार इस संतुलन (trade-off) को सीधे नियंत्रित करता है। एक छोटा शिफ्ट नेटवर्क को तेजी से सीखने की अनुमति देता था लेकिन शोर को याद करने का जोखिम भी बढ़ाता था, जबकि एक बड़ा शिफ्ट ओवरफिटिंग को रोकता था लेकिन उपयोगी सीखने के संकेतों को भी धीमा कर देता था। इसने त्रुटि दरों में एक 'U-आकार का वक्र' (U-shaped curve) बनाया: बहुत कम शिफ्ट और बहुत अधिक शिफ्ट दोनों ही खराब परिणाम देते थे, जबकि बीच में एक 'स्वीट स्पॉट' (sweet spot) था जहाँ मॉडल का सामान्यीकरण (generalization) सबसे अच्छा होता था।

इन निष्कर्षों को फिर एक बहुत बड़े पैमाने पर ले जाया गया, जिसमें चुंबकीय क्षेत्र में एक सौ परमाणुओं की एक श्रृंखला का अनुकरण किया गया। यहाँ, वास्तविक गणितीय उत्तर सीधे गणना करने के लिए बहुत जटिल थे, इसलिए शोधकर्ता ने एक अलग रणनीति अपनाई। उन्होंने एक प्रशिक्षित न्यूरल नेटवर्क लिया और उसकी सेटिंग्स को स्थिर कर दिया, फिर यह परीक्षण किया कि डायगैल डायगोनल शिफ्ट के विभिन्न आकार डेटा के नए, स्वतंत्र बैचों पर अपडेट को कैसे प्रभावित करते हैं। परिणाम छोटे पैमाने के प्रयोगों के समान ही थे। जैसे-जैसे शिफ्ट बढ़ा, अपडेट की परिवर्तनशीलता (variability) कम होती गई, लेकिन उपयोगी जानकारी खोने से होने वाली त्रुटि बढ़ गई। इसने पुष्टि की कि छोटे सिस्टम में देखा गया 'नॉइजी-रिज' (noisy-ridge) तंत्र आधुनिक, विशाल क्वांटम सिमुलेशन में भी काम कर रहा है। डेटा ने दिखाया कि एक एकल, निश्चित शिफ्ट आकार का उपयोग करने का मानक अभ्यास एक समझौता था जिसे सुधारा जा सकता था।

इस अंतर्दृष्टि पर आधारित होकर, शोधकर्ता ने एक नया ऑप्टिमाइज़र विकसित किया जिसे 'मल्टी-शिफ्ट स्टोकेस्टिक रीकॉन्फ़िगरेशन' (multi-shift stochastic reconfiguration) कहा जाता है। एक एकल फिल्टर आकार पर निर्भर रहने के बजाय, यह विधि एक ही समय में कई स्वतंत्र गणनाओं को चलाती है, जिनमें से प्रत्येक में एक अलग शिफ्ट आकार का उपयोग किया जाता है। इन गणनाओं को एक एकल, स्मार्ट अपडेट में संयोजित किया जाता है। विभिन्न शिफ्टों का उपयोग करके, यह विधि डेटा के शोर वाले हिस्सों पर कोमल रह सकती है और स्पष्ट, उपयोगी संकेतों पर साहसी बनी रह सकती है। इसके अलावा, डेटा के स्वतंत्र बैचों पर इन गणनाओं को चलाकर, प्रत्येक गणना में होने वाली यादृच्छिक त्रुटियाँ एक-दूसरे को रद्द कर देती हैं, जिससे अधिक स्थिर और सटीक परिणाम मिलते हैं। इस पद्धति का परीक्षण सौ-परमाणु श्रृंखला और आठ-बाय-आठ स्पिन के छोटे ग्रिड दोनों पर किया गया। इन परीक्षणों में, नई विधि ने मानक दृष्टिकोण की तुलना में त्रुटि और अपडेट की परिवर्तनशीलता को लगातार कम किया, जिससे सिद्ध हुआ कि फिल्टरों का मिश्रण एक एकल निश्चित फिल्टर की तुलना में बेहतर है।

अध्ययन ने इस नई विधि की लागत का भी परीक्षण किया। एक के बजाय चार स्वतंत्र गणनाओं को चलाने में स्वाभाविक रूप से अधिक समय लगता है, लेकिन शोधकर्ता ने पाया कि अतिरिक्त समय प्रबंधनीय था और सटीकता में लाभ महत्वपूर्ण थे। प्रत्यक्ष तुलनाओं में जहाँ दोनों विधियों को एक ही शुरुआती बिंदु पर चलाया गया था, नया मल्टी-शिफ्ट दृष्टिकोण अक्सर निम्न ऊर्जा अवस्था (lower energy state) तक पहुँच गया, जो इन सिमुलेशन का लक्ष्य है। शोध यह निष्कर्ष निकालता है कि विशाल न्यूरल क्वांटम स्टेट्स का युग एक नए सांख्यिकीय दृष्टिकोण की मांग करता है। डायगोनल शिफ्ट केवल एक तकनीकी सुधार नहीं है; यह एक महत्वपूर्ण लीवर है जो यह नियंत्रित करता है कि मॉडल अपूर्ण डेटा से कैसे सीखता है। इस फिल्टर को समझकर और अनुकूलित करके, वैज्ञानिक अधिक विश्वसनीय क्वांटम सिम्युलेटर बना सकते हैं जो भौतिकी के नियमों को सीखने और सीमित डेटा के शोर को अनदेखा करने के बीच के जटिल संतुलन को सफलतापूर्वक पार कर सकें। यह कार्य अगली पीढ़ी के क्वांटम मॉडल को प्रशिक्षित करने के लिए एक स्पष्ट मार्ग प्रदान करता है, यह सुनिश्चित करता है कि वे भौतिकी की सबसे कठिन समस्याओं से निपटने के लिए पर्याप्त मजबूत हों।