🔬 materials science

Accurate Self-Attention Wavefunctions at Large Scale

यह शोध पत्र प्रदर्शित करता है कि सेल्फ-अटेंशन न्यूरल नेटवर्क दो-आयामी होमोजेनियस इलेक्ट्रॉन गैस के लिए अत्यधिक सटीक, स्केलेबल वेरिएशनल वेवफंक्शंस के रूप में कार्य कर सकते हैं, जो अत्याधुनिक डिफ्यूजन मोंटे कार्लो विधियों से बेहतर ऊर्जा प्राप्त करते हैं और 169 कणों के साथ थर्मोडायनामिक लिमिट तक सामूहिक-मोड डिस्पर्शन्स को सफलतापूर्वक कैप्चर करते हैं।

मूल लेखक: Filippo Gaggioli, Sam Azadi, Liang Fu

प्रकाशित 2026-07-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Filippo Gaggioli, Sam Azadi, Liang Fu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि अदृश्य, छटपटाते इलेक्ट्रॉनों की एक विशाल भीड़ कैसे व्यवहार करती है जब उन्हें एक सपाट, द्वि-आयामी (two-dimensional) डांस फ्लोर पर एक साथ पैक किया जाता है। दशकों से, वैज्ञानिक उनके ऊर्जा स्तरों को समझने के लिए "ट्रायल-एंड-एरर" (प्रयास और त्रुटि) वाले अंदाजों का उपयोग करते आए हैं, जो कुछ ऐसा है जैसे केक के कुछ टुकड़ों को चखकर उसकी सटीक रेसिपी बताने की कोशिश करना। लेकिन ये पुराने तरीके (जिन्हें पारंपरिक वेवफंक्शंस कहा जाता है) की एक सीमा है: वे उन सूक्ष्म, जटिल स्वादों को नहीं पहचान सकते जो तब पैदा होते हैं जब भीड़ वास्तव में बहुत बड़ी हो जाती है।

यहाँ एक नया प्रकार का डिजिटल मस्तिष्क आता है: एक सेल्फ-अटेंशन न्यूरल नेटवर्क। इसे केवल एक रेसिपी के रूप में नहीं, बल्कि एक पार्टी में मौजूद एक बहुत ही स्मार्ट, जिज्ञासु किशोर के रूप में सोचें जो केवल अपने बगल में खड़े व्यक्ति को ही नहीं देखता, बल्कि माहौल को समझने के लिए तुरंत सभी लोगों पर ध्यान (attend) देता है। यह डिजिटल मस्तिष्क बिना यह बताए कि कदम कैसे होने चाहिए, केवल सिस्टम की कुल ऊर्जा को कम करने की कोशिश करके नृत्य के नियमों को सीखता है।

बड़ा सवाल: क्या यह मस्तिष्क एक विशाल भीड़ को संभाल सकता है?
आमतौर पर, जब आप एक "सब पर नज़र रखने वाले" मस्तिष्क को एक विशाल भीड़ की निगरानी करने के लिए कहते हैं, तो वह घबरा जाता है और क्रैश हो जाता है। जितने अधिक लोग होंगे, यह ट्रैक रखना उतना ही कठिन होता जाता है कि कौन किसे प्रभावित कर रहा है। बड़ी चिंता यह थी: क्या यह शानदार नया मस्तिष्क बड़े सिस्टम होने पर अपनी सटीकता खो देता है?

प्रयोग: इलेक्ट्रॉन डांस फ्लोर
शोधकर्ताओं ने इस डिजिटल मस्तिष्क को एक "होमोजेनियस इलेक्ट्रॉन गैस" के साथ परखने के लिए टेस्ट किया—जो कि एक सैद्धांतिक, पूरी तरह से सपाट इलेक्ट्रॉनों का समुद्र है। उन्होंने केवल एक छोटे समूह को नहीं देखा; उन्होंने 91 और यहाँ तक कि 169 इलेक्ट्रॉनों वाले सिस्टम का अनुकरण (simulate) किया। ये बहुत सारे छटपटाते नर्तक हैं! उन्होंने भीड़ के दो अलग-अलग "मूड" का परीक्षण किया:

लिक्विड मूड ( $r_s = 30$ ): इलेक्ट्रॉन एक तरल की तरह स्वतंत्र रूप से घूम रहे हैं।
क्रिस्टल मूड ( $r_s = 40$ ): इलेक्ट्रॉन एक-दूसरे से इतने प्रतिकर्षित (repel) होते हैं कि वे एक कठोर, त्रिकोणीय ग्रिड (विग्नर क्रिस्टल) में लॉक होने लगते हैं।

परिणाम: एक नया हाई स्कोर
रोचक हिस्सा यहाँ है: नए न्यूरल नेटवर्क ने न केवल मुकाबला किया, बल्कि इसने मौजूदा सर्वोत्तम तरीकों को भी पछाड़ दिया।

जब उन्होंने ऊर्जा स्कोर की तुलना की, तो न्यूरल नेटवर्क के अनुमान मौजूदा गोल्ड स्टैंडर्ड, जिसे डिफ्यूजन मोंटे कार्लो (DMC) कहा जाता है, की तुलना में व्यवस्थित रूप से कम (जिसका अर्थ है अधिक सटीक) थे।
169 इलेक्ट्रॉनों वाले सिस्टम के लिए, न्यूरल नेटवर्क ने प्रति इलेक्ट्रॉन −0.03192077(3) हार्ट्री ऊर्जा पाई, जो DMC के परिणाम −0.0319191(1) से थोड़ी कम (बेहतर) है।
और भी प्रभावशाली बात यह है कि जैसे-जैसे भीड़ बड़ी हुई, इसकी सटीकता कम नहीं हुई। 91 इलेक्ट्रॉनों और 169 इलेक्ट्रॉनों के लिए परिणाम लगभग समान थे, जिससे पता चलता है कि यह विधि बड़े सिस्टम के लिए उतनी ही अच्छी तरह काम करती है जितनी कि छोटे सिस्टम के लिए।

अदृश्य तरंगों को देखना
चूंकि यह न्यूरल नेटवर्क ग्राउंड स्टेट (न्यूनतम ऊर्जा अवस्था) का एक पूर्ण "मैप" प्रदान करता है, इसलिए शोधकर्ता ऊर्जा के अलावा अन्य चीजों की भी गणना कर सके। उन्होंने स्टैटिक स्ट्रक्चर फैक्टर की गणना की, जो इस तरह है कि इलेक्ट्रॉन अंतरिक्ष में कैसे व्यवस्थित हैं, उसका एक स्नैपशॉट है।

लिक्विड फेज ( $r_s = 30$ ) में, उन्होंने $q \approx 2k_F$ के पास ऊर्जा तरंगों में एक "रोटन-लाइक मिनिमम" (roton-like minimum) देखा। यह एक फैंसी तरीका है यह कहने का कि इलेक्ट्रॉन वास्तव में क्रिस्टल बनने से पहले ही, क्रिस्टल बनाने का संकेत देने लगे थे।
उन्होंने छोटे मोमेंटा (momenta) पर प्लाज्मन ब्रांच (एक प्रकार की सामूहिक लहर) को भी देखा, जो 2D इलेक्ट्रॉन गैस के अपेक्षित $\sqrt{q}$ स्केलिंग का पालन करती है।

इसका क्या अर्थ है (और क्या नहीं)
यह पेपर दिखाता है कि यह सेल्फ-अटेंशन दृष्टिकोण एक शक्तिशाली उपकरण है जो बिना अपनी पकड़ खोए बड़े सिस्टम को संभाल सकता है। यह सुझाव देता है कि अब हम उच्च सटीकता के साथ जटिल, सहसंबंधित इलेक्ट्रॉन सिस्टम का अनुकरण कर सकते हैं, जिससे पदार्थ की नई अवस्थाओं को समझने के द्वार खुल सकते हैं।

हालाँकि, पेपर सावधानीपूर्वक नोट करता है कि यह एक विशिष्ट सैद्धांतिक मॉडल (2D इलेक्ट्रॉन गैस) का एक सिमुलेशन है। जबकि इसके परिणाम अविश्वसनीय रूप से आशाजनक हैं और विभिन्न सिस्टम साइज के बीच पूरी तरह मेल खाते हैं (जो सुझाव देते हैं कि वे "थर्मोडायनामिक लिमिट" के करीब हैं), उन्होंने अभी तक ब्रह्मांड की हर समस्या को हल नहीं किया है। उदाहरण के लिए, उन्होंने अभी तक हाई-तापमान सुपरकंडक्टिविटी के रहस्य को हल करने या वास्तविक दुनिया के डिवाइस के लिए एक नया पदार्थ डिजाइन करने का दावा नहीं किया है। लेकिन उन्होंने यह साबित कर दिया है कि यह विशिष्ट डिजिटल मस्तिष्क बड़े पैमाने के क्वांटम सिमुलेशन के भारी काम को पुराने तरीकों की तुलना में बेहतर ढंग से संभाल सकता है, जिससे हमें इलेक्ट्रॉन मिलकर कैसे नाचते हैं, उसकी एक स्पष्ट और अधिक सटीक तस्वीर मिलती है।

तकनीकी सारांश: बड़े पैमाने पर सटीक सेल्फ-अटेंशन वेवफंक्शंस (Wavefunctions)

समस्या विवरण
क्वांटम मेनी-बॉडी सिमुलेशन एक मौलिक बाधा का सामना करते हैं: हिल्बर्ट स्पेस (Hilbert space) की घातांकीय वृद्धि शास्त्रीय संख्यात्मक विधियों की मापनीयता (scalability) को सीमित करती है। जबकि पारंपरिक वेरिएशनल मोंटे कार्लो (VMC) और डिफ्यूजन मोंटे कार्लो (DMC) तकनीकें सफल रही हैं, उनकी सटीकता अक्सर ट्रायल वेवफंक्शंस की गुणवत्ता से बाधित होती है, जो आमतौर पर निश्चित विश्लेतिक रूपों (जैसे कि जैस्ट्रौ और बैकफ्लो सहसंबंधों द्वारा संवर्धित स्लेटर डिटर्मिनेंट्स) पर निर्भर करती हैं। मशीन लर्निंग-आधारित न्यूरल क्वांटम स्टेट्स (NQS) ऊर्जा न्यूनीकरण से सीधे सहसंबंधों को सीखकर अधिक अभिव्यंजक (expressive) वेवफंक्शंस के लिए एक मार्ग प्रदान करते हैं। हालाँकि, सेल्फ-अटेंशन आर्किटेक्चर, जो हैंड-क्राफ्टेड ऑर्बिटल एंसेटी (ansätze) के बिना गैर-स्थानीय, कण-निर्भर सहसंबंधों को मॉडल करके उच्च अभिव्यक्तता प्रदान करते हैं, उच्च कम्प्यूटेशनल जटिलता से ग्रस्त होते हैं। संबोधित किया गया केंद्रीय प्रश्न यह है कि क्या सेल्फ-अटेंशन वेवफंक्शंस बड़े सिस्टम साइज ( $N_e \approx 100$ ) के लिए अपनी सटीकता और श्रेष्ठ अभिव्यक्तता बनाए रख सकते हैं, या क्या उनका कम्प्यूटेशनल खर्च उन्हें थर्मोडायनामिक लिमिट के लिए अव्यवहारिक बना देता है।

कार्यप्रणाली (Methodology)
लेखक दो-आयामी होमोजेनियस इलेक्ट्रॉन गैस (HEG) पर एक सेल्फ-अटेंशन न्यूरल नेटवर्क एंसेटी लागू करते हैं, जो कि स्ट्रॉन्गली कोरिलेटेड फिजिक्स का एक बेंचमार्क सिस्टम है।

आर्किटेटेक्चर: वेवफंक्शन में $L$ सेल्फ-अटेंशन और परसेप्ट्रॉन परतों का एक स्टैक होता है। फिक्स्ड प्लेन-वेव ऑर्बिटल्स पर बैकफ्लो ट्रांसफॉर्मेशन लागू करने वाले मैसेज-पासिंग नेटवर्क के विपरीत, यह आर्किटेक्चर सीधे मेनी-बॉडी इलेक्ट्रॉन कॉन्फ़िगरेशन से सामान्यीकृत सिंगल-पार्टिकल ऑर्बिटल्स $\phi^{(k)}_i(r_j, \{r_{\neq j}\})$ उत्पन्न करता है। इन ऑर्बिटल्स को एंटीसिमेट्रिक फर्मिओनिक वेवफंक्शन बनाने के लिए $N_{det}$ स्लेटर डिटर्मिनेंट्स में संयोजित किया जाता है।
स्केलेबिलिटी तंत्र: ऑल-टू-ऑल अटेंशन मैकेनिज्म की $O(N_e^2)$ स्केलिंग को संबोधित करने के लिए, लेखक "स्पेशियली वेटेड पार्टिकल अटेंशन" पेश करते हैं। अटेंशन स्कोर पर एक एक्सपोनेंशियल डैम्पिंग फैक्टर $e^{-r_{ij}/\lambda}$ लागू किया जाता है, जहाँ $r_{ij}$ अंतर-कण दूरी है और $\lambda$ एक ट्रेन करने योग्य लेंथ स्केल है। यह नेटवर्क को स्थानीय सहसंबंधों पर ध्यान केंद्रित करने के लिए प्रेरित करता है, जबकि लंबी दूरी की जानकारी को नेटवर्क परतों की गहराई के माध्यम से प्रसारित होने की अनुमति देता है।
सिमुलेशन सेटअप: सिस्टम को ट्राइएंगुलर लैटिस पर पीरियोडिक बाउंड्री कंडीशंस के साथ वेरिएशनल मोंटे कार्लो (VMC) का उपयोग करके हल किया गया है। लेखक इंटरैक्शन स्ट्रेंथ $r_s = 30$ और $r_s = 40$ के लिए $N_e = 91$ और $N_e = 169$ कणों वाले स्पिन-पोलराइज्ड इलेक्ट्रॉन्स का अनुकरण करते हैं, जो तरल-क्रिस्टल ट्रांजिशन के निकट के रिजीम हैं जहाँ सहसंबंध प्रभाव सबसे मजबूत होते हैं।
बेंचमार्किंग: परिणामों की तुलना स्टेट-ऑफ-द-आर्ट फिक्स्ड-नोड डिफ्यूजन मोंटे कार्लो (DMC) से की जाती है, जिसमें अनुकूलित स्लेटर-जैस्ट्रौ-बैकफ्लो (SJB) वेवफंक्शंस का उपयोग किया गया है। नोडल संरचना के लिए DMC परिणाम संदर्भ के रूप में कार्य करते हैं, जबकि न्यूरल नेटवर्क (NN-VMC) को वेरिएशनल ऊर्जा को कम करने के लिए प्रशिक्षित किया जाता है।

प्रमुख योगदान और परिणाम

श्रेष्ठ वेरिएशनल ऊर्जाएँ: सेल्फ-अटेंशन वेवफंक्शंस सभी परीक्षण किए गए सिस्टम साइज और इंटरैक्शन स्ट्रेंथ के लिए व्यवस्थित रूप से स्टेट-ऑफ-द-आर्ट फिक्स्ड-नोड DMC परिणामों से कम ऊर्जा प्राप्त करते हैं। $r_s = 30$ के लिए $N_e = 169$ हेतु, NN-VMC ऊर्जा SJB-DMC बेंचमार्क से कम है, जो यह दर्शाता है कि न्यूरल एंसेटी पारंपरिक विधियों की तुलना में कोरिलेशन एनर्जी को अधिक प्रभावी ढंग से कैप्चर करता है। पारंपरिक SJB-VMC पर सुधार को कोरिलेशन एनर्जी में लगभग 1.4% के रूप में मापा गया है।
स्केलेबिलिटी और अभिसरण (Convergence): महत्वपूर्ण रूप से, सिस्टम साइज बढ़ने ( $N_e = 91$ से $N_e = 169$ ) के साथ सेल्फ-अटेंशन वेवफंक्शन की सटीकता में गिरावट नहीं आती है। यह इंगित करता है कि यह विधि फिडेलिटी खोए बिना थर्मोडायनामिक लिमिट के करीब के आकार तक सफलतापूर्वक स्केल करती है।
सामूहिक मोड (Collective Modes) तक पहुँच: क्योंकि न्यूरल वेवफंक्शन ग्राउंड स्टेट तक सीधी पहुँच प्रदान करता है, लेखक ऊर्जा के अलावा अन्य ऑब्जर्वेबल्स, जैसे कि मोमेंटम डिस्ट्रीब्यूशन $n(k)$ $n (k)$ और स्टैटिक स्ट्रक्चर फैक्टर $S(q)$ $S (q)$ की गणना करते हैं।
- फेज कैरेक्टराइजेशन: विधि धातु तरल चरण ( $r_s=30$ , जो एक शार्प फर्मी सरफेस डिस्कंटीन्यूटी दिखाता है) और क्रिस्टलीय विग्नर क्रिस्टल चरण ( $r_s=40$ , जो $S(q)$ में ब्रैग पीक्स और ट्राइएंगुलर डेंसिटी मॉड्यूलेशन दिखाता है) के बीच सही ढंग से अंतर करती है।
- डिस्पर्शन रिलेशंस: फयनमैन रिलेशन $\epsilon(q) \sim q^2/S(q)$ का उपयोग करते हुए, लेखक सामूहिक मोड डिस्पर्शन निकालते हैं। वे लिक्विड फेज के पूर्ण एक्साइटेशन ब्रांच को रिकवर करते हैं, जिसमें छोटे मोमेंटा पर अपेक्षित प्लास्मोन डिस्पर्शन ( $\epsilon \propto \sqrt{q}$ ) और $q \approx 2k_F$ के पास एक रोटन-लाइक मिनिमम शामिल है।
थर्मोडायनामिक लिमिट समझौता: $N_e = 91$ और $N_e = 169$ के लिए निकाले गए डिस्पर्शन लगभग पूर्ण सहमति में हैं, जो यह सुझाव देते हैं कि सेल्फ-अटेंशन वेवफंक्शन इन सिस्टम साइजों के लिए थर्मोडायनामिक लिमिट व्यवहार में पहले से ही अभिसरित हो चुका है।

महत्व
यह पेपर दावा करता है कि सेल्फ-अटेंशन आर्किटेक्चर निरंतर फर्मिओनिक सिस्टम में उच्च संख्यात्मक सटीकता और स्केलेबिलिटी की दोहरी आवश्यकताओं को एक साथ पूरा कर सकते हैं। $N_e = 169$ के साथ फिक्स्ड-नोड DMC से बेहतर ऊर्जा के साथ होमोजेनियस इलेक्ट्रॉन गैस को सफलतापूर्वक हल करके, यह कार्य प्रदर्शित करता है कि न्यूरल क्वांटम स्टेट्स केवल सैद्धांतिक जिज्ञासाएं नहीं बल्कि मात्रात्मक भौतिकी के लिए व्यावहारिक उपकरण हैं। हैंड-क्राफ्टेड एंसेटी के बिना सटीक सामूहिक उत्तेजनाओं और फेज ट्रांजिशन को रिकवर करने की क्षमता यह सुझाव देती है कि इस दृष्टिकोण को सेमीकंडक्टर्स जैसे अधिक जटिल इलेक्ट्रॉनिक सिस्टम में नई भौतिकी का पता लगाने के लिए विस्तारित किया जा सकता है, और संभावित रूप से सामग्री की खोज और क्वांटम तकनीक अनुप्रयोगों में सहायता मिल सकती है।

तकनीकी सारांश: बड़े पैमाने पर सटीक सेल्फ-अटेंशन वेवफंक्शंस (Wavefunctions)

इसी तरह के और पेपर