⚛️ quantum physics

Expander attention as exchange-correlation

यह शोध पत्र एक एक्सपैंडर ग्राफ ट्रांसफार्मर पर आधारित एक रैखिक रूप से स्केलिंग करने वाले, नॉन-लोकल एक्सचेंज-कोरिलेशन फंक्शनल को प्रस्तुत करता है जो $H_2$ और $H_4$ जैसे दृढ़ सहसंबद्ध (स्ट्रॉन्गली कोरिलेटेड) प्रणालियों के लिए उच्च सटीकता प्राप्त करता है, जबकि पिछले मशीन-लर्नड दृष्टिकोणों के प्रतिकूल कम्प्यूटेशनल स्केलिंग की समस्या को दूर करता है।

मूल लेखक: Karim K. Alaa El-Din, Antonius v. Strachwitz, Sam M. Vinko

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Karim K. Alaa El-Din, Antonius v. Strachwitz, Sam M. Vinko

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि एक भीड़ भरे कमरे में लोगों का समूह कैसा व्यवहार करेगा। क्वांटम केमिस्ट्री की दुनिया में, ये "लोग" इलेक्ट्रॉन हैं, और "कमरा" एक अणु (molecule) है।

दशकों से, वैज्ञानिक इस व्यवहार का अनुमान लगाने के लिए डेंसिटी फंक्शनल थ्योरी (DFT) नामक एक उपकरण का उपयोग करते रहे हैं। यह इस क्षेत्र का "वर्कहॉर्स" (मुख्य आधार) है क्योंकि यह तेज़ है और आमतौर पर पर्याप्त सटीक होता है। हालाँकि, DFT की एक कमज़ोरी है। यह इलेक्ट्रॉन्स को एक सुचारू, औसत भीड़ की तरह मानता है, और उन अराजक, व्यक्तिगत अंतःक्रियाओं (interactions) को अनदेखा कर देता है जो तब होती हैं जब इलेक्ट्रॉन बहुत करीब होते हैं या "तनाव" (एक अवस्था जिसे स्ट्रॉन्ग कोरिलेशन कहा जाता है) में होते हैं।

इसे ठीक करने के लिए, DFT एक गणितीय "पैच" का उपयोग करता है जिसे एक्सचेंज-कोरिलेशन (XC) फंक्शनल कहा जाता है। इसे एक नियम पुस्तिका की तरह समझें जो कंप्यूटर को यह बताती है कि उन अव्यवस्थित, व्यक्तिगत अंतःक्रियाओं को कैसे संभालना है। समस्या यह है कि, कोई भी सटीक नियम पुस्तिका नहीं जानता। वैज्ञानिकों को इसका अनुमान (approximate) लगाना पड़ता है।

समस्या: "महंगा" समाधान

हाल ही में, शोधकर्ताओं ने एक आदर्श नियम पुस्तिका सीखने के लिए मशीन लर्निंग (ML) का उपयोग करने की कोशिश की। ये ML मॉडल उन जटिल, "स्ट्रॉन्गली कोरिलेटेड" स्थितियों को संभालने में माहिर हैं जहाँ पारंपरिक नियम विफल हो जाते हैं (जैसे कि जब एक हाइड्रोजन अणु को अलग किया जा रहा हो)।

हालाँकि, एक पेच था: लागत (Cost)।
पिछले ML मॉडल ऐसे थे जैसे कमरे में मौजूद हर एक व्यक्ति को दूसरे व्यक्ति से परिचित कराने की कोशिश करना ताकि भीड़ की गतिशीलता को समझा जा सके। जैसे-जैसे कमरा बड़ा होता है (अधिक परमाणु), इसमें लगने वाला समय विस्फोट की तरह बढ़ता है। यह इतना धीमा और महंगा हो जाता है कि बड़े सिस्टम के लिए यह बेकार हो जाता है। यह एक पहेली को हल करने जैसा है जहाँ एक टुकड़ा जोड़ने पर चालों की संख्या दोगुनी हो जाती है।

समाधान: "एक्सफॉर्मर" (Exphormer)

इस पेपर के लेखक, ऑक्सफोर्ड के करीम के. अला एल-दीन और उनके सहयोगियों ने इस नियम पुस्तिका को बनाने का एक नया तरीका प्रस्तावित किया है। वे इसे Exphormer-XC कहते हैं।

यहाँ इसका सरल रूपक (analogy) दिया गया है कि यह कैसे काम करता है:

ग्रिड (The Grid): कल्पना कीजिए कि अणु केवल कुछ परमाणु नहीं है, बल्कि छोटे बिंदुओं का एक विशाल 3D ग्रिड है (जैसे 3D इमेज में पिक्सेल)।
पुराना तरीका: पिछले ML मॉडल हर पिक्सेल को दूसरे पिक्सेल से जोड़ने की कोशिश करते थे ताकि वे देख सकें कि वे एक-दूसरे को कैसे प्रभावित करते हैं। यह "महंगा" हिस्सा है।
नया तरीका (Exphormer): सभी को सभी से जोड़ने के बजाय, उन्होंने गणित के एक सिद्धांत का उपयोग करके एक स्मार्ट नेटवर्क बनाया जिसे एक्सपैंडर ग्राफ (Expander Graph) कहा जाता है।
- स्थानीय मित्र (Local Friends): प्रत्येक बिंदु अपने निकटतम पड़ोसियों से जुड़ता है (जैसे अपने ठीक बगल में खड़े लोगों से बात करना)।
- "जादुई" कनेक्शन (The "Magic" Connections): वे कुछ विशेष, लंबे दूरी के रैंडम कनेक्शन जोड़ते हैं (जैसे एक "सुपर-कनेक्टर" जो कमरे में मौजूद लगभग हर किसी के बारे में थोड़ा बहुत जानता है)।
- परिणाम: यह एक ऐसा नेटवर्क बनाता है जहाँ जानकारी पूरे कमरे में तेज़ी से यात्रा करती है, बिना हर किसी को हर किसी से मिलवाए। यह जटिलता को कम रखता है (लीनियर स्केलिंग) और साथ ही "बड़ी तस्वीर" के प्रभावों को भी पकड़ लेता है।

उन्होंने क्या परीक्षण किया?

उन्होंने इस नए "नियम पुस्तिका" को दो बहुत कठिन परिदृश्यों पर परखा:

हाइड्रोजन डिसोसिएशन कर्व (The Hydrogen Dissociation Curve): कल्पना कीजिए कि आप दो हाइड्रोजन परमाणुओं को तब तक अलग कर रहे हैं जब तक कि वे टूट न जाएं। पारंपरिक भौतिकी मॉडल यहाँ बुरी तरह विफल हो जाते हैं, और गलत ऊर्जा का अनुमान लगाते हैं। Exphormer मॉडल ने इसे सही ढंग से पकड़ा, जो भौतिकी की गणनाओं के "गोल्ड स्टैंडर्ड" से लगभग पूरी तरह मेल खाता है।
प्लानर H4 (The Square Hydrogen): यह चार हाइड्रोजन परमाणुओं से बना एक वर्ग है। यह कंप्यूटरों के लिए एक दुःस्वप्न है क्योंकि इलेक्ट्रॉन इतने भ्रमित (degenerate) हैं कि उन्नत सुपरकंप्यूटर विधियाँ भी अक्सर क्रैश हो जाती हैं या गलत उत्तर देती हैं।
- Exphormer मॉडल ने इस सिस्टम की ऊर्जा को पारंपरिक तरीकों की तुलना में बहुत बेहतर तरीके से अनुमानित किया।
- नोट: मॉडल को वर्ग के सबसे अराजक हिस्से में "फोकस बनाए रखने" (कन्वर्जेंस इश्यू) में कुछ समस्या हुई, संभवतः इसलिए क्योंकि सिस्टम बहुत अस्थिर था, लेकिन फिर भी इसने बाकी सब से बेहतर प्रदर्शन किया।

मुख्य निष्कर्ष (The Bottom Line)

पेपर का दावा है कि उन्होंने पहला ऐसा मशीन-लर्निंग मॉडल बनाया है जो क्वांटम केमिस्ट्री के लिए है जो:

सटीक है: यह उन "अव्यवस्थित" स्थितियों को संभाल सकता है जहाँ इलेक्ट्रॉन अजीब तरह से व्यवहार करते हैं (स्ट्रॉन्ग कोरिलेशन)।
सस्ता है: यह कुशलता से स्केल करता है, जिसका अर्थ है कि अणु बड़ा होने पर यह घातीय (exponentially) रूप से धीमा नहीं होता है।

वे इसे इस दिशा में एक मार्ग बताते हैं जिससे बड़े, अधिक जटिल सिस्टम के लिए उच्च-सटीक क्वांटम सिमुलेशन संभव हो सके, जिन्हें पहले अध्ययन करना बहुत महंगा था। उन्होंने अभी तक इसका परीक्षण ड्रग डिस्कवरी या मेडिकल अनुप्रयोगों पर नहीं किया है; उन्होंने अपना ध्यान पूरी तरह से यह साबित करने पर केंद्रित किया है कि गणित इन विशिष्ट हाइड्रोजन सिस्टमों पर काम करता है।

तकनीकी सारांश: एक्सपैंडर अटेंशन (Expander Attention) एक एक्सचेंज-कोरिलेशन (Exchange-Correlation) के रूप में

समस्या विवरण (Problem Statement)
कोहन-शाम डेंसिटी फंक्शनल थ्योरी (Kohn-Sham DFT) इलेक्ट्रॉनिक संरचना गणनाओं के लिए अपने सटीकता और कम्प्यूटेशनल लागत के संतुलन के कारण मानक है। हालांकि, इसकी व्यावहारिक उपयोगिता अज्ञात एक्सचेंज-कोरिलेशन (XC) फंक्शनल के सन्निकटन (approximations) पर निर्भर करती है। यद्यपि कई डेंसिटी फंक्शनल एप्रोक्सिमेशन (DFAs) मौजूद हैं, वे दृढ़ता से सह-संबंधित (strongly correlated) प्रणालियों, जैसे कि हाइड्रोजन डिसोसिएशन कर्व या प्लेनर H4, के साथ संघर्ष करते हैं, और अक्सर सही ऊर्जा (energetics) को पकड़ने में विफल रहते हैं। मशीन-लर्नड (ML) DFAs गैर-स्थानीय अंतःक्रियाओं (non-local interactions) को सीखने के लिए एक आशाजनक विकल्प के रूप में उभरे हैं। हालांकि, एक निरंतर बाधा बनी हुई है: उच्च-सटीकता वाले ML फंक्शनल जो दृढ़ सहसंबंधों (strong correlations) को पकड़ने में सक्षम हैं, वे आमतौर पर प्रतिकूल कम्प्यूटेशनल स्केलिंग (जैसे, $O(N^2)$ या $O(N^4)$ ) से ग्रस्त होते हैं, जिससे वे बड़े पैमाने के अनुप्रयोगों के लिए अत्यधिक महंगे हो जाते हैं।

कार्यप्रणाली (Methodology)
लेखक Exphormer-XC का प्रस्ताव करते हैं, जो एक एक्सपैंडर ग्राफ ट्रांसफार्मर एंसेटल (expander graph transformer ansatz) पर आधारित एक रैखिक रूप से स्केलिंग (linearly scaling), गैर-स्थानीय XC सन्निकटन है। कार्यप्रणाली में निम्नलिखित प्रमुख घटक शामिल हैं:

कम्प्यूटेशनल ग्रिड पर ग्राफ निर्माण: आणविक ग्राफ (जहाँ नोड्स नाभिक होते हैं) के बजाय, यह दृष्टिकोण सीधे DFT में उपयोग किए जाने वाले कम्प्यूटेशनल इलेक्ट्रॉनिक ग्रिड (बेके ग्रिड) पर एक ग्राफ का निर्माण करता है। ग्राफ $G$ में वर्टिसिस $V_{grid}$ शामिल हैं जो ग्रिड बिंदुओं का प्रतिनिधित्व करते हैं और काल्पनिक वैश्विक नोड्स (fictitious global nodes) का एक छोटा सेट $V_{global}$ शामिल है।
एज (Edge) परिभाषाएँ: ग्राफ के किनारों (edges) को तीन श्रेणियों में परिभाषित किया गया है ताकि रैखिक स्केलिंग सुनिश्चित करते हुए कनेक्टिविटी बनी रहे:
- स्थानीय किनारे ( $E_{local}$ ): ये निकटतम रेडियल पड़ोसियों और हेवरसाइन दूरी (Haversine distance) के आधार पर लेबेड शेल्स (Lebedev shells) के भीतर कोणीय पड़ोसियों को जोड़ते हैं।
- एक्सपैंडर किनारे ( $E_{exp}$ ): एक सरलीकृत फ्रीडमैन स्कीम (Friedman scheme) का उपयोग करके एक स्पार्स (sparse), अत्यधिक कनेक्टेड ग्राफ संरचना बनाने के लिए इनका उपयोग किया जाता है। यह ग्राफ को एक रैखिक रूप से स्केलिंग एज काउंट बनाए रखते हुए एक बड़ा स्पेक्ट्रल गैप (Ramanujan criterion) रखने की अनुमति देता है, जिससे ग्रिड पर कुशल सूचना प्रसार (information propagation) सुलभ होता है।
- वैश्विक किनारे ( $E_{global}$ ): सभी ग्रिड नोड्स से जुड़े वैश्विक जलाशय नोड्स (global reservoir nodes) के एक निश्चित, छोटे सेट को जोड़ते हैं।
न्यूरल आर्किटेक्चर: एक मल्टी-लेयर, मल्टी-हेड ट्रांसफार्मर ग्राफ को प्रोसेस करता है। इनपुट नोड फीचर्स में इलेक्ट्रॉन डेंसिटी ( $n$ ) और स्पिन पोलराइजेशन ( $\zeta$ ) शामिल हैं। एज फीचर्स में यूक्लिडियन दूरी और एज प्रकार (स्थानीय, एक्सपैंडर, या वैश्विक) शामिल हैं।
XC फंक्शनल फॉर्मूलेशन: ट्रांसफार्मर एक एन्हांसमेंट फैक्टर $F_{exp}$ आउटपुट करता है जिसे बेस लोकल XC एनर्जी डेंसिटी $\epsilon_{XC}$ पर लागू किया जाता है। अंतिम फंक्शनल $\tilde{\epsilon}_{XC} = \epsilon_{XC}(1 + \beta F_{exp})$ है, जहाँ $\beta$ एक लर्न करने योग्य पैरामीटर है जिसे शून्य पर इनिशियलाइज किया गया है ताकि बेस DFA से सुचारू संक्रमण (smooth transitions) सुनिश्चित हो सके।
प्रशिक्षण ढांचा (Training Framework): मॉडल को फुल कॉन्फ़िगरेशन इंटरैक्शन (FCI) डेटा का उपयोग करके एक डिफरेंशिएबल KS सॉल्वर (DQC पैकेज का विस्तार) के भीतर स्व-संगत रूप से (self-consistently) प्रशिक्षित किया जाता है।

प्रमुख परिणाम (Key Results)
लेखक दो बेंचमार्क स्ट्रॉन्गली कोरिलेटेड सिस्टम पर Exphormer-XC का मूल्यांकन करते हैं:

हाइड्रोजन डिसोसिएशन कर्व: मॉडल $H_2$ अणु के लिए सही डिसोसिएशन कर्व को सफलतापूर्वक रिकवर करता है, एक ऐसा क्षेत्र जहाँ सेमी-लोकल और हाइब्रिड DFAs विफल हो जाते हैं। विभिन्न ज्यामिति (स्केलिंग फैक्टर $S=1$ से $4.5$) पर प्रशिक्षण देकर, मॉडल इंटरपोलेटिव रिजीम में 1 kcal/mol से कम का मीन एब्सोल्यूट एरर (MAE) प्राप्त करता है।
एब्लेशन अध्ययन (Ablation Study): लेखक प्रदर्शित करते हैं कि आर्किटेक्चर के सभी घटक महत्वपूर्ण हैं। विशेष रूप से:
- विशुद्ध रूप से स्थानीय मॉडल (NN-LDA) और मानक ग्राफ कन्वल्शन कर्व को पकड़ने में विफल रहते हैं।
- एक्सपैंडर किनारों या डिस्टेंस एम्बेडिंग्स को हटाने से प्रदर्शन काफी गिर जाता है।
- हालांकि ग्लोबल नोड्स का उपयोग ग्लोबल नोड्स का उपयोग करना सटीकता की दहलीज तक पहुँचने के लिए अनिवार्य नहीं है, लेकिन उनके निष्कासन से प्रशिक्षण अभिसरण (convergence) काफी विलंबित हो जाता है (लगभग 21%)।
प्लेनर $H_4$ सिस्टम: मॉडल को प्लेनर $H_4$ $H_{4}$ पर लगाया गया है जो एक स्क्वायर कॉन्फ़िगरेशन के पास है, जो स्ट्रॉन्ग स्टैटिक कोरिलेशन और नियर-डीजेनेरेसी (near-degeneracy) के लिए ज्ञात प्रणाली है।
- मानक DFAs (जैसे PBE) गलत तरीके से एक शार्प एनर्जी कस्प (energy cusp) की भविष्यवाणी करते हैं, जबकि FCI एक पैराबोलिक बैरियर की भविष्यवाणी करता है।
- Exphormer-XC (अनरिस्ट्रिक्टेड) सही पैराबोलिक आकार और ऊर्जा को पकड़ता है जो अन्य DFAs की तुलना में FCI के करीब है।
- सीमा (Limitation): मॉडल स्क्वायर कॉन्फ़िगरेशन के पास अभिसरण संबंधी समस्याएँ (सिंगलेट और ट्रिपलेट अवस्थाओं के बीच स्टोकेस्टिक जंप) प्रदर्शित करता है क्योंकि यह नियर-डीजेनेरेसी के कारण है। लेखक नोट करते हैं कि जबकि मॉडल दोनों अवस्थाओं की ऊर्जा को पकड़ता है, उपयोग किया गया डिफरेंशिएबल सॉल्वर स्पष्ट रूप से सिमेट्री ब्रेकिंग को लागू नहीं कर सकता है जो गणना को स्थिर करने के लिए आवश्यक है, जो कि वर्तमान डिफरेंशिएबल फ्रेमवर्क में उपलब्ध नहीं है लेकिन मानक FCI कोड में होती है।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि यह पहले रैखिक रूप से स्केलिंग वाले ML-DFA को प्रस्तुत करता है जो हाइड्रोजन डिसोसिएशन कर्व को सटीक रूप से पकड़ने में सक्षम है। प्राथमिक योगदान Exphormer-XC आर्किटेक्चर है, जो पिछले ML फंक्शनल के स्केलिंग को $O(N^2)$ या उससे अधिक से लीनियर स्केलिंग ( $O(N)$ ) में सुधारता है, जबकि आवश्यक गैर-स्थानीयता (non-locality) को बनाए रखता है।

लेखक तर्क देते हैं कि यह दृष्टिकोण उन ML फंक्शनल की ओर एक मार्ग प्रशस्त करता है जो कठिन कोरिलेटेड सिस्टम के लिए सटीक भी हैं और बड़े पैमाने के अनुप्रयोगों के लिए पर्याप्त रूप से सस्ते भी हैं। वे इस बात पर जोर देते हैं कि एक्सपैंडर ग्राफ निर्माण इस संतुलन को प्राप्त करने के लिए आवश्यक है, क्योंकि सरल ग्राफ टोपोलॉजी या तो अभिसरण करने में विफल रहती है या उनमें आवश्यक एक्सप्रेसिविटी (expressivity) की कमी होती है। हालांकि वर्तमान कार्य विशिष्ट परीक्षण प्रणालियों ( $H_2$ और $H_4$ ) तक सीमित है और बिना स्पष्ट सिमेट्री ब्रेकिंग के डीजेनेरेटिव रिजीम में अभिसरण चुनौतियों का सामना करता है, परिणाम बताते हैं कि लीनियरली स्केलिंग, नॉन-लोकल ML फंक्शनल पिछले उच्च-सटीकता वाले तरीकों की खराब स्केलिंग का एक व्यवहार्य विकल्प हैं।

समस्या: "महंगा" समाधान

समाधान: "एक्सफॉर्मर" (Exphormer)

उन्होंने क्या परीक्षण किया?

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर