⚛️ lattice

Sampling two-dimensional spin systems with transformers

यह शोध पत्र एक कुशल ट्रांसफॉर्मर-आधारित न्यूरल सैंपलर प्रस्तुत करता है जो स्पिन के समूहों को उत्पन्न करता है और कम्प्यूटेशनल अक्षमताओं को दूर करने के लिए अनुमानित प्रायिकताओं का उपयोग करता है, जिससे पिछले अत्याधुनिक तरीकों की तुलना में काफी बेहतर प्रभावी नमूना आकारों (effective sample sizes) के साथ बड़े द्वि-आयामी आइसिंग और एडवर्ड्स-एंडरसन स्पिन सिस्टमों का नमूनाकरण सक्षम होता है।

मूल लेखक: Piotr Białas, Piotr Korcyl, Tomasz Stebel, Adam Stefański, Dawid Zapolski

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Piotr Białas, Piotr Korcyl, Tomasz Stebel, Adam Stefański, Dawid Zapolski

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल, अराजक दृश्य को फिर से बनाने की कोशिश कर रहे हैं, जैसे कि लोगों की एक विशाल भीड़ जो एक विशाल ग्रिड में एक-दूसरे का हाथ थामे हुए है। कुछ लोग हाथों को मजबूती से पकड़े हुए हैं (स्पिन्स ऊपर की ओर इशारा कर रहे हैं), और कुछ ने हाथ छोड़ दिए हैं (स्पिन्स नीचे की ओर इशारा कर रहे हैं)। हाथ पकड़ने का यह तरीका कमरे के "तापमान" पर निर्भर करता है। आपका लक्ष्य इस भीड़ की एक नई, वास्तविक तस्वीर बनाना है जो बिल्कुल असली तस्वीर से ली गई एक झलक जैसी दिखे।

द दशकों से, वैज्ञानिकों ने "मार्कोव चेन मोंटे कार्लो" (Markov Chain Monte Carlo) नामक एक विधि का उपयोग किया है। इसे एक बहुत ही धीमे, सतर्क कलाकार के रूप में सोचें जो एक समय में एक छोटा सा विवरण बदलता है, जाँचता है कि क्या वह सही लग रहा है, और फिर अगले विवरण पर बढ़ जाता है। यह काम करता है, लेकिन यह धीमा है और कलाकार अक्सर एक लूप में फंस जाता है, अपनी ही गलतियों को दोहराता रहता है।

हाल ही में, वैज्ञानिकों ने न्यूरल नेटवर्क्स (AI) का उपयोग करने के लिए शुरुआत की ताकि वे उस कलाकार की भूमिका निभा सकें। ये AI मॉडल भीड़ के नियमों को सीख लेते हैं और बहुत तेज़ी से नई, वास्तविक तस्वीरें "कल्पना" कर सकते हैं। हालाँकि, पिछले AI मॉडलों के साथ एक समस्या थी: वे एक ऐसे छात्र की तरह थे जो केवल एक बार में एक शब्द पढ़कर 10,000 पन्नों की किताब सीखने की कोशिश कर रहा हो। यह सटीक तो था लेकिन अविश्वसनीय रूप से धीमा और अक्षम था।

नया दृष्टिकोण: एक "ट्विस्ट" के साथ "ट्रांसफॉर्मर"

लेखकों ने एक अलग प्रकार के AI का उपयोग करने का प्रयास किया जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है। आप शायद ट्रांसफॉर्मर्स के बारे में जानते होंगे जिनका उपयोग निबंध लिखने या भाषाओं का अनुवाद करने के लिए किया जाता है। वे लंबी वाक्यों और संदर्भ (context) को समझने में प्रसिद्ध हैं।

शोधकर्ताओं ने इन स्पिन क्राउड्स (spin crowds) को उत्पन्न करने के लिए एक ट्रांसफॉर्मर का उपयोग करने की कोशिश की। लेकिन उन्हें एक बाधा का सामना करना पड़ा: यदि वे हर एक व्यक्ति को भविष्यवाणी करने के लिए एक अलग "शब्द" के रूप में मानते, तो AI बहुत अधिक बोझिल और धीमा हो जाता।

समाधान: "पैच" (Patches) में समूहीकरण
हर एक व्यक्ति को एक-एक करके पहचानने के बजाय, शोधकर्ताओं ने इसे एक साथ लोगों के समूहों का अनुमान लगाने के लिए प्रशिक्षित किया।

उपमा: कल्पना कीजिए कि आप एक भित्ति चित्र (mural) पेंट कर रहे हैं। एक समय में एक सिंगल पिक्सेल पेंट करने के बजाय, आप एक बार में भित्ति चित्र का एक छोटा 2x4 इंच का ब्लॉक पेंट करते हैं। आप इसे बार-बार करते हैं जब तक कि पूरा चित्र तैयार न हो जाए।
परिणाम: स्पिन्स को छोटे "पैच" (8 से 12 स्पिन्स के ब्लॉक) में समूहीकृत करके, AI बहुत तेज़ी से पूरे सिस्टम को उत्पन्न कर सका। यह एक बार में एक अक्षर टाइप करने बनाम एक बार में पूरे शब्द टाइप करने के बीच के अंतर जैसा है।

गुप्त मंत्र: "अनुमानित संभावनाएँ" (Approximate Probabilities)

समूहीकरण की इस तकनीक के बावजूद, AI अभी भी भौतिकी के सबसे कठिन हिस्सों को सीखने में संघर्ष कर रहा था। शोधकर्ताओं ने एक चतुर शॉर्टकट जोड़ा जिसे अनुमानित संभावनाएँ (AP) कहा गया।

उपमा: कल्पना कीजिए कि आप मौसम का अनुमान लगाने की कोशिश कर रहे हैं। केवल अंदाज़ा लगाने के बजाय, आप पहले खिड़की से बाहर देखते हैं। यदि आप बादल देखते हैं, तो आप जानते हैं कि बारिश होने की संभावना है। आप उस "रफ गेस" (rough guess) को एक शुरुआती बिंदु के रूप में उपयोग करते हैं, और AI को केवल उन सूक्ष्म विवरणों को भरने की आवश्यकता होती है जो खिड़की के दृश्य ने छोड़ दिए थे।
यह कैसे काम करता है: AI उस समूह के आस-पास के पड़ोसियों के आधार पर ऊर्जा का एक "रफ गेस" (rough guess) निकालता है जिसे वह पेंट करने वाला है। फिर यह उस अनुमान को ठीक करने और उसे पूर्ण बनाने के लिए शक्तिशाली ट्रांसफॉर्मर का उपयोग करता है। इस संयोजन ने इसकी सीखने की दक्षता को जबरदस्त रूप से बढ़ा दिया।

उन्होंने क्या हासिल किया?

पेपर दावा करता है कि उन्होंने इस विशिष्ट प्रकार के AI सैंपलिंग के लिए कुछ प्रभावशाली "विश्व रिकॉर्ड" बनाए हैं:

बड़े सिस्टम: उन्होंने AI को 180 x 180 स्पिन्स के ग्रिड को उत्पन्न करने के लिए सफलतापूर्वक प्रशिक्षित किया। पिछले AI तरीके 128 x 128 से आगे जाने में संघर्ष कर रहे थे।
बेहतर गुणवत्ता: उन्होंने "प्रभावी नमूना आकार" (Effective Sample Size - ESS) नामक चीज़ को मापा। इसे एक स्कोर के रूप में सोचें कि उत्पन्न तस्वीरें कितनी "वास्तविक" दिखती हैं। उनकी नई विधि ने 128 x 128 ग्रिड पर परीक्षण किए जाने पर पिछले सर्वोत्तम AI तरीकों की तुलना में लगभग 20 गुना अधिक स्कोर किया।
बहुमुखी प्रतिभा: उन्होंने इसे दो अलग-अलग प्रकार के "क्राउड" पर परखा:
- आइसिंग मॉडल (Ising Model): एक मानक, व्यवस्थित भीड़।
- एडवर्ड्स-एंडरसन स्पिन ग्लास (Edwards-Anderson Spin Glass): एक अराजक, अव्यवस्थित भीड़ जहाँ नियम रैंडम होते हैं। उन्होंने इस अराजक प्रणाली के 64 x 64 संस्करण को सफलतापूर्वक प्रशिक्षित किया।

निष्कर्ष

पेपर का तर्क है कि जबकि ट्रांसफॉर्मर्स को पहले इस विशिष्ट भौतिकी समस्या के लिए बहुत धीमा या अक्षम माना जाता था, वे वास्तव में सबसे अच्छा उपकरण हो सकते हैं यदि आप उनके उपयोग के तरीके को बदल दें। स्पिन्स को पैच में समूहीकृत करके और AI को सीखने में मदद करने के लिए भौतिकी-आधारित "रफ गेस" का उपयोग करके, उन्होंने एक ऐसा सैंपलर बनाया जो तेज़ है, बड़े सिस्टम को संभाल सकता है, और वर्तमान में मौजूद किसी भी अन्य न्यूरल नेटवर्क पद्धति की तुलना में उच्च-गुणवत्ता वाले परिणाम देता है।

उन्होंने यह दावा नहीं किया कि यह सभी भौतिकी समस्याओं को हल कर देता है या यह अभी व्यावसायिक उपयोग के लिए तैयार है; उन्होंने केवल यह सिद्ध किया है कि इन विशिष्ट चुंबकीय ग्रिडों के अनुकरण (simulation) के लिए तकनीकों का यह विशिष्ट संयोजन वर्तमान अत्याधुनिक (state-of-the-art) से बेहतर काम करता है।

यहाँ शोध पत्र "Sampling two-dimensional spin systems with transformers" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

शास्त्रीय स्पिन प्रणालियों (जैसे कि आइसिंग मॉडल और स्पिन ग्लास) का अनुकरण करना सांख्यिकीय भौतिकी में एक मौलिक चुनौती है। पारंपरिक मार्कोव चेन मोंटे कार्लो (MCMC) विधियाँ क्रमिक नमूनों के बीच ऑटोकोरिलेशन (autocorrelations) और एर्गोडिसिटी (ergodicity) संबंधी समस्याओं से जूझती हैं, विशेष रूप से महत्वपूर्ण बिंदुओं (critical points) या जटिल ऊर्जा परिदृश्यों (जैसे स्पिन ग्लास) के पास।

जबकि वेरिएशनल ऑटोरेग्रेसिव नेटवर्क (VAN) एक आशाजनक विकल्प के रूप में उभरे हैं, वे महत्वपूर्ण स्केलेबिलिटी सीमाओं का सामना करते हैं:

गणना लागत (Computational Cost): डेंस या कन्वोल्यूशनल परतों का उपयोग करने वाले मानक VANs, सिस्टम के आकार ( $L$ ) के साथ खराब तरीके से स्केल करते हैं।
प्रशिक्षण दक्षता (Training Efficiency): वे बड़े सिस्टम (जैसे 2D आइसिंग मॉडल के लिए $32 \times 32$ स्पिन से अधिक) पर प्रभावी ढंग से प्रशिक्षित होने में संघर्ष करते हैं।
मौजूदा विकल्प: हालिया विधियाँ जैसे कि Hierarchical Autoregressive Networks (HAN) या Renormalization-informed Generative Critical Samplers (RiGCS) प्रदर्शन में सुधार करती हैं, लेकिन वे अक्सर विशिष्ट भौतिक समरूपताओं (symmetries) पर निर्भर करती हैं या उनके द्वारा संभाले जा सकने वाले अधिकतम सिस्टम आकार (जैसे RiGCS के लिए $128 \times 128$ ) में सीमित होती हैं।

लेखक ट्रांसफॉर्मर आर्किटेक्चर (Transformer architectures) का लाभ उठाकर इन सीमाओं को दूर करने का लक्ष्य रखते हैं, जो नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में शक्तिशाली हैं लेकिन ऐतिहासिक रूप से उनके द्विघातीय जटिलता (quadratic complexity) के कारण भौतिक नमूनाकरण (physical sampling) के लिए गणनात्मक रूप से अक्षम माने जाते रहे हैं।

2. कार्यप्रणाली: ट्रांसफॉर्मर VAN (tVAN)

लेखक tVAN प्रस्तावित करते हैं, जो ट्रांसफॉर्मर आर्किटेक्चर पर आधारित एक नवीन ऑटोरेग्रेसिव सैंपलर है। मुख्य नवाचार निम्नलिखित हैं:

A. पैच-आधारित ऑटोरेग्रेशन (Patch-Based Autoregression)

एक समय में एक स्पिन उत्पन्न करने के बजाय (जो अनुक्रम लंबाई को $L^2$ बना देता है और ट्रांसफॉर्मर के लिए गणनात्मक रूप से निषेधात्मक है), लेखक स्पिन को पैच (patches) में समूहबद्ध करते हैं।

टोकनाइजेशन (Tokenization): $L \times L$ आकार के लैटिस को $N_{context} = L^2 / (r \times c)$ पैच में विभाजित किया जाता है, जहाँ $r \times c$ पैच का आकार है।
वोकैबुलरी (Vocabulary): प्रत्येक पैच को एक एकल टोकन माना जाता है। वोकैबुलरी का आकार $N_{vocab} = 2^{r \times c}$ है।
जेनरेशन (Generation): ट्रांसफॉर्मर पैच को क्रमिक रूप से ( $t_1, t_2, \dots, t_{N_{context}}$ ) उत्पन्न करता है। यह संदर्भ लंबाई (context length) को काफी कम कर देता है जबकि वोकैबुलरी के आकार को तेजी से बढ़ा देता है।
अनुकूलन (Optimization): संख्यात्मक प्रयोगों ने निर्धारित किया कि $L \approx 100$ के सिस्टम के लिए पैच का आकार 8–12 स्पिन (जैसे $2 \times 4$ या $3 \times 4$ ) वोकैबुलरी आकार और संदर्भ लंबाई के बीच सबसे अच्छा संतुलन प्रदान करता है।

B. अनुमानित प्रायिकताएँ (Approximate Probabilities - AP)

प्रशिक्षण को और तेज करने और नमूना गुणवत्ता में सुधार करने के लिए, लेखक संभाव्यता वितरण में एक भौतिक-आधारित सन्निकटन (approximation) को शामिल करते हैं:

अवधारणा: एक पैच की सशर्त प्रायिकता (conditional probability) को उस पैच की स्थानीय ऊर्जा (local energy) और पहले से उत्पन्न पड़ोसी पैचों (बाएं और ऊपर) के साथ उसकी अंतःक्रियाओं द्वारा संशोधित किया जाता है।
कार्यान्वयन: ट्रांसफॉर्मर के आउटपुट लॉजिट्स (logits) को स्थानीय ऊर्जा के ऋणात्मक बोल्ट्ज़मैन कारक ( $-\beta E_i$ ) द्वारा समायोजित किया जाता है।
$q(t_i | t_{<i}) \propto \exp(-\beta E_i(t_j) + f_j(t_{<i}))$
लाभ: यह न्यूरल नेटवर्क को भौतिक सन्निकटन और वास्तविक वितरण के बीच के "अंतराल" (gap) को सीखने पर ध्यान केंद्रित करने की अनुमति देता है, जिससे अभिसरण (convergence) की गति काफी बढ़ जाती है।

C. आर्किटेक्चर विवरण (Architecture Details)

मॉडल: nanoGPT आर्किटेक्चर पर आधारित डिकोडर-ओनली (decoder-only) ट्रांसफॉर्मर।
घटक: मल्टी-हेड सेल्फ-अटेंशन, फीड-फॉरवर्ड नेटवर्क, और लेयर नॉर्म (LayerNorm)।
अनुकूलन: जेनरेशन की गति बढ़ाने के लिए KV-कैश (KV-cache) का उपयोग करता है और AdamW ऑप्टिमाइज़र का उपयोग करता है।
प्रशिक्षण उद्देश्य: वेरिएशनल फ्री एनर्जी ( $F_q$ ) को कम करना, जो मॉडल वितरण $q_\theta$ और लक्षित बोल्ट्ज़मान वितरण $p$ के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करने के बराबर है।

3. प्रमुख योगदान (Key Contributions)

बड़े स्पिन सिस्टम के लिए ट्रांसफॉर्मर का प्रथम अनुप्रयोग: यह प्रदर्शित करता है कि जब पैचिंग और भौतिक सन्निकटन के साथ जोड़ा जाता है, तो ट्रांसफॉर्मर बड़े 2D स्पिन सिस्टम को कुशलतापूर्वक सैंपल कर सकते हैं, जो इस धारणा को चुनौती देता है कि वे इस कार्य के लिए बहुत अधिक गणनात्मक रूप से महंगे हैं।
स्केलेबिलिटी रिकॉर्ड: सफलतापूर्वक ** $180 \times 180$ स्पिन ($32,400 $स्पिन)** तक के **2D आइसिंग मॉडल** के लिए एक सैंपलर को प्रशिक्षित किया, जो पिछले न्यूरल सैंपलर्स (आमतौर पर$ 128 \times 128$ तक सीमित) की तुलना में काफी बड़ा सिस्टम आकार है।
अनुमानित प्रायिकताओं का एकीकरण: एक विधि पेश की जो न्यूरल नेटवर्क को भौतिक ऊर्जा गणनाओं के साथ हाइब्रिड बनाती है, जिससे प्रभावी नमूना आकार (Effective Sample Size - ESS) और प्रशिक्षण गति में भारी सुधार होता है।
स्पिन ग्लास सैंपलिंग: एडवर्ड्स-एंडरसन (EA) स्पिन ग्लास मॉडल ( $64 \times 64$ ) के लिए सफलतापूर्वक लागू किया, जो सरल फेरोमैग्नेटिक इंटरैक्शन से परे इसकी लचीलापन सिद्ध करता है।

4. परिणाम (Results)

शोध पत्र tVAN की तुलना HAN और RiGCS से करते हुए व्यापक संख्यात्मक परिणाम प्रस्तुत करता है:

आइसिंग मॉडल ( $L=128$ ) क्रिटिकल टेम्परेचर ( $\beta_c$ ) पर:
- ESS (प्रभावी नमूना आकार): AP के साथ tVAN ने 0.84 का ESS प्राप्त किया, जबकि RiGCS के लिए यह 0.03 और HAN के लिए $<10^{-3}$ था। यह पिछले स्टेट-ऑफ-द-आर्ट (RiGCS) की तुलना में ~20 गुना सुधार है।
- फ्री एनर्जी सटीकता: फ्री एनर्जी में सापेक्ष त्रुटि $(F_q - F)/|F|$ पहुँच गई $5.5 \times 10^{-6}$ , जिसने RiGCS ( $1.1 \times 10^{-4}$ ) और HAN ( $1.5 \times 10^{-4}$ ) को पीछे छोड़ दिया।
- सिस्टम आकार $L=180$ : 8 दिनों के प्रशिक्षण के बाद $8.8 \times 10^{-6}$ की फ्री एनर्जी त्रुटि के साथ 0.59 का ESS प्राप्त किया।
पैच आकार संवेदनशीलता (Patch Size Sensitivity):
- सिंगल-स्पिन जेनरेशन ( $1 \times 1$ ) सबसे कम कुशल था।
- आयताकार पैच (जैसे $2 \times 4$ , $3 \times 4$ ) इष्टतम थे।
- उच्च ESS मानों तक तेजी से पहुँचने के लिए अनुमानित प्रायिकताएँ (AP) अत्यंत महत्वपूर्ण थीं; AP के बिना, प्रशिक्षण काफी धीमा और कम प्रभावी था।
स्पिन ग्लास (एडवर्ड्स-एंडरसन, $L=64$ ):
- मॉडल ने कपलिंग $J$ के निश्चित उदाहरणों को सफलतापूर्वक सैंपल किया।
- उच्च व्युत्क्रम तापमान ( $\beta=0.9$ ) पर प्रदर्शन गिर गया, जहाँ ESS घटकर 0.3 से नीचे आ गया, जो ग्लास चरण (glassy phase) की कठिनाई को दर्शाता है, लेकिन विधि व्यवहार्य बनी रही।

5. महत्व और भविष्य की दिशाएँ (Significance and Future Directions)

स्टेट-ऑफ-द-आर्ट प्रदर्शन: tVAN सांख्यिकीय भौतिकी में न्यूरल सैंपलर के लिए एक नया बेंचमार्क स्थापित करता है, जो उन सिस्टम आकारों को संभालने में सक्षम है जो पहले ऑटोरेग्रेसिव विधियों के लिए दुर्गम थे।
लचीलापन: रिनॉर्मलाइजेशन ग्रुप तकनीकों (जैसे RiGCS) पर निर्भर विधियों के विपरीत, tVAN विभिन्न प्रकार की अंतःक्रियाओं के संबंध में लचीला है, जिससे यह विभिन्न स्पिन मॉडलों (जैसे विभिन्न स्पिन ग्लास, पॉट्स मॉडल) के लिए लागू करने योग्य बनता है।
पिछले निष्कर्षों को चुनौती देना: इसके परिणाम पिछले अध्ययनों के विपरीत हैं जो सुझाव देते थे कि ट्रांसफॉर्मर स्पिन सिस्टम के लिए अनुपयुक्त हैं, यह दिखाते हैं कि आर्किटेक्चरल संशोधन (पैचिंग) और भौतिक पूर्ववृत्त (AP) इन लागतों को कम कर सकते हैं।
भविष्य का कार्य: लेखक बड़े आर्किटेक्चर (LLM-स्केल), गैर-क्रिटिकल सिस्टम में स्पार्स कोरिलेशन के लिए अटेंशन मैकेनिज्म को अनुकूलित करने, और विधि को अधिक जटिल भौतिक मॉडलों और उच्च आयामों तक विस्तारित करने की संभावना तलाशने का सुझाव देते हैं।

निष्कर्षतः, यह कार्य प्रदर्शित करता है कि जब ट्रांसफॉर्मर को पैच-आधारित टोकनाइजेशन और भौतिक-सूचित सन्निकटन के साथ अनुकूलित किया जाता है, तो वे जटिल सांख्यिकीय यांत्रिक प्रणालियों के नमूनाकरण के लिए एक शक्तिशाली और स्केलेबल उपकरण बन जाते हैं, जो संभावित रूप से डीप लर्निंग और उच्च-प्रदर्शन भौतिक सिमुलेशन के बीच के अंतर को पाटते हैं।