⚛️ quantum physics

Memory-Scalable and Hardware-Adaptive Matrix-Free Quantum Simulation

यह शोधपत्र एक मेमोरी-स्केलेबल, हार्डवेयर-अनुकूल मैट्रिक्स-फ्री फ्रेमवर्क प्रस्तुत करता है जो एक एडेप्टिव प्लानर के माध्यम से ऑपरेटर ब्लॉक्स को गतिशील रूप से प्रबंधित करके त्वरकों (एक्सेलेरेटर्स) पर बड़े पैमाने पर क्वांटम सिमुलेशन को सक्षम बनाता है, जिससे मेमोरी में पूर्ण हैमिल्टोनियन मैट्रिक्स को संग्रहीत करने की आवश्यकता समाप्त हो जाती है।

मूल लेखक: Uriel Shafir, Ronnie Kosloff

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Uriel Shafir, Ronnie Kosloff

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "बहुत बड़ा, जो फिट न हो सके" वाला बॉक्स

कल्पना कीजिए कि आप एक विशाल पहेली को हल करने की कोशिश कर रहे हैं। क्वांटम भौतिकी (quantum physics) में, इस पहेली को हैमिल्टनियन (Hamiltonian) कहा जाता है (एक सिस्टम कैसे व्यवहार करता है, इसका एक विशाल गणितीय मानचित्र)। इस सिस्टम का सिमुलेशन करने के लिए, आपको इस विशाल मानचित्र को संख्याओं की एक सूची (सिस्टम की वर्तमान स्थिति) से गुणा करना पड़ता है।

समस्या यह है कि बड़े सिस्टम के लिए, यह मानचित्र इतना विशाल होता है कि वह कंप्यूटर की मेमोरी (RAM) में समा ही नहीं पाता। यह ऐसा है जैसे आप अपने बैकपैक में 10,000 किताबों का पुस्तकालय ले जाने की कोशिश कर रहे हों। यदि आपका बैकपैक (कंप्यूटर का GPU मेमोरी) केवल 10 किताबें रख सकता है, तो आप काम नहीं कर पाएंगे यदि आप पूरी लाइब्रेरी को एक साथ ले जाने पर अड़े रहें।

पारंपरिक रूप से, वैज्ञानिकों को अपनी गणनाएँ तब रोकनी पड़ती थी जब "पुस्तकालय" बैकपैक में रखने के लिए बहुत बड़ा होता था।

समाधान: "जरूरत पड़ने पर डिलीवरी" सेवा

लेखकों, उरियल शाफ़िर और रोनी कोस्लोफ ने इन गणनाओं को करने का एक नया तरीका बनाया है। पूरी लाइब्रेरी को एक साथ ले जाने के बजाय, वे लाइब्रेरी को एक डिलीवरी सर्विस की तरह देखते हैं।

वे उस विशाल मानचित्र को छोटे, प्रबंधनीय टुकड़ों में तोड़ देते हैं जिन्हें ब्लॉक्स (blocks) कहा जाता है। वे पूरा मानचित्र स्टोर नहीं करते हैं। इसके बजाय, उनके पास एक "जेनरेटर" है जो ज़रूरत पड़ने पर तुरंत मानचित्र के किसी भी विशिष्ट हिस्से को बना सकता है।

पुराना तरीका: "मुझे एक तथ्य खोजने के लिए पूरी विश्वकोश (encyclopedia) पढ़नी होगी।" (बहुत भारी, असंभव)।
नया तरीका: "मैं लाइब्रेरी से सिर्फ पेज नंबर 42 मांगता हूँ। वे उसे प्रिंट करते हैं, मैं उसे पढ़ता हूँ, और फिर मैं उसे वापस भेज देता हूँ। फिर मैं पेज नंबर 105 मांगता हूँ।"

इसे मैट्रिक्स-फ्री (Matrix-Free) सिमुलेशन कहा जाता है। कंप्यूटर वास्तव में कभी भी पूरा विशाल मानचित्र अपनी मेमोरी में "बनाता" नहीं है। यह केवल उस छोटे से हिस्से को बनाता है जिसकी उसे अगले पल के लिए आवश्यकता होती है, उसका उपयोग करता है, और फिर अगले हिस्से के लिए जगह बनाने के लिए उसे हटा देता है।

स्मार्ट मैनेजर: "अनुकूलनशील योजनाकार" (The Adaptive Planner)

सिर्फ एक डिलीवरी सर्विस होना ही काफी नहीं है; आपको यह तय करने के लिए एक स्मार्ट मैनेजर की आवश्यकता है कि काम को कुशलतापूर्वक कैसे चलाया जाए। यह पेपर एक हार्डवेयर-अनुकूलनशील योजनाकार (Hardware-Adaptive Planner) पेश करता है।

इस योजनाकार को एक बहुत ही स्मार्ट लॉजिस्टिक्स मैनेजर के रूप में सोचें जो आपके विशिष्ट ट्रक (आपके कंप्यूटर हार्डवेयर) और विशिष्ट कार्य (गणना) को देखता है और सबसे अच्छी रणनीति तय करता है:

"पूर्ण गोदाम" रणनीति: यदि आपके पास एक विशाल गोदाम है (बहुत अधिक मेमोरी वाला कंप्यूटर), तो मैनेजर कहता है, "आइए इस पूरी लाइब्रेरी को यहाँ स्टोर करें। डिलीवरी का इंतज़ार करने के बजाय शेल्फ से किताब उठाना तेज़ होगा।"
"आंशिक शेल्फ" रणनीति: यदि आपका गोदाम मध्यम आकार का है, तो मैनेजर कहता है, "आइए सबसे लोकप्रिय किताबों को शेल्फ पर रखें और दुर्लभ किताबों को केवल तभी मंगवाएं जब हमें उनकी आवश्यकता हो।"
"ऑन-डिमांड" रणनीति: यदि आपका गोदाम बहुत छोटा है, तो मैनेजर कहता है, "कुछ भी स्टोर न करें। जैसे ही हमें ज़रूरत हो, हर एक पेज ऑर्डर करें।"

यह योजनाकार इतना स्मार्ट है कि यह पिछले कामों से सीख भी सकता है। यह सबसे अच्छी रणनीति चुनने के लिए तीन तरीकों का उपयोग करता है:

कैलकुलेटर (The Calculator): यह अनुमान लगाने के लिए गणित करता है कि क्या फिट बैठेगा।
टेस्टर (The Tester): यह वास्तव में आपके विशिष्ट कंप्यूटर पर कुछ छोटे परीक्षण रन चलाकर देखता है कि सबसे तेज़ क्या है।
प्रेडिक्टर (The Predictor): यह एक प्रशिक्षित AI (एक न्यूरल नेटवर्क) का उपयोग करता है जिसने हजारों अन्य कंप्यूटरों को देखा है, ताकि काम शुरू करने से पहले ही सबसे अच्छी योजना का अनुमान लगाया जा सके।

परिणाम: बिना टूटे स्केल अप करना

यह पेपर एक 18 क्वांटम बिट्स (qubits) के सिमुलेशन के साथ इसे प्रदर्शित करता है।

चुनौती: इस सिस्टम के लिए एक पूर्ण मानचित्र के लिए लगभग 512 गीगाबाइट (GB) मेमोरी की आवश्यकता होगी। अधिकांश सिंगल कंप्यूटर चिप्स में केवल 40-50 GB मेमोरी होती है। पुराने तरीकों का उपयोग करके इसे एक चिप पर चलाना असंभव था।
सफलता: उनके नए तरीके का उपयोग करते हुए, उन्होंने सिमुलेशन को सफलतापूर्वक चलाया। उन्हें 512 GB की आवश्यकता नहीं पड़ी। उन्होंने एक ऐसी रणनीति का उपयोग किया जहाँ उन्होंने काम को कई चिप्स के बीच विभाजित किया और मानचित्र के केवल उन छोटे टुकड़ों को लोड किया जिनकी उस सटीक क्षण में आवश्यकता थी।

मुख्य निष्कर्ष

यह पेपर भौतिकी के नियमों को नहीं बदलता या गणित को आसान नहीं बनाता है। यह गणित को ले जाने के तरीके को बदलता है।

यह एक कठिन दीवार (आपके कंप्यूटर की मेमोरी सीमा) को एक लचीले विकल्प में बदल देता है। यह कहने के बजाय कि, "मैं यह नहीं कर सकता क्योंकि यह बहुत बड़ा है," कंप्यूटर अब पूछता है, "इस डेटा की डिलीवरी को व्यवस्थित करने के लिए मुझे क्या करना चाहिए ताकि यह फिट हो सके?"

यह वैज्ञानिकों को पहले की तुलना में बहुत बड़े और अधिक जटिल क्वांटम सिस्टम का सिमुलेशन करने की अनुमति देता है, केवल इसलिए क्योंकि वे डेटा को इधर-उधर ले जाने के बारे में अधिक स्मार्ट हैं, न कि बड़े और बड़े कंप्यूटरों की आवश्यकता के कारण।

तकनीकी सारांश: मेमोरी-स्केलेबल और हार्डवेयर-अनुकूलनीय मैट्रिक्स-फ्री क्वांटम सिमुलेशन

समस्या विवरण
सटीक और निकट-सटीक संख्यात्मक क्वांटम सिमुलेशन में मुख्य कम्प्यूटेशनल बाधा एक बड़े हैमिल्टनियन ऑपरेटर $\hat{H}$ को एक स्टेट वेक्टर $\psi$ पर लागू करना है (अर्थात, $\phi = \hat{H}\psi$ )। मानक कार्यान्वयन में, इसके लिए एक पूर्ण सघन (dense) $D \times D$ हैमिल्टनियन मैट्रिक्स को संग्रहीत करने की आवश्यकता होती है, जहाँ $D$ हिल्बर्ट-स्पेस आयाम है। यह $O(D^2)$ की द्विघातीय मेमोरी लागत (quadratic memory cost) आरोपित करता है, जो सिस्टम के आकार बढ़ने के साथ एकल एक्सीलरेटर (GPUs) की क्षमता से तेजी से बाहर निकल जाती है। जबकि स्टेट वेक्टर स्वयं रैखिक रूप से ( $O(D)$ ) स्केल करता है, सघन मैट्रिक्स का स्पष्ट भौतिक प्रकटीकरण (explicit materialization) एक निश्चित मेमोरी अवरोध पैदा करता है जो बड़े सिस्टम के सिमुलेशन को रोकता है, भले ही ऑपरेटर के गणितीय क्रिया (mathematical action) को प्रत्येक मैट्रिक्स तत्व को संग्रहीत किए बिना परिभाषित किया जा सके।

कार्यप्रणाली
लेखक एक मेमोरी-स्केलेबल, हार्डवेयर-अनुकूलनीय, मैट्रिक्स-फ्री फ्रेमवर्क का प्रस्ताव करते हैं जो हैमिल्टनियन की गणितीय परिभाषा को उसके भौतिक भंडारण से अलग करता है। यह कार्यप्रणाली तीन स्तंभों पर आधारित है:

ब्लॉक-प्रोसीजरल प्रतिनिधित्व (Block-Procedural Representation):
हैमिल्टनियन को $N_{blk}$ $N_{b l k}$ कम्प्यूटेशनल ब्लॉक्स में विभाजित किया गया है। वैश्विक मैट्रिक्स को कभी भी असेंबल नहीं किया जाता है। इसके बजाय, इसे एक इंटरफ़ेस द्वारा दर्शाया जाता है जो मांग पर विशिष्ट ब्लॉक्स $\hat{H}[n,m]$ $\hat{H} [n, m]$ को उत्पन्न, लोड, कैश या लागू कर सकता है। इंटरफ़ेस कई डेटा स्रोतों का समर्थन करता है:
- सीडेड जनरेशन (Seeded Generation): सीड्स (seeds) से उत्पन्न होने योग्य पुनरुत्पादित रैंडम ब्लॉक्स।
- एनालिटिक जनरेशन (Analytic Generation): जब आवश्यक हो तब सूत्रों के माध्यम से गणना किए गए ब्लॉक्स।
- एक्सटर्नल स्टोरेज (External Storage): होस्ट मेमोरी, डेटाबेस या फाइलों से प्राप्त ब्लॉक्स।
- फ्यूज्ड एक्शन (Fused Action): पूरे डेंस ब्लॉक ऐरे को बनाए बिना सीधे उत्पाद $\hat{H}[n,m]\psi[m]$ की गणना।
- कैशिंग (Caching): पुनरुत्पादन से बचने के लिए GPU पर ब्लॉक्स का पूर्ण या आंशिक कैशिंग।

मैट्रिक्स-वेक्टर उत्पाद को आउटपुट ब्लॉक्स के लूप के रूप में कंप्यूट किया जाता है: $\phi[n] = \sum_m \hat{H}[n,m]\psi[m]$ , जो मेमोरी में पूर्ण $D \times D$ मैट्रिक्स को रखे बिना योगदान को संचित करता है।

हार्डवेयर-अनुकूलनीय निष्पादन योजना (Hardware-Adaptive Execution Planning):
यह पहचानते हुए कि इष्टतम रणनीति विशिष्ट हार्डवेयर बाधाओं (GPU मेमोरी, बैंडविड्थ, कंप्यूट थ्रूपुट) और वर्कलोड विशेषताओं पर निर्भर करती है, यह फ्रेमवर्क एक अनुकूलन योग्य प्लानर (adaptive planner) का उपयोग करता है। यह प्लानर ब्लॉक आकार, स्टोरेज मोड, कैश बजट और पैरेललाइजेशन रणनीति का चयन करता है। यह तीन अलग-अलग ऑप्टिमाइज़ेशन लेयर्स का उपयोग करता है:
- एनालिटिक प्लानर (Analytic Planner): मेमोरी बाधाओं और अरिथमेटिक इंटेंसिटी पर आधारित एक कॉस्ट-मॉडल जो अव्यवहार्य योजनाओं को फ़िल्टर करता है।
- मेज़र्ड ऑटोट्यूनर (Measured Autotuner): एक माइक्रो-बेंचमार्किंग चरण जो वास्तविक हार्डवेयर पर उम्मीदवार योजनाओं को चलाकर वास्तविक रनटाइम को मापता है, जिसमें कर्नेल लॉन्च ओवरहेड, मेमोरी बैंडविड्थ और डेटा मूवमेंट लागत शामिल है।
- न्यूरल सरोगेट (Neural Surrogate): संचित बेंचमार्क डेटा पर प्रशिक्षित एक सीखा हुआ मॉडल जो नए समस्या/हार्डवेयर कॉन्फ़िगरेशन के लिए रनटाइम की भविष्यवाणी करता है, जिससे भविष्य के रन के लिए सर्च स्पेस कम हो जाता है।
पैरेललाइजेशन रणनीतियाँ (Parallelization Strategies):
फ्रेमवर्क पैरामीटर-पैरेललिज्म (GPU समूहों में कपलिंग स्ट्रेंथ जैसे स्वतंत्र कार्यों को वितरित करना) और रो-पैरेललिज्म (एक समूह के भीतर GPUs में आउटपुट ब्लॉक पंक्तियों को विभाजित करना) का समर्थन करता है। उन घने मैट्रिसेस के लिए जो एक एकल GPU में फिट नहीं होते हैं, रो-डिस्ट्रीब्यूटेड फुल कैशिंग का उपयोग करके मैट्रिक्स को एक GPU समूह में संग्रहीत किया जा सकता है, जिससे प्रत्येक GPU एक निरंतर रो स्लाइस रखता है, जो बड़े GEMM-जैसे कर्नेल सक्षम बनाता है।

प्रमुख परिणाम
पेपर आठ NVIDIA L40S GPUs के एक क्लस्टर पर एक 18-क्यूबिट सिस्टम (2 सिस्टम क्यूबिट्स, 16 बाथ क्यूबिट्स, $D=2^{18} \approx 262,144$ ) के रियल-टाइम प्रोपेगेशन सिमुलेशन का उपयोग करके फ्रेमवर्क को मान्य करता है।

मेमोरी व्यवहार्यता (Memory Feasibility): इस सिस्टम के लिए स्पष्ट डेंस हैमिल्टनियन को लगभग 512 GiB (सिंगल प्रिसिजन) से 1 TiB (डबल प्रिसिजन) की आवश्यकता होती है, जो प्रति GPU उपलब्ध ~44 GiB से बहुत अधिक है। फ्रेमवर्क ने मैट्रिक्स पंक्तियों को वितरित करके और एक हाइब्रिड फुल-कैश रणनीति का उपयोग करके इस सिमुलेशन को सफलतापूर्वक निष्पादित किया, जिसमें प्रति GPU केवल ~32 GiB ऑपरेटर स्टोरेज की आवश्यकता हुई।
ऑटोट्यूनिंग प्रभावकारिता (Autotuning Efficacy): मेज़र्ड ऑटोट्यूनर ने एक "फुल-कैश हाइब्रिड" प्लान चुना जिसमें रो-ग्रुप साइज 2 था। परिणामों ने दिखाया कि लगभग समान सिंगल-कर्नेल टाइमिंग वाले प्लान भी "टास्क वेव्स" की संख्या के कारण कुल जॉब रनटाइम में काफी भिन्न हो सकते हैं। ऑटोट्यूनर ने उन योजनाओं को प्राथमिकता देने में सफलता प्राप्त की जिन्होंने समान प्रति-एप्लीकेशन गति के बावजूद, अधिक तरंगों (waves) की आवश्यकता वाली योजनाओं के बजाय कुल शेड्यूल्ड कार्य (5 वेव्स) को कम करने वाले प्लान को प्राथमिकता दी।
स्केलिंग (Scaling): पूर्ण परिणाम प्राप्त करने के लिए एंड-टू-एंड रनटाइम को सिस्टम साइज के माध्यम से मापा गया, जो दिखाता है कि जबकि गणना व्यवहार्य हो जाती है, रनटाइम अभी भी हिल्बर्ट-स्पेस आकार के साथ तेजी से स्केल करता है, जो डेंस ऑपरेशन्स के अंतर्निहित $O(D^2)$ अरिथमेटिक कॉस्ट के अनुरूप है।

महत्व और दावे
पेपर दावा करता है कि यह फ्रेमवर्क बड़े पैमाने के क्वांटम सिमुलेशन की सीमा को एक निश्चित मेमोरी अवरोध से बदलकर एक ट्यूनेबल बैलेंस (ब्लॉक जनरेशन, डेटा मूवमेंट, पैरेलल शेड्यूलिंग के बीच संतुलन) में बदल देता है।

सामान्य प्रयोज्यता (General Applicability): हालांकि इसे क्वांटम सिमुलेशन के इर्द-गird तैयार किया गया है, लेखक इस बात पर जोर देते हैं कि यह विधि एक सामान्य प्रिमिटिव को संबोधित करती है: बड़े लीनियर ऑपरेटर्स को वेक्टर्स पर लागू करना। यह किसी भी ऐसी स्थिति में लागू है जहाँ मैट्रिक्स को स्पष्ट रूप से संग्रहीत करना बहुत बड़ा है लेकिन इसकी क्रिया को प्रक्रियात्मक रूप से या ब्लॉक्स के माध्यम से मूल्यांकित किया जा सकता है (जैसे, फिल्टर्स, प्रोजेक्शन, सुपर-ऑपरेटर्स)।
कोई गणितीय सन्निकटन नहीं (No Mathematical Approximation): यह विधि हैमिल्टनियन का सन्निकटन (approximation) नहीं करती है; यह एक गणितीय रूप से सटीक डेंस ऑपरेटर बना रहता है। "मैट्रिक्स-फ्री" प्रकृति विशुद्ध रूप से स्टोरेज और शेड्यूलिंग रणनीति है।
हार्डवेयर अनुकूलन क्षमता (Hardware Adaptivity): इसका महत्व यह है कि यह स्वचालित रूप से अनुकूलतम निष्पादन रणनीति (कैशिंग बनाम प्रक्रियात्मक जनरेशन, रो वितरण बनाम सिंगल-GPU) का चयन कर सकता है, जो विशिष्ट हार्डवेयर वातावरण के आधार पर, यह सुनिश्चित करता है कि सिमुलेशन उन मेमोरी बाधाओं से बाधित न हों जिन्हें अलग डेटा लेआउट द्वारा बायपास किया जा सकता है।
सामुदायिक वर्कफ़्लो (Community Workflow): लेखक सुझाव देते हैं कि ऑटोट्यूनर द्वारा उत्पन्न बेंचमार्क डेटा एक सामुदायिक संसाधन बन सकता है, जिससे न्यूरल सरोगेट्स को मालिकाना मैट्रिक्स प्रविष्टियों को प्रकट किए बिना विभिन्न मशीनों और समस्या परिवारों के लिए प्रदर्शन भविष्यवाणियों को बेहतर बनाने में मदद मिल सकती है।

निष्कर्षतः, यह फ्रेमवर्क उन हार्डवेयर पर सटीक क्वांटम सिमुलेशन को सक्षम बनाता है जहाँ स्पष्ट हैमिल्टनियन स्टोरेज असंभव है, जिससे समस्या को एक कठिन स्टोरेज बाधा से डेटा मूवमेंट और शेड्यूलिंग के एक प्रबंधनीय अनुकूलन में बदल दिया जाता है।

बड़ी समस्या: "बहुत बड़ा, जो फिट न हो सके" वाला बॉक्स

समाधान: "जरूरत पड़ने पर डिलीवरी" सेवा

स्मार्ट मैनेजर: "अनुकूलनशील योजनाकार" (The Adaptive Planner)

परिणाम: बिना टूटे स्केल अप करना

मुख्य निष्कर्ष

इसी तरह के और पेपर