Residual-based Chebyshev filtered subspace iteration for sparse Hermitian eigenvalue problems tolerant to inexact matrix-vector products

यहाँ शोध पत्र "Residual-based Chebyshev filtered subspace iteration for Hermitian eigenvalue problems tolerant to inexact matrix-vector products" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बड़े पैमाने की हर्मिटियन आइजनवैल्यू (eigenvalue) समस्याएं गणनात्मक भौतिकी (computational physics) के केंद्र में हैं, विशेष रूप से सामग्रियों के मॉडलिंग के लिए कोन-शैम डेंसिटी फंक्शनल थ्योरी (Kohn-Sham DFT) में। ये समस्याएं अक्सर एक सामान्यीकृत आइजनवैल्यू समस्या ($Ax = \lambda Bx$) के रूप में होती हैं, जहाँ $A$ हैमिल्टोनियन (Hamiltonian) है और $B$ एक धनात्मक-निश्चित ओवरलैप मैट्रिक्स है जो गैर-ऑर्थोगोनल आधार सेटों (जैसे, परिमित-तत्व विविक्तिकरण/finite-element discretizations) से उत्पन्न होता है।

इस कार्य में संबोधित मुख्य चुनौतियाँ हैं:

• गणना लागत (Computational Cost): इन समस्याओं को हल करने के लिए बाहरी गैर-रेखीय पुनरावृत्तियों (Self-Consistent Field procedures) में विकसित होने वाले चरम आइजनपेयर्स (extremal eigenpairs) की बार-बार गणना करने की आवश्यकता होती है।
• अशुद्ध व्युत्क्रम (Inexact Inverses): सामान्यीकृत समस्याओं के लिए, $B^{-1}$ को लागू करना अक्सर अत्यधिक महंगा होता है। मानक दृष्टिकोण सटीक गुणनखंड (exact factorizations) या पुनरावृत्ति सॉल्वर (iterative solvers) की मांग करते हैं, जो बाधा बन जाते हैं। सन्निकटन (जैसे, डायगोनल लम्पड-मास मैट्रिसेस) का उपयोग किया जाता है लेकिन वे मानक एल्गोरिदम के अभिसरण (convergence) को कम कर देते हैं।
• निम्न-परिशुद्धता हार्डवेयर (Low-Precision Hardware): आधुनिक हार्डवेयर (NVIDIA Blackwell जैसे GPUs, Intel XMX) थ्रूपुट के लिए निम्न-परिशुद्धता अंकगणित (FP32, TF32, BF16) को प्राथमिकता देता है। हालाँकि, मानक पुनरावृत्ति आइजनसॉल्वर (जैसे, Chebyshev Filtered Subspace Iteration, ChFSI) निम्न-परिशुद्धता मैट्रिक्स-वेक्टर उत्पादों और अनुमानित व्युत्क्रमों द्वारा पेश किए गए शोर (noise) के प्रति संवेदनशील होते हैं, जिससे अक्सर स्थिरता (stagnation) की स्थिति उत्पन्न होती है जहाँ अवशेष त्रुटि (residual error) मशीन परिशुद्धता तक पहुँचने से पहले ही रुक जाती है।

2. कार्यप्रणाली: R-ChFSI

लेखक R-ChFSI (Residual-based Chebyshev Filtered Subspace Iteration) प्रस्तावित करते हैं, जो मानक ChFSI एल्गोरिदम का एक पुनर्गठन है।

मूल अवधारणा (Core Concept)

मानक ChFSI आइजनवेक्टर अनुमानों ($X$) पर सीधे चेबिशेव बहुपदों (Chebyshev polynomials) को लागू करके एक फ़िल्टर्ड उपस्थान (subspace) का निर्माण करता है। यदि मैट्रिक्स-वेक्टर उत्पाद अशुद्ध है (निम्न परिशुद्धता या अनुमानित $B^{-1}$ के कारण), तो त्रुटि आइजनवेक्टरों पर जमा हो जाती है, जिनका नॉर्म $O(1)$ होता है, जिससे त्रुटि बनी रहती है।

R-ChFSI पुनरावृत्ति संबंध (recurrence relation) को आइजनवेक्टर अनुमानों के बजाय भारित अवशेषों (weighted residuals) ($Z$) पर संचालित करने के लिए स्थानांतरित करता है।

• अवशेष परिभाषा (Residual Definition): $Z_k^{(i)} = D(C_k(H)X^{(i)} - X^{(i)}C_k(\Lambda^{(i)}))$, जहाँ $D$, $B$ का एक अनुमानित व्युत्क्रम है, और $\Lambda^{(i)}$ वर्तमान रिट्ज़ मान (Ritz values) हैं।
• मुख्य अंतर्दृष्टि (Key Insight): जैसे-जैसे एल्गोरिदम अभिसरित होता है, अवशेष $R^{(i)} = HX^{(i)} - X^{(i)}\Lambda^{(i)}$ शून्य की ओर बढ़ता है। अवशेषों के संदर्भ में पुनरावृत्ति को तैयार करके, निम्न-परिशुद्धता अंकगणित द्वारा पेश किया गया शोर वर्तमान अवशेष नॉर्म के समानुपाती हो जाता है। फलस्वरूप, जैसे-जैसे समाधान अभिसरित होता है, शोर स्वाभाविक रूप से समाप्त हो जाता है, जिससे स्थिरता (stagnation) को रोका जा सकता है।

एल्गोरिदम के चरण (Algorithmic Steps)

1. आरंभीकरण (Initialization): एक प्रारंभिक अनुमान $X^{(0)}$ और आइजनवैल्यू अनुमान $\Lambda^{(0)}$ से शुरू करें।
2. अवशेष पुनरावृत्ति (Residual Recurrence): $Y_{k+1} = 2\sigma H Y_k - \dots$ को अपडेट करने के बजाय, R-ChFSI वर्तमान आइजनवैल्यू अनुमानों के पदों को शामिल करते हुए एक संशोधित तीन-पद पुनरावृत्ति का उपयोग करके अवशेष वेक्टर्स $Z_k$ को अपडेट करता है।
3. उपस्थान प्राप्ति (Subspace Recovery): फ़िल्टर्ड उपस्थान को $Y_p^{(i)} = D^{-1}Z_p^{(i)} + X^{(i)}\Lambda_p^{(i)}$ के माध्यम से प्राप्त किया जाता है।
4. रेले-रिट्ज़ (Rayleigh-Ritz): $X$ और $\Lambda$ को अपडेट करने के लिए मानक प्रोजेक्शन और विकीर्णन (diagonalization) करें।

3. प्रमुख योगदान (Key Contributions)

• सैद्धांतिक अभिसरण गारंटी (Theoretical Convergence Guarantees): लेखक एक कठोर गणितीय विश्लेषण प्रदान करते हैं जो सिद्ध करता है कि R-ChFSI अभिसरित होता है, भले ही:
  • मैट्रिक्स-वेक्टर उत्पाद अशुद्ध ऑपरेटरों (जैसे, $D^{-1} \neq B^{-1}$) के साथ संगणना किए गए हों।
  • निम्न-परिशुद्धता अंकगणित का उपयोग किया गया हो।
  • यह दिखाया गया है कि अभिसरण की स्थिति तब संतुष्ट होती है जब फ़िल्टरिंग त्रुटि अवशेष के साथ घटती है, जो कि अवशेष-आधारित सूत्रण की एक अनूठी विशेषता है।
• अनुमानित व्युत्क्रमों के प्रति मजबूती (Robustness to Approximate Inverses): यह विधि $B^{-1}$ के लिए कम्प्यूटेशनल रूप से सस्ते अनुमानों (जैसे, डायगोनल मैट्रिसेस) का उपयोग करने की अनुमति देती है, बिना मानक ChFSI में देखी जाने वाली सटीकता की हानि के।
• निम्न-परिशुद्धता अनुकूलता (Low-Precision Compatibility): एल्गोरिदम को आधुनिक विषम कंप्यूटिंग आर्किटेक्चर का लाभ उठाने के लिए डिज़ाइन किया गया है। यह डोमिनेंट फ़िल्टरिंग स्टेप्स (स्पार्स मैट्रिक्स-वेक्टर उत्पाद) के लिए TF32 (TensorFloat32) और BF16 (Bfloat16) का उपयोग करने में सक्षम बनाता है, जबकि अंतिम समाधान में डबल-प्रिसिजन सटीकता बनाए रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने घने रैंडम मैट्रिसेस पर नियंत्रित प्रयोगों और Aurora सुपरकंप्यूटिंग सिस्टम (Intel Data Center GPU Max Series) पर बड़े पैमाने के बेंचमार्क के माध्यम से R-ChFSI को सत्यापित किया।

नियंत्रित प्रयोग (घने मैट्रिसेस)

• स्थिरता बनाम अभिसरण (Stagnation vs. Convergence): अशुद्ध ऑपरेटरों (शोर स्तर $\epsilon$) के साथ मानक ChFSI में, अवशेष $O(\epsilon)$ पर स्थिर हो जाता है। R-ChFSI शोर के स्तर की परवाह किए बिना मशीन परिशुद्धता ($10^{-14}$) तक अभिसरित होना जारी रखता है।
• सामान्यीकृत समस्याएँ (Generalized Problems): जब एक अनुमानित व्युत्क्रम ($D^{-1}$) के साथ त्रुटि $\zeta$ का उपयोग किया जाता है, तो मानक ChFSI $O(\zeta)$ पर स्थिर हो जाता है। R-ChFSF ने बड़े अनुमानित त्रुटियों ($\zeta = 10^{-2}$) के लिए भी मशीन परिशुद्धता प्राप्त की।

बड़े पैमाने की DFT बेंचमार्क

• प्रणालियाँ: 85 मिलियन ग्रिड पॉइंट्स और 13,500 आइजनपेयर्स के साथ परिमित-तत्व विविक्तकृत (finite-element discretized) DFT समस्याओं पर परीक्षण किया गया।
• सटीकता: R-ChFSI ने $B^{-1}$ के लिए डायगोनल अनुमानों का उपयोग करते हुए मानक ChFSI की तुलना में कई गुना कम अवशेष नॉर्म प्राप्त किया। इसने $10^{-8}$ के लक्ष्य टॉलरेंस को सफलतापूर्वक पूरा किया।
• प्रदर्शन गति (Performance Speedups):
  • फ़िल्टरिंग स्टेप: TF32 अंकगणित और BF16 संचार (TF32B वेरिएंट) का उपयोग करके 2.7× तक की गति वृद्धि।
  • पूर्ण आइजनसॉल्वर: पूर्ण समाधान के लिए 2.1× तक की गति वृद्धि।
  • जटिल बनाम वास्तविक (Complex vs. Real): जटिल हर्मिटियन समस्याओं (k-पॉइंट सैंपलिंग) के लिए गति वृद्धि थोड़ी अधिक थी क्योंकि उच्च कम्प्यूटेशनल तीव्रता वाले जटिल अंकगणित को निम्न-परिशुद्धता डेटा मूवमेंट से अधिक लाभ मिलता है।

5. महत्व (Significance)

यह कार्य बड़े पैमाने की वैज्ञानिक गणना में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है:

1. निम्न-परिशुद्धता HPC को सक्षम बनाना: यह पारंपरिक भौतिकी सिमुलेशन के लिए सटीकता से समझौता किए बिना आधुनिक AI-केंद्रित हार्डवेयर (टेन्सर कोर वाले GPUs) के उच्च थ्रूपुट का उपयोग करने के लिए एक मजबूत एल्गोरिद्मिक ढांचा प्रदान करता है।
2. सामान्यीकृत समस्याओं के लिए स्केलेबिलिटी: ओवरलैप मैट्रिक्स $B$ के सटीक गुणनखंडों पर निर्भरता को हटाकर, R-ChFSI बड़े पैमाने की सामान्यीकृत आइजनवैल्यू समस्याओं (जो परिमित-तत्व DFT में सामान्य हैं) को काफी अधिक व्यवहार्य बनाता है।
3. एल्गोरिद्मिक लचीलापन (Algorithmic Resilience): अवशेष-आधारित पुनर्गठन एक नए प्रतिमान (paradigm) की पेशकश करता है, जो यह दर्शाता है कि अवस्था वेक्टर्स (state vectors) के बजाय अवशेषों पर कार्य करने से संख्यात्मक शोर की उपस्थिति में स्थिरता में मौलिक सुधार हो सकता है।

संक्षेप में, R-ChFSI उच्च-सटीकता वाली वैज्ञानिक गणना की आवश्यकता और निम्न-परिशुद्धता, उच्च-थ्रूपुट हार्डवेयर के उभरते रुझान के बीच के अंतर को पाटता है, जो बड़े पैमाने के सामग्री मॉडलिंग के लिए पहले से मौजूद विधियों की तुलना में तेज़ और अधिक मजबूत समाधान प्रदान करता है।