तकनीकी सारांश: मिश्रित परिशुद्धता मैट्रिक्स गणनाओं में अनिश्चितता का संतुलन

समस्या विवरण

जैसे-जैसे कंप्यूटिंग शक्ति "एक्सैस्केल युग" (exascale era) में प्रवेश कर रही है, उच्च-प्रदर्शन आर्किटेक्चर तेजी से कई परिशुद्धताओं और संख्या प्रारूपों में अंकगणित का समर्थन कर रहे हैं। हालाँकि, एक महत्वपूर्ण चुनौती बनी हुई है: सटीकता से समझौता किए बिना इन क्षमताओं का सुरक्षित रूप से लाभ उठाने के लिए एल्गोरिदम डिजाइन करना।

कंप्यूटेशनल विज्ञान में, मैट्रिक्स गणनाएँ कई त्रुटियों के कारण स्वाभाविक रूप से अनिश्चित होती हैं, जिनमें मॉडलिंग त्रुटि, विविक्तता त्रुटि (discretization error), रैखिकीकरण त्रुटि (linearization error), एल्गोरिदम सन्निकटन त्रुटि और परिमित-परिशुद्धता राउंडिंग त्रुटि शामिल हैं। ऐतिहासिक रूप से, इन त्रुटियों का अलग-अलग अध्ययन किया गया है, जिसमें अक्सर यह मानकर राउंडिंग त्रुटि को अनदेखा कर दिया जाता था कि डबल प्रिसिजन (64-bit) पर्याप्त है।

यह शोध पत्र जिस मुख्य समस्या को संबोधित करता है, वह यह है कि विविध बिट-चौड़ाई वाले प्रारूपों (जैसे, FP16, BF16, FP8) वाले आधुनिक हार्डवेयर पर, राउंडिंग त्रुटि और अन्य अनिश्चितता के स्रोतों के साथ इसके अंतर्संबंध को अनदेखा करना न केवल खतरनाक है बल्कि प्रदर्शन का एक छूटा हुआ अवसर भी है। शोध पत्र का तर्क है कि जब अन्य महत्वपूर्ण अनिश्चितता के स्रोत (जैसे, लो-रैंक सन्निकटन, विविक्तता) पहले से ही मौजूद हों, तो विशिष्ट गणनात्मक चरणों में परिशुद्धता को सुरक्षित रूप से कम किया जा सकता है। लक्ष्य इन त्रुटियों को "संतुलित" करना है—ऐसी परिशुद्धता चुनना जिससे राउंडिंग त्रुटि कुल त्रुटि बजट पर हावी न हो, जिससे सटीकता में उल्लेखनीय कमी के बिना प्रदर्शन में सुधार हो सके।

कार्यप्रणाली

यह शोध पत्र एक समग्र विश्लेषणात्मक दृष्टिकोण अपनाता है, जो परिमित परिशुद्धता त्रुटि विश्लेषण को अनिश्चितता के अन्य स्रोतों से प्राप्त मौजूदा त्रुटि सीमाओं के साथ एकीकृत करता है। राउंडिंग त्रुटि को एक अलग इकाई के रूप में मानने के बजाय, कार्यप्रणाली में शामिल है:

1. मिश्रित परिशुद्धता सीमाएं व्युत्पन्न करना: एल्गोरिदम सन्निकटन (जैसे, ट्रंकेशन, रैंडमाइजेशन) से होने वाली त्रुटि और निम्न परिशुद्धता अंकगणित द्वारा पेश की गई राउंडिंग त्रुटि को मिलाने वाली सैद्धांतिक सीमाएं स्थापित करना।
2. त्रुटि संतुलन मानदंड: ऐसे स्थितियाँ विकसित करना जहाँ परिमित परिशुद्धता त्रुटि, प्रमुख सन्निकटन त्रुटि के सापेक्ष सीमित हो। यह उस न्यूनतम संभव परिशुद्धता ($u$) के चयन की अनुमति देता है जो शर्त $u \lesssim \text{approximation error}$ को संतुष्ट करती है।
3. अनुभवजन्य सत्यापन: देखे गए सैद्धांतिक सीमाओं को सत्यापित करने और स्टोरेज/प्रदर्शन लाभों को प्रदर्शित करने के लिए SuiteSparse संग्रह के मैट्रिसेस का उपयोग करके MATLAB 2025a पर संख्यात्मक प्रयोग करना।

यह शोध पत्र "स्व-सुधारने वाले" (self-correcting) एल्गोरिदम के एक आधारभूत उदाहरण के रूप में मिश्रित परिशुद्धता इटरेटिव रिफाइनमेंट (IR) के इतिहास की समीक्षा करता है, जहाँ मिश्रित परिशुद्धता स्वाभाविक है, और फिर इस दर्शन को तीन विशिष्ट डोमेन में विस्तारित करता है जहाँ अन्य त्रुटियाँ प्रभावी हैं।

मुख्य योगदान और उदाहरण

शोध पत्र "संतुलन" दृष्टिकोण को प्रदर्शित करने वाले तीन विशिष्ट उदाहरण प्रस्तुत करता है:

1. मिश्रित परिशुद्धता स्पार्स एप्रोक्सिमेट इनवर्स (SPAI) प्रीकंडिशनर्स

• संदर्भ: SPAI प्रीकंडिशनर्स का उपयोग क्रिलोव सबस्पेस विधियों (Krylov subspace methods) में किया जाता है। इनका निर्माण गणनात्मक रूप से महंगा होता है।
• विधि: लेखक स्पार्स एप्रोक्सिमेट इनवर्स $M \approx A^{-1}$ के निर्माण का विश्लेषण करते हैं। वे एक ऐसी स्थिति व्युत्पन्न करते हैं जहाँ संपूर्ण निर्माण को एक निम्न परिशुद्धता $u_s$ में किया जा सकता है, बशर्ते कि $u_s \cdot \text{cond}_2(A) \lesssim \tau$ हो, जहाँ $\tau$ अवशेष (residual) के लिए स्टॉपिंग टॉलरेंस है।
• परिणाम: steam1 मैट्रिक्स पर प्रयोगों से पता चलता है कि प्रीकंडिशनर निर्माण के लिए सिंगल प्रिसिजन का उपयोग करना (एक डबल-प्रिसिजन GMRES-IR ढांचे के भीतर) LU प्रीकंडिशनिंग का एक व्यवहार्य विकल्प प्रदान करता है। हालांकि इसमें थोड़े अधिक GMRES इटरेशन की आवश्यकता हो सकती है, लेकिन परिणामी प्रीकंडिशनर स्टोर करने और लागू करने में काफी सस्ता है (उदाहरण के लिए, LU के 14,081 के मुकाबले 1,296 नॉन-ज़ीरोज़), जो इटरेशन काउंट और एप्लीकेशन कॉस्ट के बीच ट्रेड-ऑफ को प्रदर्शित करता है।

2. मिश्रित परिशुद्धता रैंडमाइज्ड निस्ट्रॉम (Nyström) सन्निकटन

• संदर्भ: यह विधि एक सममित पॉजिटिव सेमीडेफिनिट मैट्रिक्स $A$ को रैंक-$k$ निस्ट्रॉम सन्निकटन का उपयोग करके अनुमानित करती है। मुख्य लागत मैट्रिक्स-मैट्रिक्स उत्पाद $Y = A\Omega$ है।
• विधि: शोध पत्र कुल त्रुटि के लिए एक सीमा व्युत्पन्न करता है जो सटीक सन्निकटन त्रुटि और परिमित परिशुद्धता त्रुटि के योग के रूप में है। एक ह्यूरिस्टिक प्रस्तावित किया गया है: परिमित परिशुद्धता त्रुटि तब हावी नहीं होगी यदि $A$ तक पहुँचने के लिए उपयोग की जाने वाली परिशुद्धता $u_p$ इस शर्त को पूरा करती है: $u_p \leq n^{-1/2} (\lambda_k / \lambda_1)$, जहाँ $\lambda_k$ और $\lambda_1$ क्रमशः $k$-वें और सबसे बड़े आइजनवैल्यू (eigenvalues) हैं।
• परिणाम: bcsstm07 मैट्रिक्स पर प्रयोग पुष्टि करते हैं कि उन लक्षित रैंकों $k$ के लिए जहाँ आइजनवैल्यू डिके (decay) धीमा है (उच्च सन्निकटन त्रुटि), सटीक अंकगणित की तुलना में कुल त्रुटि को कम किए बिना आधे परिशुद्धता (half precision) का उपयोग सुरक्षित रूप से किया जा सकता है। सिंगल प्रिसिजन को व्यापक रेंज में सुरक्षित दिखाया गया है।

की 3. मिश्रित परिशुद्धता पदानुक्रमित मैट्रिक्स (HODLR) सन्निकटन

• संदर्भ: HODLR मैट्रिसेस ऑफ-डायगोनल ब्लॉक्स को लो-रैंक मैट्रिसेस के रूप में अनुमानित करके जटिलता को $O(n^2)$ से घटाकर $O(pn \log n)$ कर देते हैं।
• विधि: चूंकि ऑफ-डायगोनल ब्लॉक्स को पहले से ही एक सापेक्ष त्रुटि $\epsilon$ के साथ अनुमानित किया गया है, इसलिए शोध पत्र इन ब्लॉक्स को निम्न परिशुद्धता $u_k$ में स्टोर करने का विश्लेषण करता है। एक सीमा व्युत्पन्न की गई है जो दिखाती है कि यदि $u_k \leq \epsilon / (2^{k/2}\xi_k)$ है, तो वैश्विक त्रुटि सन्निकटन त्रुटि $\epsilon$ द्वारा नियंत्रित रहेगी, न कि राउंडिंग त्रुटि द्वारा।
• परिणाम: एक एडेप्टिव प्रिसिजन दृष्टिकोण विकसित किया गया है। विभिन्न SuiteSparse मैट्रिसेस पर प्रयोग दर्शाते हैं कि वैश्विक त्रुटि को लक्षित $\epsilon$ के भीतर रखते हुए, ऑफ-डायगोनल ब्लॉक्स को निम्न परिशुद्धता (जैसे, FP16 या FP8) में स्टोर करके महत्वपूर्ण स्टोरेज बचत (2x या अधिक) प्राप्त की जा सकती है। शोध पत्र बाद के ऑपरेशन्स (जैसे, मैट्रिक्स-वेक्टर उत्पाद या LU गुणनखंडन) में वर्किंग प्रिसिजन सेट करने के लिए दिशानिर्देश भी प्रदान करता है ताकि बैकवर्ड एरर प्रतिनिधित्व त्रुटि से अधिक न हो।

परिणाम

संख्यात्मक प्रयोग लगातार प्रदर्शित करते हैं कि:

• प्रदर्शन/स्टोरेज लाभ: विशिष्ट घटकों (प्रीकंडिशनर निर्माण, रैंडमाइज्ड विधियों में मैट्रिक्स एक्सेस, पदानुक्रमित मैट्रिसेस में ऑफ-डायगोनल ब्लॉक्स) के लिए निम्न परिशुद्धता का उपयोग अंतिम समाधान की सटीकता को कम किए बिना किया जा सकता है।
• त्रुटि प्रभुत्व (Error Dominance): सभी मामलों में, जब व्युत्पन्न संतुलन शर्तें पूरी होती हैं, तो परिमित परिशुद्धता त्रुटि स्वाभाविक सन्निकटन त्रुटि (विविक्तता, ट्रंकेशन, या लो-रैंक सन्निकटन) की तुलना में गौण (sub-dominant) रहती है।
• व्यवहार्यता: मिश्रित परिशुद्धता न केवल एक सैद्धांतिक संभावना है, बल्कि आधुनिक एक्सैस्कैल हार्डवेयर पर मेमोरी फुटप्रिंट को कम करने और थ्रूपुट बढ़ाने के लिए एक व्यावहारिक रणनीति भी है।

महत्व और भविष्य की दृष्टि

शोध पत्र का दावा है कि इस कार्य का महत्व त्रुटि विश्लेषण के प्रति प्रतिमान (paradigm) को बदलने में निहित है। राउंडिंग त्रुटि को एक ऐसी समस्या के रूप में देखने के बजाय जिसे उच्चतम संभव परिशुद्धता का उपयोग करके कम किया जाना चाहिए, इसे अन्य अपरिहार्य त्रुटियों के विरुद्ध संतुलित किए जाने वाले एक संसाधन के रूप में देखा जाना चाहिए।

लेखक इस बात पर जोर देते हैं कि जैसे-जैसे हार्डवेयर अधिक विषम (heterogeneous) होता जा रहा है (GPU, विशेष त्वरक और गैर-IEEE प्रारूपों को शामिल करते हुए), एल्गोरिदम डिजाइन को "संपूर्ण कंप्यूटेशनल विज्ञान प्रक्रिया" पर विचार करने के लिए विकसित होना चाहिए। शोध पत्र निष्कर्ष निकालता है कि यह संतुलन कार्य भविष्य के प्रतिमानों, जिनमें अनुमानित हार्डवेयर, क्वांटम कंप्यूटिंग और न्यूरोमॉर्फिक कंप्यूटिंग शामिल हैं, के लिए अत्यंत महत्वपूर्ण है। यह कार्य शोधकर्ताओं के लिए एक आह्वान के रूप में कार्य करता है कि वे अपने स्वयं के अनुप्रयोगों में विशिष्ट त्रुटि स्रोतों का विश्लेषण करें ताकि मिश्रित परिशुद्धता के सुरक्षित अवसरों की पहचान की जा सके।

यह पांडुलिपि निकोलस जे. हाईम (Nicholas J. Higham) को समर्पित है, जो मिश्रित परिशुद्धता एल्गोरिदम पर उनके मौलिक प्रभाव को स्वीकार करती है।