Analysis of Floating-Point Matrix Multiplication Computed via Integer Arithmetic

यहाँ शोध पत्र "Analysis of Floating-Point Matrix Multiplication Computed via Integer Arithmetic" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक एक्सास्केल (exascale) सुपरकंप्यूटर तेजी से उन हार्डवेयर एक्सेलेरेटर्स (जैसे, NVIDIA Tensor Cores, AMD Matrix Cores) पर निर्भर हो रहे हैं जो लो-प्रिसिजन (low-precision) अंकगणित (INT8, FP16, BF16) और मशीन लर्निंग वर्कलोड के लिए अनुकूलित हैं। जबकि ये इकाइयाँ मानक binary64 (डबल प्रिसिजन) की तुलना में कई गुना अधिक थ्रूपुट प्रदान करती हैं, उनमें पारंपरिक वैज्ञानिक सिमुलेशन के लिए आवश्यक सटीकता (precision) का अभाव होता है।

मुख्य चुनौती यह है कि ऐसे हार्डवेयर पर उच्च-सटीक (binary64) मैट्रिक्स गुणन ($AB$) को कुशलतापूर्वक कैसे किया जाए जो मुख्य रूप से लो-प्रिसिजन पूर्णांक (integer) या फ्लोटिंग-पॉइंट ऑपरेशंस का समर्थन करता है। मौजूदा दृष्टिकोण, जैसे कि ओज़ाकी स्कीम (Ozaki scheme), फ्लोटिंग-पॉइंट मैट्रिसेस को पूर्णांक स्लाइस (integer slices) में विभाजित करके, सटीक पूर्णांक उत्पादों की गणना करके, और परिणामों को फ्लोटिंग-पॉइंट अंकगणित में संचित (accumulate) करके इसे हल करने का प्रयास करते हैं। हालाँकि, पिछले विश्लेषणों में मैट्रिक्स स्केलिंग के संबंध में सटीक त्रुटि सीमाएँ (error bounds) नहीं थीं, और यह स्पष्ट नहीं था कि प्रदर्शन (स्लाइस की संख्या) और सटीकता के बीच संतुलन को कैसे अनुकूलित किया जाए, विशेष रूप से खराब तरीके से स्केल किए गए (badly scaled) मैट्रिसेस के लिए।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र इंटीजर ओज़ाकी स्कीम (Integer Ozaki Scheme) का विश्लेषण और विस्तार करता है, जिसे मूल रूप से ओटोमो, ओज़ाकी और योकोटा द्वारा प्रस्तावित किया गया था और बाद में उचिनो, ओज़ाकी और इमामूरा द्वारा सुधारा गया था।

एल्गोरिदम (The Algorithm)

1. ब्लॉक फिक्स्ड-पॉइंट रूपांतरण (Block Fixed-Point Conversion): मैट्रिक्स $A$ की पंक्तियों (rows) और मैट्रिक्स $B$ के स्तंभों (columns) को अप्रत्यक्ष रूप से एक ब्लॉक फिक्स्ड-पॉइंट प्रतिनिधित्व में परिवर्तित किया जाता है। प्रत्येक पंक्ति/स्तंभ एक साझा स्केलिंग कारक ($\alpha_i$ या $\beta_j$) साझा करता है, जिसे उस ब्लॉक में अधिकतम पूर्ण मान (maximum absolute value) से बड़े 2 की सबसे छोटी घात (power of 2) के रूप में चुना जाता है।
2. स्लाइसिंग (Slicing): बिट स्थितियों के आधार पर फिक्स्ड-पॉइंट प्रतिनिधित्व को $s$ स्लाइस (पूर्णांक मैट्रिसेस) में विभाजित किया जाता है। यदि प्रति स्लाइस $t$ बिट्स हैं, तो $k$-वें स्लाइस में स्थिति $(k-1)t+1$ से $kt$ तक के बिट्स होते हैं।
3. पूर्णांक गुणन (Integer Multiplication): स्लाइस $A^{(\ell)}$ और $B^{(h)}$ को हार्डवेयर पूर्णांक मैट्रिक्स मल्टी-एक्युमुलेट (MMA) इकाइयों का उपयोग करके गुणा किया जाता है। ये उत्पाद सटीक होते हैं (यह मानते हुए कि एक्यूमुलेटर में कोई ओवरफ्लो नहीं होता है)।
4. संचय (Accumulation): आंशिक उत्पादों को अंतिम परिणाम बनाने के लिए $2^{-(\ell+h)t}$ द्वारा स्केल किया जाता है और फ्लोटिंग-पॉइंट अंकगणित में संचित किया जाता है।
   • अनुकूलन (Optimization): लागत कम करने के लिए, अक्सर उन उत्पादों को छोड़ दिया जाता है जहाँ $\ell + h > s+1$ (ट्रंकेशन)।
   • संवर्धन (Enhancement): उचिनो एट अल. ने प्रस्ताव दिया कि राउंडिंग एरर को कम करने के लिए फ्लोटिंग-पॉइंट में बदलने से पहले पूर्णांक अंकगणित का उपयोग करके विकर्णों (diagonals - स्थिर $\ell+h$) के साथ संचय किया जाए।

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक दो त्रुटि स्रोतों को अलग करते हुए एक कठोर त्रुटि विश्लेषण विकसित करते हैं:

• ट्रंकेशन एरर (Truncation Error): स्लाइसिंग के दौरान लोअर-ऑर्डर बिट्स को छोड़ने के कारण होता। यह स्लाइस की संख्या ($s$) और पंक्तियों/स्तंभों की कंडीशनिंग (विशेष रूप से, एक पंक्ति/स्तंभ के भीतर अधिकतम और न्यूनतम पूर्ण मानों का अनुपात, जिसे $\kappa_A$ और $\kappa_B$ कहा जाता है) पर निर्भर करता है।
• राउंडिंग एरर (Rounding Error): पूर्णांक उत्पादों के फ्लोटिंग-पॉइंट संचय के कारण होता है।

विश्लेषण एक नया दृष्टिकोण पेश करता है जो एक समान $s$ को मजबूर करने के बजाय मैट्रिसेस $A$ और $B$ के लिए अलग-अलग स्लाइस की संख्या ($s_A$ और $s_B$) की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

A. नया त्रुटि विश्लेषण (New Error Analysis)

शोध पत्र एक परिष्कृत त्रुटि सीमा प्रदान करता है जो यह दर्शाता है कि एल्गोरिदम की सटीकता इनपुट मैट्रिसेस के स्केलिंग पर अत्यधिक निर्भर है।

• खराब स्केलिंग विफलता (Bad Scaling Failure): यदि $A$ की पंक्तियाँ या $B$ के स्तंभ "खराब तरीके से स्केल" किए गए हैं (अर्थात, उनमें बहुत अलग परिमाण वाले तत्व हैं), तो स्लाइस की संख्या ($s$) को काफी बढ़ाए बिना, सापेक्ष ट्रंकेशन एरर बड़ा हो सकता है।
• असममित स्लाइसिंग (Asymmetric Slicing): विश्लेषण सिद्ध करता है कि यदि एक मैट्रिक्स अच्छी तरह से स्केल किया गया है और दूसरा नहीं, तो आप अंतिम सटीकता को कम किए बिना, दूसरे मैट्रिक्स के लिए स्लाइस की संख्या कम कर सकते हैं। यह सटीकता बनाए रखते हुए कम्प्यूटेशनल लागत ($s_A \times s_B$) को कम करने की रणनीति प्रदान करता है।
• संचय रणनीति (Accumulation Strategy): लेखक ऐसी स्थितियाँ निर्धारित करते हैं जिनमें उत्पाद मैट्रिक्स के विकर्णों को संरेखित करके आंशिक योगों को फ्लोटिंग-पॉइंट अंकगणित में सटीक रूप से संचित किया जा सकता है, जिससे राउंडिंग एरर कम होता है।

B. अनुमान रणनीति (Estimation Strategy)

वे निर्धारित सटीकता के लिए आवश्यक न्यूनतम स्लाइस की संख्या का अनुमान लगाने के लिए एक सस्ता तरीका प्रस्तावित करते हैं। मैट्रिक्स के प्रारंभिक स्कैन के दौरान स्केलिंग कारकों ($\kappa_A, \kappa_B$) की गणना करके, त्रुटि सीमाओं को पूरा करने के लिए बिना ट्रायल-एंड-एरर के आवश्यक $s_A$ और $s_B$ निर्धारित किया जा सकता है।

C. व्यापक संख्यात्मक प्रयोग (Comprehensive Numerical Experiments)

लेखक निम्नलिखित पर व्यापक सिमुलेशन और बेंचमार्क के माध्यम से अपने सिद्धांत को सत्यापित करते हैं:

• हार्डवेयर: NVIDIA Grace-Hopper (H100) और नया रिलीज़ हुआ NVIDIA Blackwell (B200) GPU।
• लाइब्रेरीज़: cublas (नेटिव binary64) और cuIMMA (NVIDIA का प्रोटोटाइप इंटीजर इम्यूलेशन) के विरुद्ध तुलना।
• परिदृश्य (Scenarios):
  • रैंडम मैट्रिसेस।
  • खराब तरीके से स्केल किए गए मैट्रिसेस (सैद्धांतिक सीमाओं का परीक्षण करने के लिए निर्मित)।
  • उच्च-स्तरीय एल्गोरिदम (Block LU factorization, Symmetric Eigensolver)।

4. परिणाम (Results)

सटीकता बनाम प्रदर्शन ट्रेड-ऑफ (Accuracy vs. Performance Trade-off)

• रैंडम मैट्रिसेस: B200 GPU पर, 7 स्लाइस के साथ cuIMMA नेटिव cublas (binary64) के समान सटीकता प्राप्त करता है, जबकि 7.6$\times$ की गति वृद्धि (speedup) प्रदान करता है। H100 (GH200) पर, स्पीडअप कम (2.4$\times$) है क्योंकि INT8 और binary64 पीक परफॉरमेंस का अनुपात कम है।
• खराब तरीके से स्केल किए गए मैट्रिसेस: यदि स्लाइस की संख्या को कम (जैसे, $s=8$) पर स्थिर रखा जाता है, तो एल्गोरिदम खराब तरीके से स्केल किए गए मैट्रिसेस के लिए binary64 सटीकता प्राप्त करने में विफल रहता है। यहाँ तक कि 18 स्लाइस तक बढ़ाने पर भी अत्यधिक स्केलिंग ($\kappa_D = 10^{40}$) के लिए पर्याप्त नहीं था। यह इस सैद्धांतिक भविष्यवाणी की पुष्टि करता है कि खराब स्केलिंग के लिए अत्यधिक संख्या में स्लाइस की आवश्यकता होती है, जो इस पद्धति को अक्षम बना सकता है।
• असममित स्लाइसिंग: Block LU फैक्टराइजेशन परीक्षणों में, विशिष्ट स्केलिंग गुणों वाले मैट्रिसेस (जैसे, $s^*_A=9, s^*_B=1$) ने असममित स्लाइसिंग ($s_A=8, s_B=1$) के साथ पूर्ण सटीकता प्राप्त की, जिससे दोनों के लिए 8 स्लाइस का उपयोग करने के प्रदर्शन दंड (performance penalty) से बचा जा सका।

उच्च-स्तरीय एल्गोरिदम पर प्रभाव (Impact on Higher-Level Algorithms)

• एम््यूलेटेड DGEMM को LAPACK रूटीन (QR, Eigensolver) में एकीकृत करने से पता चला कि स्लाइस की इष्टतम संख्या विशिष्ट एल्गोरिदम पर निर्भर करती है।
• सिमेट्रिक आइजनसोल्वर (Symmetric Eigensolver) के लिए, 7 स्लाइस (जो रॉ GEMM के लिए पर्याप्त थे) का उपयोग करने से ऑर्थोगोनैलिटी (orthogonality) का नुकसान हुआ। नेटिव binary64 की स्थिरता से मेल खाने के लिए 8 स्लाइस की आवश्यकता थी। यह सुझाव देता है कि वैज्ञानिक कंप्यूटिंग के लिए "एक ही आकार सबके लिए" (one-size-fits-all) वाली स्लाइस संख्या अपर्याप्त है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• वैज्ञानिक कंप्यूटिंग के लिए व्यवहार्यता: इंटीग्रर ओज़ाकी स्कीम आधुनिक GPU पर पूर्णांक-आधारित मैट्रिक्स गुणन का उपयोग करने के लिए एक व्यवहार्य मार्ग है, लेकिन यह binary64 अंकगणित का ड्रॉप-इन रिप्लेसमेंट (drop-in replacement) नहीं है।
• स्केलिंग संवेदनशीलता: यह विधि इनपुट स्केलिंग के प्रति अत्यधिक संवेदनशील है। प्री-चेक या डायनेमिक स्लाइस समायोजन के बिना, यह खराब तरीके से कॉन्डीशन्ड या खराब तरीके से स्केल किए गए समस्याओं के लिए गलत परिणाम देने का जोखिम उठाती है।
• हार्डवेयर रुझान: परिणाम हार्डवेयर डिज़ाइन में बदलाव को उजागर करते: वेंडर लो-प्रिसिजन प्रदर्शन (INT8) को binary64 की तुलना में प्राथमिकता दे रहे हैं। B200 का विशाल INT8-to-binary64 प्रदर्शन अनुपात (112.5$\times$) इम्यूलेशन दृष्टिकोण को अत्यधिक आकर्षक बनाता है, जबकि पुराने आर्किटेक्चर (H100) कम लाभ देते हैं।
• भावी कार्य (Future Work): लेखक नोट करते हैं कि वर्तमान कार्यान्वयन विशेष IEEE 754 मानों (NaNs, infinities, negative zeros) को सही ढंग से हैंडल नहीं करते हैं, जो सामान्य-उद्देश्य वाली लीनियर अलजेब्रा लाइब्रेरीज़ में पूर्ण अपनाने के लिए एक बाधा बना हुआ है।

संक्षेप में, यह शोध पत्र पूर्णांक-आधारित मैट्रिक्स गुणन को आधुनिक GPU पर सुरक्षित रूप से तैनात करने के लिए सैद्धांतिक आधार और व्यावहारिक दिशा-निर्देश प्रदान करता है, और इस बात पर जोर देता है कि पूर्णांक हार्डवेयर के विशाल प्रदर्शन लाभों और वैज्ञानिक सिमुलेशन की सख्त सटीकता आवश्यकताओं के बीच संतुलन बनाने के लिए मैट्रिक्स गुणों के आधार पर एडेप्टिव स्लाइसिंग (adaptive slicing) आवश्यक है।