तकनीकी सारांश: FP8 ही आपकी आवश्यकता है (भाग 2)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र NVIDIA के Blackwell Ultra (B300) और Rubin GPUs में आए आर्किटेक्चरल बदलाव को संबोधित करता है, जहाँ AI वर्कलोड (FP8/FP16 टेंसर कोर्स) को प्राथमिकता देने के लिए FP64 वेक्टर थ्रूपुट को काफी कम कर दिया गया है। विशेष रूप से, B300 का FP64 वेक्टर थ्रूपुट (~1.3 TFLOPS), B200 की तुलना में लगभग 30 गुणा कम है और मेमोरी-बाउंड वैज्ञानिक वर्कलोड, जैसे कि 3D फास्ट फूरियर ट्रांसफॉर्म (FFT), को मेमोरी बैंडविड्थ की सीमा (roof) पर बनाए रखने के लिए अपर्याप्त है।

जबकि साथी शोध पत्र [1] ने यह प्रदर्शित किया था कि Ozaki Scheme II (Ozaki-II) इम्यूलेशन फ्रेमवर्क, गणनाओं को FP8 टेंसर कोर्स के माध्यम से रूट करके, डेंस मैट्रिक्स ऑपरेशंस (GEMM, GEMV, Stencils, SpMV) के लिए FP64-तुल्य थ्रूपुट को पुनः प्राप्त कर सकता है, एक महत्वपूर्ण अंतर शेष रह गया था: 3D FFT। FFT एक अद्वितीय बाधा प्रस्तुत करता है जहाँ रिकंस्ट्रक्शन लागत (Garner reconstruction) डेंस GEMM की तुलना में अलग तरह से स्केल करती है, जो संभावित रूप से मानक Ozaki-II दृष्टिकोण को इन "FP64-कोलेप्स्ड" आर्किटेक्चर पर अक्षम या अव्यवहार्य बना सकती है।

2. कार्यप्रणाली (Methodology)

लेखक Ozaki-Bailey FFT प्रस्तावित करते हैं, जो एक इम्यूलेशन फ्रेमवर्क है जो 3D FFTs के लिए Bailey छह-चरणीय अपघटन (six-step decomposition) के साथ Ozaki-II रेसिड्यू नंबर सिस्टम को जोड़ता है। कार्यप्रणाली में तीन-भाग का विश्लेषण और पुनर्गठन शामिल है:

A. $\gamma$-Roof विश्लेषण

लेखक FFT कर्नेल के लिए TME (Tensor-Memory Equilibrium) मॉडल का विश्लेषण करते हैं। डेंस GEMM के विपरीत, जहाँ कंप्यूट ($\alpha$) और मेमोरी ($\beta$) पद हावी होते हैं, FFT के मामले में Bailey आंतरिक आयाम $k \approx \sqrt{N} = 32$ (N=1024 के लिए) पर Garner रिकंस्ट्रक्शन लेटेंसी ($\gamma$) मुख्य बाधा बन जाती है।

• समस्या: मानक रिकर्सिव Garner रिकंस्ट्रक्शन प्रत्येक आउटपुट तत्व के लिए $O(r^2)$ पूर्णांक संचालन (integer operations) की आवश्यकता होती है। B300 पर, इसके परिणामस्वरूप ~260 ms का वॉल टाइम होता है, जो मेमोरी रूफ (12.9 ms) से लगभग 20 गुणा धीमा है।
• पुनर्गठन: लेखक Garner रिकंस्ट्रक्शन को दो चरणों में विभाजित करते हैं:
  • चरण A: मैंटिसा-स्लाइस्ड कोएफिशिएंट्स का उपयोग करके इनर प्रोडक्ट्स (forward CRT) जिन्हें FP8/INT32 टेंसर कोर्स पर मैप किया गया है। यह चरण अत्यधिक कुशल है (~0.5 ms)।
  • चरण B: चरण A के परिणामों का प्रति-आउटपुट रिडक्शन। एक नेटिव कार्यान्वयन में, यह कमजोर FP64 वेक्टर पाइप पर चलता है, जिससे एक नई बाधा उत्पन्न होती है (~163 ms)।

B. Kulisch एस्केप रूट (Phase B पुनर्गठन)

कमजोर FP64 वेक्टर पाइप पर निर्भर किए बिना चरण B की बाधा को हल करने के लिए, लेखक शास्त्रीय सटीक-संचय (exact-accumulation) योजनाओं का सर्वेक्षण करते हैं। वे Kulisch के फिक्स्ड-पॉइंट कम्पलीट-अरिथमेटिक एक्युमुलेटर [16, 17] को समाधान के रूप में पहचानते हैं।

• तंत्र: संकलन (summation) फ्लोटिंग-पॉइंट के बजाय, रिडक्शन को INT32 SIMT पाइप पर एक वाइड फिक्स्ड-पॉइंट एक्युमुलेटर (160-बिट, जिसे पांच INT32 रजिस्टरों के माध्यम से लागू किया गया है) का उपयोग करके किया जाता है।
• सटीकता: संकलन सटीक (exact) है (कोई मध्यवर्ती राउंडिंग नहीं)। एकमात्र राउंडिंग 160-बिट पूर्णांक से FP64 में अंतिम रूपांतरण के समय होती है। यह पूर्ण FP64 सटीकता बनाए रखता है (नेटिव FP64 समेशन की तुलना में, जो ~11 ulps की त्रुटि संचित करता है)।
• प्रदर्शन: B300 का INT32 थ्रूपुट (~75 TOPS), इसके FP64 थ्रूपुट से ~58 गुणा अधिक है। यहाँ चरण B को रूट करने से अनुमानित वॉल टाइम घटकर ~18 ms हो जाता है।

C. फोर-फ्लोर कोडसाइन नियम (Four-Floor Codesign Rule)

लेखक चार "बैंडविड्थ-पैरिटी फ्लोर्स" (मेमोरी बैंडविड्थ, $BHBM$ के सापेक्ष न्यूनतम थ्रूपुट आवश्यकताएं) व्युत्पन्न करते हैं जो FFTs के लिए मेमोरी-रूफ समानता प्राप्त करने के लिए आवश्यक हैं:

1. Native FP64 Floor: $\eta_{FP64} \ge 1.56 \cdot BHBM$. (B300 इससे ~10× पीछे है)।
2. Naive Ozaki Phase B Floor: $\eta_{FP64} \ge 2.06 \cdot BHBM$. (सूचनात्मक; मूल से कठिन है)।
3. Kulisch INT32 Sub-floor: $\eta_{INT32} \ge 8.25 \cdot BHBM$. (B300 इसे ~14% मार्जिन के साथ पूरा करता है)।
4. FP8 Tensor-Core Floor: $\eta_{FP8} \ge 170 \cdot BHBM$. (B300 इसे ~3.7× मार्जिन के साथ पूरा करता है)।

3. मुख्य योगदान (Key Contributions)

1. $\gamma$-Roof की पहचान: यह शोध पत्र स्थापित करता है कि 3D FFTs के लिए, Garner रिकंस्ट्रक्शन लागत ($\gamma$) विशिष्ट समस्या आकारों ($k \approx 32$) पर प्रमुख बाधा बन जाती है, जो इस धारणा को अमान्य करती है कि केवल कंप्यूट/मेमोरी पद ही प्रदर्शन को निर्धारित करते हैं।
2. Tensor-Core Garner पुनर्गठन: लेखक Garner रिकंस्ट्रक्शन को चरण A (टेंसर कोर) और चरण B (SIMT) में विभाजित करते हैं, जिससे भारी कार्यों के लिए उच्च-थ्रूपुट FP8/INT8 हार्डवेयर का उपयोग संभव हो पाता है।
3. Kulisch Phase B बचाव: शोध पत्र INT32 SIMT पाइप पर Kulisch के फिक्स्ड-पॉइंट एक्युमुलेटर का उपयोग करने का प्रस्ताव करता है ताकि चरण B रिडक्शन को निष्पादित किया जा सके। इसे एक "सॉफ्टवेयर एस्केप रूट" के रूप में प्रस्तुत किया गया है जो FP64-कोलेप्स्ड GPU को बिना नेटिव FP64 वेक्टर हार्डवेयर के पूर्ण FP64 सटीकता प्राप्त करने की अनुमति देता है।
4. फोर-फ्लोर कोडसाइन नियम: एक नया आर्किटेक्चरल डिज़ाइन नियम प्रस्तावित किया गया है। FFTs के लिए पूर्ण FP64 को सपोर्ट करने के लिए, एक GPU को या तो नेटिव FP64 फ्लोर को संतुष्ट करना होगा या फिर FP8 टेंसर-कोर फ्लोर और Kulisch INT32 सब-फ्लोर दोनों को संतुष्ट करना होगा।
5. मात्रात्मक अनुमान (Quantitative Projections):
   • B300: नेटिव FFT ~124 ms है; रिकर्सिव Garner ~260 ms है; नेटिव Phase B ~163 ms है। Kulisch पथ ~18 ms का अनुमान लगाता है, जो 12.9 ms के मेमोरी रूफ के करीब है।
   • Rubin: नेटिव FP64 फ्लोर के 4% के भीतर है, जिससे FFT के लिए इम्यूलेशन अनावश्यक हो जाता है।
   • H100/B200: नेटिव फ्लोर को सहजता से पूरा करते हैं।

4. परिणाम और दावे (Results and Claims)

• व्यवहार्यता: शोध पत्र का दावा है कि B300, अपने कम हुए FP64 वेक्टर पाइप के बावजूद, केवल सॉफ्टवेयर इंजीनियरिंग (Ozaki-Bailey + Kulisch) के माध्यम से पूर्ण FP64 3D FFTs के लिए लगभग-मेमोरी-रूफ प्रदर्शन प्राप्त कर सकता है।
• सटीकता: Kulisch विधि नेटिव FP64 समेशन (एकल अंतिम राउंडिंग बनाम संचित त्रुटि) की तुलना में सख्त बेहतर सटीकता प्रदान करती है और पूरी तरह से INT32 पाइप पर चलती है।
• आर्किटेक्चरल निहितार्थ:
  • B300: स्पेक्ट्रल कोड्स के लिए "बचाने योग्य" (salvageable) है यदि Kulisch कर्नेल को कुशलतापूर्वक लागू किया जाता है (यह मानते हुए कि 50–70% INT32 SIMT दक्षता प्राप्त है)।
  • Rubin: स्पेक्ट्रल कोड्स के लिए संतुलित है; इम्यूलेशन कोई गति वृद्धि (speedup) नहीं देता है।
  • भविष्य का डिज़ाइन: शोध पत्र तर्क देता है कि नेटिव FP64 फ्लोर ($\eta \ge 1.56 \cdot BHBM$) सुरक्षित खरीद लक्ष्य बना हुआ है। Kulisch रूट मौजूदा सब-फ्लोर आर्किटेक्चर के लिए एक "बचाव" (rescue) है, लेकिन इसका उपयोग भविष्य की पीढ़ियों में FP64 या INT32 सिलिकॉन में और कटौती को उचित ठहराने के लिए नहीं किया जाना चाहिए। यदि FP64 और INT32 दोनों को काट दिया जाता है, तो एस्केप रूट बंद हो जाएगा।

5. महत्व (Significance)

यह शोध पत्र निष्कर्ष निकालता है कि Ozaki-II इम्यूलेशन, Bailey अपघटन, और Kulisch एक्युमुलेटर का संयोजन, पोस्ट-FP64 स्टैक के लिए एंड-टू-एंड कर्नेल-कवरेज ऑडिट प्रदान करता है। यह प्रदर्शित करता है कि एक "गहरे रूप से कोलेप्स्ड" FP64 वेक्टर पाइप के बावजूद, पूर्ण FP64 वैज्ञानिक कंप्यूटिंग (विशेष रूप से FFT) आवश्यक रूप से समाप्त नहीं हुई है, बशर्ते कि आर्किटेक्चर में पर्याप्त INT32 SIMT थ्रूपुट और FP8 टेंसर-कोर क्षमता बनी रहे।

यह कार्य FFTs, SpMV और अन्य लो-ऑपरेशनल-इंटेंसिटी रिडक्शन-बाउंड कर्नेल्स के लिए इन वाइड-एक्युमुलेटर प्रिमिटिव्स को लागू करने के लिए libKulisch लाइब्रेरी बनाने को प्रेरित करता है। लेखक इस बात पर जोर देते हैं कि हालांकि प्रोजेक्शन उत्साहजनक है (~18 ms), Kulisch Phase B कर्नेल का अनुभवजन्य मापन (empirical measurement) दक्षता धारणाओं को मान्य करने के लिए अगला तत्काल कदम है।