Floating-point autotuning with customized precisions

तकनीकी सारांश: अनुकूलित परिशुद्धता (Customized Precisions) के साथ फ्लोटिंग-पॉइंट ऑटोट्यूनिंग

समस्या विवरण
कम-परिशुद्धता अंकगणित (Reduced-precision arithmetic) संख्यात्मक अनुप्रयोगों में प्रदर्शन, मेमोरी उपयोग और ऊर्जा दक्षता में सुधार करने की महत्वपूर्ण क्षमता रखता है, विशेष रूप से जैसे-जैसे हार्डवेयर एक्सेलेरेटर (जैसे, GPU, FPGA) गैर-मानक और कम-परिशुद्धता प्रारूपों का समर्थन कर रहे हैं। हालांकि, किसी विशिष्ट अनुप्रयोग के लिए इष्टतम परिशुद्धता विन्यास (precision configuration) निर्धारित करना चुनौतीपूर्ण है। मानक डबल प्रिसिजन (FP64) अक्सर आवश्यकता से अधिक (over-provisioned) होता है, फिर भी अंधाधुंध परिशुद्धता कम करने से संख्यात्मक स्थिरता और सटीकता से समझौता हो सकता है। मौजूदा परिशुद्धता ट्यूनिंग उपकरण अक्सर मानक IEEE 754 प्रारूपों (FP16, FP32, FP64) तक सीमित होते हैं या उन अनुकूलित बिट-चौड़ाई विन्यासों (जैसे, विशिष्ट एक्सपोनेंट और सिग्निफिकेण्ड आकार) को खोजने में सक्षम नहीं होते हैं जिनकी उभरते हार्डवेयर के लिए आवश्यकता होती है। इसके अलावा, बड़े कोडबेस के लिए विविध मिश्रित-परिशुद्धता विन्यासों को खोजने की कम्प्यूटेशनल लागत व्यावहारिक परिनियोजन के लिए एक बाधा बनी हुई है।

कार्यप्रणाली (Methodology)
लेखक PROMISE (PRecision OptiMISE) का एक उन्नत संस्करण प्रस्तावित करते हैं, जो डेल्टा डीबगिंग (delta debugging) और डिस्क्रीट स्टोकेस्टिक अरिथमेटिक (DSA) पर आधारित एक स्वचालित परिशुद्धता ट्यूनिंग उपकरण है। कार्यप्रणाली तीन मुख्य घटकों को एकीकृत करती है:

1. FloatX के माध्यम से अनुकूलित परिशुद्धता इम्यूलेशन: टूल को FloatX, जो एक C++ हेडर-ओनली लाइब्रेरी है, को एकीकृत करके उपयोगकर्ता-निर्धारित फ्लोटिंग-पॉइंट प्रारूपों का समर्थन करने के लिए विस्तारित किया गया है। मानक पुस्तकालयों के विपरीत, जो एक्सपोनेंट/सिग्निफिकेण्ड आकार को स्थिर रखते हैं या मेमोरी-आधारित आवंटन (जैसे, MPFR) पर निर्भर करते हैं, FloatX उपयोगकर्ताओं को एक्सपोनेंट ($e$) और सिग्निफिकेण्ड ($t$) के लिए सटीक बिट आवंटन निर्दिष्ट करने की अनुमति देता है। PROMISE इस सुविधा का लाभ उठाकर एक एकीकृत मिश्रित-परिशुद्धता ढांचे के भीतर गैर-मानक प्रारूपों (जैसे, E5M2, E4M3) और कस्टम विन्यासों का अनुकरण (emulate) करता है। यथार्थवादी इम्यूलेशन सुनिश्चित करने के लिए, लेखकों ने C++ फंक्शन ओवरलोडिंग का उपयोग करके गणितीय कार्यों (जैसे, sin, exp) के कस्टम-परिशुद्धता संस्करण लागू किए हैं, जिससे यह सुनिश्चित होता है कि गणना से पहले और बाद में इनपुट और आउटपुट को लक्षित परिशुद्धता तक राउंड किया जाए।
2. CADNA के माध्यम से संख्यात्मक सत्यापन: PROMISE CADNA लाइब्रेरी का उपयोग करता है, जो गणनाओं में सही महत्वपूर्ण अंकों (correct significant digits) का अनुमान लगाने के लिए DSA को लागू करती है। रैंडम राउंडिंग मोड के साथ कोड को निष्पादित करके, CADNA संख्यात्मक सटीकता का सांख्यिकीय अनुमान प्रदान करता है और अस्थिरता का पता लगाता है। यह PROMISE को यह सत्यापित करने की अनुमति देता है कि क्या एक कम-परिशुद्धता विन्यास उपयोगकर्ता-निर्धारित सटीकता बाधाओं (जैसे, सही अंकों की एक विशिष्ट संख्या) को पूरा करता है, जिससे ग्राउंड-ट्रुथ संदर्भ समाधान की आवश्यकता के बिना यह संभव होता है, जिससे निचले-स्तर के तुलनाओं के लिए FP64 के उपयोग की अविश्वसनीयता से बचा जा सके।
3. डेल्टा डीबगिंग खोज रणनीति: टूल निम्नतम परिशुद्धता विन्यास खोजने के लिए व्यवस्थित रूप से डेल्टा डीबगिंग एल्गोरिदम का उपयोग करता है। खोज एक उच्च-परिशुद्धता बेसलाइन से शुरू होती है और वेरिएबल्स की परिशुद्धता को पुनरावृत्ति (iteratively) से कम करती है। यदि कोई विन्यास सटीकता की आवश्यकता को पूरा करता है, तो खोज उसी दिशा में जारी रहती है; अन्यथा, यह बैकट्रैक करती है। लेखक एक बहु-स्तरीय रणनीति लागू करते हैं जहाँ परिशुद्धता प्रकारों को यूनिट राउंडऑफ द्वारा क्रमबद्ध किया जाता है, और क्रमिक जोड़ियों के बीच डेल्टा डीबगिंग को पुनरावृत्ति से लागू किया जाता है।
4. कंटेनरीकृत बेंचमार्किंग फ्रेमवर्क: खोज की उच्च कम्प्यूटेशनल लागत को संबोधित करने के लिए, लेखकों ने एक कंटेनरीकृत बेंचमार्किंग फ्रेमवर्क विकसित किया है। यह फ्रेमवर्क PROMISE को एक समानांतर पाइपलाइन में लपेटता है, जो स्थानीय समानांतरवाद (GNU Parallel के माध्यम से) और वितरित निष्पादन (एक MPI-आधारित पायथन शेड्यूलर के माध्यम से) दोनों का समर्थन करता है। यह विभिन्न पैरामीटर विन्यासों के तहत कई एल्गोरिदम कर्नेल के समवर्ती निष्पादन की अनुमति देता है, जिससे कुल रनटाइम में काफी कमी आती है।

प्रमुख योगदान

1. अनुकूलित प्रारूपों के साथ विस्तारित PROMISE: पेपर एक नया संस्करण प्रस्तुत करता है जो सिग्निफिकेण्ड और एक्सपोनेंट के लिए बिट्स की संख्या को परिभाषित करके फ्लोटिंग-पॉइंट अंकगणक को निर्दिष्ट करने में सक्षम बनाता है। यह उपयोगकर्ताओं को विशिष्ट हार्डवेयर बाधाओं (जैसे, FPGA) के अनुरूप गैर-मानक परिशुद्धता विन्यास खोजने की अनुमति देता है।
2. स्केलेबल बेंचमार्किंग इंफ्रास्ट्रक्चर: लेखकों ने एक मिश्रित-परिशुद्धता बेंचमार्किंग टूल विकसित किया है जिसे बड़े पैमाने पर परिनियोजन के लिए डिज़ाइन किया गया है। इसमें संख्यात्मक एल्गोरिदम के लिए सिम्युलेटेड बेंचमार्क का एक सूट और एक समानांतर निष्पादन फ्रेमवर्क शामिल है जो प्रोसेस-लेवल पैरेललिज्म के माध्यम से परिशुद्धता ट्यूनिंग प्रयोगों के रनटाइम को लगभग 3.4× (उनके परीक्षणों में ~13 घंटे से ~3 घंटे तक) कम कर देता है।
3. व्यापक अनुभवजन्य सत्यापन: इस दृष्टिकोण को रैखिक सॉल्वर (डेंस और स्पार्स LU फैक्टराइजेशन) और Rodinia बेंचमार्क सूट (Back Propagation, HotSpot, Particle Filter, SRAD) से अनुप्रयोगों सहित संख्यात्मक कार्यक्रमों के एक सूट पर मान्य किया गया है।

परिणाम
प्रयोगों ने दो परिशुद्धता संयोजनों का मूल्यांकन किया: (I) E5M2-FP16-FP32-FP64 और (II) E5M2-BF16-FP32-FP64, विभिन्न सटीकता आवश्यकताओं (1 से 10 सही अंक) के तहत।

• परिशुद्धता में कमी: परिणाम दर्शाते हैं कि वेरिएबल्स का एक बड़ा हिस्सा सुरक्षित रूप से कम परिशुद्धता में बदला जा सकता है। औसतन, 43% वेरिएबल्स को 32-बिट परिशुद्धता या उससे कम के साथ दर्शाया जा सकता है, और 28% को 16-बिट परिशुद्धता या उससे कम में बदला जा सकता है।
• FP64 का ओवर-प्रोविजनिंग: अध्ययन पुष्टि करता है कि कई वैज्ञानिक कंप्यूटिंग कार्यों के लिए मानक डबल प्रिसिजन अक्सर ओवर-प्रोविजन किया गया होता है।
• कस्टम फॉर्मेट की उपयोगिता: अनुकूलित प्रारूप जैसे E5M2 को वेरिएबल्स के एक महत्वपूर्ण हिस्से के लिए व्यवहार्य पाया गया (औसतन 23% वेरिएबल्स), और E4M3 ने समान अनुपात दिखाया।
• एल्गोरिदम-विशिष्ट संवेदनशीलता: विश्लेषण से पता चला कि परिशुद्धता की आवश्यकताएं एल्गोरिदम के घटक के अनुसार भिन्न होती हैं। उदाहरण के लिए, Back Propagation में, सिग्मॉइड एक्टिवेशन पथ को एक्सपोनेंशियल इवैल्यूएशन को स्थिर करने के लिए उच्च परिशुद्धता की आवश्यकता थी, जबकि LU फैक्टराइजेशन में, पिवोटिंग ऑपरेशन्स अक्सर 8-बिट प्रारूपों को सहन कर सकते थे।

महत्व और दावे
पेपर का दावा है कि स्वचालित परिशुद्धता ट्यूनिंग, जब अनुकूलित प्रारूपों का समर्थन करने के लिए विस्तारित की जाती है, तो एप्लिकेशन-विशिष्ट सटीकता आवश्यकताओं के अनुरूप कुशल मिश्रित-परिशुद्धता विन्यास प्राप्त कर सकती है। लेखक इस कार्य को वैज्ञानिक समुदाय के लिए एक मार्गदर्शक के रूप में देखते हैं, जो यह प्रदर्शित करता है कि मैन्युअल हस्तक्षेप के बिना महत्वपूर्ण प्रदर्शन और संसाधन लाभ प्राप्त किए जा सकते हैं। FloatX और समानांतर बेंचमार्किंग फ्रेमवर्क का एकीकरण प्रारूप लचीलेपन और खोज स्केलेबिलिटी की दोहरी चुनौतियों को संबोधित करता है। लेखक विनम्रतापूर्वक नोट करते हैं कि जबकि वर्तमान कार्य प्रत्यक्ष रैखिक सॉल्वरों और विशिष्ट कर्नेल पर केंद्रित है, भविष्य का कार्य पुनरावृत्ति सॉल्वरों (iterative solvers) और ट्यूनिंग प्रक्रिया में मिश्रित-परिशुद्धता संख्यात्मक कर्नेल (जैसे, क्रायलोव विधियों के लिए) के एकीकरण को संबोधित करेगा। इस डोमेन में आगे के अनुसंधान को सुविधाजनक बनाने के लिए टूल और बेंचमार्क समुदाय के लिए उपलब्ध कराए गए हैं।