💻 computer science

Improved Scaling for Fast Mode of Ozaki Scheme II

यह शोध पत्र ओज़ाकी स्कीम II (Ozaki scheme II) के फास्ट मोड के लिए एक स्केल-इनवेरिएंट संशोधित स्केलिंग फॉर्मूला प्रस्तावित करता है जो बिना किसी अतिरिक्त ओवरहेड के चाइनीज़ रिमाइंडर थ्योरम की विशिष्टता (uniqueness) की गारंटी देता है, जिससे एक्यूरेट मोड की उच्च सटीकता बनाए रखते हुए फास्ट मोड के उच्च थ्रूपुट को प्राप्त किया जा सके।

मूल लेखक: Shota Kawakami, Daisuke Takahashi

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shota Kawakami, Daisuke Takahashi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत तेज़ कंप्यूटर चिप पर एक विशाल, अविश्वसनीय रूप से जटिल गणितीय समस्या (संख्याओं के बड़े ग्रिडों को गुणा करना) को हल करने की कोशिश कर रहे हैं। समस्या यह है कि चिप के पास दो प्रकार के कार्यकर्ता हैं:

"प्रिसिजन" (सटीकता) कार्यकर्ता: वे धीमे हैं लेकिन अविश्वसनीय रूप से सटीक हैं। वे सूक्ष्म विवरणों को पूरी तरह से संभाल सकते हैं।
"स्पीड" (गति) कार्यकर्ता: वे बिजली की तरह तेज़ हैं लेकिन केवल सरल, मोटे अनुमानों में अच्छे हैं। वे एक रेस कार की तरह हैं जो ऊबड़-खाबड़ सड़क पर बिना दुर्घटना के नहीं चल सकती।

वैज्ञानिकों ने स्पीड वर्कर्स से प्रिसिजन वर्कर्स का काम करवाने के लिए एक चतुर तकनीक विकसित की है जिसे ओज़ाकी स्कीम (Ozaki Scheme) कहा जाता है। यह कुछ सटीक अनुमान लगाने वालों की एक टीम द्वारा एक आदर्श गगनचुंबी इमारत बनाने जैसा है। वे समस्या को छोटे टुकड़ों में तोड़कर, उन्हें तेज़ी से हल करके, और फिर चाइनीज़ रिमाइंडर थ्योरम (CRT) नामक एक गणितीय जादू के प्रयोग से उत्तरों को आपस में जोड़कर यह काम करते हैं।

समस्या: "फास्ट मोड" का दोष

ओज़ाकी स्कीम के पास स्पीड वर्कर्स के लिए डेटा तैयार करने के दो तरीके हैं:

एक्यूरेट मोड (सटीक मोड): यह संख्याओं को ठीक से स्केल करने के लिए पहले संख्याओं पर सावधानी से नज़र डालता है। यह सुरक्षित है लेकिन धीमा है।
फास्ट मोड (तेज़ मोड): यह स्केलिंग का अनुमान लगाने के लिए एक त्वरित शॉर्टकट (कॉची-श्वाल्ज़ असमानता नामक एक गणितीय नियम) का उपयोग करता है। यह बहुत तेज़ है, लेकिन लेखकों ने इसमें एक छिपा हुआ दोष पाया।

दोष: "रबर बैंड" प्रभाव
लेखकों ने पाया कि "फास्ट मोड" का फॉर्मूला एक रबर बैंड की तरह है जिसका आकार इस बात पर निर्भर करता है कि आप उसे कितना खींचते हैं।

यदि आप अपने इनपुट नंबरों को एक स्थिरांक (constant) से गुणा करते हैं (उन्हें थोड़ा बड़ा या छोटा करते हैं), तो "फास्ट मोड" का फॉर्मूला भ्रमित हो जाता है।
जब संख्याएं बहुत बड़ी हो जाती हैं: फॉर्मूला सटीकता को कम कर देता है, जिससे उत्तर ढीला और गलत हो जाता है।
जब संख्याएं बहुत छोटी हो जाती हैं: फॉर्मूला संख्याओं को इतना अधिक खींच देता है कि वे "स्टिचिंग" (जोड़ने) के नियम को तोड़ देती हैं। जब ऐसा होता है, तो अंतिम उत्तर केवल थोड़ा गलत ही नहीं होता; वह पूरी तरह से ढह जाता है, और कंप्यूटर परिणाम को पुनः प्राप्त करने में विफल हो जाता है।

संक्षेप में, पुराना "फास्ट मोड" सुसंगत नहीं था। यह कभी-कभी अच्छा काम करता था, लेकिन यदि आप डेटा के पैमाने (scale) को बदलते थे, तो यह बुरी तरह विफल हो जाता था।

समाधान: एक नया, अटूट फॉर्मूला

लेखकों ने "फास्ट मोड" के लिए एक नया फॉर्मूला प्रस्तावित किया है।

पुराने फॉर्मूले को एक ऐसे दर्जी की तरह समझें जो आपकी एक त्वरित नज़र के आधार पर आपकी शर्ट का आकार अनुमान लगाता है। कभी-कभी वे सही होते हैं, लेकिन यदि आपका वजन थोड़ा भी बढ़ता या घटता है, तो शर्ट फिट नहीं आएगी।

नया फॉर्मूला एक निश्चित, अटूट नियम की तरह है जो "स्टिचिंग" की आवश्यकताओं से प्राप्त किया गया है।

स्केल इनवेरिएंस (पैमाने से अप्रभावित): आप अपने इनपुट नंबरों को कितना भी स्केल करें (खींचें या सिकोड़ें), नया फॉर्मूला बिल्कुल सही ढंग से तालमेल बिठाता है ताकि "शर्ट" एकदम सही फिट आए। संख्याएं चाहे कितनी भी बड़ी हों या छोटी, सटीकता स्थिर रहती है।
सुरक्षा गारंटी: नया फॉर्मूला गणितीय रूप से गारंटी देता है कि संख्याएं इतनी बड़ी नहीं होंगी कि वे जोड़ने के नियम को तोड़ दें। यह उस "क्रैश" को रोकता है जो पुराने संस्करण में होता था।
कोई गति दंड नहीं: सबसे अच्छी बात यह है कि यह नया, सुरक्षित फॉर्मूला पुराने, जोखिम भरे वाले की तुलना में गणना करने में बिल्कुल उतना ही समय लेता है। यह बिना कार की गति धीमी किए, मुफ्त में सीटबेल्ट पाने जैसा है।

परिणाम: दोनों तरफ का सर्वश्रेष्ठ

शोधकर्ताओं ने इस नई विधि का परीक्षण एक शक्तिशाली NVIDIA GH200 GPU (एक सुपरकंप्यूटर चिप) पर किया।

सटीकता: नई विधि उतनी ही सटीक थी जितनी कि धीमी, सावधानीपूर्वक चलने वाली "एक्यूरेट मोड"। इसने उन त्रुटियों को ठीक कर दिया जो पुराने "फास्ट मोड" में तब होती थीं जब संख्याओं को ऊपर या नीचे स्केल किया जाता था।
गति: यह मूल "फास्ट मोड" के समान ही तेज़ बनी रही।
समझौता (Trade-off): अतीत में, आपको "तेज़ लेकिन कभी-कभी गलत" या "धीमा लेकिन हमेशा सही" में से किसी एक को चुनना पड़ता था। यह नई विधि आपको "तेज़ और सही" दोनों देती है। यह कई परिदृश्यों में मानक, उच्च-परिशुद्धता वाले सॉफ़्टवेयर (cuBLAS) को पीछे छोड़ देती है, जो उच्च गति और बेहतर सटीकता दोनों प्रदान करती है।

सारांश

यह पेपर एक हाई-स्पीड गणितीय ट्रिक के बग को ठीक करता है। पुराना तरीका अच्छा काम करता था जब तक कि आप संख्याओं का आकार बदलते नहीं, जिसके बाद यह टूट जाता था। लेखकों ने इस ट्रिक का एक नया संस्करण बनाया जो आकार के बदलावों से अप्रभावित है, यह सुनिश्चित करता है कि यह कभी न टूटे, और साथ ही इसकी बिजली जैसी तेज़ गति भी बनी रहती है। यह सुपरकंप्यूटरों को पहले की तुलना में बहुत अधिक तेज़ी से और अधिक विश्वसनीयता के साथ उच्च-परिशुद्धता वाला गणित करने में सक्षम बनाता है।

तकनीकी सारांश: ओज़ाकी स्कीम II के फास्ट मोड के लिए बेहतर स्केलिंग

समस्या विवरण
ओज़ाकी स्कीम II (Ozaki Scheme II) चीनी शेष प्रमेय (Chinese Remainder Theorem - CRT) पर आधारित एक विधि है, जो कम-परिशुद्धता वाले पूर्णांक हार्डवेयर (जैसे INT8 टेन्सर कोर) का उपयोग करके उच्च-परिशुद्धता मैट्रिक्स गुणन (जैसे FP64/FP32) का अनुकरण करती है। यह योजना उच्च-परिशुद्धता इनपुट मैट्रिसेस को पूर्णांक मैट्रिसेस में स्केल करने के लिए स्केलिंग कारकों ( $\mu$ और $\nu$ ) को निर्धारित करने हेतु दो मोड प्रदान करती है:

एक्यूरेट मोड (Accurate Mode): स्केलिंग कारकों का अनुमान लगाने के लिए एक सहायक INT8 मैट्रिक्स गुणन (GEMM) का उपयोग करता है, जो उच्च सटीकता सुनिश्चित करता है लेकिन महत्वपूर्ण कम्प्यूटेशनल ओवरहेड उत्पन्न करता है।
फास्ट मोड (Fast Mode): स्केलिंग कारकों का अनुमान लगाने के लिए सहायक GEMM के बिना कॉची-श्वार्ज़ असमानता (Cauchy–Schwarz inequality) का उपयोग करता है, जो उच्च थ्रूपुट तो प्रदान करता है लेकिन ऐतिहासिक रूप से कम सटीकता देता है।

यह शोध पत्र मौजूदा फास्ट मोड स्केलिंग फॉर्मूला में एक गंभीर दोष की पहचान करता है: इसमें स्केल इनवेरिएंस (scale invariance) का अभाव है। जब इनपुट मैट्रिसेस को एक अदिश स्थिरांक (scalar constant) $\alpha$ से गुणा किया जाता है, तो परिणामी स्केल्ड पूर्णांक मैट्रिसेस की प्रभावी बिट चौड़ाई (effective bit width) अप्रत्याशित रूप से बदल जाती है।

बड़े $\alpha$ के लिए, प्रभावी बिट चौड़ाई घट जाती है, जिससे सटीकता में गिरावट आती है।
छोटे $\alpha$ के लिए, स्केल्ड पूर्णांक उत्पाद CRT थ्रेशोल्ड ( $P/2$ ) से अधिक हो सकता है, जिससे पूर्ण रिकवरी विफलता होती है।
ऑल-ओन्स (all-ones) मैट्रिसेस और रैंडम मैट्रिसेस पर संख्यात्मक प्रयोगों ने प्रदर्शित किया कि कुछ स्केलर श्रेणियों के लिए, फास्ट मोड सही परिणाम प्राप्त करने में विफल रहता है, जबकि एक्यूरेट मोड स्थिर रहता है।

कार्यप्रणाली (Methodology)
लेखक फास्ट मोड के लिए एक संशोधित स्केलिंग फॉर्मूला प्रस्तावित करते हैं जो सीधे कॉची-श्वार्ज़ असमानता के माध्यम से CRT विशिष्टता की स्थिति (uniqueness condition) से व्युत्पन्न है।

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation):
लेखक $\mu_i$ और $\nu_j$ के लिए स्केलिंग कारकों को पुनर्गठित करते हैं। पिछले ह्यूरिस्टिक के बजाय, वे एक पर्याप्त स्थिति को परिभाषित करते हैं जहाँ:
$2\mu_i \|a_{i,:}\|_2 \|b_{:,j}\|_2 \nu_j \leq P - 1$
बेस-2 लॉगरिदम का उपयोग करके और GPU मैथ API द्वारा प्रदान किए गए log2f के एब्सोल्यूट एरर बाउंड्स को ध्यान में रखते हुए $\mu_i$ और $\nu_j$ के लिए हल करके, वे नए फॉर्मूले व्युत्पन्न करते हैं:
$\mu_i := 2^{\lfloor P'_{prop} - 0.5 \cdot (\widehat{\log_2}(\sum a_{ih}^2) + 4u_{32}) \rfloor}$
जहाँ $P'_{prop}$ एक प्रीकंप्यूटेड कांस्टेंट है और $\widehat{\log_2}$ लघुगणक (logarithm) का एक बाउंडेड एप्रोक्सिमेशन है।
स्केल इनवेरिएंस प्रमाण (Scale Invariance Proof):
लेखक विश्लेषणात्मक रूप से प्रदर्शित करते हैं कि नया फॉर्मूला स्केल-इनवेरिएंट है। यदि इनपुट मैट्रिक्स $A$ को $\alpha = 2^s$ द्वारा स्केल किया जाता है, तो $\log_2(\alpha)$ का पद स्केल्ड पूर्णांक मैट्रिक्स की प्रभावी बिट चौड़ाई की गणना में रद्द (cancel) हो जाता है। फलस्वरूप, इनपुट परिमाण के बावजूद बिट चौड़ाई स्थिर रहती है, जिससे मूल फास्ट मोड में देखी गई सटीकता में गिरावट और CRT विफलता को रोका जा सकता है।
कार्यान्वयन (Implementation):
प्रस्तावित विधि (OS II-prop) GEMMul8 लाइब्रेरी के फास्ट मोड में स्केलिंग फॉर्मूला को प्रतिस्थापित करती है। यह मूल फास्ट मोड की $O(mk) $और$ O(kn)$ कम्प्यूटेशनल कॉम्प्लेक्सिटी को बनाए रखती है, मूल फास्ट मोड की तुलना में कोई अतिरिक्त ओवरहेड पेश नहीं करती है और एक्यूरेट मोड (जिसमें अतिरिक्त GEMM की आवश्यकता होती है) की तुलना में तेज़ बनी रहती है।

प्रमुख योगदान (Key Contributions)

सीमा की पहचान: शोध पत्र प्रदर्शित करता है कि मौजूदा फास्ट मोड स्केलिंग फॉर्मूला में स्केल इनवेरिएंस की कमी है, जिससे विशिष्ट इनपुट स्केलिंग के लिए सटीकता में गिरावट और CRT रिकवरी विफलता होती है।
संशोधित फॉर्मूला: एक नया स्केलिंग फॉर्मूला प्रस्तावित किया गया है जो स्केल इनवेरिएंस की गारंटी देता है और सुनिश्चित करता है कि CRT विशिष्टता की स्थिति हमेशा संतुष्ट हो।
शून्य ओवरहेड: नया फॉर्मूला मूल फास्ट मोड की तुलना में कोई अतिरिक्त कम्प्यूटेशनल लागत पेश नहीं करता है।
व्यापक मूल्यांकन: विधि का मूल्यांकन NVIDIA GH200 GPU पर डबल-प्रिसिजन (DGEMM) और सिंगल-प्रिसिजन (SGEMM) मैट्रिक्स गुणन के लिए किया गया है।

परिणाम (Results)
प्रयोग विभिन्न तत्व परिमाण प्रसार ( $\phi$ ) और मैट्रिक्स आयामों ( $k \in \{1024, 16384\}$ ) वाले रैंडम मैट्रिसेस का उपयोग करके किए गए।

सटीकता: प्रस्तावित विधि (OS II-prop) सभी $\phi$ मानों के लिए एक्यूरेट मोड (OS II-accu) के समान सटीकता प्राप्त करती है। इसके विपरीत, मूल फास्ट मोड (OS II-fast) ने बड़े $\phi$ मानों (इलिक-कंडीशन्ड मामलों) के लिए महत्वपूर्ण सटीकता गिरावट और विफलता दिखाई।
थ्रूपुट: OS II-prop मूल फास्ट मोड के समान थ्रूपुट बनाए रखता है। हालांकि OS II-prop विशिष्ट परिदृश्यों में (स्केल्ड इंटीजर्स में कम शून्य तत्वों के कारण) मूल फास्ट मोड की तुलना में थोड़ा धीमा है, लेकिन यह थ्रूपुट में एक्यूरेट मोड से काफी बेहतर प्रदर्शन करता है।
ट्रेड-ऑफ: सटीकता-थ्रूपुट ट्रेड-ऑफ विश्लेषण में, OS II-prop, OS II-accu पर हावी है (समान सटीकता के लिए उच्च थ्रूपुट) और OS II-fast की सटीकता सीमाओं को पार करता है। यह एकमात्र विधि है जो व्यापक रेंज की स्थितियों के लिए cuBLAS दोनों सटीकता और थ्रूपुट में बेहतर प्रदर्शन करने में सक्षम है।

महत्व (Significance)
शोध पत्र का दावा है कि प्रस्तावित विधि प्रदर्शन लाभ से समझौता किए बिना ओज़ाकी स्कीम II के फास्ट मोड की मौलिक सटीकता सीमा को हल करती है। स्केल इनवेरिएंस सुनिश्चित करके, विधि यह गारंटी देती है कि इनपुट स्केलिंग के बावजूद CRT रिकवरी सफल होगी, जो एक बेहतर सटीकता और प्रदर्शन संतुलन प्रदान करती है। यह उपयोगकर्ताओं को फास्ट मोड की गति और एक्यूरेट मोड की विश्वसनीयता के साथ कम-परिशुद्धता वाले हार्डवेयर पर उच्च-परिशुद्धता परिणाम प्राप्त करने की अनुमति देता है, जिससे एक्यूरेट मोड के थ्रूपुट बाधाओं और मूल फास्ट मोड की सटीकता सीमाओं को प्रभावी ढंग से दूर किया जा सकता है।

लेखक नोट करते हैं कि हालांकि वर्तमान कार्य DGEMM और SGEMM के लिए INT8 मैट्रिक्स इंजन पर केंद्रित है, यह दृष्टिकोण FP8 इंजन और जटिल मैट्रिक्स गुणन (ZGEMM/CGEMM) के लिए भी लागू करने योग्य है, जिसे भविष्य के कार्य के लिए छोड़ दिया गया है।

समस्या: "फास्ट मोड" का दोष

समाधान: एक नया, अटूट फॉर्मूला

परिणाम: दोनों तरफ का सर्वश्रेष्ठ

सारांश

इसी तरह के और पेपर