🔢 mathematics

Error Analysis of Matrix Multiplication Emulation Using Ozaki-II Scheme

यह शोध पत्र उच्च-परिशुद्धता मैट्रिक्स गुणन के लिए ओज़ाकी-II (Ozaki-II) योजना का एक कठोर नियतात्मक त्रुटि विश्लेषण प्रस्तुत करता है, जो व्यापक घातांक वितरणों के तहत इसकी सटीकता की सीमाओं को स्पष्ट करता है और वांछित परिशुद्धता स्तर प्राप्त करने के लिए आवश्यक निम्न-परिशुद्धता ऑपरेशनों की संख्या का अनुमान लगाने की एक विधि प्रदान करता है।

मूल लेखक: Yuki Uchino, Katsuhisa Ozaki, Toshiyuki Imamura

प्रकाशित 2026-02-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuki Uchino, Katsuhisa Ozaki, Toshiyuki Imamura

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: नन्हे ईंटों से एक विशाल दीवार बनाना

कल्पना कीजिए कि आप एक वास्तुकार (architect) हैं जो केवल नन्हे, खुरदरे ईंटों (कम-सटीक कंप्यूटर चिप्स) का उपयोग करके एक विशाल, अविश्वसनीय रूप से सटीक दीवार (एक उच्च-परिशुद्ध गणना) बनाने की कोशिश कर रहे हैं।

आधुनिक कंप्यूटर, विशेष रूप से आर्टिफिशियल इंटेलिजेंस के लिए डिज़ाइन किए गए कंप्यूटर, इन "नन्हे, खुरदरे ईंटों" (विशेष रूप से, 8-बिट पूर्णांकों/integers) को संभालने में अविश्वसनीय रूप से तेज़ हैं। हालाँकि, वे "विशाल, चिकनी ईंटों" (मानक उच्च-परिशुद्धता संख्याओं जैसे 32-बिट या 64-बिट फ्लोट्स) को संभालने में धीमे या कम कुशल होते हैं।

Ozaki-II स्कीम एक चतुर निर्माण विधि है जो आपको केवल उन तेज़, नन्हे ईंटों का उपयोग करके एक पूर्ण उच्च-परिशुद्धता वाली दीवार बनाने की अनुमति देती है। इस पेपर के लेखकों ने एक ब्लूप्रिंट (त्रुटि विश्लेषण/error analysis) बनाया है ताकि यह साबित किया जा सके कि यह दीवार कितनी मजबूत और सटीक होगी, और काम को सही ढंग से करने के लिए आपको कितने नन्हे ईंटों की आवश्यकता होगी।

समस्या: "वाइड रेंज" (व्यापक सीमा) का मुद्दा

पिछले परीक्षणों में, यह विधि बहुत अच्छा काम करती थी, लेकिन इसमें एक पेंच था। यदि आपके द्वारा गुणा की जाने वाली संख्याओं की "रेंज बहुत विस्तृत" (wide range) थी (कुछ बहुत बड़ी थीं, कुछ बहुत छोटी), तो दीवार में कभी-कभी दरारें आ जाती थीं। इसे ठीक करने के लिए, आपको इतने अधिक नन्हे ईंटों का उपयोग करना पड़ता था कि प्रक्रिया फिर से धीमी हो जाती थी।

लेखक यह जानना चाहते थे: चाहे संख्याओं की रेंज कितनी भी विस्तृत क्यों न हो, एक आदर्श दीवार सुनिश्चित करने के लिए हमें वास्तव में कितने ईंटों की आवश्यकता है?

समाधान: "चाइनीज रिमाइंडर थ्योरम" का जादू

इसे हल करने के लिए, Ozaki-II स्कीम एक गणितीय जादू का उपयोग करती है जिसे चाइनीज रिमाइंडर थ्योरम (CRT) कहा जाता है।

उपमा: गुप्त कोड लॉकर
कल्पना कीजिए कि आप एक विशाल हाथी का सटीक वजन जानना चाहते हैं, लेकिन आपका तराजू केवल छोटी वस्तुओं (100 पाउंड तक) को तौल सकता है।

आप हाथी को एक ऐसे लॉकर में रखते हैं जो केवल वजन mod 7 (7 से विभाजित करने पर शेषफल) दिखाता है।
आप उसे दूसरे लॉकर में रखते हैं जो वजन mod 11 दिखाता है।
आप उसे तीसरे में रखते हैं जो mod 13 दिखाता है।

भले ही प्रत्येक लॉकर आपको केवल एक छोटा, भ्रमित करने वाला शेषफल देता है, लेकिन यदि आप विभिन्न "moduli" (7, 11, 13, आदि) के लिए शेषफल जानते हैं, तो आप हाथी के सटीक कुल वजन को गणितीय रूप से पुनर्गठित कर सकते है।

Ozaki-II स्कीम मैट्रिसेस (संख्याओं के ग्रिड) के साथ यही करती है:

स्लाइसिंग (Slicing): यह बड़े नंबरों को छोटे टुकड़ों में तोड़ देती है जो नन्हे 8-बिट ईंटों में फिट हो सकें।
मॉड्यूलो मैथ (Modulo Math): यह इन छोटे टुकड़ों का उपयोग करके कई "लॉकर" (विभिन्न अभाज्य संख्याओं/prime numbers का उपयोग करके) में परिणाम की गणना करती है।
पुनर्संयोजन (Reassembly): यह सभी छोटे परिणामों को एक विशाल, सटीक उत्तर में जोड़ने के लिए CRT का उपयोग करती है।

यह पेपर वास्तव में क्या करता है: "सुरक्षा निरीक्षक"

जबकि हम जानते थे कि यह विधि काम कर सकती है, हमारे पास कोई कठोर नियम पुस्तिका नहीं थी कि यह हर स्थिति में कितनी अच्छी तरह काम करेगी। यह पेपर एक सुरक्षा निरीक्षक (Safety Inspector) की तरह कार्य करता है।

लेखकों ने एक डिटरमिनिस्टिक एरर एनालिसिस (deterministic error analysis) किया। इसका अर्थ है कि उन्होंने केवल अनुमान नहीं लगाया या रैंडम टेस्ट नहीं किए; उन्होंने एक सटीक सूत्र (formula) लिखने के लिए सख्त गणित का उपयोग किया जो अंतिम दीवार में अधिकतम संभावित "दरार" (त्रुटि/error) की भविष्यवाणी करता है।

निरीक्षण से मुख्य निष्कर्ष:

सूत्र (The Formula): उन्होंने एक विशिष्ट समीकरण निकाला जो आपको बताता है कि परिणाम कितना सटीक होगा, जो दो चीजों पर आधारित है:
1. आपके द्वारा गुणा की जा रही संख्याओं की "चौड़ाई" (exponent distribution)।
2. आपने कितने "लॉकर" (moduli) का उपयोग किया।
ट्रेड-ऑफ (The Trade-off): पेपर यह सिद्ध करता है कि यदि संख्याएँ बहुत "विस्तृत" (wide) हैं (कुछ बहुत बड़ी, कुछ बहुत छोटी), तो त्रुटि को कम रखने के लिए आपको बस लॉकरों की संख्या बढ़ानी होगी।
वैधीकरण (Validation): उन्होंने एक शक्तिशाली NVIDIA GPU (एक RTX 4090) पर इस सूत्र का परीक्षण किया। कंप्यूटर में देखे गए वास्तविक एरर हमेशा उनके सूत्र द्वारा अनुमानित "वर्स्ट-केस" (सबसे खराब स्थिति) के आंकड़ों से कम थे। यह साबित करता है कि उनका सुरक्षा ब्लूप्रिंट सटीक और विश्वसनीय है।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि यह विश्लेषण ऑटोमैटिक ट्यूनिंग (automatic tuning) के लिए एक आधार है।

इसे एक स्व-चालित निर्माण दल (self-driving construction crew) की तरह समझें। पहले, एक इंसान को यह अनुमान लगाना पड़ता था कि कितने ईंटों का उपयोग करना है। अब, इस सूत्र के साथ, कंप्यूटर उन नंबरों को देख सकता है जिन्हें वह गुणा करने वाला है, डेटा की "चौड़ाई" की गणना कर सकता है, और स्वचालित रूप से निर्णय ले सकता है: "ठीक है, इस विशिष्ट काम के लिए, मुझे सुरक्षित रहने के लिए 15 लॉकर चाहिए। उस दूसरे काम के लिए, मुझे केवल 5 की आवश्यकता है।"

यह कंप्यूटर को सटीकता से समझौता किए बिना उच्चतम संभव गति प्राप्त करने की अनुमति देता है, जिससे यह सुनिश्चित होता है कि "नन्हे ईंट" वाली विधि वैज्ञानिक गणना (scientific computing) के लिए तेज़ और भरोसेमंद दोनों है।

सारांश

लक्ष्य: धीमी, उच्च-परिशुद्धता वाली गणित करने के लिए तेज़, कम-परिशुद्धता वाले कंप्यूटर चिप्स का उपयोग करना।
विधि: एक गणितीय ट्रिक (CRT) का उपयोग करके कई छोटे, सरल गणनाओं को एक बड़ी, सटीक गणना में जोड़ना।
पेपर का योगदान: यह एक सख्त गणितीय गारंटी (एक एरर बाउंड) प्रदान करता है जो हमें बताता है कि परिणाम कितना सटीक होगा और वांछित परिशुद्धता प्राप्त करने के लिए कितने छोटे गणनाओं की आवश्यकता है।
परिणाम: यह विधि प्रमाणित रूप से विश्वसनीय है, और नया सूत्र कंप्यूटर को गति और सटीकता के बीच सबसे अच्छा संतुलन बनाने के लिए अपनी सेटिंग्स को स्वचालित रूप से समायोजित करने की अनुमति देता है।

तकनीकी सारांश: ओज़ाकी-II (Ozaki-II) योजना का उपयोग करके मैट्रिक्स गुणन अनुकरण का त्रुटि विश्लेषण

समस्या विवरण
आधुनिक AI हार्डवेयर, विशेष रूप से INT8 मैट्रिक्स इंजन से लैस GPU, लो-प्रिसिजन अंकगणित के लिए असाधारण थ्रूपुट प्रदान करते हैं, जो नेटिव सिंगल-प्रिसिजन (FP32) और डबल-प्रिसिजन (FP64) फ्लोटिंग-पॉइंट ऑपरेशंस की तुलना में काफी बेहतर प्रदर्शन करते हैं। हालांकि, क्लासिकल हाई-परफॉर्मेंस कंप्यूटिंग (HPC) और कई मशीन लर्निंग वर्कलोड के लिए उच्च प्रिसिजन की संख्यात्मक विश्वसनीयता की आवश्यकता होती है। जबकि लो-प्रिसिजन ऑपरेशन्स के अनुक्रमों का उपयोग करके उच्च-प्रिसिजन परिणामों को पुनर्गठित करने के लिए इम्यूलेशन (अनुकरण) विधियाँ मौजूद हैं, इन विधियों की सटीकता सभी इनपुट डिस्ट्रीब्यूशन के लिए सुनिश्चित नहीं है। विशेष रूप से, ओज़ाकी-II योजना, जो मैट्रिक्स गुणन को इम्यूलेट करने के लिए चाइनीज रिमाइंडर थ्योरम (CRT) का लाभ उठाती है, ने उच्च प्रदर्शन प्रदर्शित किया है लेकिन इसमें एक कठोर नियतात्मक त्रुटि विश्लेषण (deterministic error analysis) का अभाव है। पिछले अध्ययनों ने नोट किया है कि जब इनपुट मैट्रिसेस में एक्सपोनेंट डिस्ट्रीब्यूशन (exponent distribution) व्यापक होता है, तो इस योजना की सटीकता कम हो जाती है, जिससे प्रिसिजन बनाए रखने के लिए लो-प्रिसिजन गुणनों की बड़ी संख्या की आवश्यकता होती है। बिना किसी सैद्धांतिक सीमा (theoretical bound) के, एक विशिष्ट सटीकता लक्ष्य प्राप्त करने के लिए आवश्यक मॉड्युली (moduli) की संख्या निर्धारित करना कठिन है।

कार्यप्रणाली (Methodology)
यह शोध पत्र सिंगल (SGEMM) और डबल (DGEMM) प्रिसिजन दोनों में जनरल मैट्रिक्स-मैट्रिक्स मल्टीप्लिकेशन (GEMM) पर लागू ओज़ाकी-II योजना के लिए एक कठोर नियतात्मक त्रुटि विश्लेषण प्रस्तुत करता है। कार्यप्रणाली में शामिल हैं:

ओज़ाकी-II योजना का औपचारिक रूप देना: लेखक इम्यूलेशन प्रक्रिया का विवरण देते हैं, जो डायगोनल स्केलिंग और ट्रंकेशन (truncation) के माध्यम से फ्लोटिंग-पॉइंट मैट्रिसेस $A$ और $B$ को पूर्णांक मैट्रिसेस $A'$ और $B'$ में परिवर्तित करता है। इन पूर्णांकों को फिर युग्मवार सह-अभाज्य (pairwise coprime) पूर्णांकों $p_\ell$ के मॉड्युलो में विभाजित किया जाता है। उत्पादों की गणना INT8 मैट्रिक्स इंजन का उपयोग करके की जाती है, और परिणामों को CRT का उपयोग करके पुनर्गठित किया जाता है ताकि उत्पाद का एक पूर्णांक सन्निकटन (approximation) बनाया जा सके, जिसे अंततः फ्लोटिंग-पॉइंट फॉर्मेट में पुन: स्केल किया जाता है।
त्रुटि सीमाओं (Error Bounds) का व्युत्पन्न: लेखक कुल त्रुटि को तीन प्राथमिक घटकों में विभाजित करते हैं:
- ट्रंकेशन एरर (Truncation Error): फ्लोटिंग-पॉइंट इनपुट्स को स्केल्ड इंटीजर्स में बदलने से उत्पन्न होता है।
- एक्युमुलेशन एरर (Accumulation Error): हाई-प्रिसिजन फ्लोटिंग-पॉइंट अंकगणित में मॉडुलर उत्पादों के योग से उत्पन्न होता है।
- फाइनल रिडक्शन एरर (Final Reduction Error): CRT पुनर्गठन और रीस्केलिंग चरणों के दौरान घटित होता है।
सैद्धांतिक प्रमाण: शोध पत्र उम्मीदवार समाधान की विशिष्टता, ट्रंकेशन और एक्युमुलेशन त्रुटियों के बंड्स, और पुनर्गठन में उपयोग किए जाने वाले राउंडिंग ऑपरेशन्स की वैधता को स्थापित करने वाले लेम्मा (lemmas) के लिए औपचारिक प्रमाण प्रदान करता है। ये लेम्मा थ्योरम 2 में परिणत होते हैं, जो त्रुटि $|AB - C_b|$ के लिए एक नियतात्मक ऊपरी सीमा (deterministic upper bound) प्रदान करता है, जहाँ $C_b$ गणना किया गया परिणाम है।
प्रायोगिक सत्यापन: NVIDIA GeForce RTX 4090 GPU पर संख्यात्मक प्रयोग किए गए। विश्लेषण से प्राप्त सैद्धांतिक त्रुटि सीमाओं की तुलना विभिन्न डायनेमिक रेंज (पैरामीटर $\phi$ द्वारा नियंत्रित) वाले मैट्रिसेस के लिए देखे गए संख्यात्मक त्रुटियों के विरुद्ध की गई।

प्रमुख योगदान

कठोर नियतात्मक त्रुटि विश्लेषण: मुख्य योगदान ओज़ाकी-II योजना के लिए एक नियतात्मक त्रुटि सीमा (थ्योरम 2) का व्युत्पन्न है। यह सीमा स्पष्ट रूप से इनपुट मैट्रिसेस के एक्सपोनेंट डिस्ट्रीब्यूशन और CRT में उपयोग किए गए मॉड्युली की संख्या ( $N$ ) को संख्यात्मक त्रुटि से जोड़ती है।
परिष्कृत सीमाएँ (Refined Bounds): शोध पत्र त्रुटि अनुमान के दो रूप प्रदान करता है: एक टाइटर बाउंड (Eq. 16) जो मध्यवर्ती पूर्णांक उत्पाद $|A'B'|$ पर निर्भर करता है, और एक अधिक रूढ़िवादी (conservative) लेकिन कम्प्यूटेशनल रूप से सस्ता बाउंड (Eq. 20) जो इस पद को एक स्थिर ऊपरी सीमा से बदल देता है।
सटीकता व्यवहार का सत्यापन: विश्लेषण सैद्धांतिक रूप से यह समझाता है कि क्यों योजना की सटीकता इनपुट एक्सपोनेंट डिस्ट्रीब्यूशन पर निर्भर करती है और यह पुष्टि करता है कि मॉड्युली की संख्या बढ़ाने से ट्रंकेशन एरर कम होता है, जिससे सटीकता में सुधार होता है।
कार्यान्वयन विवरण के लिए शुद्धता का प्रमाण: लेखक यह सिद्ध करते हैं कि विशिष्ट कार्यान्वयन विकल्प, जैसे कि स्थिरांकों के लिए डबल-डबल अंकगणित का उपयोग और INT8 रैपिंग (wrapping) का विशिष्ट प्रबंधन, अनबाउंडेड त्रुटियां पेश नहीं करते हैं जो अंतिम परिणाम से समझौता कर सकें।

परिणाम

सैद्धांतिक बनाम प्रेक्षित त्रुटि: RTX 4090 पर संख्यात्मक प्रयोगों ने प्रदर्शित किया कि SGEMM और DGEMM दोनों के लिए प्रेक्षित इम्यूलेशन त्रुटियां थ्योरम 2 में प्राप्त सैद्धांतिक अनुमानों द्वारा लगातार सीमित (bounded) हैं।
सीमा की कसावट (Bound Tightness): देखा गया कि टाइटर बाउंड (Eq. 16), कंजर्वेटिव बाउंड (Eq. 20) की तुलना में प्रेक्षित त्रुटियों की सीमा को अधिक सटीक रूप से कैप्चर करता है। हालांकि, कंजर्वेटिव बाउंड को मजबूत त्रुटि अनुमान के लिए व्यावहारिक दिखाया गया क्योंकि यह संभावित रूप से महंगे $|A'B'|$ की गणना करने के बजाय केवल मैट्रिक्स-वेक्टर उत्पादों पर निर्भर करता है।
नेटिव प्रिसिजन के साथ तुलना: परिणाम नेटिव FP32 और FP64 रूटीन की तुलना में इम्यूलेशन की सापेक्ष सटीकता को दर्शाते हैं, यह पुष्टि करते हुए कि ओज़ाकी-II योजना उपयुक्त संख्या में मॉड्युली के साथ उच्च प्रिसिजन प्राप्त कर सकती है।

महत्व
शोध पत्र का दावा है कि यह त्रुटि विश्लेषण ओज़ाकी-II योजना के भविष्य के विकास के लिए एक महत्वपूर्ण आधार प्रदान करता है। विशेष रूप से, यह वांछित संख्यात्मक सटीकता प्राप्त करने के लिए इनपुट मैट्रिसेस के एक्सपोनेंट डिस्ट्रीब्यूशन के आधार पर सटीकता-संबंधी मापदंडों, जैसे कि मॉड्युली की संख्या, के स्वचालित ट्यूनिंग (automatic tuning) को सक्षम बनाता है। इनपुट विशेषताओं और संख्यात्मक विश्वसनीयता के बीच संबंध को स्पष्ट करके, यह विश्लेषण योजना के उच्च प्रदर्शन और परिवर्तनशील सटीकता के बीच के अंतर को संबोधित करता है, जिससे यह आधुनिक AI हार्डवेयर पर सामान्य-उद्देश्यीय उच्च-प्रिसिजन कंप्यूटिंग के लिए अधिक व्यवहार्य बन जाता है। लेखक उल्लेख करते हैं कि इस विश्लेषणात्मक ढांचे को भविष्य के कार्यों में कॉम्प्लेक्स-वैल्यूड मैट्रिक्स मल्टीप्लिकेशन इम्यूलेशन के लिए भी विस्तारित किया जा सकता है।