🔢 mathematics

High-Rate Quantized Matrix Multiplication I

यह शोध पत्र पूर्व सांख्यिकीय अंशांकन (prior statistical calibration) के बिना सामान्य मैट्रिक्स गुणन के लिए क्वांटाइजेशन दर और विरूपण (distortion) के बीच मौलिक सूचना-सैद्धांतिक ट्रेड-ऑफ की जांच करता है, साथ ही absmax INT और फ्लोटिंग-पॉइंट जैसे लोकप्रिय क्वांटाइजेशन स्कीम्स के लिए अनुमानित सन्निकटन (heuristic approximations) का विश्लेषण और व्युत्पत्ति भी करता है।

मूल लेखक: Or Ordentlich, Yury Polyanskiy

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Or Ordentlich, Yury Polyanskiy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हाई-डेफिनिशन फिल्म को एक बहुत ही छोटे, संकीरे सुरंग के माध्यम से भेजने की कोशिश कर रहे हैं। वह फिल्म एक लार्ज लैंग्वेज मॉडल (जैसे चैटबॉट्स को चलाने वाले मॉडल) के भीतर की जटिल गणितीय संरचना का प्रतिनिधित्व करती है, और सुरंग कंप्यूटर की मेमोरी और प्रोसेसिंग स्पीड का प्रतिनिधित्व करती है। यदि आप पूरी, अनकंप्रेस्ड फिल्म को उस सुरंग से धकेलने की कोशिश करते हैं, तो सुरंग जाम हो जाएगी, और कंप्यूटर धीमा होकर लगभग रुक जाएगा।

इसे ठीक करने के लिए, इंजीनियर क्वांटाइजेशन (quantization) का उपयोग करते हैं। इसे इस तरह सोचें जैसे आप उस हाई-डेफिनेशन फिल्म को एक लो-रेज़ोल्यूशन, पिक्सेलेटेड संस्करण में कंप्रेस कर रहे हैं। यह एकदम सटीक नहीं है, लेकिन यह फिल्म सुरंग से बहुत तेज़ी से गुजर जाती है और चित्र अभी भी इतना पहचानने योग्य होता है कि उसे देखा जा सके।

यह पेपर, जिसे ओर ऑर्डेल्चिक और यूरी पॉलीन्स्की द्वारा लिखा गया है, कंप्रेशन पर एक सैद्धांतिक भौतिकी रिपोर्ट (theoretical physics report) की तरह है। केवल अलग-अलग कंप्रेशन टूल्स का परीक्षण करने के बजाय कि कौन सा व्यावहारिक रूप से सबसे अच्छा काम करता है, लेखक पूछते हैं: "इस डेटा को कंप्रेस करने की परम, गणितीय सीमा क्या है जिससे पहले यह कचरा बन जाएगा?"

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "कंप्रेशन" के दो प्रकार

लेखक "रेट" (हम कितना डेटा रखते हैं) के बारे में गणितज्ञों और इंजीनियरों के बीच के भ्रम की ओर इशारा करते हैं।

गणितज्ञ का दृष्टिकोण: कल्पना करें कि आप पूरे पिक्सेल ब्लॉक को एक साथ लेकर उसे एक ही, चतुर कोड में कंप्रेस कर देते हैं। यह सबसे कुशल तरीका है, लेकिन इसे वास्तविक समय (real-time) में करना अविश्वसनीय रूप से कठिन है।
इंजीनियर का दृष्टिकोण: कल्पना करें कि आप प्रत्येक पिक्सेल को व्यक्तिगत रूप से देख रहे हैं और कह रहे हैं, "तुम थोड़े अधिक चमकीले हो, इसलिए मैं तुम्हें निकटतम मानक रंग तक राउंड डाउन कर दूँगा।" वर्तमान AI चिप्स इसी तरह काम करते हैं (INT8 या FP8 जैसे फॉर्मेट का उपयोग करके)। यह तेज़ और आसान है, लेकिन लेखक तर्क देते हैं कि यह सैद्धांतिक सीमा जितना कुशल नहीं है।

2. "हाई-रेट" (High-Rate) धारणा

पेपर एक ऐसी स्थिति पर ध्यान केंद्रित करता है जहाँ कंप्रेशन बहुत अधिक चरम नहीं है (जैसे किसी फिल्म को स्टिक फिगर में बदलना)। वे मानकर चलते हैं कि हम पर्याप्त विवरण रख रहे हैं कि "शोर" (राउंडिंग से होने वाली त्रुटियां) छोटा है।

उपमा: कल्पना करें कि आप एक स्केल (रूलर) से मेज को मापने की कोशिश कर रहे हैं। यदि आपके स्केल पर बहुत बारीक और सटीक निशान (high rate) हैं, तो त्रुटि एक मिलीमीटर के बहुत छोटे हिस्से के बराबर होगी। यदि आप एक ऐसे स्केल का उपयोग करते हैं जिसमें बड़े अंतराल (low rate) हैं, तो त्रुटि बहुत बड़ी होगी। लेखक यह मानकर चलते हैं कि हम सटीक स्केल का उपयोग कर रहे हैं, जो उन्हें त्रुटियों की भविष्यवाणी करने के लिए सरल गणित का उपयोग करने की अनुमति देता है।

3. "परफेक्ट" बनाम "रियल" (वास्तविक)

लेखकों ने मौलिक सीमा (Fundamental Limit) की गणना की: सर्वोत्तम सटीकता जो आप कभी प्राप्त कर सकते हैं यदि आपके पास एक जादुई कंप्रेशन टूल हो जो एक बार में पूरी तस्वीर को देख सके।

परिणाम: उन्होंने पाया कि एक आदर्श सिस्टम के लिए, जैसे-जैसे आप अधिक बिट्स (अधिक विवरण) जोड़ते हैं, त्रुटि बहुत तेज़ी से कम होती जाती है।
रियलिटी चेक: इसके बाद उन्होंने AI में आज उपयोग किए जाने वाले लोकप्रिय टूल्स को देखा, जैसे INT (इंटीजर) और FP (फ्लोटिंग-पॉइंट) फॉर्मेट।
- समस्या: ये टूल्स अक्सर एक "वन-साइज़-फिट्स-ऑल" स्केलिंग विधि का उपयोग करते हैं (जैसे एक विशाल हाथी और एक छोटे चूहे के लिए एक ही स्केल का उपयोग करना)। यदि डेटा में कुछ बहुत बड़ी संख्याएं और कई छोटी संख्याएं हैं, तो स्केल बड़े नंबरों के अनुकूल होने के लिए खिंच जाता है, जिससे छोटे नंबर धुंधले बिंदुओं की तरह दिखने लगते हैं।
- समाधान: उन्होंने पाया कि यदि आप कंप्रेशन से पहले डेटा को घुमाते (rotate करते) हैं (जैसे एक तस्वीर को ग्रिड के साथ संरेखित करने के लिए घुमाना), तो "धुंधलापन" (blur) बहुत अधिक समान और अनुमानित हो जाता है। यह एक तकनीक है जिसे रैंडम रोटेशन (random rotation) कहा जाता है।

4. "श्रिंकेज" (Shrinkage) का आश्चर्य

"श्रिंकेज" के बारे में एक दिलचस्प खोज है।

उपमा: यदि आप एक फोटो को कंप्रेस करते हैं और फिर उसे अन-कंप्रेस करने की कोशिश करते हैं, तो मूल फोटो के लिए सबसे अच्छा अनुमान केवल अन-कंप्रेस्ड फोटो नहीं है; बल्कि यह वास्तव में मूल फोटो का एक थोड़ा "सिकुड़ा हुआ" (shrunk) संस्करण है।
पेपर का दृष्टिकोण: हालांकि यह "श्रिंकेज" प्रभाव मौजूद है, लेखकों ने पाया कि उच्च-गुणवत्ता (high-rate) वाली दुनिया में, जिसका वे अध्ययन कर रहे हैं, इसका लाभ इतना कम है कि हम गणित को सरल रखने के लिए इसे सुरक्षित रूप से अनदेखा कर सकते हैं।

5. टूल्स का परीक्षण

लेखकों ने एक लोकप्रिय AI मॉडल (Llama 3) के वास्तविक दुनिया के डेटा के विरुद्ध अपने सिद्धांतों का परीक्षण किया।

INT बनाम FP: उन्होंने पाया कि मानक इंटीजर फॉर्मेट (INT) के लिए, डेटा को पहले रोटेट करना अत्यंत महत्वपूर्ण है। रोटेशन के बिना, त्रुटि बहुत बड़ी हो सकती है। रोटेशन के साथ, त्रुटि सैद्धांतिक सीमा के करीब गिर जाती है।
फ्लोटिंग पॉइंट (FP): आश्चर्यजनक रूप से, फ्लोटिंग-पॉइंट फॉर्मेट के लिए, डेटा को रोटेट करना वास्तव में हानिकारक है। लेखक बताते हैं कि जिस तरह से ये फॉर्मेट संख्याओं को संभालते हैं, वह स्वाभाविक रूप से "ऊबड़-खाबड़ किनारों" को बेहतर ढंग से संभाल लेता है, इसलिए डेटा को घुमाने से चीजें बिगड़ जाती हैं।
NestQuant: उन्होंने एक नई, उन्नत विधि NestQuant को देखा (जो साधारण क्यूब्स के बजाय जटिल ज्यामितीय आकृतियों या "लैटिस" का उपयोग करती है)। उन्होंने पाया कि यह मानक टूल्स की तुलना में काफी बेहतर प्रदर्शन करती है, और उस "जादुई" सैद्धांतिक सीमा के बहुत करीब पहुँच जाती है।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर AI कंप्रेशन के भविष्य के लिए एक ब्लूप्रिंट प्रदान करता है। यह हमें बताता है:

एक कठोर गणितीय सीमा है कि हम AI गणित को कितनी अच्छी तरह कंप्रेस कर सकते हैं।
वर्तमान टूल्स (जैसे INT8 और FP8) अच्छे हैं, लेकिन वे अक्सर "सटीकता के कुछ अंश" छोड़ देते हैं क्योंकि वे डेटा के आकार (shape) को ध्यान में नहीं रखते हैं।
रोटेशन (Rotation) एक शक्तिशाली तकनीक है, लेकिन यह एक दोधारी तलवार है: यह इंटीजर मैथ में मदद करती है लेकिन फ्लोटिंग-पॉइंट मैथ को नुकसान पहुँचाती है।
नए, अधिक जटिल तरीके (जैसे NestQuant) उस अंतर को पाटने लगे हैं जो हमारे द्वारा किए जाने वाले कार्य और गणितीय रूप से संभव कार्य के बीच है।

संक्षेप में, पेपर कहता है: "हम हाईवे की स्पीड लिमिट जानते हैं। वर्तमान कारें तेज़ चल रही हैं, लेकिन यदि हम इंजन में थोड़ा बदलाव करें (रोटेशन या बेहतर लैटिस का उपयोग करके), तो हम बिना दुर्घटनाग्रस्त हुए उस स्पीड लिमिट के बहुत करीब पहुँच सकते हैं।"

तकनीकी सारांश: हाई-रेट क्वांटाइज्ड मैट्रिक्स मल्टीप्लिकेशन I

समस्या का विवरण
यह शोध पत्र क्वांटाइज्ड मैट्रिक्स मल्टीप्लिकेशन (MatMul) की समस्या को संबोधित करता है, जो लार्ज लैंग्वेज मॉडल्स (LLMs) के कुशल परिनियोजन (deployment) के लिए एक महत्वपूर्ण ऑपरेशन है। लेखक एक "जेनेरिक MatMul" सेटिंग पर ध्यान केंद्रित करते हैं जहाँ दोनों मैट्रिसेस (वेट्स और एक्टिवेशन्स) को बिना किसी विशिष्ट पूर्व सांख्यिकीय ज्ञान (कैलिब्रेशन) के क्वांटाइज किया जाना चाहिए। मुख्य चुनौती क्वांटाइजेशन रेट (प्रति प्रविष्टि बिट्स, $R$ ) और परिणामी डिस्टॉर्शन (त्रुटि) के बीच मौलिक सूचना-सैद्धांतिक (information-theoretic) ट्रेडऑफ़ को समझना है। यह शोध पत्र "रेट" की सूचना-सैद्धांतिक परिभाषा (जहाँ $N$ प्रविष्टियों के एक वेक्टर को वैश्विक रूप से $NR$ बिट्स में एनकोड किया जाता है) और AI में उपयोग की जाने वाली व्यावहारिक परिभाषा (जहाँ प्रत्येक प्रविष्टि को व्यक्तिगत रूप से या छोटे समूहों में क्वांटाइज किया जाता है) के बीच अंतर स्पष्ट करता है।

कार्यप्रणाली और सैद्धांतिक ढांचा
यह विश्लेषण हाई-रेट क्वांटाइजेशन थ्योरी पर आधारित है, जिसमें यह माना गया है कि क्वांटाइजेशन शोर सिग्नल की तुलना में काफी कमजोर है ( $R$ पर्याप्त रूप से बड़ा है)। इस धारणा के तहत, क्वांटाइजेशन त्रुटि को एक योगात्मक (additive), स्वतंत्र और समान रूप से वितरित शोर (uniformly distributed noise) के रूप में मॉडल किया जाता है। लेखक डिस्टॉर्शन विश्लेषण को सरल बनाने के लिए "लीनियर श्रिंकेज" प्रभावों को भी नजरअंदाज करते हैं, जो $O(2^{-4R})$ के क्रम के होते हैं।

शोध पत्र एक रेट- $R$ क्वांटाइजेशन योजना का उपयोग करके समस्या को औपचारिक रूप देता है जिसमें एनकोडर और एक डिकोडर शामिल हैं, जो संभावित रूप से साझा रैंडमनेस (पब्लिक कॉइन्स) का उपयोग कर सकते हैं। यह दो सेटिंग्स में प्रदर्शन का मूल्यांकन करता है:

वर्स्ट-केस (Worst-case): मैट्रिसेस $A$ और $B$ के $\ell_2$ नॉर्म्स सीमित हैं, लेकिन कोई वितरण संबंधी धारणा नहीं है।
एवरेज-केस (Average-case - Gaussian): $A$ और $B$ की प्रविष्टियाँ स्वतंत्र और समान रूप से वितरित (i.i.d.) गॉसियन (Gaussian) हैं।

मुख्य योगदान और परिणाम

जेनेरिक MatMul के लिए मौलिक सीमाएँ:
यह शोध पत्र स्थापित करता है कि जेनेरिक मैट्रिसेस के लिए, उत्पाद $A^\top B$ की $(i,j)$ -वीं प्रविष्टि के लिए न्यूनतम अपेक्षित डिस्टॉर्शन इस प्रकार है:
$D^*_{ij} = \frac{\|a_i\|^2 \cdot \|b_j\|^2}{n} \cdot 2 \cdot 2^{-2R}$
जहाँ $a_i$ और $b_j$ क्रमशः $A$ और $B$ के कॉलम हैं, और $n$ आयाम (dimension) है। यह बाउंड गॉसियन इनपुट के लिए सटीक (tight) पाया गया है। लेखक प्रदर्शित करते हैं कि गैर-रैंडमाइज्ड स्कीम्स या सरल स्केचिंग दृष्टिकोण आमतौर पर आयाम $n$ के साथ रैखिक रूप से बढ़ते डिस्टॉर्शन ( $\Omega(n)$ ) से ग्रस्त होते हैं, जबकि रैंडमाइजेशन (रैंडम रोटेशन/डिदर) के साथ लैटिस क्वांटाइजेशन को संयोजित करने वाली स्कीम्स मौलिक सीमा को प्राप्त कर सकती हैं।
लोकप्रिय क्वांटाइजेशन स्कीम्स का विश्लेषण:
लेखक व्यापक रूप से उपयोग की जाने वाली स्कीम्स के डिस्टॉर्शन के लिए सटीक ह्यूरिस्टिक अनुमान प्राप्त करते हैं, जिन्हें $K(i,j) \cdot 2 \cdot 2^{-2R_{\text{eff}}}$ के रूप में व्यक्त किया जाता है, जहाँ $R_{\text{eff}}$ "प्रभावी दर" (effective rate) बिट्स में है।

INT मल्टीप्लायर्स (absmax): मानक INT $M$ (absmax स्केलिंग के साथ) के लिए, प्रभावी दर $R_{\text{eff}} \approx M - \frac{1}{2}\log_2(\frac{2 \ln n}{3})$ है। यह $\ell_\infty$ स्केलिंग फैक्टर के कारण महत्वपूर्ण रेट पेनल्टी को दर्शाता है। शोध पत्र दिखाता है कि क्वांटाइजेशन से पहले एक रैंडम रोटेशन (जैसे, हैडामार्ड ट्रांसफॉर्म) लागू करने से डिस्टॉर्शन फैक्टर $\Delta_{\text{INT}}$ को $2 \ln n$ के आसपास केंद्रित करने के लिए कम हो जाता है, जिससे INT क्वांटाइजेशन के लिए रोटेशन महत्वपूर्ण हो जाता है।
फ्लोटिंग-पॉइंट (FP) मल्टीप्लायर्स: "इनफिनिट-एक्सपोनेंट इंडिपेंडेंट नॉइज़" (IEIN) मॉडल का उपयोग करते हुए, लेखक यह निष्कर्ष निकालते हैं कि $M$ मेंफैंट बिट्स वाले FP के लिए, $R_{\text{eff}} \approx M + 2.23$ बिट्स है। INT के विपरीत, विश्लेषण बताता है कि FP क्वांटाइजेशन के लिए, रैंडम रोटेशन अक्सर अनावश्यक होता है और हानिकारक भी हो सकता है, क्योंकि कुछ वितरणों के लिए बिना रोटेशन के डिस्टॉर्शन फैक्टर $\Delta_{\text{FP}}$ का मान 1 से कम होता है।
मल्टी-स्केल्ड फॉर्मेट्स (NVFP4/NVINT4): यह शोध पत्र 4-बिट फॉर्मेट्स (NVFP4, NVINT4) का विश्लेषण करता है जो मल्टी-स्केलिंग (ग्रुप स्केलिंग) का उपयोग करते हैं। यह तर्क देता है कि NVFP4 प्रभावी रूप से लगभग 3.24 बिट्स की प्रभावी दर के साथ एक 1-मेंफैंट बिट स्कीम की तरह व्यवहार करता है, जबकि NVINT4 सावधानीपूर्वक प्रबंधन के बिना मानक INT के समान ही स्केलिंग पेनल्टी से ग्रस्त रहता है।
NestQuant: लेखक NestQuant फ्रेमवर्क की समीक्षा करते हैं, जो नेस्टेड लैटिस कोड्स (विशेष रूप से $E_8$ लैटिस) और स्केल्स के एक बैंक का उपयोग करता है। वे नोट करते हैं कि NestQuant समान बिट-रेट पर INT और FP स्कीम्स की तुलना में काफी बेहतर प्रदर्शन करता है, जो लगभग 0.6 अतिरिक्त बिट्स की सटीकता प्राप्त करता है।

अनुभवजन्य सत्यापन (Empirical Validation):
Llama3-8B की 15वीं लेयर के एक्टिवेशन मैट्रिसेस का उपयोग करके, शोध पत्र सैद्धांतिक अनुमानों को सत्यापित करता है।

INT और FP डिस्टॉर्शन के लिए प्राप्त सूत्र अनुभवजन्य RMSE (Root Mean Squared Error) मापों के साथ उल्लेखनीय रूप से मेल खाते हैं।
हिस्टोग्राम पुष्टि करते हैं कि रैंडम रोटेशन INT क्वांटाइजेशन के लिए डिस्टॉर्शन फैक्टर के वेरिएंस को नाटकीय रूप से कम करता है, लेकिन FP क्वांटाइजेशन पर इसका प्रभाव अलग, अक्सर नकारात्मक होता है।
$R=4.5$ बिट्स पर तुलना दर्शाती है कि NestQuant, NVINT4 और NVFP4 दोनों की तुलना में काफी बेहतर प्रदर्शन करता है।

महत्व और दावे
शोध पत्र का दावा है कि यह जेनेरिक क्वांटाइज्ड MatMul के लिए पहले सूचना-सैद्धांतिक बेंचमार्क प्रदान करता है जहाँ कोई कैलिब्रेशन सांख्यिकी उपलब्ध नहीं है। इसका प्राथमिक महत्व मौलिक सीमाओं और प्रतिबंधात्मक व्यावहारिक दृष्टिकोणों (जैसे मानक INT/FP फॉर्मेट) के बीच के अंतर को मापने में निहित है।

लेखक इस बात पर जोर देते हैं कि हालांकि बहुत कम बिट-रेट ( $R < 2$ ) के लिए हाई-रेट धारणाएं लागू नहीं हो सकती हैं, फिर भी वे LLMs में उपयोग किए जाने वाले सामान्य बिट-रेट (जैसे, 4 से 8 बिट्स) के लिए पर्याप्त सटीक अभिव्यक्ति प्रदान करती हैं। यह कार्य वर्तमान क्वांटाइजेशन रणनीतियों का मूल्यांकन करने के लिए एक सैद्धांतिक आधार के रूप में कार्य करता है, जो यह उजागर करता है कि:

INT क्वांटाइजेशन के लिए मौलिक सीमाओं के करीब पहुँचने के लिए रैंडम रोटेशन एक महत्वपूर्ण घटक है।
FP क्वांटाइजेशन अलग तरह से व्यवहार करता है, जहाँ रोटेशन फायदेमंद नहीं हो सकता है।
मानक स्कीम्स और सैद्धांतिक इष्टतम (optimum) के बीच एक बड़ा प्रदर्शन अंतर है, जिसे NestQuant जैसी उन्नत तकनीकों द्वारा कम किया जा सकता है।

शोध पत्र यह नोट करते हुए समाप्त होता है कि इस कार्य का भाग II वेट-ओनली क्वांटाइजेशन सेटअप को संबोधित करेगा जहाँ एक्टिवेशन्स की सेकंड-ऑर्डर सांख्यिकी उपलब्ध होती है।