🤖 machine learning

High-Rate Quantized Matrix Multiplication II

यह शोध पत्र यह प्रदर्शित करते हुए वेट-ओनली (weight-only) LLM पोस्ट-ट्रेनिंग क्वांटाइजेशन के लिए उच्च-दर क्वांटाइज्ड मैट्रिक्स गुणन की जांच करता है कि कैसे कोवेरिएंस-अवेयर वॉटरफिलिंग (covariance-aware waterfilling) समान-दर आवंटन (equal-rate allocation) में सुधार करती है, वॉटरएसआईसी (WaterSIC) योजना के बेसिस-फ्री और निकट-इष्टतम प्रदर्शन का विश्लेषण करता है, और यह दिखाता है कि रैंडम रोटेशन के साथ GPTQ तुलनीय निकट-इष्टतम परिणाम प्राप्त करता है।

मूल लेखक: Or Ordentlich, Yury Polyanskiy

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Or Ordentlich, Yury Polyanskiy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI के मस्तिष्क को संकुचित करना (Compressing the Brain of AI)

एक विशाल आर्टिफिशियल इंटेलिजेंस (AI) मॉडल की कल्पना करें, जैसे कि ज्ञान का एक बहुत बड़ा पुस्तकालय, जो किसी समस्या को हल करने की कोशिश कर रहा है। ऐसा करने के लिए, यह मैट्रिक्स मल्टीप्लिकेशन (MatMul) नामक एक गणितीय ऑपरेशन को अरबों बार करता है। इसे आप AI की "सोचने" की प्रक्रिया मान सकते हैं।

हालाँकि, ये "वेट्स" (AI के भीतर मौजूद संख्याएँ) बहुत अधिक मेमोरी लेते हैं। AI को तेज़ बनाने और छोटे उपकरणों पर चलाने के लिए, इंजीनियर इन संख्याओं को संकुचित (compress) करते हैं, जिसे क्वांटाइजेशन (Quantization) कहा जाता है। यह एक हाई-रिज़ॉल्यूशन फोटो को छोटी फ़ाइल साइज़ में बदलने जैसा है ताकि वह तेज़ी से लोड हो सके।

यह शोध पत्र इस अध्ययन का दूसरा भाग है कि इस तरह के संकुचन को सबसे कुशलता से कैसे किया जाए। जहाँ पहले भाग में बिना किसी पूर्व ज्ञान के संकुचन करने पर ध्यान दिया गया था, वहीं यह भाग उस परिदृश्य पर केंद्रित है जहाँ हमारे पास कुछ पूर्व ज्ञान है: हमें पता है कि AI जिस डेटा को प्रोसेस कर रहा है, उसका सांख्यिकीय "आकार" (statistical shape) क्या है।

मूल समस्या: "वेट-ओनली" पहेली (The "Weight-Only" Puzzle)

कई आधुनिक AI सिस्टम (जैसे LLMs) में, सिस्टम के माध्यम से बहने वाला डेटा (activations) अपनी पूरी शुद्धता (full precision) में रखा जाता है, लेकिन "वेट्स" (स्थिर ज्ञान) को संकुचित किया जाता है।

लक्ष्य: हम वेट्स ( $W$ ) को जितना संभव हो सके उतना संकुचित करना चाहते हैं, बिना AI के जवाबों ( $Y$ ) को बहुत गलत बनाए।
चुनौती: "गलतपन" (distortion) इस बात पर निर्भर करता है कि वेट्स आने वाले डेटा के साथ कैसे इंटरैक्ट करते हैं। यदि आने वाला डेटा एक विशिष्ट पैटर्न (जैसे एक लंबा, पतला अंडाकार आकार) रखता है, तो वेट्स को मानक, वर्गाकार ग्रिड के तरीके से संकुचित करना अक्षम होगा। यह एक लंबे, पतले सूटकेस को एक चौकोर डिब्बे में फिट करने करने जैसा है; आप बहुत सारी जगह बर्बाद करते हैं।

पुराना तरीका: "एक ही आकार सबके लिए" (GPTQ)

वर्तमान में, GPTQ जैसे लोकप्रिय तरीके वेट मैट्रिक्स के हर हिस्से के साथ एक जैसा व्यवहार करते हैं। वे संख्याओं को राउंड ऑफ करने के लिए एक मानक ग्रिड (जैसे ग्राफ पेपर) का उपयोग करते हैं।

उपमा (Analogy): कल्पना करें कि आप अलग-अलग आकार की वस्तुओं के साथ एक सूटकेस पैक कर रहे हैं। पुराना तरीका हर चीज़ के लिए समान बक्सों का ग्रिड उपयोग करता है। आप एक छोटे कंकड़ को एक बड़े बॉक्स में रखते हैं और एक विशाल चट्टान को भी एक बड़े बॉक्स में रखते हैं। आप कंकड़ के लिए बहुत जगह बर्बाद करते हैं और शायद चट्टान को पूरी तरह से फिट नहीं कर पाते।
दोष: यह तरीका डेटा के विशिष्ट आकार को नहीं देखता है। यह मानता है कि डेटा पूरी तरह से गोल (isotropic) है। यदि डेटा वास्तव में एक अंडाकार है, तो यह तरीका उप-इष्टतम (suboptimal) है।

नया सिद्धांत: "वॉटरफिलिंग" (Waterfilling - आदर्श समाधान)

लेखक Weighted Mean Squared Error (WMSE) के गणित को देखते हैं। वे Waterfilling की एक अवधारणा का उपयोग करते हैं।

उपमा: कल्पना करें कि आपके पास पहाड़ियों और घाटियों वाला एक परिदृश्य है (जो डेटा के विभिन्न हिस्सों के महत्व का प्रतिनिधित्व करता है)। आप इस परिदृश्य पर एक निश्चित मात्रा में "पानी" (आपका सीमित बिट्स/बैंडविड्थ) डालना चाहते हैं।
- Waterfilling रणनीति कहती है: पानी को सबसे पहले सबसे गहरी घाटियों में डालें। ये डेटा के वे हिस्से हैं जो सबसे अधिक महत्वपूर्ण हैं या सबसे अधिक संवेदनशील हैं। आप उन्हें अधिक "रेज़ोल्यूशन" (अधिक बिट्स) देते हैं।
- उथले पहाड़ों को कम पानी (कम बिट्स) मिलता है।
- यह सुनिश्चित करता है कि आपके पास जितना पानी उपलब्ध है, उसके लिए आपको सबसे अच्छा संभव चित्र मिले।

गणितीय रूप से, यह "इन्फॉर्मेशन-थ्योरेटिक लिमिट" है—जो सबसे अच्छा आप संभवतः कर सकते हैं।

व्यावहारिक समाधान: WaterSIC

Waterfilling के साथ समस्या यह है कि इसे वास्तविक समय में कैलकुलेट करना कठिन है। लेखक एक व्यावहारिक एल्गोरिदम प्रस्तावित करते हैं जिसे WaterSIC कहा जाता है।

यह कैसे काम करता है: यह Successive Interference Cancellation (SIC) नामक तकनीक का उपयोग करता है। कल्पना करें कि आप शोर भरे कमरे में बातचीत सुनने की कोशिश कर रहे हैं। आप पहले सबसे तेज़ आवाज़ सुनते हैं, उसे समझते हैं, और फिर उसे "कैंसिल" कर देते हैं ताकि आप शांत आवाज़ों को बेहतर ढंग से सुन सकें।
नवाचार: WaterSIC इस विचार को वेट्स पर लागू करता है। यह डेटा के आकार को देखता है (Cholesky decomposition नामक गणितीय उपकरण का उपयोग करके) और वेट के प्रत्येक भाग के लिए "ग्रिड साइज़" को एडजस्ट करता है।
- डेटा के उन हिस्सों के लिए जो "सख्त" (stiff) या महत्वपूर्ण हैं, यह एक बारीक ग्रिड (अधिक बिट्स) का उपयोग करता है।
- उन हिस्सों के लिए जो "ढीले" (loose) या कम महत्वपूर्ण हैं, यह एक मोटा ग्रिड (कम बिट्स) का उपयोग करता है।

मुख्य निष्कर्ष

लगभग पूर्ण दक्षता: लेखक सिद्ध करते हैं कि WaterSIC, सैद्धांतिक "Waterfilling" सीमा के अविश्वसनीय रूप से करीब है। यह पूर्णतः सर्वोत्तम प्रदर्शन से केवल 0.25 बिट्स दूर है। यह एक बहुत छोटा अंतर है, जिसका अर्थ है कि यह तरीका लगभग पूर्ण है।
रोटेशन इम्युनिटी (Rotation Immunity): एक सबसे दिलचस्प खोज यह है कि WaterSIC "बेसिस फ्री" (basis free) है।
- उपमा: कल्पना करें कि आपके पास एक मानचित्र (map) है। यदि आप मानचित्र को घुमाते हैं, तो उत्तरी ध्रुव (North Pole) हिल जाता है। कुछ संपीड़न विधियाँ खराब हो जाती हैं या बदतर हो जाती हैं यदि आप डेटा को घुमाते हैं (जैसे मानचित्र को घुमाना)। हालाँकि, WaterSIC उतना ही अच्छा काम करता है चाहे डेटा को किसी भी तरह से घुमाया गया हो। यह डेटा के आकार के अनुकूल होता है, न कि इस बात के कि वह किस दिशा में है।
GPTQ आश्चर्यजनक रूप से अच्छा है (एक ट्विस्ट के साथ): शोध पत्र में यह भी पाया गया कि मानक GPTQ विधि (जो फैंसी वॉटर-फिलिंग समायोजन का उपयोग नहीं करती है) आश्चर्यजनक रूप से अच्छा प्रदर्शन करती है यदि आप पहले डेटा को रैंडमली रोटेट (घुमा) देते हैं।
- यह पता चला कि वर्तमान में AI डेटा जिस तरह से व्यवस्थित है, वह वास्तव में "भाग्यशाली" है (यह इष्टतम आकार के करीब है)। लेकिन यदि आप इसमें बदलाव करते हैं (रोटेट करते हैं), तो GPTQ खराब हो जाता है, जबकि WaterSIC मजबूत बना रहता है।

सारांश

यह शोध पत्र WaterSIC पेश करता है, जो AI वेट्स को संकुचित करने का एक स्मार्ट तरीका है।

पुराना तरीका: हर चीज़ के लिए एक मानक ग्रिड का उपयोग करना (GPTC)।
नया तरीका: डेटा के आकार को देखना और प्रत्येक भाग के लिए ग्रिड का आकार बदलना (WaterSIC)।
परिणाम: नया तरीका लगभग पूर्ण है, सैद्धांतिक रूप से अजेय है, और यदि डेटा को बदला या घुमाया जाता है, तो भी मजबूत रहता है। यह जटिल गणितीय सिद्धांत और व्यावहारिक, तेज़ AI संपीड़न के बीच के अंतर को पाटता है।

लेखक निष्कर्ष निकालते हैं कि जबकि वर्तमान तरीके अच्छे हैं, अभी भी सुधार की गुंजाइश है, विशेष रूप से बहुत कम-बिट संपीड़न (जहाँ आपके पास बहुत कम बिट्स होते हैं) के लिए और कंप्यूटर चिप्स पर डेटा के "शेपिंग" को तेज़ बनाने के लिए।

तकनीकी सारांश: हाई-रेट क्वांटाइज्ड मैट्रिक्स मल्टीप्लिकेशन II

समस्या विवरण
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वेट-ओनली क्वांटाइजेशन (weight-only quantization) की सैद्धांतिक और व्यावहारिक सीमाओं की जांच करता है। विशिष्ट सेटिंग यह मानती है कि इन्फरेंस (inference) के दौरान एक्टिवेशन मैट्रिक्स $X$ फुल प्रिसिजन में उपलब्ध है, जबकि वेट मैट्रिक्स $W$ को लो-रेज़ोल्यूशन प्रतिनिधित्व $\hat{W}$ में क्वांटाइज किया जाना चाहिए ताकि मेमोरी बैंडविड्थ और स्टोरेज आवश्यकताओं को कम किया जा सके। इसका उद्देश्य अपेक्षित वेटेड मीन स्क्वेयर्ड एरर (WMSE) डिस्टॉर्शन को न्यूनतम करना है:
$D = \frac{1}{n} \mathbb{E} \| X^\top (W - \hat{W}) \|_F^2 = \frac{1}{n} \text{tr}((W - \hat{W})^\top \Sigma_X (W - \hat{W}))$
जहाँ $\Sigma_X = \mathbb{E}[XX^\top]$ एक्टिवेशन्स का कोवेरियेंस मैट्रिक्स (covariance matrix) है, जिसे यह माना गया है कि ज्ञात है (कैलिब्रेशन के माध्यम से), लेकिन डिकोडर (इन्फरेंस इंजन) के पास $\Sigma_X$ या इसके बेसिस (basis) तक पहुंच नहीं होती है, केवल क्वांटाइज्ड बिट्स तक ही पहुंच होती है।

कार्यप्रणाली और सैद्धांतिक ढांचा
लेखक इस समस्या को दो दृष्टिकोणों के माध्यम से देखते हैं: सूचना-सैद्धांतिक सीमाएं (information-theoretic limits) और व्यावहारिक एल्गोरिदम डिजाइन।

सूचना-सैद्धांतिक सीमाएं (हाई-रेट रिजीम):
- आइसोट्रोपिक बनाम एनिसोट्रोपिक कोडिंग (Isotropic vs. Anisotropic Coding): शोध पत्र "आइसोट्रोपिक" क्वांटाइजेशन (एक मानक कोडबुक जो $\Sigma_X$ से अनभिज्ञ है) और "एनिसोट्रोपिक" क्वांटाइजेशन (जो $\Sigma_X$ के अनुकूल है) के बीच अंतर करता है।
- वॉटरफिलिंग समाधान (Waterfilling Solution): क्लासिकल सोर्स कोडिंग थ्योरी का उपयोग करते हुए, लेखक व्युत्पन्न करते हैं कि हाई-रेट रिजीम में इष्टतम डिस्टॉर्शन $D^*$ एक रिवर्स वॉटरफिलिंग रणनीति द्वारा प्राप्त किया जाता है। यह $\Sigma_X$ के आइजनवैल्यूज़ (eigenvalues) के आधार पर कोऑर्डिनेट्स के बीच क्वांटाइजेशन रेट्स को असमान रूप से आवंटित करता है, जिसके परिणामस्वरूप डिस्टॉर्शन आइजनवैल्यूज़ के ज्योमेट्रिक मीन (geometric mean) के समानुपाती होता है: $D^* \propto |\Sigma_X|^{1/n} 2^{-2R}$ ।
- द गैप (The Gap): मानक आइसोट्रोपिक कोडिंग डिस्टॉर्शन आइजनवैल्यूज़ के अरिथमेटिक मीन (arithmetic mean) के समानुपाती होता है। इष्टतम और आइसोट्रोपिक समाधानों के बीच का अंतर अरिथमेटिक मीन-जियोमेट्रिक मीन (AM-GM) असमानता द्वारा नियंत्रित होता है।
- ओब्लिवियस डिकोडर (Oblivious Decoder): महत्वपूर्ण रूप से, शोध पत्र यह प्रदर्शित करता है कि भले ही डिकोडर $\Sigma_X$ -ओब्लिवियस हो (अर्थात वह SVD बेसिस लागू नहीं कर सकता), एक एडेप्टिव एनकोडर जो आइसोट्रोपिक कोडबुक का उपयोग करता है, हाई-रेट रिजीम में वॉटरफिलिंग डिस्टॉर्शन लिमिट को स्पर्शिक रूप से (asymptotically) प्राप्त कर सकता है, बशर्ते कि कोडबुक में राउंडिंग इष्टतम हो।
व्यावहारिक एल्गोरिदम (सक्सेसिव इंटरफेरेंस कैंसिलेशन):
- शोध पत्र GPTQ (और समकक्ष LDLQ) एल्गोरिदम का विश्लेषण करता है, जो प्रति एंट्री एक फिक्स्ड रेट और चोलेस्की डीकंपोजिशन (Cholesky decomposition) $\Sigma_X = U^\top U$ पर आधारित एक सक्सेसिव इंटरफेरेंस कैंसिलेशन (SIC) दृष्टिकोण (बेबाई का एल्गोरिदम) का उपयोग करता है।
- GPTQ की सैद्धांतिक सीमा: लेखक दिखाते हैं कि मानक GPTQ (समान स्पेसिंग के साथ) $U$ के स्क्वेयर्ड डायगोनल एलिमेंट्स ( $U_{i,i}^2$ ) के अरिथमेटिक मीन के समानुपाती डिस्टॉर्शन प्राप्त करता है। इसका प्रदर्शन $\Sigma_X$ के बेसिस के प्रति संवेदनशील है; विशेष रूप से, यह PCA बेसिस (जहाँ $U$ डायगोनल है) में सबसे खराब प्रदर्शन करता है और रैंडम बेसिस में बेहतर प्रदर्शन करता है।
- WaterSIC एल्गोरिदम: वॉटरफिलिंग थ्योरी से प्रेरित होकर, लेखक WaterSIC का प्रस्ताव करते हैं। यह एल्गोरिदम प्रत्येक कोऑर्डिनेट के लिए क्वांटाइजेशन स्टेप साइज (स्पेसिंग) को $U$ के डायगोनल एलिमेंट्स के आधार पर एडजस्ट करता है। विशेष रूप से, यह उन कोऑर्डिनेट्स को अधिक बिट्स आवंटित करता है जिनमें बड़े $U_{i,i}$ मान होते हैं।
- प्रदर्शन: WaterSIC डिस्टॉर्शन $U_{i,i}^2$ के ज्योमेट्रिक मीन के समानुपाती प्राप्त करता है। चूंकि $U_{i,i}$ का गुणनफल $\sqrt{|\Sigma_X|}$ के बराबर है, इसलिए WaterSIC सूचना-सैद्धांतिक निचली सीमा (lower bound) के $\frac{2\pi e}{12}$ (लगभग 1.423, या 0.25 बिट्स/एंट्री) के मल्टीप्लिकेटिव फैक्टर के भीतर डिस्टॉर्शन प्राप्त करता है।

मुख्य परिणाम

WaterSIC की निकट-इष्टतमता (Near-Optimality): दिखाया गया है कि WaterSIC एल्गोरिदम "बेसिस-फ्री" (इसका प्रदर्शन $\Sigma_X$ के डिटरमिनेंट पर निर्भर करता है, जो इसे इनपुट स्पेस के रैंडम रोटेशन के प्रति प्रतिरोधी बनाता है) है और हाई-रेट रिजीम में सैद्धांतिक वॉटरफिलिंग लिमिट के 0.25 बिट्स/एंट्री के भीतर है।
GPTQ का प्रदर्शन: हालांकि मानक GPTQ विशिष्ट बेसिस में सब-ऑप्टिमल है, लेखक पाते हैं कि Llama-3-8B लेयर्स के लिए, रैंडम रोटेशन के साथ GPTQ आश्चर्यजनक रूप से अच्छा प्रदर्शन करता है, जो अक्सर WaterSIC के 0.1 बिट के भीतर होता है। यह सुझाव देता है कि LLMs में उपयोग किया जाने वाला मानक बेसिस (संभवतः Adam ऑप्टिमाइज़र डायनेमिक्स से प्रभावित) सबसे खराब स्थिति वाला परिदृश्य नहीं है, और रैंडम रोटेशन बेसिस संवेदनशीलता को कम कर सकता है।
अनुभवजन्य सत्यापन (Empirical Validation): विकिटेक्ट-2 (Wikitext-2) कैलिब्रेशन डेटा का उपयोग करके Llama-3-8B लेयर्स पर प्रयोग पुष्टि करते हैं कि एंट्रॉपी कोडिंग (EC) के साथ WaterSIC सैद्धांतिक वॉटरफिलिंग लिमिट का बारीकी से अनुसरण करता है, जबकि मानक GPTQ का प्रदर्शन लेयर और बेसिस के आधार पर परिवर्तनशील रहता है।

महत्व और दावे
यह शोध पत्र अमूर्त सूचना सिद्धांत और व्यावहारिक LLM क्वांटाइजेशन के बीच के अंतर को पाटने का दावा करता है:

सैद्धांतिक औचित्य: यह एक कठोर सूचना-सैद्धांतिक औचितता प्रदान करता है कि क्यों प्रति-कोऑर्डिनेट रेट एलोकेशन (वॉटरफिलिंग) वेट-ओनली क्वांटाइजेशन में यूनिफॉर्म एलोकेशन की तुलना में श्रेष्ठ है।
एल्गोरिदम सुधार: यह WaterSIC को एक व्यावहारिक, लो-कॉम्प्लेक्सिटी एल्गोरिदम के रूप में पेश करता है जो इन सैद्धांतिक लाभों को साकार करता है, जो निकट-इष्टतम डिस्टॉर्शन का एक प्रमाणित मार्ग प्रदान करता है।
मौजूदा विधियों में अंतर्दृष्टि: यह GPTQ के व्यवहार को स्पष्ट करता है, इसके $\Sigma_X$ के बेसिस के प्रति संवेदनशीलता को समझाता है और यह प्रदर्शित करता है कि रैंडम रोटेशन इसे लगभग इष्टतम बना सकते हैं, जिससे इसके व्यापक उपयोग को वैध बनाया जा सके और साथ ही WaterSIC के माध्यम से आगे के लाभों को उजागर किया जा सके।
सीमाएं और भविष्य का कार्य: लेखक विनम्रतापूर्वक नोट करते हैं कि उनके हाई-रेट एप्रोक्सिमेशन उच्च रेज़ोल्यूशन को मानते हैं। वे पहचानते हैं कि लो-रेट पर (जैसे, < 2 बिट्स), अन्य कारक जैसे डाइमेंशनलिटी रिडक्शन और विशिष्ट वेट स्ट्रक्चर महत्वपूर्ण हो जाते हैं। इसके अलावा, वे बताते हैं कि हालांकि एंट्रॉपी कोडिंग (EC) सैद्धांतिक रूप से इष्टतम है, इसकी GPU पर कंप्यूटेशनल लागत निषेधात्मक हो सकती है, और GPU के लिए कुशल शेपिंग मेथड्स एक खुला विषय बना हुआ है। वे यह भी नोट करते हैं कि WaterSIC का 0.25-बिट गैप $\mathbb{Z}^n$ की सब-ऑप्टिमैलिटी से आता है, जिसे उच्च-आयामी लैटिस (higher-dimensional lattices) का उपयोग करके कम किया जा सकता है, हालांकि यह एंट्रॉपी कोडिंग को जटिल बनाता है।