HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models
HyperQuant एक एकीकृत पोस्ट-ट्रेनिंग क्वांटाइजेशन पाइपलाइन है जो रैंडमाइज्ड हैडामार्ड ट्रांसफॉर्म, ऑप्टिमल लैटिस क्वांटाइजेशन, राइस कोडिंग और बायस करेक्शन को जोड़ता है ताकि बड़े भाषा और डिफ्यूजन मॉडल्स के वेट्स (weights) और KV कैशे (KV caches) के लिए रेट-डिस्टॉर्शन-ऑप्टिमल कंप्रेशन प्राप्त किया जा सके, जो विभिन्न बिट-रेट पर मौजूदा तरीकों से बेहतर प्रदर्शन करते हुए लगभग लॉसलेस गुणवत्ता बनाए रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास किताबों का एक विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल या वीडियो जनरेटर)। इन किताबों में अरबों शब्द और चित्र हैं, जो इतनी जगह घेरते हैं कि वे आपके कंप्यूटर की हार्ड ड्राइव में मुश्किल से समा पाते हैं। जब आप कंप्यूटर को एक वाक्य पढ़ने या वीडियो बनाने के लिए कहते हैं, तो उसे इन भारी किताबों को बार-बार इधर-उधर ले जाना पड़ता है, जो बहुत धीमा और थका देने वाला होता है।
HyperQuant एक नया, चतुर सिस्टम है जिसे इन किताबों को बिना कहानी खोए, उनके आकार के एक छोटे से हिस्से तक सिकोड़ने के लिए डिज़ाइन किया गया है, जिससे उन्हें पढ़ना तेज़ और स्टोर करना आसान हो जाता है।
यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग करके आसान चरणों में बताया गया है:
1. "शफलिंग" की ट्रिक (रैंडमाइज्ड हैडामार्ड ट्रांसफॉर्म)
कल्पना कीजिए कि आपके पास कागजों का एक अस्त-व्यस्त ढेर है जहाँ कुछ पन्ने बहुत बड़े और भारी हैं, जबकि अन्य कागज के छोटे टुकड़े हैं। यदि आप उन्हें एक बॉक्स में पैक करने की कोशिश करते हैं, तो बड़े पन्ने बाहर निकल आते हैं और जगह बर्बाद करते हैं।
HyperQuant पन्नों को शफल (shuffle) करके शुरुआत करता है। यह डेटा को मिला देता है ताकि कुछ विशाल बाहरी तत्वों (outliers) और कई छोटे टुकड़ों के बजाय, सब कुछ एक समान वितरण (जैसे एक परफेक्ट बेल कर्व) बन जाए। यह डेटा को कुशलतापूर्वक पैक करने में बहुत आसान बनाता है, ठीक वैसे ही जैसे ताश के पत्तों को फेंटने से उन्हें समान रूप से बांटना आसान हो जाता है।
2. "परफेक्ट पैकिंग" (लैटिस क्वांटाइजेशन)
एक बार जब डेटा शफल हो जाता है, तो HyperQuant को निरंतर संख्याओं (continuous numbers) को उन "बिंदुओं" में बदलने की आवश्यकता होती है जिन्हें स्टोर किया जा सके।
- पुराना तरीका: कल्पना करें कि आप एक साधारण ग्रिड (जैसे चेकरबोर्ड) का उपयोग करके एक बॉक्स में गोले (spheres) भरने की कोशिश कर रहे हैं। इसमें गोलों के बीच बहुत सारी खाली जगह बर्बाद हो जाती है।
- HyperQuant का तरीका: यह गणितीय "लैटिस" (lattices) (जैसे E8 या D4 आकृतियाँ) का उपयोग करता है। इन्हें एक क्रेट में संतरों को स्टैक करने के सबसे कुशल तरीके के रूप में सोचें। वे गोलों को इतनी मजबूती से फिट करते हैं कि लगभग कोई भी खाली जगह नहीं बचती। यह सिस्टम को बहुत कम बिट्स का उपयोग करके समान मात्रा में जानकारी स्टोर करने की अनुमति देता है।
3. "ज़िपर" (एन्ट्रॉपी कोडिंग और राइस कोड्स)
परफेक्ट पैकिंग के साथ भी, आपके पास लिखने के लिए संख्याओं की एक लंबी सूची होगी।
- पुराना तरीका: आप हर संख्या के लिए समान स्थान लिखते हैं, भले ही कुछ संख्याएँ बहुत बार आती हों और कुछ बहुत कम।
- HyperQuant का तरीका: यह एक वेरिएबल-लेंथ कोड (Rice coding) का उपयोग करता है। इसे एक गुप्त भाषा की तरह समझें जहाँ सामान्य शब्दों के लिए बहुत छोटे कोड होते हैं (जैसे "u" का अर्थ "you") और दुर्लभ शब्दों के लिए लंबे कोड होते हैं। क्योंकि सिस्टम जानता है कि कौन सी संख्याएँ सबसे अधिक बार आती हैं, यह डेटा को और भी अधिक कंप्रेस कर देता है, जिससे बिना कोई अर्थ खोए जगह बचती है।
4. "नॉइज़ कैंसलिंग" (KV कैश के लिए बायस करेक्शन)
जब कोई मॉडल पिछले शब्दों को याद रखता है (जिसे "KV कैश" कहा जाता है), तो उसे बहुत सटीक होने की आवश्यकता होती है। यदि आप संख्याओं को बहुत रफ तरीके से राउंड ऑफ करते हैं, तो मॉडल भ्रमित हो सकता है और बेतुकी बातें (hallucinations) बनाना शुरू कर सकता है।
HyperQuant "सबट्रैक्टिव डिथर" (subtractive dither) का उपयोग करता है। कल्पना कीजिए कि आप एक तरल पदार्थ को मापने की कोशिश कर रहे हैं, लेकिन आपका कप थोड़ा डगमगा रहा है। केवल अनुमान लगाने के बजाय, आप उसमें थोड़ी सी रैंडम मात्रा में पानी जोड़ते हैं, उसे मापते हैं, और फिर बाद में उस सटीक रैंडम मात्रा को घटा देते हैं। यह त्रुटि को पूरी तरह से रद्द कर देता है, जिससे परिणाम सटीक और निष्पक्ष रहता है, भले ही डेटा को बहुत अधिक कंप्रेस किया गया हो।
5. "मैजिक बॉक्स" (हार्डवेयर इंटीग्रेशन)
अंत में, HyperQuant को आधुनिक कंप्यूटर चिप्स (जैसे NVIDIA के H100 और Blackwell GPUs) के साथ सीधे काम करने के लिए डिज़ाइन किया गया है। यह केवल डेटा को कंप्रेस नहीं करता है; यह इसे इस तरह से फॉर्मेट करता है कि चिप इसे अनपैक किए बिना तुरंत पढ़ सके।
- परिणाम: इसने पाया कि इस विशिष्ट प्रकार के कंप्रेस्ड डेटा के लिए 8-बिट इंटीजर्स (मानक पूर्ण संख्याएं) वास्तव में 8-बिट फ्लोटिंग पॉइंट्स (डेसिमल संख्याएं) की तुलना में बेहतर काम करते हैं। यह ऐसा है जैसे यह महसूस करना कि इस विशेष पहेली के लिए, डेसिमल के बजाय पूर्ण संख्याएं स्लॉट्स में बेहतर फिट बैठती हैं।
बड़ी जीत
पेपर का दावा है कि HyperQuant निम्नलिखित प्राप्त करता है:
- भारी कंप्रेशन: यह मॉडल की "मेमोरी" (weights) को लगभग 4 गुना और "वर्किंग मेमोरी" (KV cache) को लगभग 3.8 गुना सिकोड़ देता है।
- कोई गुणवत्ता हानि नहीं: डेटा को इतना सिकोड़ने के बावजूद, मॉडल मूल, अनकंप्रेस्ड संस्करण की तरह ही टेक्स्ट या वीडियो को समझता है और उत्पन्न करता है।
- वीडियो की सफलता: इसने बिना किसी दृश्य गड़बड़ी के एक 19-बिलियन पैरामीटर वाले वीडियो जनरेशन मॉडल (LTX-2) को सफलतापूर्वक कंप्रेस किया।
- प्रतिद्वंद्वियों को पछाड़ना: यह लगभग हर टेस्ट में पिछले शीर्ष तरीकों (जैसे HIGHS, TurboQuant, और OCTOPUS) से बेहतर प्रदर्शन करता है, विशेष रूप से तब जब डेटा को बहुत छोटे आकार (जैसे 1.7 बिट प्रति नंबर) तक सिकोड़ने की कोशिश की जाती है।
संक्षेप में, HyperQuant एक नया "पैकिंग एल्गोरिदम" है जो AI मॉडल्स को शफल, स्टैक और ज़िपर करता है ताकि वे कहानी को तोड़े बिना आपकी जेब में समा सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।