🤖 machine learning

RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory

RateQuant रेट-डिस्टॉर्शन थ्योरी का लाभ उठाकर, प्रति-क्वांटाइज़र डिस्टॉर्शन मॉडल को फिट करने और क्लोज्ड-फॉर्म रिवर्स वॉटरफिलिंग के माध्यम से इष्टतम बिट आवंटन के लिए समाधान निकालकर, नैव (naive) मिक्स्ड-प्रिसिजन KV कैश क्वांटाइजेशन की कमियों को दूर करता है, जिससे न्यूनतम कैलिब्रेशन ओवरहेड के साथ महत्वपूर्ण परप्लेक्सिटी (perplexity) में कमी आती है।

मूल लेखक: Fei Zuo, Zikang Zhou, Hao Cong, Xiaoyan Xi, Ho Fai Leung

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Fei Zuo, Zikang Zhou, Hao Cong, Xiaoyan Xi, Ho Fai Leung

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ RATEQUANT पेपर का स्पष्टीकरण दिया गया है, जिसे रोजमर्रा की भाषा में उपमाओं (analogies) का उपयोग करके अनुवादित किया गया है।

बड़ी समस्या: "याददाश्त इकट्ठा करने वाला" (The Memory Hoarder)

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक बहुत ही बुद्धिमान लेकिन भुलक्कड़ छात्र के रूप में करें जो एक बहुत लंबी परीक्षा दे रहा है। एक नए प्रश्न का उत्तर देने के लिए, छात्र को वह सब कुछ याद रखने की आवश्यकता है जो उसने अब तक पढ़ा है। कंप्यूटर की दुनिया में, इस मेमोरी को KV Cache कहा जाता है।

जैसे-जैसे बातचीत लंबी होती जाती है, यह मेमोरी का ढेर रैखिक (linearly) रूप से बढ़ता जाता है। एक बड़े मॉडल के लिए, यह ढेर इतना विशाल हो सकता है कि यह कंप्यूटर की RAM को भर दे, जिससे सब कुछ धीमा हो जाए या सिस्टम क्रैश हो जाए।

वर्तमान समाधान: जगह बचाने के लिए, इंजीनियर इस मेमोरी के ढेर को "सिकुड़ने" (compress करने) की कोशिश कर रहे हैं (क्वांटाइजेशन के माध्यम से)। इसे एक हाई-रिज़ॉल्यूशन फोटो को लो-रिज़ॉल्यूशन JPEG में बदलने जैसा समझें।

खामी: वर्तमान तरीके मेमोरी के ढेर के हर हिस्से के साथ बिल्कुल एक जैसा व्यवहार करते हैं। वे सब कुछ एक ही मात्रा में सिकोड़ देते हैं। यह एक चेहरे की फोटो और एक धुंधले बैकग्राउंड की फोटो लेने और फिर दोनों को एक ही छोटे आकार में कंप्रेस करने जैसा है। आप बैकग्राउंड के कुछ बाइट्स बचाने के चक्कर में चेहरे के महत्वपूर्ण विवरण खो देते हैं।

नया विचार: "मिश्रित-परिशुद्धता" (Mixed-Precision)

स्पष्ट समाधान यह लगता है: महत्वपूर्ण हिस्सों को अधिक स्थान दें और कम महत्वपूर्ण हिस्सों को कम स्थान दें। इसे "मिश्रित-परिशुद्धता" (mixed-precision) कहा जाता है।

हालाँकि, इस पेपर के लेखकों ने एक छिपे हुए जाल की खोज की। उन्होंने पाया कि अलग-अलग कंप्रेशन टूल्स (quantizers) डेटा को पूरी तरह से अलग-अलग तरीकों से सिकोड़ते हैं।

जाल: कल्पना करें कि आपके पास दो अलग-अलग प्रकार के 'श्रिंक-रैप' (सिकुड़ने वाली पन्नी) हैं।
- श्रिंक-रैप A चीजों को पहले बहुत धीरे और फिर तेजी से सिकोड़ता है।
- श्रिंक-रैप B चीजों को पहले तेजी से और फिर धीरे सिकोड़ता है।
- यदि आप श्रिंक-रैप B का उपयोग करने के निर्णय के लिए श्रिंक-रैप A के निर्देशों का उपयोग करते हैं, तो आप गलत चीजों को बहुत कसकर लपेट देंगे और गलत चीजों को बहुत ढीला छोड़ देंगे। परिणाम? फोटो उस स्थिति से भी बेहतर दिखेगी यदि आपने सब कुछ समान रूप से सिकोड़ा होता।

पेपर इसे "डिस्टॉर्शन मॉडल मिसमैच" (Distortion Model Mismatch) कहता है। यही कारण है कि "स्मार्ट" मेमोरी आवंटन के पिछले प्रयास अक्सर विफल रहे या चीजों को और खराब कर दिया।

समाधान: RATEQUANT

लेखकों ने इस समस्या को ठीक करने के लिए RATEQUANT नामक एक नया सिस्टम बनाया है। यह कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:

1. "स्वाद परीक्षण" (कैलिब्रेशन - Calibration)

मेमोरी को कैसे सिकोड़ना है, यह तय करने से पहले, RATEQUANT एक छोटा, त्वरित "स्वाद परीक्षण" (डेटा के एक छोटे सेट का उपयोग करके) लेता है।

यह पूछता है: "यह विशिष्ट कंप्रेशन टूल कैसे व्यवहार करता है?"
यह मापता है कि विभिन्न आकारों पर कितनी गुणवत्ता का नुकसान होता है।
यह सुनिश्चित करता है कि सिस्टम अपने द्वारा उपयोग किए जा रहे टूल के अनूठे "व्यक्तित्व" को जानता है, जिससे मिसमैच के जाल से बचा जा सके।

2. "सितारों" की पहचान करना (संवेदनशीलता - Sensitivity)

मेमोरी के सभी हिस्से समान नहीं होते। कुछ "अटेंशन हेड्स" (दिमाग के वे हिस्से जो विशिष्ट शब्दों पर ध्यान केंद्रित करते हैं) वाक्य को समझने के लिए महत्वपूर्ण होते हैं; अन्य केवल भरने के काम आते हैं।

RATEQUANT ग्रेडिएंट-आधारित संवेदनशीलता (gradient-based sensitivity) का उपयोग करता है। केवल यह अनुमान लगाने के बजाय कि कौन से हिस्से "तेज आवाज" वाले हैं (एक्टिवेशन-आधारित), यह जाँचता है कि किन हिस्सों के बिगड़ने से अंतिम उत्तर में सबसे बड़ी गलती होगी।
उपमा: यह एक कंडक्टर की तरह है जो यह देख रहा है कि कौन से संगीतकार सोलो (solo) बजा रहे हैं। यदि वायलिन वादक गलती करता है, तो गाना बिखर जाता है। यदि पीछे बैठा तालवाद्य (percussionist) गलती करता है, तो शायद आप ध्यान भी न दें। RATEQUANT उन्हीं वायलिन वादकों की पहचान करता है।

3. "स्मार्ट बजट" (रिवर्स वॉटरफिलिंग - Reverse Waterfilling)

एक बार जब RATEQUANT जान जाता है कि कौन से हिस्से महत्वपूर्ण हैं और कंप्रेशन टूल कैसे काम करता है, तो यह बिट्स (बजट) को वितरित करने के लिए एक गणितीय समस्या को हल करता है।

यह महत्वपूर्ण "वायलिन वादकों" (महत्वपूर्ण हेड्स) को अधिक बिट्स देता है।
यह कम महत्वपूर्ण "बैकग्राउंड परकशन" (कम महत्वपूर्ण हेड्स) को कम बिट्स देता है।
यह रिवर्स वॉटरफिलिंग (Reverse Waterfilling) नामक एक क्लासिक गणितीय तकनीक का उपयोग करता है, जो यह सुनिश्चित करता है कि कुल मेमोरी सीमा के भीतर रहे जबकि त्रुटियां न्यूनतम हों।

4. बिल का बँटवारा (K/V पृथक्करण - K/V Separation)

पेपर में यह भी पाया गया कि मेमोरी में "कीज़" (Keys - खोज शब्द) और "वैल्यूज़" (Values - वास्तविक डेटा) अलग-अलग व्यवहार करते हैं।

RATEQUANT उन्हें दो अलग समूहों के रूप में मानता है। यह तय कर सकता है कि कीज़ को 2.85 बिट्स और वैल्यूज़ को 2.15 बिट्स दिए जाएं, बजाय इसके कि उन्हें एक ही औसत साझा करने के लिए मजबूर किया जाए। यह यह महसूस करने जैसा है कि आपको अपने कपड़ों के लिए एक बड़ा सूटकेस चाहिए लेकिन अपने प्रसाधन सामग्री (toiletries) के लिए एक छोटा।

परिणाम: जादुई नंबर (Magic Numbers)

इस पेपर ने एक लोकप्रिय मॉडल (Qwen3-8B) पर एक बहुत ही सख्त मेमोरी सीमा (औसत 2.5 बिट्स) के साथ इसका परीक्षण किया।

पहले (मानक विधि): मॉडल भ्रमित था और कई गलतियाँ कर रहा था (परप्लेक्सिटी 49.3)।
बाद में (RATEQUANT): मॉडल स्पष्ट और सटीक हो गया (परप्लेक्सिटी घटकर 14.9 रह गई)।
जीत: यह भ्रम में 70% की कमी है।

महत्वपूर्ण बात यह है कि यह "स्मार्ट ट्यूनिंग" मॉडल के उपयोग से पहले एक बार (लगभग 1.6 सेकंड में) होती है। एक बार होने के बाद, मॉडल वास्तविक उपयोग के दौरान बिना किसी अतिरिक्त लागत के, पहले की तरह ही तेज़ चलता है।

सारांश

RATEQUANT AI मेमोरी के लिए एक स्मार्ट मैनेजर है। यह मेमोरी के सभी हिस्सों के साथ एक जैसा व्यवहार करना बंद करता है। इसके बजाय, यह:

कैलिब्रेट करता है ताकि उपयोग किए जा रहे विशिष्ट कंप्रेशन टूल को समझा जा सके।
मेमोरी के सबसे महत्वपूर्ण हिस्सों की पहचान करता है।
कुशलतापूर्वक स्थान आवंटित करता है, VIPs को अधिक जगह और बाकी लोगों को कम जगह देता है।
AI को मूर्ख बनाए बिना मेमोरी की भारी मात्रा में बचत करता है।

यह "वन-साइज-फिट्स-ऑल" (सबके लिए एक समान) दृष्टिकोण को "टेलर-मेड सूट" (व्यक्तिगत फिटिंग) दृष्टिकोण में बदल देता है, जिससे उस समस्या का समाधान होता है जिसे पिछले तरीकों ने अनजाने में और खराब कर दिया था।

तकनीकी सारांश: RATEQUANT

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को जनरेशन के दौरान सभी पहले से कंप्यूट किए गए की-वैल्यू (KV) पेयर्स को कैश करने की आवश्यकता होती है, जिससे एक मेमोरी बॉटलनेक उत्पन्न होता है जो सीक्वेंस लेंथ, बैच साइज और मॉडल डेप्थ के साथ रैखिक रूप से (linearly) बढ़ता है। हालांकि KV कैश को क्वांटाइज़ करने से इसका फुटप्रिंट कम हो जाता है, मौजूदा तरीके हर अटेंशन हेड को समान बिट-विड्थ (bit-width) प्रदान करते हैं। यह दृष्टिकोण हेड की विषमता (heterogeneity) को नजरअंदाज करता है, जो कि अच्छी तरह से प्रलेखित है।

लेयर या चैनल स्तर पर मिश्रित-परिशुद्धता (mixed-precision) आवंटन के हालिया प्रयास विशिष्ट क्वांटाइज़र से जुड़े ह्यूरिस्टिक नियमों पर निर्भर करते हैं, जिनमें सैद्धांतिक गारंटी और हस्तांतरणीयता (transferability) का अभाव है। लेखक एक गहरी, पहले से अनजानी बाधा की पहचान करते हैं: डिस्टॉर्शन मॉडल मिसमैच (distortion model mismatch)। विभिन्न क्वांटाइज़र अलग-अलग डिस्टॉर्शन-रेट कर्व्स का पालन करते हैं, जिन्हें $D(b) = \alpha \beta^{-b}$ के रूप में मॉडल किया गया है। क्षय दर (decay rate) $\beta$ विभिन्न डिजाइनों में काफी भिन्न होती है (जैसे, TURBOQUANT में 3.6 से लेकर QuaRot में 5.3 तक)। किसी एक क्वांटाइज़र के डिस्टॉर्शन मॉडल से प्राप्त मिश्रित-परिशुद्धता आवंटन रणनीति को दूसरे पर लागू करने से अटेंशन हेड्स के मार्जिनल गेन ऑर्डरिंग (marginal gain ordering) उलट जाती है, जिससे अक्सर प्रदर्शन यूनिफॉर्म क्वांटाइजेशन से भी खराब हो जाता है।

कार्यप्रणाली (Methodology)

RATEQUANT इस चुनौती को हल करने के लिए प्रति-हेड KV कैश बिट आवंटन को एक रेट-डिस्टॉर्शन ऑप्टिमाइज़ेशन समस्या के रूप में औपचारिक रूप देता है। यह फ्रेमवर्क चार चरणों में विभाजित है:

1. समस्या का सूत्रकरण और इष्टतम आवंटन (Problem Formulation and Optimal Allocation)

लेखक प्रति-हेड क्वांटाइजेशन मीन स्क्वेर्ड एरर (MSE) को बिट-विड्थ के एक एक्सपोनेंशियल फंक्शन के रूप में मॉडल करते हैं: $D(b) = \alpha \beta^{-b}$ । लक्ष्य $N$ क्वांटाइजेशन समूहों (हेड्स) में डिस्टॉर्शन के भारित योग (weighted sum) को कुल बिट बजट $B$ के अधीन न्यूनतम करना है:
$\min_{b} \sum_{i=1}^{N} w_i \cdot D(b_i) \quad \text{subject to} \quad \sum b_i = B$
जहाँ $w_i$ हेड $i$ की संवेदनशीलता (sensitivity) को दर्शाता है।

लैग्रेंजियन स्टेशनैरिटी (Lagrangian stationarity) का उपयोग करते हुए, लेखक रिवर्स वॉटरफिलिंग (reverse waterfilling) के माध्यम से एक क्लोज्ड-फॉर्म सॉल्यूशन प्राप्त करते हैं:
$b^*_i = \bar{b} + \frac{\ln w_i - \ln \bar{w}}{\ln \beta}$
जहाँ $\bar{b}$ औसत बिट-विड्थ है और $\bar{w}$ संवेदनशीलता का ज्यामितीय माध्य (geometric mean) है। यह समाधान उच्च संवेदनशीलता वाले हेड्स को अधिक बिट्स आवंटित करता है। सैद्धांतिक रूप से, प्राप्त डिस्टॉर्शन रिडक्शन, हेड सेंसिटिविटीज के अंकगणितीय माध्य और ज्यामितीय माध्य (AM/GM) के अनुपात द्वारा सीमित है।

2. संवेदनशीलता अनुमान (Sensitivity Estimation)

$w_i$ को निर्धारित करने के लिए, RATEQUANT ग्रेडिएंट-आधारित संवेदनशीलता (gradient-based sensitivity) का उपयोग करता है। यह कॉज़ल लैंग्वेज मॉडलिंग लॉस के सापेक्ष KV प्रोजेक्शन आउटपुट्स के स्क्वेयर्ड ग्रेडिएंट नॉर्म्स की गणना करता है:
$w_{l,h} = \mathbb{E}_{x \sim \mathcal{D}} \left[ \frac{1}{T} \sum_{t=1}^{T} \left\| \frac{\partial \mathcal{L}}{\partial K_{l,h,t}} \right\|^2 \right]$
लेखक सिद्ध करते हैं कि ग्रेडिएंट-आधारित प्रॉक्सी, एक्टिवेशन-आधारित मेट्रिक्स (जैसे, चैनल मैग्नीट्यूड) की तुलना में बेहतर हैं, जो सीधे लॉस प्रभाव के बजाय एरर एम्प्लीफिकेशन को मापते हैं। ग्रेडिएंट-आधारित संवेदनशीलता महत्व के एक U-आकार के पैटर्न (शुरुआती और अंतिम लेयर्स में उच्च संवेदनशीलता) को प्रकट करती है, जबकि एक्टिवेशन-आधारित मेट्रिक्स डेप्थ के साथ एक मोनोटोनिक वृद्धि दिखाते हैं।

3. इंटीजर आवंटन और विस्तार (Integer Allocation and Extensions)

चूंकि बिट-विड्थ पूर्णांक (integers) होनी चाहिए, इसलिए निरंतर समाधान को ग्रीडी मार्जिनल गेन एल्गोरिदम (एल्गोरिदम 1) का उपयोग करके परिष्कृत किया जाता है। यह एल्गोरिदम बजट समाप्त होने तक उच्चतम भारित डिस्टॉर्शन रिडक्शन देने वाले हेड को बिट्स आवंटित करने के लिए पुनरावृत्ति (iteratively) करता है।

दो महत्वपूर्ण विस्तार RATEQUANT को क्वांटाइज़र-अज्ञेयवादी (quantizer-agnostic) बनाते हैं:

डिस्टॉर्शन कैलिब्रेशन (Distortion Calibration): एक सार्वभौमिक $\beta$ मानने के बजाय, RATEQUANT एक छोटे कैलिब्रेशन सेट (16 सीक्वेंस) का उपयोग करके प्रति-क्वांटाइज़र डिस्टॉर्शन मॉडल ( $\alpha, \beta$ ) को फिट करता है। यह "डिस्टॉर्शन मॉडल मिसमैच" विफलता मोड को रोकता है।
K/V पृथक्करण (K/V Separation): यह पहचानते हुए कि कीज़ (keys) और वैल्यूज़ (values) अक्सर अलग-अलग क्वांटाइजेशन स्कीम्स का उपयोग करते हैं (जैसे, KIVI में कीज़ के लिए प्रति-चैनल सिमेट्रिक बनाम वैल्यूज़ के लिए प्रति-टोकन एसिमेट्रिक), फ्रेमवर्क उन्हें अलग-अलग डिस्टॉर्शन कर्व्स वाले $2N$ स्वतंत्र घटकों के रूप में मानता है। यह एल्गोरिदम को असिमेट्रिक बिट बजट (जैसे, वैल्यूज़ की तुलना में कीज़ को अधिक बिट्स आवंटित करना) खोजने की अनुमति देता है।

4. पाइपलाइन (Pipeline)

इस प्रक्रिया में वन-टाइम ऑफलाइन लागत शामिल है:

सेंसिटिविटी कैलिब्रेशन: एक छोटे डेटासेट पर फॉरवर्ड और बैकवर्ड पासेस (~8B मॉडल के लिए 1.6 सेकंड)।
डिस्टॉर्शन मॉडलिंग: 5 बिट-विड्थ पर $\alpha$ और $\beta$ को फिट करना (<0.1 सेकंड)।
आवंटन: ग्रीडी एल्गोरिदम चलाना (<0.01 सेकंड)।
इन्फरेंस: जीरो रनटाइम ओवरहेड के साथ स्थिर बिट-विड्थ को लागू करना।

मुख्य परिणाम (Key Results)

प्रयोग Qwen3 मॉडल्स (4B, 8B, 32B) पर WikiText-2 परप्लेक्सिटी (PPL) और डाउनस्ट्रीम टास्क (ARC-Challenge, HellaSwag, आदि) का उपयोग करके किए गए।

मिसमैच का समाधान: एक मिसमैच्ड डिस्टॉर्शन मॉडल लागू करने से (जैसे, KIVI के लिए TURBOQUANT का $\beta$ उपयोग करना) 2.5 औसत बिट्स पर KIVI का PPL 49.3 से बढ़कर 87.0 हो गया। कैलिब्रेटेड RATEQUANT ने इसे हल किया, जिससे PPL घटकर 14.9 हो गया (70% की कमी)।
प्रदर्शन लाभ:
- KIVI (2.5 बिट्स): RATEQUANT ने PPL को 49.3 से सुधारकर 14.9 कर दिया।
- QuaRot (2.5 बिट्स): PPL में 6.6 पॉइंट्स का सुधार किया।
- TURBOQUANT (4.0 बिट्स): Qwen3-8B के लिए क्वांटाइजेशन-प्रेरित गिरावट का 66% रिकवर किया।
K/V पृथक्करण: 2.5 बिट्स के लिए KIVI के लिए, RATEQUANT द्वारा खोजा गया इष्टतम आवंटन कीज़ के लिए 2.85 बिट्स और वैल्यूज़ के लिए 2.15 बिट्स था, जो जॉइंट एलोकेशन से काफी बेहतर था।
दक्षता: यह विधि कोई रनटाइम ओवरहेड नहीं जोड़ती है। कैलिब्रेशन एक सिंगल GPU पर 2 सेकंड से कम समय लेता है।
डाउनस्ट्रीम सटीकता: 4.0 बिट्स पर, RATEQUANT ने डाउनस्ट्रीम टास्क पर 64.2% औसत सटीकता प्राप्त की, जो FP16 बेसलाइन (64.4%) के लगभग बराबर है और सटीकता गैप का 89.8% रिकवर करती है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि RATEQUANT पहला फ्रेमवर्क है जो कीज़ और वैल्यूज़ के बीच संरचनात्मक अंतरों को संबोधित करते हुए प्रति-हेड ग्रैनुलैरिटी पर रेट-डिस्टॉर्शन थ्योरी को KV कैश क्वांटाइजेशन पर लागू करता है।

केंद्रीय निष्कर्ष यह है कि मिश्रित-परिशुद्धता आवंटन में डिस्टॉर्शन मॉडल मिसमैच एक महत्वपूर्ण विफलता मोड है। विशिष्ट बेस क्वांटाइज़र (to the specific base quantizer) के डिस्टॉर्शन कर्व ( $\beta$ ) को कैलिब्रेट किए बिना, मिश्रित-परिशुद्धता रणनीतियाँ हानिकारक हो सकती हैं। निम्नलिखित को जोड़कर:

ग्रेडिएंट-आधारित संवेदनशीलता (एक्टिवेशन-आधारित प्रॉक्सी से बेहतर),
अनुभवजन्य डिस्टॉर्शन कैलिब्रेशन (क्वांटाइज़र से मेल खाने के लिए), और
K/V पृथक्करण (असिमेट्रिक एरर कैरेक्टेरिस्टिक्स को संभालने के लिए),

RATEQUANT मिश्रित-परिशुद्धता KV क्वांटाइजेशन को एक सामान्य, क्वांटाइज़र-अज्ञेयवादी आवंटन लेयर में बदल देता है। लेखक तर्क देते हैं कि हेड सेंसिटिविटीज का AM/GM अनुपात एक व्यावहारिक भविष्यवक्ता (predictor) के रूप में कार्य करता है कि कब मिश्रित-परिशुद्धता आवंटन महत्वपूर्ण लाभ देगा। यह कार्य सुझाव देता है कि रेट-डिस्टॉर्शन परिप्रेक्ष्य KV कैश से परे अन्य विषम न्यूरल नेटवर्क घटकों में संसाधन आवंटन के लिए सामान्यीकृत हो सकता है।