RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory
RateQuant रेट-डिस्टॉर्शन थ्योरी का लाभ उठाकर, प्रति-क्वांटाइज़र डिस्टॉर्शन मॉडल को फिट करने और क्लोज्ड-फॉर्म रिवर्स वॉटरफिलिंग के माध्यम से इष्टतम बिट आवंटन के लिए समाधान निकालकर, नैव (naive) मिक्स्ड-प्रिसिजन KV कैश क्वांटाइजेशन की कमियों को दूर करता है, जिससे न्यूनतम कैलिब्रेशन ओवरहेड के साथ महत्वपूर्ण परप्लेक्सिटी (perplexity) में कमी आती है।