🤖 machine learning

Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression

यह शोध पत्र हुरविट्ज़ क्वार्टरनियन मल्टीप्लिकेटिव क्वांटाइजेशन (HQMQ) को प्रस्तुत करता है, जो एक कैलिब्रेशन-मुक्त विधि है जो 4-तत्वों वाले चंक्स को एक निश्चित हुरविट्ज़ समूह और यादृच्छिक माध्यमिक कोडबुक्स के उत्पाद के माध्यम से क्वांटाइज किए गए क्वार्टरनियन के रूप में निरूपित करके KV कैश को संकुचित करती है, जिससे विविध आधुनिक LLMs में 5.05x तक संपीड़न के साथ लगभग fp16 सटीकता प्राप्त होती है और कैलिब्रेशन की आवश्यकता समाप्त हो जाती है।

मूल लेखक: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression" (HQMQ) के पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "मेमोरी होर्डर" (याद रखने वाला लालची)

एक बुद्धिमान लेकिन भुलक्कड़ लाइब्रेरियन की कल्पना करें जो एक Large Language Model (LLM) है। जब आप उससे कोई लंबा सवाल पूछते हैं, तो उसे सही उत्तर देने के लिए यह याद रखना पड़ता है कि आपने अब तक क्या-क्या कहा है। कंप्यूटर की भाषा में, इस मेमोरी को KV Cache कहा जाता है।

बहुत लंबी बातचीत के लिए, यह मेमोरी कैश बहुत बड़ा हो जाता है। यदि लाइब्रेरियन हर विवरण को हाई-डेफिनिशन (जैसे 4K मूवी) में याद रखने की कोशिश करता है, तो यह कंप्यूटर की RAM को तुरंत भर देता है। इससे कंप्यूटर को धीमी स्टोरेज का उपयोग करने के लिए मजबूर होना पड़ता है या वह क्रैश हो जाता है, जिससे बातचीत रुक जाती है।

इसे ठीक करने के लिए, इंजीनियर डेटा को "कंप्रेस" (छोटा) करने की कोशिश करते हैं, जैसे किसी 4K मूवी को एक छोटी MP4 फ़ाइल में बदलना। हालाँकि, कंप्रेशन के पिछले तरीके एक कुंद चाकू (blunt knife) की तरह थे: यदि आप फ़ाइल के आकार को बहुत अधिक कम करते हैं (4 बिट से नीचे), तो मूवी देखने लायक नहीं रहती (AI बेतुकी बातें करने लगता है)। यदि AI मॉडल में "आउटलेयर्स" (डेटा में अजीब, अत्यधिक संख्याएँ) होते हैं, तो मानक कंप्रेशन पूरी तरह से टूट जाता है, जिससे AI बेतहाशा भ्रमित (hallucinate) होने लगता है।

समाधान: HQMQ ("स्मार्ट कंपास" सिस्टम)

लेखकों ने HQMQ नामक एक नई विधि प्रस्तावित की है। डेटा के समूहों को छोटा करने के बजाय, वे डेटा को क्वाटरनियंस (एक प्रकार का 4D गणितीय कंपास) के रूप में देखते हैं।

यह कैसे काम करता है, इसे तीन सरल चरणों में विभाजित किया गया है:

1. "24-पॉइंट स्टार" (प्राइमरी कोडबुक)

कल्पना करें कि डेटा का एक टुकड़ा जिस दिशा में इशारा कर रहा है, वह एक कंपास की सुई की तरह है। डेटा के सटीक कोण (angle) को स्टोर करने की कोशिश करने के बजाय (जिसमें बहुत जगह लगती है), लेखक एक विशेष, पहले से बने "तारे" का उपयोग करते हैं जिसमें 24 बिंदु (जिसे हर्ट्ज़ समूह कहा जाता है) होते हैं।

उपमा: इसे 24 निश्चित दिशाओं (उत्तर, उत्तर-पूर्व, आदि, लेकिन 4D में) के एक मानक सेट के रूप में सोचें। डेटा पॉइंट कहीं भी हों, आप बस उसे इन 24 "परफेक्ट" दिशाओं में से निकटतम दिशा पर सेट कर देते हैं।
जादू: क्योंकि ये 24 बिंदु गणितीय रूप से पूर्ण और समान रूप से फैले हुए हैं, आपको AI को इन्हें सीखने के लिए प्रशिक्षित करने की आवश्यकता नहीं है। ये केवल "हार्ड-कोडेड" नियम हैं, जैसे कीबोर्ड पर अक्षर।

2. "रैंडम स्पिन" (सेकेंडरी कोडबुक)

24 बिंदु हर संभव बारीकी को कवर करने के लिए पर्याप्त नहीं हैं। इसलिए, लेखक एक दूसरा स्तर जोड़ते हैं: प्रत्येक विशिष्ट AI भाग के लिए एक छोटा, रैंडम "स्पिन" (घूर्णन)।

उपमा: कल्पना करें कि आपके पास एक ग्लोब है जिस पर 24 बिंदु पेंट किए गए हैं। अब, कल्पना करें कि आप हर उस वाक्य के लिए ग्लोब को रैंडमली घुमा सकते हैं जिसे AI प्रोसेस कर रहा है।
परिणाम: जब आप इन निश्चित 24 बिंदुओं को एक रैंडम स्पिन के साथ मिलाते हैं, तो आपको हजारों अद्वितीय दिशाएं प्राप्त होती हैं ( $24 \times \text{random spins}$ )।
यह क्यों शानदार है: पेपर का दावा है कि आपको इस रैंडम स्पिन को ट्रेन करने की आवश्यकता नहीं है। इसके पीछे के गणित के कारण, कोई भी रैंडम स्पिन लगभग एक प्रशिक्षित (trained) स्पिन जितना ही अच्छा काम करता है। यह कहना ऐसा ही है जैसे, "आपको डार्ट फेंकने का अभ्यास करने की आवश्यकता नहीं है; बस उन्हें रैंडमली फेंकें, और गणित गारंटी देता है कि आप बोर्ड पर ही हिट करेंगे।" इससे समय और डेटा की बचत होती है।

3. "आउटलेयर सेफ्टी नेट" (Med3×)

कुछ AI मॉडल (जैसे Qwen) में "आउटलेयर्स" होते हैं—ऐसे डेटा पॉइंट्स जो सामान्य से 100x या 200x बड़े होते हैं। मानक कंप्रेशन इन विशाल नंबरों को फिट करने के लिए उन्हें दबाने की कोशिश करता है, जिससे डेटा नष्ट हो जाता है।

उपमा: कल्पना करें कि आप एक सूटकेस पैक कर रहे हैं। अधिकांश कपड़े सामान्य आकार के हैं, लेकिन आपके पास एक बहुत बड़ा, अजीब आकार का टेडी बियर है। यदि आप टेडी बियर को एक छोटे बॉक्स में डालने की कोशिश करेंगे, तो वह बॉक्स फट जाएगा।
समाधान: HQMQ का एक नियम है: "यदि कोई नंबर बहुत बड़ा है (औसत से 3 गुना से अधिक), तो उसे दबाएं नहीं। बस उसे उसके मूल, उच्च-गुणवत्ता वाले रूप (fp16) में रखें और उसे एक छोटे झंडे (flag) के साथ चिह्नित करें।"
परिणाम: केवल 1-3% डेटा को इस विशेष उपचार की आवश्यकता होती है, इसलिए मेमोरी की बचत अभी भी बहुत अधिक है, लेकिन ये "विशाल टेडी बियर" सिस्टम को तोड़ते नहीं हैं।

उन्होंने क्या साबित किया?

लेखकों ने पांच अलग-अलग आधुनिक AI मॉडल (Mistral, Llama, Qwen, आदि) पर इसका परीक्षण किया। उनके मुख्य निष्कर्ष यहाँ दिए गए हैं:

यह बिना ट्रेनिंग के काम करता है: अन्य तरीकों के विपरीत जिन्हें "कैलिब्रेशन" चरण (जहाँ AI डेटा को समझने के लिए अध्ययन करता है) की आवश्यकता होती है, HQMQ रैंडम सेटिंग्स के साथ तुरंत काम करता है।
यह भारी जगह बचाता है: वे मेमोरी कैश को 5 गुना तक सिकोड़ने में सफल रहे। उदाहरण के लिए, 70-बिलियन-पैरामीटर वाले मॉडल के लिए 128k-कॉन्टेक्स्ट कैश (जो आमतौर पर 43 GB लेता है) को 8.5 GB तक सिकोड़ दिया गया। इसका मतलब है कि आप एक सुपरकंप्यूटर के बजाय एक सिंगल कंज्यूमर ग्राफिक्स कार्ड पर एक विशाल AI चला सकते हैं।
यह "खराब" डेटा को संभालता है: अत्यधिक आउटलेयर्स वाले मॉडल्स (जैसे Qwen) पर, मानक कंप्रेशन पूरी तरह विफल हो गया (AI की त्रुटि दर बढ़ गई)। HQMQ + "सेफ्टी नेट" ने इस समस्या को ठीक कर दिया, जिससे AI का प्रदर्शन लगभग पूर्ण स्तर पर वापस आ गया।
गति: उन्होंने एक विशेष "फ्यूज्ड" इंजन बनाया है जो कंप्रेस्ड डेटा को पढ़ता है और AI के सोचते समय ही इसे तुरंत डिकोड कर देता है। इसका मतलब है कि AI धीमा नहीं होता है; यह बस कम मेमोरी का उपयोग करता है।

निचोड़ (The Bottom Line)

HQMQ AI मेमोरी के लिए एक यूनिवर्सल, प्री-मेड कंप्रेशन किट की तरह है। यह एक चतुर गणितीय ट्रिक (एक निश्चित 24-पॉइंट स्टार को रैंडम स्पिन के साथ गुणा करना) का उपयोग करता है ताकि कुछ भी सीखने की आवश्यकता के बिना दिशाओं को कुशलतापूर्वक स्टोर किया जा सके। इसमें अजीब डेटा स्पाइक्स के लिए एक सुरक्षा स्विच भी है।

परिणाम? आप बहुत छोटे कंप्यूटरों पर बहुत लंबी, स्मार्ट बातचीत चला सकते हैं बिना AI के अपना मानसिक संतुलन खोए।

तकनीकी सारांश: KV कैश संपीड़न के लिए हर्टविज़ क्वार्टरनियन मल्टीप्लिकेटिव क्वांटाइजेशन (Hurwitz Quaternion Multiplicative Quantization)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में लंबे संदर्भ (long-context) के इन्फरेंस के दौरान की-वैल्यू (KV) कैश की मेमोरी लागत अक्सर कम्प्यूटेशनल लागत पर हावी हो जाती है। 32k से अधिक अनुक्रम लंबाई (sequence lengths) के लिए K और V वेक्टर्स को FP16 में स्टोर करने में दर्जनों गीगाबाइट खर्च हो सकते हैं। जबकि स्केलर क्वांटाइजेशन (जैसे int8, int4) इस लागत को कम करता है, 4 बिट्स से नीचे प्रदर्शन काफी गिर जाता है, और int2 आमतौर पर मॉडल को खराब कर देता है। इसके अलावा, आधुनिक आर्किटेक्चर (विशेष रूप से ग्रुपड क्वेरी अटेंशन वाले, जैसे Qwen2.5 और Qwen3) "आउटलायर-हैवी" (outlier-heavy) अटेंशन पैटर्न प्रदर्शित करते हैं जहाँ K-चंक्स का एक छोटा हिस्सा अत्यधिक परिमाण (extreme magnitudes) रखता है। मानक स्केलर क्वांटाइजेशन इन परिदृश्यों में विनाशकारी रूप से विफल हो जाता है, जिससे परप्लेक्सिटी (PPL) में 10,000+ पॉइंट्स की वृद्धि होती है। मौजूदा वेक्टर क्वांटाइजेशन दृष्टिकोण अक्सर कैलिब्रेशन डेटा की आवश्यकता रखते हैं या इन आउटलेर्स को प्रभावी ढंग से संभालने में विफल रहते हैं।

कार्यप्रणाली: हर्टविज़ क्वार्टरनियन मल्टीप्लिकेटिव क्वांटाइजेशन (HQMQ)

लेखक HQMQ का प्रस्ताव करते हैं, जो एक कैलिब्रेशन-मुक्त विधि है जो K या V वेक्टर्स के प्रत्येक 4-एलिमेंट चंक को एक क्वार्टरनियन $x \in \mathbb{H}$ के रूप में मानती है। यह विधि वेक्टर को एक रेडियस $r = \|x\|$ और 3-स्फीयर $S^3$ पर एक यूनिट दिशा $u = x/r$ में विभाजित करती है।

1. मल्टीप्लिकेटिव कोडबुक संरचना (Multiplicative Codebook Composition)

एक एकल बड़े कोडबुक को सीखने या एडिटिव कंपोजिशन के बजाय, HQMQ दो घटकों के मल्टीप्लिकेटिव उत्पाद के माध्यम से एक संयुक्त कोडबुक बनाता है:

प्राइमरी कोडबुक ( $P$ ): 24 यूनिट हर्टविज़ क्वार्टरनियन्स का एक निश्चित सेट, जो $S^3$ पर 24-सेल के शीर्षों (vertices) के अनुरूप है (बाइनरी टेट्राहेड्रल ग्रुप $2T$ )। ये शीर्ष एक-दूसरे से $60^\circ$ की दूरी पर हैं और एक क्लोज्ड मल्टीप्लिकेटिव ग्रुप बनाते हैं।
सेकेंडरी कोडबुक ( $S$ ): $S$ रैंडम यूनिट क्वार्टरनियन्स का एक सेट, जिसे बिना कैलिब्रेशन के (layer, head, role) प्रति प्रारंभ किया जाता है।

प्रभावी कोडबुक का सेट $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ है। इससे $24S$ प्रभावी कोडवर्ड्स प्राप्त होते हैं जबकि केवल $S$ पैरामीटर्स ही स्टोर किए जाते हैं। दिशा $u$ को उस कोडवर्ड $c \in C$ तक क्वांटाइज किया जाता है जो इनर प्रोडक्ट $\langle u, c \rangle$ को अधिकतम करता है।

2. रैंडम इनिशियलाइजेशन के लिए सैद्धांतिक औचित्य

लेखक तर्क देते हैं कि कैलिब्रेशन अनावश्यक है क्योंकि एक यूनिट क्वार्टरनियन द्वारा लेफ्ट-मल्टीप्लिकेशन $S^3$ पर एक आइसोमेट्री (isometry) है। $S$ का रैंडम चयन प्रभावी रूप से फिक्स्ड $2T$ ग्रुप को रोटेट करता है, जिससे $S$ विलगित (disjoint) आइसोमेट्रिक कॉपियां बनती हैं जो $S^3$ को अर्ध-समान रूप से (quasi-uniformly) टाइल करती हैं। प्रपोजिशन 3.1 स्थापित करता है कि यह रैंडम मल्टीप्लिकेटिव पैकिंग $S^3$ पर $O((24S)^{-1/3})$ की इष्टतम कवरिंग दर प्राप्त करती है, जो स्थिरांकों (constants) तक इष्टतम स्फीयर पैकिंग के सैद्धांतिक बाउंड से मेल खाती है।

3. मीडियन-मल्टीप्लायर आउटलायर एक्सट्रैक्शन (Med3×)

उन "आउटलायर-हैवी" आर्किटेक्चर को संबोधित करने के लिए जहाँ चंक नॉर्म्स (chunk norms) 80–280× के कारकों में भिन्न होते हैं, लेखक एक प्रति-बैच आउटलायर एक्सट्रैक्शन स्टेप पेश करते हैं:

वर्तमान बैच में मीडियन चंक नॉर्म $r_{med}$ की गणना करें।
उन चंक्स की पहचान करें जहाँ $r > C \cdot r_{med}$ है (एक निश्चित स्थिरांक $C=3$ के साथ)।
इन आउटलेर्स को पूर्ण FP16 (1-बिट फ्लैग के साथ) में स्टोर करें और शेष "बल्क" चंक्स को HQMQ का उपयोग करके क्वांटाइज करें।
यह चरण किसी भी कैलिब्रेशन डेटा की आवश्यकता नहीं रखता है और विभिन्न आर्किटेक्चर के लिए स्थिर है।

मुख्य योगदान

नई कोडबुक कंपोजिशन नियम: एक मल्टीप्लिकेटिव क्वांटाइजेशन स्कीम जो फिक्स्ड हर्टविज़ ग्रुप $2T$ पर आधारित है, जो एडिटिव VQ (CommVQ) या फ्लैट लर्नड VQ (VPTQ) से भिन्न है।
कैलिब्रेशन-मुक्त परिनियोजन (Calibration-Free Deployment): यह विधि 24-सेल के हेयर-रैंड रोटेशन्स के ज्यामितीय गुणों पर निर्भर करती है, जिससे प्रति-मॉडल कैलिब्रेशन पास की आवश्यकता समाप्त हो जाती है। अनुभवजन्य परिणाम रैंडम सीड्स केAcross $<0.14\%$ एंड-टास्क परप्लेक्सिटी वेरिएशन दिखाते हैं।
मजबूत आउटलायर हैंडलिंग: Med3× एक्सट्रैक्शन मैकेनिज्म आउटलायर-हैवी मॉडल्स (जैसे Qwen2.5/3) के लिए लो-बिट क्वांटाइजेशन को सक्षम बनाता है जहाँ नेटिव int4 पूरी तरह विफल हो जाता है।
अनुभवजन्य सत्यापन: पांच विविध मॉडल्स (Mistral-7B, Llama-3-8B, Qwen2.5-7B, Qwen3-8B, और gpt-oss-20b) में मूल्यांकन, जो नेटिव इंटीजर बेसलाइन्स पर पारेटो डोमिनेंस (Pareto dominance) प्रदर्शित करता है।

प्रयोगात्मक परिणाम

परप्लेक्सिटी और गुणवत्ता

Mistral-7B और Llama-3-8B: HQMQ $\sim5$ बिट्स पर लगभग लॉसलेस कंप्रेशन प्राप्त करता है, जो FP16 परप्लेक्सिटी के 0.02–0.03 पॉइंट्स के भीतर रहता है। 3.79 बिट्स पर, यह FP16 डाउनस्ट्रीम जीरो-शॉट सटीकता (PIQA, HellaSwag, ARC-Easy) से मेल खाता है।
Qwen2.5-7B और Qwen3-8B (आउटलायर-हैवी): नेटिव int4 के PPL 17,000–18,000 तक गिर जाते हैं। HQMQ + Med3× $\sim5$ बिट्स पर FP16 गुणवत्ता (PPL $\approx$ 9.0–9.7) को रिकवर करता है, जो नेटिव int4 की तुलना में $\sim1,900\times$ गुणवत्ता सुधार का प्रतिनिधित्व करता है।
gpt-oss-20b (स्पार्स MoE): HQMQ मैच किए गए बिट्स पर नेटिव बेसलाइन से 3–3.5× पारेटो डोमिनेट करता है।

बेसलाइन्स के साथ तुलना

नेटिव Int के विरुद्ध: HQMQ सभी मॉडल्स में मैच किए गए बिट रेट्स पर नेटिव int4 की तुलना में PPL में 3–1,900× बेहतर प्रदर्शन करता है।
KIVI (कैलिब्रेटेड बेसलाइन) के विरुद्ध: 3.79 बिट्स पर, HQMQ कैलिब्रेटेड KIVI-4 (जो $\sim4.5$ बिट्स का उपयोग करता है) के मुकाबले CoQA पर $\sim1$ पॉइंट और GSM8K पर 2.3 पॉइंट्स के भीतर रहता है, जबकि 16% कम बिट्स और शून्य कैलिब्रेशन का उपयोग करता है।
स्फेरिकल/वेक्टर क्वांटाइजेशन के विरुद्ध: HQMQ रैंडम कोडबुक्स के साथ स्फेरिकल बेसलाइन्स (जैसे TurboQuant-स्टाइल) और एडिटिव VQ बेसलाइन्स से बेहतर प्रदर्शन करता है।

मेमोरी और लेटेंसी

कंप्रेशन: HQMQ 5.05× KV कैश कंप्रेशन तक प्रदान करता है। Llama-3-70B मॉडल के 128k कॉन्टेक्स्ट के लिए, कैश 43 GB (FP16) से घटकर 8.5 GB हो जाता है, जिससे सिंगल 24 GB कंज्यूमर GPU पर इन्फरेंस संभव हो जाता है।
लेटेंसी: एक फ्यूज्ड ट्रिटन कर्नेल (Fused Triton kernel) अटेंशन लूप के भीतर सीधे K/V को डिकोड करता है। एक प्रोडक्शन डिकोड वर्कलोड पर, फ्यूज्ड कर्नेल कॉन्टेक्स्ट लेंथ की परवाह किए बिना $\sim0.033$ ms की स्थिर लेटेंसी बनाए रखता है, जो "फेक-क्वांट" पाइपलाइन (जो प्रत्येक स्टेप पर पूरे कैश को डिक्वान्टाइज करती है) की तुलना में 7.4× से 82.9× तक की स्पीडअप प्रदान करता है।

महत्व और दावे

लेखक दावा करते हैं कि HQMQ एक "क्लीन अल्जेब्रिक रेसिपी" प्रदान करता है जो सैद्धांतिक वेक्टर क्वांटाइजेशन और व्यावहारिक परिनियोजन के बीच के अंतर को पाटता है। इसका प्राथमिक महत्व निम्नलिखित में है:

आउटलायर-हैवी मॉडल्स के लिए लो-बिट क्वांटाइजेशन को सक्षम बनाना: यह उन आर्किटेक्चर जैसे Qwen2.5/3 के लिए सब-5-बिट क्वांटाइजेशन को व्यवहार्य बनाने वाला पहला तरीका है, जहाँ मानक विधियाँ विफल हो जाती हैं।
कैलिब्रेशन ओवरहेड को समाप्त करना: हर्टविज़ ग्रुप के ज्यामितीय गुणों का लाभ उठाकर, यह डेटा-डिपेंडेंट कैलिब्रेशन की आवश्यकता को हटा देता है, जिससे यह प्रोप्रायटरी या तेजी से तैनात किए जाने वाले मॉडल्स के लिए उपयुक्त हो जाता है।
व्यावहारिक दक्षता: उच्च कंप्रेशन अनुपात (5× तक) और एक फ्यूज्ड कर्नेल का संयोजन जो मेमोरी बैंडविड्थ बाधाओं से बचता है, लंबे-संदर्भ वाले इन्फरेंस को कंज्यूमर हार्डवेयर पर व्यावहारिक बनाता है।

लेखक सीमाओं का उल्लेख करते हैं, विशेष रूप से यह कि HQMQ सब-3-बिट रिजीम में प्रशिक्षित कोडबुक्स (जैसे CommVQ) के साथ प्रतिस्पर्धा नहीं करता है, और अत्यंत लंबे संदर्भों (128k से परे) या मल्टी-हेड लेटेंट अटेंशन (MLA) जैसे विशिष्ट आर्किटेक्चर पर इसका प्रदर्शन आगे के अध्ययन की मांग करता है। हालांकि, 3–5 बिट रिजीम के भीतर, यह कैलिब्रेशन-मुक्त, आउटलायर-रोबस्ट KV कंप्रेशन के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है।