🤖 machine learning

Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant

यह शोध पत्र एक समान बिट बजट के तहत तीन KV कैश क्वांटाइजेशन योजनाओं का विश्लेषण करता है, जो सांख्यिकीय अनुमान और अनुभवजन्य मेट्रिक्स के माध्यम से यह प्रदर्शित करता है कि विषम (asymmetric) KQV विधि, व्यावहारिक रूप से प्रभावी 4-बिट बजट पर, वेरिएंस इन्फ्लेशन और सॉफ्टमैक्स-प्रेरित त्रुटियों को कम करके सममित (symmetric) QKQV दृष्टिकोण की तुलना में बेहतर प्रदर्शन करती है, साथ ही ज्यामितीय पुनर्निर्माण प्रदर्शन में एक बजट-निर्भर क्रॉसओवर को भी प्रकट करती है।

मूल लेखक: Paolo D'Alberto

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Paolo D'Alberto

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप सूचना का एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) चला रहे हैं। किसी प्रश्न का उत्तर देने के लिए, पुस्तकालय को बातचीत के संदर्भ (context) को याद रखने की आवश्यकता होती है। इस स्मृति को KV कैश (KV Cache) कहा जाता है। जैसे-जैसे बातचीत लंबी होती जाती है, यह स्मृति इतनी अधिक जगह घेर लेती है कि यह मुख्य बाधा बन जाती है, जिससे सब कुछ धीमा हो जाता है।

इसे ठीक करने के लिए, इंजीनियर इस स्मृति को "कंप्रेस" (compress) करने की कोशिश करते हैं, जैसे किसी फ़ाइल को ज़िप करना। आपके द्वारा प्रदान किया गया पेपर इस बात का विश्लेषण करता है कि इस स्मृति को बिना सही उत्तर खोजने की क्षमता खोए कैसे ज़िप किया जा सकता है। लेखक यह पता लगाने के लिए कि कौन सी विधि सबसे अच्छी है, गणित, ज्यामिति और सांख्यिकी के मिश्रण का उपयोग करते हैं।

यहाँ उनके निष्कर्षों की कहानी सरल रूप में दी गई है।

तीन प्रतियोगी

पेपर स्मृति के "की" (Key - K) और "वैल्यू" (Value - V) वाले हिस्सों को कंप्रेस करने की तीन रणनीतियों की तुलना करता है। K को "पता" (address - कहाँ देखना है) और V को "सामग्री" (content - वहाँ क्या मिलता है) के रूप में समझें।

KV (बेसलाइन): पुराना तरीका। यह बस संख्याओं को थोड़ा छोटा कर देता है। यह सरल है लेकिन अक्सर सटीक नहीं होता।
KQV (विजेता): एक स्मार्ट हाइब्रिड। यह "पते" (K) पर एक विशेष रोटेशन ट्रिक का उपयोग करता है ताकि इसे कंप्रेस करना आसान हो सके, और "सामग्री" (V) पर एक अलग ट्रिक का उपयोग करता है ताकि छोटी गलतियों को सुधारा जा सके।
QKQV (ओवर-इंजीनियर): यह उम्मीद में "त्रुटि-सुधार वाली ट्रिक" को पते और सामग्री दोनों पर इस्तेमाल करने की कोशिश करता है, ताकि दोनों तरफ से लाभ मिल सके।

बड़ी खोज: पते को ठीक न करें

सबसे आश्चर्यजनक निष्कर्ष यह है कि KQV स्पष्ट विजेता है, विशेष रूपकर सबसे सामान्य कंप्रेशन स्तर (4 बिट्स) पर।

QKQV क्यों विफल हुआ? लेखकों ने "पते" (K) और "सामग्री" (V) के बीच एक मौलिक अंतर की खोज की।

"पता" (K) एक दिशा-सूचक यंत्र (Compass) की तरह है: मॉडल यह तय करने के लिए पते का उपयोग करता है कि उसे किस जानकारी पर ध्यान देना चाहिए। यह निर्णय सॉफ्टमैक्स (Softmax) नामक एक गणितीय प्रक्रिया द्वारा लिया जाता है, जो एक स्पॉटलाइट की तरह काम करता है। यदि दिशा-सूचक यंत्र थोड़ा भी गलत है, तो स्पॉटलाइट पूरी तरह से गलत इमारत पर चमक सकती है।
- पेपर में पाया गया कि QKQV में उपयोग की जाने वाली "त्रुटि-सुधार ट्रिक" (QJL) वास्तव में दिशा-सूचक यंत्र को अधिक डगमगा देने वाला (wobbly) बना देती है। यह थोड़ी सी रैंडम थरथराहट पैदा करती है।
- क्योंकि स्पॉटलाइट (Softmax) बहुत संवेदनशील है, यह छोटी सी थरथराहट बहुत बड़े स्तर पर बढ़ जाती है। यह पेंसिल की नोक पर संतुलन बनाने जैसा है; एक मामूली डगमगाहट भी उसे गिरा सकती है।
- परिणाम: इस ट्रिक के साथ पते को ठीक करना वास्तव में मॉडल के गलत चीज़ को देखने की संभावना को बढ़ा देता है।
"सामग्री" (V) एक बाल्टी की तरह है: एक बार जब स्पॉटलाइट एक इमारत चुन लेती है, तो मॉडल जानकारी इकट्ठा करता है (बाल्टी)।
- यहाँ, "त्रुटि-सुधार ट्रिक" पूरी तरह से काम करती है। यदि आप थोड़ा पानी गिरा देते हैं, तो यह ट्रिक आपको उसे वापस पाने में मदद करती है। चूंकि मॉडल सभी बाल्टियों को जोड़ देता है, इसलिए छोटी त्रुटियां समय के साथ एक-दूसरे को संतुलित कर देती हैं।
- परिणाम: इस ट्रिक के साथ सामग्री को ठीक करना बहुत मददगार है।

उपमा: कल्पना कीजिए कि आप एक शेफ (मॉडल) हैं।

K (पता) यह तय करना है कि कौन सी सामग्री उठानी है। यदि आपका हाथ हिलने के कारण आप गलत सामग्री उठा लेते हैं, तो पूरा व्यंजन बर्बाद हो जाएगा। आपको एक स्थिर हाथ (स्केलर क्वांटाइजेशन) की आवश्यकता है, न कि डगमगाते हुए हाथ की।
V (सामग्री) नमक की मात्रा है जिसे आप डालते हैं। यदि आप थोड़ा अधिक या कम डालते हैं, तो यह ठीक है; अन्य सामग्रियां इसे संतुलित कर देंगी। आप यहाँ तेज़ मापने के लिए डगमगाते हाथ का उपयोग कर सकते हैं।

"लो-रैंक" (Low-Rank) का जाल

पेपर ने एक छिपा हुआ खतरा भी पाया। कल्पना कीजिए कि पुस्तकालय रैंडम नहीं है; यह एक बहुत ही विशिष्ट, संकीर्ण पैटर्न (Low-Rank) में व्यवस्थित है।

जब डेटा रैंडम होता है, तो कंप्रेशन ट्रिक्स ठीक से काम करती हैं।
लेकिन जब डेटा अत्यधिक व्यवस्थित (जैसे वास्तविक दुनिया के AI मॉडल अक्सर होते हैं) होता है, तो "पता" अत्यंत संवेदनशील हो जाता है। मॉडल केवल एक या दो सूचनाओं पर तीव्रता से ध्यान केंद्रित करता है।
इस परिदृश्य में, "पते" में होने वाली एक छोटी सी त्रुटि भी मॉडल को सही जानकारी को पूरी तरह से अनदेखा करने और गलत चीज़ पर ध्यान केंद्रित करने के लिए मजबूर कर देती है। पेपर ने पाया कि यह "व्यवस्थित" डेटा, "अव्यवस्थित" (heavy-tail) डेटा की तुलना में बहुत अधिक नुकसान पहुँचाता है।

"6D" स्कोरकार्ड

केवल यह मापने के बजाय कि नंबर "कितने गलत" हैं (एक एकल स्कोर), लेखकों ने एक 6D एरर फ्रेमवर्क बनाया।

इसे कार क्रैश टेस्ट की तरह समझें। आप केवल यह नहीं मापते कि "कार कितनी पिचक गई।" आप मापते हैं:
1. क्या इंजन टूट गया? (K स्केल)
2. क्या स्टीयरिंग व्हील घूमा? (K दिशा)
3. क्या सीटें फट गईं? (V स्केल)
4. क्या यात्री घायल हुए? (V दिशा)
5. क्या कार रुकी? (आउटपुट स्केल)
6. क्या कार सड़क से उतर गई? (आउटपुट दिशा)
इस विस्तृत दृश्य ने दिखाया कि हालांकि कुछ विधियाँ कागज़ पर अच्छी दिखती थीं (कम औसत त्रुटि), वे वास्तव में कार को सड़क पर रखने (रूटिंग एरर) में बहुत खराब थीं।

अंतिम निर्णय

पेपर भविष्य के लिए एक स्पष्ट नियम के साथ समाप्त होता है:

"पते" के लिए बिट्स के बदले ट्रिक्स का सौदा न करें: यदि आपके पास "पते" को कंप्रेस करने के लिए 4 बिट्स हैं, तो उन सभी 4 बिट्स का उपयोग एक स्थिर, सीधा कंप्रेशन करने के लिए करें। बाद में त्रुटि को "ठीक" करने के लिए 1 बिट चुराने की कोशिश न करें; यह सुधार दिशा-सूचक यंत्र को डगमगा देता है और मॉडल को भ्रमित (hallucinate) करने का कारण बनता है।
"सामग्री" पर ट्रिक्स का उपयोग अवश्य करें: मेमोरी के "सामग्री" वाले हिस्से के लिए त्रुटि-सुधार ट्रिक का उपयोग करना सुरक्षित और फायदेमंद है।
"व्यवस्थित" डेटा से सावधान रहें: सबसे खतरनाक विफलता तब होती है जब मॉडल विशिष्ट विषयों पर अत्यधिक केंद्रित होता है। मानक कंप्रेशन विधियां अक्सर यहाँ विफल हो जाती हैं, और हमें इन विशिष्ट पैटर्न को संभालने के नए तरीकों की आवश्यकता है।

संक्षेप में: दिशा-सूचक यंत्र को स्थिर रखें, और बाल्टियों को लचीला रहने दें। "KQV" विधि बिल्कुल यही करती है, जो इसे AI मेमोरी को कंप्रेस करने के लिए श्रेष्ठ विकल्प बनाती है।

तकनीकी सारांश: टर्बोक्वेंट (TurboQuant) से प्रेरित KV कैश क्वांटाइजेशन के सांख्यिकीय अनुमान और गुणवत्ता माप

समस्या विवरण

KV (Key-Value) कैश ट्रांसफार्मर इन्फरेंस में प्राथमिक मेमोरी बॉटलनेक है, जो कॉन्टेक्स्ट लेंथ के साथ रैखिक रूप से बढ़ता है। संपीड़न के लिए क्वांटाइजेशन आवश्यक है, फिर भी मानक स्केलर क्वांटाइजेशन (MSE) अक्सर उन ज्यामितीय गुणों को बनाए रखने में विफल रहता है जो अटेंशन मैकेनिज्म के लिए आवश्यक होते हैं। जबकि टर्बोक्वेंट एक दो-चरणीय पाइपलाइन (रैंडम रोटेशन + स्केलर क्वांटाइजेशन + बायस सुधार के लिए 1-बिट QJL स्केच) प्रस्तावित करता है, की (Key - K) और वैल्यू (Value - V) कैश के बीच बिट्स का इष्टतम आवंटन अभी भी स्पष्ट नहीं है। विशेष रूप से, यह अज्ञात है कि क्या की (Keys) पर (वैल्यू के अतिरिक्त) QJL रेसिडुअल सुधार लागू करने से अटेंशन की गुणवत्ता में सुधार होता है या गिरावट आती है, विशेष रूप से बदलते बिट बजट और डेटा वितरण (जैसे, लो-रैंक, हेवी-टेल्ड) के तहत।

मौजूदा मूल्यांकन मेट्रिक्स, जैसे कि मीन स्क्वेर्ड एरर (MSE) या यहाँ तक कि KL डाइवर्जेंस भी, स्केल और दिशा त्रुटियों को मिला सकते हैं या उन विनाशकारी "argmax-शिफ्ट" विफलताओं को पकड़ने में विफल रहते हैं जहाँ एक गलत-क्वांटाइज्ड डोमिनेंट की (key) अटेंशन डिस्ट्रीब्यूशन को ध्वस्त कर देती है।

कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक अपने विश्लेषण को उच्च-आयामी गोलों (hyperspheres) की ज्यामिति के आधार पर स्थापित करते हैं। वे स्थापित करते हैं कि एक हाइपरस्फीयर $S^{d-1}$ पर समान रूप से वितरित वेक्टर के लिए, निर्देशांकों का मार्जिनल डिस्ट्रीब्यूशन बीटा डिस्ट्रीब्यूशन $\text{Beta}(\frac{d-1}{2}, \frac{d-1}{2})$ का अनुसरण करता है। जैसे-जैसे आयाम $d \to \infty$ होता है, यह गाऊसी (Gaussian) में परिवर्तित हो जाता है।

जेन्सन की असमानता (Jensen's Inequality) और सॉफ्टमैक्स: पेपर एक महत्वपूर्ण नॉन-लीनियरिटी को उजागर करता है: सॉफ्टमैक्स फंक्शन की (Key) इनर प्रोडक्ट्स में वेरिएंस को बढ़ाता है। भले ही क्वांटाइजेशन एरर जीरो-मीन (zero-mean) हों, घातांकीय फलन ( $e^x$ ) की उत्तलता (convexity) एक बायस (जेन्सन बायस) पेश करती है जो हाई-क्वांटाइजेशन वेरिएंस वाली कीज़ (keys) के लिए अटेंशन वेट्स को बढ़ा देती है।
K-V विषमता (Asymmetry): की (Key) टेंसर इनर प्रोडक्ट्स (नॉन-लीनियर) के माध्यम से अटेंशन मैकेनिज्म में प्रवेश करता है, जबकि वैल्यू (Value) टेंसर एक लीनियर वेटेड सम के माध्यम से प्रवेश करता है। फलस्वरूप, कीज़ (Keys) में वेरिएंस का बढ़ना विनाशकारी है, जबकि अनबायस्ड बायस करेक्शन वैल्यूज़ (Values) के लिए फायदेमंद है।

क्वांटाइजेशन स्कीम्स

एक सख्त, समान बिट-बजट ( $n$ बिट्स प्रति वेक्टर) के तहत तीन स्कीम्स की तुलना की गई है:

KV: दोनों K और V पर स्केलर MSE क्वांटाइजेशन (Lloyd-Max)। कोई रोटेशन नहीं, कोई स्केच नहीं।
KQV: दोनों पर वाल्श-हाडामार्ड ट्रांसफॉर्म (WHT) लागू करता है। K को स्केलर MSE ( $n$ बिट्स) के माध्यम से क्वांटाइज किया जाता है। V को स्केलर MSE ( $n-1$ बिट्स) + 1-बिट QJL स्केच के माध्यम से क्वांटाइज किया जाता है।
QKQV: दोनों पर WHT लागू करता है। दोनों K और V ( $n-1$ बिट्स) + 1-बिट QJL स्केच का उपयोग करते हैं।

मूल्यांकन मेट्रिक्स

स्केलर मेट्रिक्स से आगे बढ़ने के लिए, पेपर एक 6D एरर फ्रेमवर्क पेश करता है जो तीन साइटों के लिए स्केल (SNR) और दिशा ( $\phi$ ) के लिए एरर को डिकंपोज करता है: की (Key) कैश, वैल्यू (Value) कैश, और आउटपुट ( $T$ )।

शैनन- $\phi$ प्लेन (Shannon- $\phi$ Plane): स्केल एरर बनाम दिशा एरर को प्लॉट करता है।
सांख्यिकीय उपकरण: मैन-व्हिटनी $U$ (रैंक-बाइसरियल कोरिलेशन), कोलमोगोरोव-स्मिरनोव (CDF सेपरेशन), और एनर्जी डिस्टेंस (6D मेट्रिक)।
मैकेनिस्टिक प्रॉक्सी: रेफरेंस और क्वांटाइज्ड सॉफ्टमैक्स डिस्ट्रीब्यूशन के बीच KL डाइवर्जेंस, और टॉप-5 रूटिंग रिकॉल।

मुख्य योगदान

1. कीज़ (Keys) पर QJL के हानिकारक होने का सैद्धांतिक प्रमाण

पेपर यह सिद्ध करता है कि कीज़ (Keys) पर स्केलर क्वांटाइजेशन को 1-बिट QJL स्केच से बदलने से इनर प्रोडक्ट वेरिएंस, स्केलर रेसिड्यूल के सापेक्ष कम से कम $\pi/2$ (लगभग 1.57) के कारक से और एक पूर्ण $n$ -बिट स्केलर स्कीम की तुलना में $2\pi$ के कारक से बढ़ जाता है।

तंत्र (Mechanism): जबकि QJL रेसिड्यूल का एक अनबायस्ड एस्टिमेटर प्रदान करता है, यह मैग्नीट्यूड (परिमाण) की जानकारी को त्याग देता है, जिसे साइन बिट्स द्वारा प्रतिस्थापित किया जाता है। इस एस्टिमेटर का वेरिएंस $\frac{\pi}{2} \frac{\|r\|^2}{d}$ है।
परिणाम: यह बढ़ा हुआ वेरिएंस जेन्सन की असमानता के माध्यम से सॉफ्टमैक्स एक्सपोनेंशियल द्वारा नॉन-लीनियर रूप से बढ़ाया जाता है, जिससे अटेंशन वेट्स में व्यवस्थित विरूपण (distortion) होता है। अतः, फेयर बजट के तहत कीज़ (Keys) पर QJL लागू करना स्केलर क्वांटाइजेशन की तुलना में संरचनात्मक रूप से निम्नतर है।

2. K-V विषमता और इष्टतम स्कीम (KQV)

अनुभवजन्य परिणाम पुष्टि करते हैं कि सभी परीक्षण किए गए वितरणों और बजटों के तहत KQV (केवल V पर QJL) QKQV (K और V दोनों पर QJL) से बेहतर है।

KL डाइवर्जेंस: व्यावहारिक रूप से प्रभावी 4-बिट बजट ( $n=4$ ) पर, KQV, QKQV की तुलना में 2.25 $\times$ कम KL डाइवर्जेंस प्राप्त करता है ( $p < 10^{-23}$ )।
रूटिंग: KQV में कम KL सीधे तौर पर उच्च टॉप-5 रूटिंग रिकॉल और कम आउटपुट दिशा एरर से संबंधित है।
निष्कर्ष: 1-बिट QJL स्केच को केवल वैल्यू (Value) कैश के लिए आरक्षित किया जाना चाहिए (जहाँ यह वेरिएंस पेनल्टी के बिना बायस को ठीक करता है) और कभी भी की (Key) कैश पर लागू नहीं किया जाना चाहिए (जहाँ यह घातक वेरिएंस पेश करता है)।

3. लो-रैंक पैथोलॉजी (Low-Rank Pathology)

पेपर एक महत्वपूर्ण विफलता मोड की पहचान करता है जो लो-रैंक की (Key) डिस्ट्रीब्यूशन के लिए है जिसे स्केलर मेट्रिक्स मिस कर देते हैं।

मार्जनल बनाम जॉइंट: जबकि WHT मार्जिनल कोऑर्डिनेट्स को बीटा-डिस्ट्रीब्यूटेड बनाता है (जो कोडबुक से मेल खाता है), यह जॉइंट लो-रैंक संरचना को नष्ट नहीं करता है।
विनाशकारी KL: उच्च आयामों ( $d=1024$ ) में, लो-रैंक कीज़ (keys) हेवी-टेल्ड कीज़ की तुलना में कई गुना अधिक खराब KL डाइवर्जेंस उत्पन्न करती हैं, भले ही उनके मार्जिनल हिस्टोग्राम समान हों। सॉफ्टमैक्स डोमिनेंट सबस्पेस के भीतर छोटी त्रुटियों को बढ़ा देता है, जिससे "argmax-शिफ्ट" विफलताएं होती हैं।
निहितार्थ: स्टैंडर्ड रोटेशन-आधारित क्वांटाइजेशन लो-रैंक अटेंशन मैट्रिसेस के लिए अपर्याप्त है; जॉइंट संरचना को संबोधित किया जाना चाहिए।

4. बजट-निर्भर क्रॉसओवर (Crossover)

ज्यामितिक K पुनर्निर्माण गुणवत्ता में एक विरोधाभासी खोज:

कम बजट ( $n \in \{2, 3\}$ ) पर, QKQV (K पर QJL) कभी-कभी KQV की तुलना में बेहतर ज्यामितिक K पुनर्निर्माण (कम दिशा एरर) प्राप्त करता है।
हालांकि, यह ज्यामितिक सुधार बेहतर अटेंशन क्वालिटी (KL या रूटिंग) में अनुवादित नहीं होता है क्योंकि वेरिएंस इन्फ्लेशन अभी भी सॉफ्टमैक्स को नुकसान पहुँचाता है।
$n=4$ पर, KQV सभी मापदंडों पर जीतता है। यह क्रॉसओवर रैंक और टेल वेट के प्रति अपरिवर्तनीय है, जो स्केलर प्रिसिजन और JL रेसिड्यूल करेक्शन के बीच एक मौलिक रेट-डिस्टॉर्शन ट्रेड-ऑफ का सुझाव देता है।

परिणाम

KQV का प्रभुत्व: $n=4$ पर, KQV, KL डाइवर्जेंस, ज्यामितिक K एरर, और सभी वितरणों (गाऊसीय, हेवी-टेल, लो-रैंक, फोकस्ड) में KL डाइवर्जेंस और 6D दूरी पर QKQV और KV से बेहतर प्रदर्शन करता है।
कीज़ (Keys) पर QJL हानिकारक है: कीज़ (Keys) पर स्केलर बिट्स को QJL से बदलना लगातार (विशेष विशिष्ट लो-बजट ज्यामितिक पुनर्निर्माण परिदृश्यों को छोड़कर जो अंतिम आउटपुट को लाभान्वित नहीं करते हैं) KL डाइवर्जेंस को बढ़ाता है क्योंकि यह वेरिएंस इन्फ्लेशन करता है।
फैट-टेल रोबस्टनेस (Fat-Tail Robustness): WHT मार्जिनल कंसंट्रेशन (हेवी टेल्स) के खिलाफ बिना शर्त सुरक्षा प्रदान करता है। KQV, टेल वेट बढ़ने ( $\nu \to 1.05$ ) के बावजूद स्थिर दिशा एरर ( $\epsilon_{dir}^K \approx 0.027$ ) बनाए रखता है, जबकि KV विनाशकारी रूप से विफल हो जाता है।
लो-रैंक विफलता: लो-रैंक डिस्ट्रीब्यूशन अटेंशन क्वालिटी में सबसे गंभीर गिरावट का कारण बनते है, जो हेवी-टेली समस्याओं से कहीं अधिक है, क्योंकि यह मार्जिनल नॉर्मलाइजेशन के बावजूद जॉइंट सबस्पेस संरचना को बनाए रखता है।

महत्व और दावे

पेपर यह दावा करता है कि यह एक कठोर सांख्यिकीय और ज्यामितीय स्पष्टीकरण प्रदान करता है कि क्यों टर्बोक्वेंट का मूल अनुप्रयोग (यदि कीज़ पर विस्तारित किया गया हो) हानिकारक होगा।

मेट्रिक रिफाइनमेंट: यह तर्क देता है कि मीन KL एक आशावादी मेट्रिक है; वर्स्ट-केस KL और रूटिंग रिकॉल विश्वसनीयता के वास्तविक माप हैं।
डिज़ाइन सिद्धांत: यह स्थापित करता है कि सॉफ्टमैक्स की नॉन-लीनियरिटी के कारण K और V कैश के लिए मौलिक रूप से भिन्न क्वांटाइजेशन रणनीतियों की आवश्यकता होती है। QJL एक बायस-करेक्शन टूल है जो लीनियर आउटपुट (V) के लिए उपयुक्त है लेकिन नॉन-लीनियर आउटपुट (K) के लिए वेरिएंस-इंजेक्शन टूल है।
मार्जिनल गारंटी की सीमा: यह प्रदर्शित करता है कि यह सुनिश्चित करना कि मार्जिनल डिस्ट्रीब्यूशन कोडबुक से मेल खाते हैं (WHT के माध्यम से), आवश्यक तो है लेकिन पर्याप्त नहीं है; जॉइंट संरचना (विशेष रूप से लो-रैंक) अंतिम विफलता मोड को निर्धारित करती है।
ओपन प्रॉब्लम: पेपर ज्यामितिक पुनर्निर्माण में बजट-निर्भर क्रॉसओवर को एक ओपन रेट-डिस्टॉर्शन समस्या के रूप में पहचानता है, यह नोट करते हुए कि हालांकि QKQV बहुत कम बिट्स ( $n=2,3$ ) पर ज्यामितिक रूप से जीतता है, यह कार्यात्मक रूप से हार जाता है क्योंकि जेन्सन वेरिएंस इन्फ्लेशन नुकसान पहुँचाता है।

कार्य इस निष्कर्ष के साथ समाप्त होता है कि मजबूत KV कैश क्वांटाइजेशन के लिए लो-रैंक संरचनाओं (जैसे, SVD या सबस्पेस-अवेयर कोडबुक्स के माध्यम से) का स्पष्ट प्रबंधन आवश्यक है और KQV स्कीम (WHT + की (K) पर स्केलर, WHT + V पर स्केलर + QJL) वर्तमान बिट बजट के लिए इष्टतम कॉन्फ़िगरेशन है।