A Simple Plug-in for Improving Eviction-Based KV Cache Compression

तकनीकी सारांश: VECTOR

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) लंबे संदर्भ (long-context) के अनुमान (inference) के दौरान एक गंभीर बाधा का सामना करते हैं, जो अनुक्रम की लंबाई (sequence length) के साथ की-वैल्यू (KV) कैश मेमोरी के रैखिक विकास (linear growth) के कारण होता है। यह मेमोरी लागत उन अनुप्रयोगों में व्यावहारिक परिनियोजन (deployment) को प्रतिबंधित करती है जिनमें लंबे संदर्भ विंडो की आवश्यकता होती है, जैसे कि रिट्रीवल-हेवी QA, एजेंट वर्कफ़्लो और मल्टी-टर्न रीजनिंग।

मौजूदा KV कैश संपीड़न (compression) विधियाँ आम तौर पर दो श्रेणियों में आती हैं, जिनमें से दोनों की अपनी सीमाएँ हैं:

1. महत्व-आधारित निष्कासन (Importance-based Eviction): SnapKV जैसी विधियाँ टोकन को स्कोर देती हैं और कम स्कोर वाले प्रविष्टियों को स्थायी रूप से हटा देती हैं। हालांकि यह कुशल है, लेकिन यह बाइनरी निर्णय (रखना या हटाना) अपरिवर्तनीय है। कड़े मेमोरी बजट के तहत, यह उन टोकन को हटाने से महत्वपूर्ण प्रदर्शन गिरावट का कारण बन सकता है जो सटीक प्रतिधारण (exact retention) के लिए महत्वपूर्ण नहीं हैं लेकिन फिर भी पुनर्निर्मित (reconstructable) किए जा सकते हैं।
2. प्रतिनिधित्व सन्निकटन (Representation Approximation): AQUA-KV और EliteKV जैसी विधियाँ क्वांटाइजेशन या प्रोजेक्शन के माध्यम से KV प्रतिनिधित्व को संपीड़ित करती हैं। हालाँकि, इनमें से कई के लिए आर्किटेक्चरल संशोधनों, रिट्रेनिंग, या महंगे ऑनलाइन कंप्यूटेशन (जैसे, रिट्रीवल-आधारित पुनर्निर्माण) की आवश्यकता होती है।

इसके अतिरिक्त, मौजूदा मल्टी-स्टेट एलोकेशन विधियाँ (जैसे, ARKV, D2O) बाइनरी इविक्शन से बेहतर हैं लेकिन वे पूरी तरह से टोकन महत्व के संकेतों पर निर्भर करती हैं। वे स्पष्ट रूप से पुनर्निर्मित योग्यता (reconstructability) को मॉडल करने में विफल रहती हैं—अर्थात, क्या किसी टोकन का KV प्रतिनिधित्व सीमित त्रुटि के साथ अन्य उपलब्ध जानकारी से सटीक रूप से पुनः प्राप्त किया जा सकता है। इसके अलावा, जबकि पूर्व कार्य नोट करते हैं कि सॉफ्टमैक्स अटेंशन मैकेनिज्म में त्रुटियों के नॉन-लीनियर एम्प्लीफिकेशन के कारण मान (V) आमतौर पर कुंजियों (K) की तुलना में सन्निकटन के प्रति अधिक सहनशील होते हैं, अधिकांश टोकन-स्तरीय संपीड़न विधियाँ मेमोरी आवंटन में इस विषमता (asymmetry) का स्पष्ट रूप से उपयोग नहीं करती हैं।

कार्यप्रणाली: VECTOR

लेखक VECTOR (Value Estimation via Collinearity and Three-way Orthogonal Routing) का प्रस्ताव करते हैं, जो इविक्शन-आधारित पाइपलाइनों के लिए एक प्लग-एंड-प्ले ऑग्मेंटेशन है। VECTOR एक तीन-तरफा टोकन रूटिंग तंत्र पेश करता है: रिटेंशन (Retention), एप्रोक्सिमेशन (Approximation), और इविक्शन (Eviction)।

मुख्य तंत्र (Core Mechanisms)

1. विषम उपचार (K बनाम V):

   • कुंजियाँ (Keys - K): कैंडिडेट पूल के सभी टोकनों के लिए उन्हें सटीक रूप से रखा जाता है। यह अटेंशन रूटिंग मैकेनिज्म की अखंडता को बनाए रखता है, क्योंकि कुंजियों में गड़बड़ी (perturbations) सॉफ्टमैक्स फंक्शन द्वारा तेजी से बढ़ाई जाती है।
   • मान (Values - V): यह तीन-तरफा निर्णय के अधीन है।
     • रिटेन (Retain): उच्च-महत्व या कठिन-से-पुनर्निर्मित टोकनों के लिए सटीक स्टोरेज।
     • एप्रोक्सिमेट (Approximate): उच्च पुनर्निर्मित योग्यता वाले टोकनों के लिए हटाया गया और ऑन-द-फ्लाई पुनर्निर्मित किया गया।
     • इविक्ट (Evict): कम-महत्व वाले टोकनों के लिए स्थायी रूप से हटाया गया।

2. OLS के माध्यम से पुनर्निर्मित योग्यता (Reconstructability via OLS):

   • यह विधि K और V द्वारा साझा किए गए अंतर्निहित लो-रैंक स्ट्रक्चर (जो एक ही हिडन स्टेट के लीनियर प्रोजेक्शन हैं) का लाभ उठाती है।
   • यह एक ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) रिग्रेशन मॉडल का उपयोग करता है, जिसे ऑफलाइन कैलिब्रेट किया गया है, ताकि K से V का अनुमान लगाया जा सके ($V \approx W_{OLS}K$)।
   • रोटरी पोजीशन एम्बेडिंग (RoPE) को संभालने के लिए, विधि पुनर्निर्माण से पहले कुंजियों पर एक इनवर्स रोटेशन लागू करती है, जिससे पोजीशनल इंफॉर्मेशन को डिकपल किया जाता है ताकि एक स्टैटिक $W_{OLS}$ मैट्रिक्स सभी स्थितियों में काम कर सके।

3. थ्री-वे एलोकेशन पाइपलाइन:
   एक लक्षित कंप्रेशन अनुपात $p_c$ और एक एप्रोक्सिमेशन अनुपात $p_a$ दिए जाने पर:

   • चरण 1 (बजट रिलैक्सेशन): बेस इविक्शन एल्गोरिदम $1 - p_c + p_a$ आकार का एक विस्तारित कैंडिडेट पूल की पहचान करता है।
   • चरण 2 (रेसिड्यूल इवैल्यूएशन): इस पूल में प्रत्येक टोकन के लिए, पुनर्निर्माण त्रुटि $\epsilon_i = \|V_i - W_{OLS}K_i\|^2$ की गणना की जाती है।
   • चरण 3 (एसिमेट्रिक ट्रंकेशन):
     • $1 - p_c + p_a$ टोकनों के लिए कुंजियाँ (Keys) रखी जाती हैं।
     • वे $2p_a$ टोकन जिनका पुनर्निर्माण एरर सबसे कम है, उनके मान (Values) हटा दिए जाते हैं और $W_{OLS}K$ के माध्यम से पुनर्निर्मित किए जाते हैं।
     • शेष $1 - p_c - p_a$ टोकन सटीक K और V दोनों रखते हैं।
   • यह सुनिश्चित करता है कि कुल मेमोरी फुटप्रिंट $1 - p_c$ पूर्ण KV पेयर्स के लक्ष्य बजट से मेल खाता है।

मुख्य योगदान (Key Contributions)

1. पुनर्निर्मित योग्यता-जागरूक आवंटन (Reconstructability-Aware Allocation): पेपर KV संपीड़न को रिटेन-एप्रोक्सिमेट-इविक्ट समस्या के रूप में पुनर्गठित करता है, जो बाइनरी निर्णय के बजाय टोकन महत्व और पुनर्निर्मित योग्यता को संयुक्त रूप से विचार में लेता है।
2. लाइटवेट K→V पुनर्निर्माण: एक बार का ऑफलाइन OLS कैलिब्रेशन ऑनलाइन वैल्यू पुनर्निर्माण को न्यूनतम अनुमान-समय ओवरहेड और बिना मॉडल रिट्रेनिंग के सक्षम बनाता है।
3. प्लग-एंड-प्ले इंटीग्रेशन: VECTOR को न्यूनतम अनुकूलन के साथ मौजूदा टोकन-महत्व इविक्शन विधियों (दोनों क्वेरी-अवेयर और क्वेरी-एग्नोस्टिक) के साथ जोड़ा जा सकता है।
4. सैद्धांतिक विश्लेषण: लेखक उन स्थितियों का विवरण देते हैं जिनमें एप्रोक्सिमेशन टियर को विस्तारित करने से सूचना हानि कम होती है, जो आवश्यक OLS भविष्यवाणी गुणवत्ता ($R^2_{approx}$) को महत्व स्कोर वितरण के स्क्यूनेस (skewness) से जोड़ती है।

प्रयोगात्मक परिणाम (Experimental Results)

Llama-3.1-8B, Qwen3-14B, और Qwen3-0.6B का उपयोग करके LongBench (16 कार्य) और नीडल-इन-ए-हेस्टैक (NIAH) पर प्रयोग किए गए।

• उच्च-संपीड़न लाभ (High-Compression Gains): VECTOR लगातार उच्च-संपीड़न शासन ($p_c \in \{0.75, 0.90\}$) में डाउनस्ट्रीम प्रदर्शन में सुधार करता है।
  • क्वेरी-एग्नोस्टिक बेसलाइन्स: सबसे महत्वपूर्ण लाभ KeyDiff और KVzip के साथ देखे गए। उदाहरण के लिए, Qwen3-14B के साथ KeyDiff पर, VECTOR ने औसत स्कोर में $p_c=0.50$ पर +7.03, $p_c=0.75$ पर +9.15, और $p_c=0.90$ पर +9.73 का सुधार किया।
  • क्वेरी-अवेयर बेसलाइन्स: SnapKV और PyramidKV के साथ सुधार अधिक मामूली थे, विशेष रूप से मध्यम संपीड़न पर, क्योंकि ये विधियाँ पहले से ही सबसे प्रासंगिक टोकन को रखती हैं, जिससे एप्रोक्सिमेशन के लिए कम जगह बचती है। हालांकि, $p_c=0.90$ पर निरंतर लाभ देखे गए।
• मजबूती (Robustness - NIAH): $p_c=0.90$ पर NIAH स्ट्रेस टेस्ट में, VECTOR लगातार रिट्रीवल क्वालिटी में सुधार करता है। इसने विफलता पैटर्न को बड़े निरंतर लो-स्कोर क्षेत्रों से अधिक स्थानीयकृत कठिन सेल्स (cells) में बदल दिया, जो बेहतर मजबूती का संकेत देता है।
• संवेदनशीलता (Sensitivity): प्रदर्शन एक मध्यम एप्रोक्सिमेशन अनुपात ($p_a$) पर चरम पर होता है। यदि $p_a$ बहुत कम है, तो पुनर्प्राप्त योग्य जानकारी खो जाती है; यदि बहुत अधिक है, तो रिटेंशन टियर छोटा हो जाता है, जिससे कठिन-से-पुनर्निर्मित टोकन एप्रोक्सिमेशन में चले जाते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि VECTOR महत्व-जागरूक निष्कासन (importance-aware eviction) को पुनर्निर्मित योग्यता-जागरूक सन्निकटन (reconstructability-aware approximation) के साथ जोड़कर लंबे-संदर्भ अनुमान प्रणालियों के लिए एक आशाजनक दिशा प्रदर्शित करता है।

• दक्षता (Efficiency): यह उपयोगी वैल्यू जानकारी को पुनः प्राप्त करता है जो बाइनरी इविक्शन के तहत अन्यथा अपरिवर्तनीय रूप से खो जाती, जबकि अटेंशन स्थिरता के लिए की (key) वेक्टर्स को सुरक्षित रखता है।
• व्यावहारिकता (Practicality): इसके लिए किसी आर्किटेक्चरल बदलाव या रिट्रेनिंग की आवश्यकता नहीं है, जो इसे मौजूदा सिस्टम के लिए एक व्यावहारिक संवर्धन बनाता है।
• ट्रेड-ऑफ ऑप्टिमाइजेशन: सख्त मेमोरी बजट के तहत, VECTOR बेहतर क्वालिटी-मेमोरी ट्रेड-ऑफ प्राप्त करता है, विशेष रूप से उन विधियों के लिए जो केवल संदर्भ-अंतर्निहित स्कोरिंग (क्वेरी-एग्नोस्टिक) पर निर्भर करती हैं जहाँ महत्व और पुनर्निर्मित योग्यता उपयोगिता के ऑर्थोगोनल आयामों को कैप्चर करते हैं।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि $p_a$ को वर्तमान में एक अनुभवजन्य सूत्र के माध्यम से सेट किया गया है न कि डायनेमिक ऑप्टिमाइजेशन के माध्यम से, और क्वेरी-अवेयर बेसलाइन्स पर लाभ उनकी उच्च बेसलाइन प्रदर्शन द्वारा सीमित हैं। भविष्य के कार्य गतिशील आवंटन रणनीतियों का पता लगाने की खोज कर सकते हैं।