💬 NLP

DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity

DeltaKV एक रेसिड्यूअल-आधारित KV कैश कंप्रेशन फ्रेमवर्क है जो मेमोरी उपयोग को मूल का 29% तक कम करने के लिए लॉन्ग-रेंज टोकन समानता का लाभ उठाता है, जिसे लॉन्ग-कॉन्टेक्स्ट परिदृश्यों में 2 $\times$ तक थ्रूपुट सुधार प्राप्त करने के लिए एक हाई-परफॉर्मेंस स्पार्स-vLLM इंजन के साथ जोड़ा गया है।

मूल लेखक: Jitai Hao, Qiang Huang, Yaowei Wang, Min Zhang, Jun Yu

प्रकाशित 2026-02-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Jitai Hao, Qiang Huang, Yaowei Wang, Min Zhang, Jun Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हज़ार पन्नों का महाकाव्य उपन्यास लिखने की कोशिश कर रहे हैं। अपनी कहानी को सुसंगत बनाए रखने के लिए, आपको अब तक लिखी गई हर चीज़ को याद रखने की ज़रूरत है—हर पात्र की आँखों का रंग, हर मोड़ (plot twist), और हर सेटिंग।

आर्टिफिशियल इंटेलिजेंस (LLMs) की दुनिया में, इस "याददाश्त" को KV Cache कहा जाता है। समस्या यह है कि जैसे-जैसे कहानी लंबी होती जाती है, इसके लिए आवश्यक मेमोरी इतनी विशाल हो जाती है कि अंततः यह कंप्यूटर के "दिमाग" (GPU) को क्रैश कर देती है।

वर्तमान में, AI शोधकर्ता इसे दो तरीकों से हल करने का प्रयास करते हैं:

इरेज़र विधि (Eviction): वे जगह बचाने के लिए पुराने पन्नों को बस फेंक देते हैं। लेकिन यदि आप वह पन्ना फेंक देते हैं जहाँ आपने विलेन (खलनायक) का परिचय दिया था, तो कहानी समझ से बाहर हो जाएगी।
हाइलाइटर विधि (Sparsity): वे सब कुछ रखते हैं लेकिन केवल कुछ "हाइलाइट किए गए" हिस्सों को ही "देखते" हैं। इससे समय तो बचता है, लेकिन यह वास्तव में लाइब्रेरी में भौतिक स्थान (physical space) नहीं बचाता है।

DeltaKV एक तीसरा, बहुत अधिक स्मार्ट तरीका है। यह कैसे काम करता है, इसके लिए तीन सरल उपमाएँ (analogies) यहाँ दी गई हैं:

1. "संदर्भ फोटो" रणनीति (Long-Range Similarity)

कल्पना कीजिए कि आप हज़ारों अपराध स्थल की तस्वीरों को देख रहे एक जासूस हैं। हर तस्वीर के हर एक पिक्सेल को याद करने के बजाय, आप महसूस करते हैं कि कई तस्वीरें लगभग एक जैसी दिखती हैं।

1,000 पूरी तस्वीरें संग्रहीत करने के बजाय, आप 10 "मास्टर संदर्भ फोटो" चुनते हैं। बाकी हर फोटो के लिए, आप पूरी इमेज को सहेजते नहीं हैं; बल्कि आप केवल एक छोटा सा नोट लिखते हैं: "यह फोटो संदर्भ फोटो #3 के बिल्कुल समान है, लेकिन संदिग्ध ने नीली टोपी के बजाय लाल टोपी पहनी है।"

DeltaKV बिल्कुल यही करता है। यह महसूस करता है कि AI की मेमोरी के कई हिस्से दोहराव वाले होते हैं। यह कुछ "संदर्भ टोकन" (Reference Tokens) को सहेजता है और बाकी सब चीज़ों के लिए, यह केवल "डेल्टा" (अंतर) को स्टोर करता है। इसीलिए यह कहानी को खोए बिना अपनी मेमोरी के उपयोग को मूल आकार के मात्र 29% तक सिकोड़ सकता है।

2. "स्केच बनाम ऑयल पेंटिंग" अवधारणा (Highly Shared Components)

एक लैंडस्केप पेंटिंग के बारे में सोचें। कैनवास का अधिकांश हिस्सा "साझा" चीज़ों से भरा होता है: आकाश का नीला रंग, घास का हरा रंग, और बादलों की बनावट। जब भी आप किसी पेड़ का उल्लेख करते हैं, तो आपको नीले आकाश का वर्णन करने की आवश्यकता नहीं होती।

DeltaKV ने देखा कि KV कैश में "High-Norm Latent Components" होते हैं—मूल रूप से, बहुत सारा "नीला आकाश" जो सभी टोकन में सामान्य है। DeltaKV उस सभी सामान्य "बैकग्राउंड नॉइज़" को हटा देता है और केवल अद्वितीय "विवरणों" (विशिष्ट पेड़ या विशिष्ट पक्षी) को स्टोर करता है। क्योंकि "विवरण" पूरे "पेंटिंग" की तुलना में बहुत छोटे और सरल होते हैं, इसलिए उन्हें कंप्रेस करना अविश्वसनीय रूप से आसान होता है।

3. "एक्सप्रेस लेन" (Sparse-vLLM)

भले ही आपके पास एक छोटी, कंप्रेस्ड नोटबुक हो, फिर भी आपको उसे पढ़ने के लिए एक तेज़ तरीके की आवश्यकता होगी। यदि आपको हर छोटे नोट को डिकोड करने में दस मिनट खर्च करने पड़ते हैं, तो आप उपयोगी होने के लिए बहुत धीमे होंगे।

शोधकर्ताओं ने Sparse-vLLM नामक एक विशेष इंजन बनाया है। इसे "शॉर्टहैंड नोट्स" (संक्षिप्त नोट्स) को पढ़ने के लिए डिज़ाइन किया गया एक हाई-स्पीड स्कैनर समझें। क्योंकि यह जानता है कि DeltaKV नोट्स की संरचना कैसी है, यह सीधे "शॉर्टहैंड" पर कूद सकता है और "पूरी किताबों" को छोड़ सकता है, जिससे AI पहले की तुलना में 2 गुना तेज़ काम कर पाता है।

निचोड़ (The Bottom Line)

DeltaKV एक भारी-भरकम लाइब्रेरी के विशाल, भारी किताबों को "मास्टर रेफरेंस" और "त्वरित शॉर्टहैंड नोट्स" के एक पतले, कुशल फोल्डर में बदल देता है।

परिणाम: आप AI को पढ़ने और लिखने के लिए बहुत लंबी "कहानियाँ" (लंबा संदर्भ) दे सकते हैं, यह बहुत कम महंगे हार्डवेयर का उपयोग करता है, और यह सब कुछ बिना यह भूले कि विलेन कौन है, सफलतापूर्वक करता है।

तकनीकी सारांश: DeltaKV: दीर्घ-रेंज समानता के माध्यम से अवशिष्ट-आधारित (Residual-Based) KV कैश संपीड़न

1. समस्या विवरण

लॉन्ग-कॉन्टेक्स्ट अनुप्रयोगों (जैसे स्वायत्त एजेंट, जटिल तर्क, और लंबे दस्तावेज़ विश्लेषण) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) की तैनाती KV कैश मेमोरी बॉटलनेक द्वारा गंभीर रूप से सीमित है। जैसे-जैसे अनुक्रम (sequence) की लंबाई बढ़ती है, KV कैश रैखिक रूप से बढ़ता है, जो अक्सर एकल GPU एक्सेलेरेटर की क्षमता से अधिक हो जाता है।

मौजूदा समाधान आम तौर पर दो श्रेणियों में आते हैं, जिनमें महत्वपूर्ण कमियां हैं:

टोकन इविक्शन/सिलेक्शन (स्थिर/गतिशील): SnapKV या H2O जैसे तरीके मेमोरी बचाने के लिए टोकन को हटा देते हैं। हालांकि, स्थिर (static) तरीके उन टोकनों को हटा देते हैं जो मल्टी-टर्न संवादों में बाद में महत्वपूर्ण हो सकते हैं, जबकि गतिशील (dynamic) तरीके (जैसे Quest) पूरे कैश को बनाए रखते हैं और ऑफलोडिंग पर निर्भर करते हैं, जिससे उच्च PCIe विलंबता (latency) उत्पन्न होती है।
संपीड़न/क्वांटाइजेशन (Compression/Quantization): CacheGen या Palu जैसे तरीके अक्सर स्थानीयता (निकटवर्ती टोकनों के बीच समानता) को मानते हैं या जटिल, GPU-अनुकूल नहीं होने वाले पुनर्निर्माण पाइपलाइनों की आवश्यकता रखते हैं, जो थ्रूपुट को कम कर देते हैं।

2. मुख्य अनुभवजन्य अवलोकन (Key Empirical Observations)

लेखकों ने उनके दृष्टिकोण को प्रेरित करने वाले KV कैश के दो मौलिक गुणों की पहचान की है:

दीर्घ-रेंज अंतर-टोकन समानता (Long-Range Inter-Token Similarity): सिमेंटिक समानता केवल स्थानीय नहीं होती है। 60% से अधिक अत्यधिक समान टोकन 16 स्थितियों से अधिक दूर होते हैं, जिसका अर्थ है कि प्रभावी संपीड़न को स्थानीय के बजाय वैश्विक संदर्भ का लाभ उठाना चाहिए।
अत्यधिक साझा लेटेंट घटक (Highly Shared Latent Components): KV कैश में मजबूत एनिसोट्रॉपी (anisotropy) होती है। कुछ उच्च-नॉर्म लेटेंट दिशाएं सामान्य भाषाई पैटर्न को कैप्चर करती हैं। जब इन साझा घटकों को घटा दिया जाता है, तो शेष अवशेष (residuals) निम्न-परिमाण के, शोर जैसे (noise-like) और संपीड़न के लिए बहुत आसान होते हैं।

3. कार्यप्रणाली: DeltaKV फ्रेमवर्क

DeltaKV एक अवशेष-आधारित (residual-based) संपीड़न फ्रेमवर्क है जो केवल पुनर्प्राप्त ऐतिहासिक संदर्भों से टोकन-विशिष्ट विचलन को एनकोड करता है।

स्ट्राइडेड रेफरेंस सिलेक्शन (Strided Reference Selection): संपूर्ण इतिहास को खोजने की लागत से बचने के लिए, DeltaKV एक निश्चित अंतराल (स्ट्राइड $s$ ) पर चुने गए संदर्भ टोकनों $T$ का एक सेट बनाए रखता है। एक नए टोकन के लिए, यह L2 दूरी का उपयोग करके इस स्ट्राइडेड सेट से $k$ निकटतम पड़ोसियों को पुनर्प्राप्त करता है।
अवशेष एनकोडिंग (Residual Encoding): कच्चे KV स्टेट को संपीड़ित करने के बजाय, DeltaKV पुनर्प्राप्त संदर्भों का माध्य ( $KV^R$ ) की गणना करता है और अवशेष की गणना करता है: $z_\Delta = f_c(KV) - f_c(KV^R)$ । एक हल्का MLP/लीनियर कंप्रेसर ( $f_c$ ) इस अवशेष को लो-डायमेंशनल स्पेस में एनकोड करता है।
पुनर्निर्माण (Reconstruction): इन्फरेंस के दौरान, KV स्टेट को डीकंप्रेसर ( $f_d$ ) के माध्यम से पुनर्गठित किया जाता है: $\widehat{KV} = f_d(z_\Delta) + KV^R$ ।
हाइब्रिड ट्रेनिंग ऑब्जेक्टिव: यह सुनिश्चित करने के लिए कि संपीड़ित कैश जेनेरेटिव क्षमताओं को सुरक्षित रखे, मॉड्यूल को मीन स्क्वेर्ड एरर (MSE) (संख्यात्मक निष्ठा के लिए) और नेक्स्ट-टोकन प्रेडिक्शन (NTP) लॉस (सिमेंटिक/टास्क निष्ठा के लिए) के संयोजन का उपयोग करके प्रशिक्षित किया जाता है।
Sparse-vLLM एकीकरण: संपीड़न को गति में बदलने के लिए, लेखकों ने Sparse-vLLM विकसित किया है, जो अनियमित, स्पार्स KV लेआउट का समर्थन करने वाला एक इन्फरेंस इंजन है। यह चयनात्मक डीकंप्रेसन (selective decompression) की अनुमति देता है, जहाँ केवल उन टोकनों को पुनर्गठित किया जाता है जिनकी स्पार्स अटेंशन मास्क द्वारा आवश्यकता होती है।

4. मुख्य योगदान

ग्लोबल रिडंडेंसी की खोज: यह सिद्ध करना कि KV कैश रिडंडेंसी एक वैश्विक घटना है और अवशेष (residuals) अत्यधिक संपीड़ित करने योग्य हैं।
DeltaKV फ्रेमवर्क: एक GPU-फ्रेंडली, अवशेष-आधारित संपीड़न विधि जो न्यूनतम सटीकता हानि के साथ उच्च संपीड़न अनुपात प्राप्त करती है।
Sparse-vLLM इंजन: एक उच्च-प्रदर्शन वाला इन्फरेंस फ्रेमवर्क जो मेमोरी प्रबंधन को निष्पादन से अलग करता है, जिससे स्पार्स और संपीड़ित KV कैश को कुशलतापूर्वक संभालना संभव होता है।

5. प्रयोगात्मक परिणाम

मेमोरी दक्षता: DeltaKV (4-बिट क्वांटाइजेशन के साथ मिलकर) KV कैश मेमोरी को मूल आकार के 29% तक कम कर देता है, जबकि लगभग लॉसलेस सटीकता बनाए रखता है।
सटीकता: LongBench, SCSB (मल्टी-टर्न) और AIME (जटिल तर्क) पर, DeltaKV OmniKV जैसे स्टेट-ऑफ-द-आर्ट डायनेमिक सिलेक्शन विधियों के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करता है।
थ्रूपुट: Sparse-vLLM के साथ एकीकृत होने पर, यह लंबे-कॉन्टेक्स्ट परिदृश्यों (जैसे 512k कॉन्टेक्स्ट लेंथ पर) में मानक vLLM की तुलना में 2x थ्रूपुट सुधार प्राप्त करता है।
सामान्यीकरण (Generalization): छोटा सीक्वेंस (8k) पर प्रशिक्षित कंप्रेसर, अत्यंत लंबे कॉन्टेक्स्ट (1M टोकन तक) के लिए प्रभावी रूप से सामान्यीकृत होता है।

6. महत्व

DeltaKV मौजूदा हार्डवेयर पर लॉन्ग-कॉन्टेक्स्ट LLMs को तैनात करने के लिए एक व्यावहारिक और स्केलेबल मार्ग प्रदान करता है। "कौन से टोकन रखें" (इविक्शन) के बजाय "टोकनों के बीच के अंतर को कैसे दर्शाया जाए" (अवशेष संपीड़न) पर ध्यान केंद्रित करके, यह मेमोरी फुटप्रिंट और रीजनिंग सटीकता के बीच के मौलिक ट्रेड-ऑफ को दूर करता है। यह दृष्टिकोण जटिल, मल्टी-स्टेप रीजनिंग और एजेंटिक वर्कफ़्लो के लिए उपयोग किए जाने वाले अगली पीढ़ी के "इनफिनिट कॉन्टेक्स्ट" मॉडल्स के लिए विशेष रूप से महत्वपूर्ण है।