💬 NLP

SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging

SemantiCache एक नवीन KV कैश संपीड़न ढांचा (framework) है जो कैश को सुसंगत चंक्स में विभाजित करके और ग्रीडी क्लस्टरिंग (greedy clustering) एवं आनुपातिक अटेंशन (proportional attention) के माध्यम से टोकन को मर्ज करके सिमेंटिक अखंडता को बनाए रखता है, जिससे मॉडल के प्रदर्शन से समझौता किए बिना 2.61x तक तेज़ डिकोडिंग और कम मेमोरी उपयोग प्राप्त होता है।

मूल लेखक: Shunlong Wu, Hai Lin, Shaoshen Chen, Tingwei Lu, Yongqin Zeng, Shaoxiong Zhan, Hai-Tao Zheng, Hong-Gee Kim

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shunlong Wu, Hai Lin, Shaoshen Chen, Tingwei Lu, Yongqin Zeng, Shaoxiong Zhan, Hai-Tao Zheng, Hong-Gee Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप बाद में एक दोस्त को सुनाने के लिए एक बहुत लंबी कहानी याद रखने की कोशिश कर रहे हैं।

समस्या: स्मृति की "ईंट की दीवार" (The "Brick Wall" of Memory)
लार्ज लैंग्वेज मॉडल्स (LLMs) सुपर-स्मार्ट कहानीकारों की तरह होते हैं, लेकिन उनकी एक मेमोरी संबंधी समस्या है। जैसे-जैसे वे एक लंबी कहानी पढ़ते हैं, वे अब तक देखे गए हर एक शब्द का एक "रफ नोट" (जिसे KV Cache कहा जाता है) रखते हैं ताकि वे संदर्भ (context) को समझ सकें।

समस्या यह है कि यह रफ नोट कहानी के आकार के साथ बढ़ता जाता है। यदि कहानी 1,00,000 शब्दों की है, तो रफ नोट बहुत बड़ा हो जाता है। इसमें बहुत अधिक कंप्यूटर मेमोरी लगती है (जैसे अपने बैकपैक में पूरी लाइब्रेरी ले जाने की कोशिश करना) और यह कंप्यूटर को धीमा बना देता है क्योंकि उसे जो कुछ भी चाहिए उसे खोजने के लिए हर एक पन्ने को पलटना पड़ता है।

पुराने समाधान: चीजों को फेंक देना या उन्हें कुचल देना
इसे ठीक करने के लिए, पिछले तरीकों ने दो चीजें आजमाईं:

चीजों को फेंक देना: वे उन शब्दों को हटा देते थे जिन्हें वे "महत्वहीन" समझते थे। लेकिन यह एक फिल्म को केवल धमाकों को रखकर और संवादों को हटाकर याद रखने की कोशिश करने जैसा है। इससे आप कहानी का सार खो देते हैं।
चीजों को आपस में कुचल देना: वे शब्दों के यादृच्छिक (random) समूहों को लेते थे और उन्हें एक "सुपर-वर्ड" में औसत (average) निकाल देते थे। लेकिन यदि आप "सेब खाने" के वाक्य को "कार चलाने" के वाक्य के साथ औसत निकाल देते हैं, तो आपको बकवास प्राप्त होती है। इसे सिमेंटिक फ्रैगमेंटेशन (semantic fragmentation) कहा जाता है—अर्थात अर्थ को टुकड़ों में तोड़ देना।

नया समाधान: SemantiCache (एक "स्मार्ट सारांशकर्ता")
यह पेपर SemantiCache पेश करता है, जो एक नया तरीका है जिससे इस स्मृति को संकुचित किया जा सकता है, जबकि यह कहानी के अर्थ का सम्मान करता है। यह एक इंसान की तरह काम करता है जो किताब पढ़ रहा है और स्मार्ट नोट्स बना रहा है।

यह कैसे काम करता है, लाइब्रेरी एनालॉजी (Library Analogy) का उपयोग करके चरण-दर-चरण यहाँ दिया गया है:

चरण 1: सिमेंटिक चंकिंग (अध्यायों के अनुसार व्यवस्थित करना)

कहानी को शब्दों के एक यादृच्छिक प्रवाह के रूप में देखने के बजाय, SemantiCache प्राकृतिक विभाजनों को ढूंढता है, जैसे पूर्ण विराम (periods), अल्पविराम (commas), या नई लाइनें।

एनालॉजी: कल्पना करें कि बिखरे हुए पन्नों का एक ढेर है। यादृच्छिक पन्ने उठाने के बजाय, आप पहले उन्हें अध्यायों या अनुच्छेदों में व्यवस्थित करते हैं। आप "अध्याय शुरू" के मार्करों (delimiters) को सुरक्षित और अछूता रखते हैं। यह सुनिश्चित करता है कि आप कभी भी किसी वाक्य को बीच में से न तोड़ें।

चरण 2: ग्रीडी सीड क्लस्टरिंग (समान विचारों को समूहबद्ध करना)

प्रत्येक अध्याय के भीतर, कई शब्द हो सकते हैं जो एक ही बात कहते हैं।

एनालॉजी: कल्पना करें कि "पिकनिक" के बारे में एक अध्याय है। इसमें "सैंडविच", "हैम", "टर्की", "ब्रेड" और "लंच" का उल्लेख है।
- पुराने तरीके शायद "सैंडविच" को अगले अध्याय के "बारिश" वाले शब्द के साथ मिला देते।
- SemantiCache शब्दों को देखता है और कहता है, "हे, 'सैंडविच', 'हैम' और 'ब्रेड' सभी एक ही अवधारणा के बारे में बात कर रहे हैं।" यह उन्हें एक क्लस्टर (cluster) में समूहबद्ध करता है। यह इसे तेजी से और कुशलता से करता है, जैसे एक लाइब्रेरियन विषयों के आधार पर किताबों को जल्दी से छाँटता है।

चरण 3: क्लस्टर्ड मर्जिंग (मुख्य सारांश बनाना)

अब, "पिकनिक" क्लस्टर के प्रत्येक शब्द को अलग से याद रखने के बजाय, मॉडल एक एकल सिमेंटिक कोर (Semantic Core) बनाता है।

एनालॉजी: "सैंडविच", "हैम", "टर्की" और "ब्रेड" को अलग-अलग याद रखने के बजाय, मॉडल एक शक्तिशाली नोट बनाता है जो कहता है: "पिकनिक फूड"।
- यह "मर्जिंग" (विलय) वाला हिस्सा है। यह 4 शब्दों को 1 "सुपर-वर्ड" में संकुचित कर देता है।

गुप्त नुस्खा: प्रोपोर्शनल अटेंशन (सही वजन देना)

यहाँ पेचीदा हिस्सा है। यदि आप 4 शब्दों को 1 शब्द में बदलते हैं, तो वह एक शब्द कंप्यूटर के लिए कम महत्वपूर्ण लग सकता है।

एनालॉजी: कल्पना करें कि 4 लोग "आग!" चिल्ला रहे हैं। यदि आप उन्हें 1 व्यक्ति द्वारा "आग!" चिल्लाने से बदल देते हैं, तो कंप्यूटर सोच सकता है, "ओह, केवल एक व्यक्ति चिल्ला रहा है, तो यह कोई बड़ी बात नहीं है।"
समाधान: SemantiCache एक विशेष "वॉल्यूम नॉब" (जिसे प्रोपोर्शनल अटेंशन कहा जाता है) जोड़ता है। यह कंप्यूटर को बताता है: "भले ही यह केवल एक नोट है, यह 4 लोगों का प्रतिनिधित्व करता है। इसलिए, वॉल्यूम बढ़ा दें!" यह सुनिश्चित करता है कि संकुचित स्मृति में मूल जानकारी का पूरा वजन बना रहे।

परिणाम

ऐसा करके, कंप्यूटर की स्मृति (रफ नोट) बहुत छोटी हो जाती है (जैसे एक लाइब्रेरी को कुछ इंडेक्स कार्ड में सिकोड़ देना), लेकिन अर्थ एकदम सटीक रहता है।

गति (Speed): क्योंकि अब पन्ने पलटने के लिए कम मेमोरी है, कंप्यूटर बहुत तेज़ी से पढ़ और लिख सकता है (परीक्षणों में 2.6 गुना तेज़)।
सटीकता (Accuracy): क्योंकि इसने वाक्यों को तोड़ा नहीं या असंबंधित विचारों को मिलाया नहीं, मॉडल अभी भी प्रश्नों के सही उत्तर देता है, बिल्कुल मूल, बिना संकुचित किए गए मॉडल की तरह।

संक्षेप में:
SemantiCache एक स्मार्ट संपादक की तरह है जो केवल शब्दों को बेतरतीब ढंग से नहीं काटता है। इसके बजाय, वे कहानी को पढ़ते हैं, संबंधित विचारों को एक साथ समूहबद्ध करते हैं, उन समूहों का सारांश बनाते हैं, और यह सुनिश्चित करते हैं कि सारांश इतना तेज़ हो कि उसे सुना जा सके। यह AI को बिना "मूर्ख" बनाए इसे तेज़ और हल्का बनाता है।

यहाँ शोध पत्र "SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को लंबे संदर्भ (long-context) वाले ऑटो-रिग्रेसिव इन्फरेंस के दौरान की-वैल्यू (KV) कैश के कारण महत्वपूर्ण बाधाओं का सामना करना पड़ता है। जैसे-जैसे इनपुट अनुक्रम (sequence) बढ़ता है, KV कैश रैखिक रूप से फैलता है, जिससे निम्नलिखित समस्याएं होती हैं:

अत्यधिक मेमोरी फुटप्रिंट: GPU VRAM संसाधनों का समाप्त होना।
उच्च इन्फरेंस लेटेंसी: डिकोडिंग चरण की गति धीमी होना।

मौजूदा संपीड़न (compression) विधियाँ आम तौर पर दो श्रेणियों में आती हैं:

इविक्शन-आधारित (Eviction-based): उन टोकन को हटा देना जिन्हें "कम महत्वपूर्ण" माना जाता है (जैसे, अटेंशन स्कोर के आधार पर)। इससे अपूरणीय सूचना हानि (irreversible information loss) होती है।
मर्जिंग-आधारित (Merging-based): आकार कम करने के लिए टोकन को आपस में मिलाना।

मूल दोष (The Core Flaw): ये दोनों मौजूदा दृष्टिकोण आमतौर पर डिस्क्रीट टोकन या मनमाने (arbitrary), गैर-सिमेंटिक चंक्स पर काम करते हैं। यह भाषा की स्वाभाविक पदानुक्रमित संरचना (hierarchical structure) की अनदेखी करता है, जिससे सिमेंटिक विखंडन (semantic fragmentation) होता है। सुसंगत भाषाई इकाइयों (वाक्यांश, क्लॉज, वाक्य) को अलग करने से सिमेंटिक अखंडता बाधित होती है, जिससे अपूरणीय सूचना हानि और मॉडल के प्रदर्शन में गिरावट आती है।

2. कार्यप्रणाली: SemantiCache

लेखक SemantiCache प्रस्तावित करते हैं, जो एक अभिनव संपीड़न ढांचा (framework) है जो संपीड़न प्रक्रिया को मानव भाषा के सिमेंटिक पदानुक्रम के साथ संरेखित करता है। यह ढांचा पढ़ने की संज्ञानात्मक रणनीति (cognitive strategy) की नकल करता है: पाठ को सिमेंटिक इकाइयों में विभाजित करना, मूल अर्थों को निकालना और उन्हें समेकित करना।

यह पाइपलाइन तीन चरणों से मिलकर बनी है:

A. सिमेंटिक चंकिंग (Semantic Chunking)

फिक्स्ड-साइज़ विंडो के बजाय, KV कैश को प्राकृतिक भाषा विभाजकों (जैसे, ., ,, ?, !, \n, \t) का उपयोग करके विभाजित किया जाता है।

तंत्र (Mechanism): अनुक्रम को बारी-बारी से नॉन-डिलीमिटर चंक्स और डेलीमिटर टोकन में विभाजित किया जाता है।
संरक्षण (Preservation): डेलीमिटर टोकन (जो अक्सर उच्च अटेंशन स्कोर रखते हैं) को बिना किसी संशोधन के स्ट्रक्चरल एंकर के रूप में संरक्षित किया जाता है।
लक्ष्य: यह सुनिश्चित करना कि संपीड़न सुसंगत सिमेंटिक इकाइयों (जैसे, एक वाक्य) के भीतर हो, न कि उनके बीच में से कट जाए।

B. सिमिलैरिटी क्लस्टरिंग (Similarity Clustering - GSC एल्गोरिदम)

प्रत्येक सिमेंटिक चंक के भीतर, रेडंडेंसी (redundancy) की पहचान करने के लिए टोकन को सिमेंटिक समानता के आधार पर समूहबद्ध किया जाता है।

मेट्रिक: सिमेंटिक एफिनिटी (affinity) को कोसाइन सिमिलैरिटी के माध्यम से Key वेक्टर्स ( $k_i$ ) का उपयोग करके मापा जाता है:
$\text{Sim}((k_i, v_i), (k_j, v_j)) = \frac{k_i \cdot k_j}{\|k_i\|_2 \|k_j\|_2}$
एल्गोरिदम: एक ग्रीडी सीड-बेस्ड क्लस्टरिंग (GSC) एल्गोरिदम का उपयोग किया जाता है।
- यह चंक के माध्यम से एक एकल, अनुक्रमिक पास (sequential pass) करता है।
- एक अनअसाइंड (unassigned) टोकन एक "सीड" (seed) बन जाता है।
- एक सीड लालची (greedily) रूप से उन सभी आगामी अनअसाइंड टोकन को अवशोषित कर लेता है जिनकी समानता थ्रेशोल्ड $\tau$ से अधिक है।
- यह सिमेंटिक रूप से संबंधित टोकन के विलगित (disjoint) क्लस्टर बनाता है।

C. क्लस्टर्ड मर्जिंग और प्रोपोर्शनल अटेंशन (Clustered Merging & Proportional Attention)

प्रत्येक क्लस्टर के भीतर के टोकन को एक एकल सिमेंटिक कोर (Semantic Core) में मिला दिया जाता है।

मीन-पूलिंग (Mean-Pooling): क्लस्टर के Key और Value वेक्टर्स को प्रतिनिधि कोर $(\hat{k}_t, \hat{v}_t)$ बनाने के लिए औसत निकाला जाता है।
प्रोपोर्शनल अटेंशन मैकेनिज्म: टोकन को मिलाने से उनका अटेंशन योगदान कम (dilute) हो जाता है। इससे निपटने के लिए, विधि अटेंशन गणना के दौरान एक रीवेटिंग मैकेनिज्म लागू करती है:
$\text{Attention}(Q, K_c, V_c) = \text{softmax}\left(\frac{QK_c^T}{\sqrt{d}} + \log s\right)V_c$
- यहाँ, $s$ एक वेक्टर है जिसमें प्रत्येक क्लस्टर का आकार ( $|S_t|$ ) शामिल है।
- लॉजिट्स (logits) में $\log s$ जोड़ने से गणितीय रूप से सॉफ्टमैक्स के बाद अटेंशन स्कोर को क्लस्टर के आकार से गुणा करना समान है, जो यह सुनिश्चित करता है कि मर्ज किए गए टोकन का प्रभाव उन मूल टोकनों के अनुपात में हो जिनका वह प्रतिनिधित्व करता है।

कीमती योगदान (Key Contributions)

सिमेंटिक विखंडन की पहचान: यह शोध पत्र इस बात पर प्रकाश डालता है कि भाषाई सुसंगतता को तोड़ना मौजूदा KV कैश संपीड़न विधियों में प्रदर्शन गिरावट का प्राथमिक कारण है।
सिमेंटिक-अलाइन्ड फ्रेमवर्क: एक तीन-चरणीय पाइपलाइन (Chunking $\to$ Clustering $\to$ Merging) पेश करता है जो भाषा की पदानुक्रमित प्रकृति का सम्मान करती है, जो मानव स्मृति रणनीतियों का अनुकरण करती है।
कुशल GSC एल्गोरिदम: एक हल्का, सिंगल-पास ग्रीडी क्लस्टरिंग एल्गोरिदम प्रस्तावित करता है जो भारी कम्प्यूटेशनल ओवरहेड के बिना सिमेंटिक रूप से समान टोकन को कुशलतापूर्वक समूहित करता है।
प्रोपोर्शनल अटेंशन: क्लस्टर के आकार के आधार पर अटेंशन को गतिशील रूप से रीवेट करके मर्जिंग तकनीकों में सामान्य सूचना न्यूनीकरण (information dilution) की समस्या को हल करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Llama-3-8B और Mistral-7B पर विविध बेंचमार्क के माध्यम से किया गया।

सटीकता (LongBench): SemantiCache ने विभिन्न कैश बजटों (20%, 35%, 50%) में अत्याधुनिक बेसलाइन्स (StreamingLLM, H2O, SnapKV, CaM, D2O) को लगातार पछाड़ दिया। इसने उच्चतम औसत स्कोर प्राप्त किया, जो यह दर्शाता है कि सिमेंटिक अखंडता बनाए रखने से उच्च संपीड़न अनुपात पर भी प्रदर्शन में गिरावट कम होती है।
रिट्रीवल (Needle-in-a-Haystack): 8k और 32k संदर्भ लंबाई पर, SemantiCache ने सभी बेसलाइन्स की तुलना में बेहतर रिट्रीवल सटीकता प्राप्त की, जो लंबे संदर्भ परिदृश्यों में मजबूती को सिद्ध करता है।
दक्षता (Efficiency):
- गति: फुल मॉडल की तुलना में टाइम पर आउटपुट टोकन (TPOT) में 2.61× तक की स्पीडअप प्राप्त की।
- मेमोरी: मेमोरी फुटप्रिंट को काफी कम किया (उदाहरण के लिए, विशिष्ट परीक्षणों में फुल मॉडल के लिए 24.27 GB के मुकाबले 15.94 GB)।
एब्लेशन स्टडीज (Ablation Studies):
- चंकिंग रणनीति: सिमेंटिक चंकिंग ने फिक्स्ड-साइज़ चंकिंग (64 टोकन) और ग्लोबल क्लस्टरिंग (नो चंकिंग) की तुलना में काफी बेहतर प्रदर्शन किया, जो भाषाई सीमाओं की आवश्यकता की पुष्टि करता है।
- थ्रेशोल्ड ( $\tau$ ): संपीड़न अनुपात और सटीकता के बीच एक ट्रेड-ऑफ मौजूद है; उच्च $\tau$ मान अधिक सटीकता बनाए रखते हैं लेकिन संपीड़न अनुपात को कम करते हैं।

5. महत्व (Significance)

SemantiCache, टोकन-स्तर या मनमाने-ब्लॉक ऑपरेशंस से सिमेंटिक-स्तर के ऑपरेशंस की ओर बढ़ते हुए, KV कैश संपीड़न में एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है। यह स्वीकार करते हुए कि भाषा अर्थ की एक पदानुक्रम है न कि केवल शब्दों का एक सपाट प्रवाह, यह विधि मेमोरी दक्षता और मॉडल प्रदर्शन के बीच के संतुलन को सफलतापूर्वक हल करती है। यह LLMs को उच्च-गुणवत्ता वाली जनरेशन के लिए आवश्यक सुसंगतता से समझौता किए बिना, बहुत कम मेमोरी लागत और तेज़ इन्फरेंस गति के साथ लंबे संदर्भों को संभालने में सक्षम बनाता है।