🤖 machine learning

The risk of KV cache compression

यह शोध पत्र अंतर्निहित संपीड़नीयता (intrinsic compressibility) के आधार पर इसके मिनिमैक्स जोखिम (minimax risk) को अभिलक्षित करके, कॉज़ल मास्किंग (causal masking) के लिए इष्टतम डिज़ाइन सिद्धांतों को व्युत्पन्न करके, और एक नए एल्गोरिदम को मान्य करके KV कैश संपीड़न में अनुभवजन्य प्रथाओं और सैद्धांतिक सीमाओं के बीच के अंतर को पाटता है, जो सैद्धांतिक गारंटियों के साथ LongBench पर उत्कृष्ट प्रदर्शन प्राप्त करता है।

मूल लेखक: Lukas Haverbeck, Carmen Amo Alonso, Andres Felipe Posada-Moreno, Sebastian Trimpe, Marco Pavone

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lukas Haverbeck, Carmen Amo Alonso, Andres Felipe Posada-Moreno, Sebastian Trimpe, Marco Pavone

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल पुस्तकालय है जहाँ एक लाइब्रेरियन (AI मॉडल) एक ऐसी कहानी के आधार पर एक प्रश्न का उत्तर देने की कोशिश कर रहा है जो लगातार लंबी होती जा रही है। हर बार जब लाइब्रेरियन एक नया वाक्य पढ़ता है, तो उन्हें सही संदर्भ खोजने के लिए पिछले सभी पन्नों के ढेर को वापस पलटना पड़ता है। इस पन्नों के ढेर को KV Cache कहा जाता है।

जैसे-जैसे कहानी बढ़ती है, पन्नों का यह ढेर इतना बड़ा हो जाता है कि लाइब्रेरियन के पास डेस्क की जगह (मेमोरी) खत्म हो जाती है और सही पन्ना खोजने में बहुत समय लगता है (रनटाइम)। इसे ठीक करने के लिए, लोगों ने ढेर को संक्षिप्त (summarize) करने की कोशिश की है, यानी केवल "महत्वपूर्ण" पन्नों को रखना और बाकी को हटा देना। इसे KV Cache Compression कहा जाता है।

हालाँकि, अब तक, यह तय करना कि किन पन्नों को हटा दिया जाए, एक अनुमान लगाने जैसा था। लोगों ने कुछ सामान्य नियमों का उपयोग किया जैसे "हाल के पन्नों को रखें" या "उन पन्नों को रखें जिन्हें लोगों ने सबसे अधिक देखा हो।" कभी-कभी यह काम करता है, कभी नहीं, और कोई वास्तव में नहीं जानता था कि ऐसा क्यों होता है या इसे पूरी तरह से कैसे किया जाए।

यह शोध पत्र एक सैद्धांतिक वास्तुकार (theoretical architect) की तरह है जिसने अंततः एक आदर्श सारांश का ब्लूप्रिंट तैयार किया है। उन्होंने क्या खोजा, इसे सरल भाषा में यहाँ समझाया गया है:

1. मुख्य समस्या: "घास के ढेर में सुई" (The Needle in a Haystack)

लेखकों ने महसूस किया कि सभी कहानियाँ एक जैसी नहीं होतीं।

आसान कहानी: कल्पना कीजिए कि एक कहानी है जहाँ पहले 1,000 पन्ने केवल एक ही वाक्य को बार-बार दोहरा रहे हैं। आप बिना कुछ खोए उन 1,000 पन्नों को एक वाक्य में संक्षिप्त कर सकते हैं।
कठिन कहानी: कल्पना कीजिए कि एक कहानी है जहाँ हर एक पन्ने में एक अद्वितीय, महत्वपूर्ण सुराग है जो अंत में पहेली सुलझाने के लिए आवश्यक है। यदि आप एक भी पन्ना हटा देते हैं, तो आप उत्तर खो देंगे।

पिछले तरीकों ने इन दोनों प्रकार की कहानियों के बीच अंतर करने में पर्याप्त कुशलता नहीं दिखाई। वे बस एक ही नियम लागू करते थे जैसे "आधे पन्ने फेंक दो"।

2. नया सिद्धांत: "रिस्पॉन्स प्रोफाइल" (The Response Profile)

लेखकों ने एक तरीका विकसित किया जिससे यह मापा जा सके कि एक कहानी कितनी "कंप्रेसिबल" (संक्षिप्त करने योग्य) है। वे इसे Response Profile कहते हैं।

लाइब्रेरियन के मस्तिष्क को एक जटिल मशीन के रूप में सोचें। जब आप एक प्रश्न पूछते हैं, तो मशीन कहानी को देखती है और विशिष्ट हिस्सों को हाइलाइट करती है।

लेखकों ने महसूस किया कि आपको पन्नों को रखने की आवश्यकता नहीं है; आपको उस प्रभाव (effect) को रखने की आवश्यकता है जो वे पन्ने मशीन के उत्तर पर डालते हैं।
उन्होंने हर पन्ने के लिए एक गणितीय "फिंगरप्रिंट" बनाया। यह फिंगरप्रिंट दिखाता है कि यदि आप उस पन्ने को हटा देते हैं, तो वह मशीन के अंतिम उत्तर को कितना बदल देगा।
यदि कई पन्नों के फिंगरप्रिंट समान हैं (वे दोहराव वाले हैं), तो आप उन्हें सुरक्षित रूप से मिला सकते हैं। यदि हर पन्ने का फिंगरप्रिंट अद्वितीय है, तो आपको उन सभी को रखना होगा।

3. दो परिदृश्य: भविष्य जानना बनाम अनुमान लगाना

यह पत्र दो स्थितियों के बीच अंतर करता है, जिसे "मौसम के पूर्वानुमान" के उदाहरण से समझा जा सकता है:

परिदृश्य A: ओरेकल (Oracle - प्रश्न-जागरूक)
कल्पना कीजिए कि आप एक सूटकेस पैक कर रहे हैं, और आप जानते हैं कि कल आप ठीक किस शहर की यात्रा करेंगे। आप उस विशिष्ट मौसम के लिए बिल्कुल सटीक पैकिंग कर सकते हैं।
शोध पत्र में: यदि संपीड़न एल्गोरिदम (compression algorithm) यह जानता है कि उपयोगकर्ता आगे क्या प्रश्न पूछेगा, तो वह एक ऐसा सारांश बना सकता है जो उन प्रश्नों के लिए गणितीय रूप से पूर्ण हो। यह उन "फ्रीक्वेंसीज" को रखता है जो सबसे अधिक महत्वपूर्ण हैं।
परिदृश्य B: यात्री (Traveler - प्रश्न-अज्ञेय)
कल्पना कीजिए कि आप एक सूटिकैस पैक कर रहे हैं, लेकिन आपको नहीं पता कि आप कहाँ जा रहे हैं। आपको कपड़ों का एक ऐसा "सुरक्षित" मिश्रण पैक करना होगा जो किसी भी संभावित गंतव्य के लिए काम कर सके।
शोध पत्र में: वास्तविक जीवन में, AI भविष्य के प्रश्नों को नहीं जानता। उसे एक ऐसा सारांश बनाना होता है जो किसी भी संभावित प्रश्न के लिए काम करे। लेखकों ने सिद्ध किया कि इस "अंधे" परिदृश्य में, आप 'ओरेकल' जितना कुशल नहीं हो सकते, लेकिन आप रैंडम अनुमान लगाने से कहीं बेहतर कर सकते हैं। उन्होंने "सर्वश्रेष्ठ संभव सबसे खराब स्थिति" (best possible worst-case) वाली रणनीति खोजी।

4. समाधान: एक संतुलित तराजू (A Balanced Scale)

लेखकों ने इस समस्या को एक संतुलन बनाने की प्रक्रिया में बदल दिया।

कल्पना कीजिए कि कहानी तराजू पर रखे वजन का एक ढेर है।
कहानी को कंप्रेस करने का अर्थ है कुछ वजन हटाना लेकिन शेष वजन को थोड़ा बढ़ा देना ताकि तराजू पूरी तरह से संतुलित रहे।
उन्होंने सिद्ध किया कि यदि आप कहानी के "गुरुत्वाकर्षण केंद्र" (center of gravity) को संतुलित रख सकते हैं, तो AI अभी भी सही उत्तर देगा।
उन्होंने एक नया एल्गोरिदम (एक स्मार्ट रोबोट की तरह) बनाया जो इस संतुलन का कार्य कुशलता से करता है। यह केवल रैंडम पन्ने नहीं चुनता; यह ऐसे पन्ने चुनता है जो, आपस में मिलने पर, तराजू को पूरी तरह से सीधा रखते हैं।

5. परिणाम: सिद्ध हुआ कि यह काम करता है

टीम ने अपने नए "बैलेंसिंग रोबोट" का परीक्षण एक मानक टेस्ट पर किया जिसे LongBench कहा जाता है (जो यह परखता है कि AI बहुत लंबी कहानियों को कितनी अच्छी तरह संभालता है)।

उन्होंने अपने तरीके की तुलना मौजूदा "सर्वश्रेष्ठ" तरीकों से की।
परिणाम: उनका तरीका पूरी कहानी रखने जितना ही सटीक था, लेकिन इसने 95% कम मेमोरी का उपयोग किया।
इससे भी प्रभावशाली बात यह है कि उनका तरीका तब भी अच्छी तरह से काम करता है जब उन्हें कहानी को पढ़ते समय (prefill phase के दौरान) कंप्रेस करना पड़ता है, जिसमें पिछले तरीके संघर्ष करते थे।

सारांश

संक्षेप में, यह शोध पत्र AI मेमोरी कंप्रेशन को केवल एक अनुमान लगाने वाले खेल के रूप में देखना बंद करता है। यह हमें एक गणितीय नियम पुस्तिका (mathematical rulebook) प्रदान करता है जो बताती है कि:

कब एक कहानी को सुरक्षित रूप से संक्षिप्त किया जा सकता है।
यह सुनिश्चित करने के लिए कि उत्तर नहीं बदलेगा, कौन सी जानकारी रखना अनिवार्य है।
भविष्य को जाने बिना सबसे अच्छा सारांश प्राप्त करने के लिए एक व्यावहारिक उपकरण कैसे बनाया जाए।

यह "आधे किताबें फेंक देने और उम्मीद करने" से बदलकर "एक सटीक तराजू का उपयोग करके केवल रेसिपी के आवश्यक तत्वों को रखने" जैसा है।

तकनीकी सारांश: KV कैश संपीड़न का जोखिम

समस्या विवरण
लंबे अनुक्रमों (sequences) पर ट्रांसफॉर्मर इन्फरेंस (inference), सॉफ़्टमैक्स अटेंशन के दौरान एक बड़े की-वैल्यू (Key-Value - KV) कैश को बार-बार पढ़ने की मेमोरी और कम्प्यूटेशनल लागत के कारण एक महत्वपूर्ण बाधा का सामना करता है। जबकि KV कैश संपीड़न—पूर्ण इतिहास को एक संक्षिप्त सारांश से बदलना—एक प्रचलित समाधान है, इसका डिज़ाइन वर्तमान में व्यवस्थित सिद्धांत के बजाय मुख्य रूप से ह्यूरिस्टिक्स (जैसे कि हालियापन/recency, अटेंशन सिंक) का उपयोग करके अनुभवजन्य प्रयोगों (empirical experimentation) द्वारा संचालित है। मौजूदा सैद्धांतिक परिणाम ध्रुवीकृत हैं: या तो वे सिद्ध करते हैं कि सटीक संपीड़न 'वर्स्ट केस' (worst case) में असंभव है, या वे केवल विशिष्ट संरचनात्मक धारणाओं के तहत गारंटी प्रदान करते हैं। यह व्यावहारिक अनुप्रयोगों के लिए प्रासंगिक मध्यवर्ती क्षेत्र (intermediate regime) की समझ में एक अंतर छोड़ देता है: कब और कैसे एक सटीक संपीड़न संभव है उन कैशों के लिए जो न तो प्रतिकूल (adversarial) हैं और न ही किसी विशिष्ट मॉडल क्लास तक सीमित हैं।

कार्यप्रणाली और सैद्धांतिक ढांचा
लेखक इस अंतर को मिनिमैक्स रिस्क (minimax risk) को अभिलक्षणित (characterize) करके पाटते हैं। वे इस समस्या को टोकन के ऊपर एक संभाव्यता माप (probability measure) के स्पार्स एप्रोक्सिमेशन (sparse approximation) के रूप में पुनर्गठित करते हैं, जो टोकन इविक्शन (eviction) को मनमाने स्पार्स रीवेटिंग (sparse reweighting) को शामिल करने के लिए कड़ाई से सामान्यीकृत करता है।

औपचारिकीकरण (Formalization): KV कैश को टोकन के एक परिमित समर्थित संभाव्यता माप $P$ के रूप में मॉडल किया गया है। संपीड़न को $K$ आकार के समर्थन वाले एक संपीड़ित माप $\hat{P}$ को खोजने के रूप में परिभाषित किया गया है जो क्वेरी वितरण $\nu$ पर अटेंशन आउटपुट में माध्य वर्ग त्रुटि (mean squared error) को कम करता है।
रिस्पॉन्स प्रोफाइल और कोवेरिएंस (Response Profiles and Covariance): लेखक एक रिस्पॉन्स प्रोफाइल $\Gamma_P(k, v)$ पेश करते हैं, जो प्रत्येक की-वैल्यू पेयर को एक हिल्बर्ट स्पेस $H_\nu$ में मैप करता है, जो रीवेटिंग के तहत अटेंशन न्यूमरेटर और डिनोमिनेटर में इसके योगदान का प्रतिनिधित्व करता है। संदर्भ की अंतर्निहित संपीड़ितता (intrinsic compressibility) को इन रिस्पंस प्रोफाइल्स के कोवेरिएंस ऑपरेटर $\Sigma_{P,\nu}$ द्वारा पकड़ा जाता है।
बैलेंसिंग में न्यूनीकरण (Reduction to Balancing): समस्या को हिल्बर्ट स्पेस में एक स्पार्स बैलेंसिंग समस्या में बदल दिया गया है: रिस्पॉन्स प्रोफाइल्स के बैरीसेंटर (barycenter) को लगभग स्थिर रखने के लिए टोकन के एक स्पार्स रीवेटिंग को खोजना।
मिनिमैक्स बाउंड्स (Minimax Bounds):
- क्वेरी-अवेयर सेटिंग (Query-Aware Setting): यदि संपीड़क (compressor) भविष्य के क्वेरी वितरण $\nu$ को जानता है, तो मिनिमैक्स रिस्क $\Sigma_{P,\nu}$ के स्पेक्ट्रल टेल (spectral tail) द्वारा शासित होता है। विशेष रूप से, त्रुटि $\text{tail}_{K/3}(\Sigma_{P,\nu})/K$ के साथ स्केल करती है। यह संपीड़क को प्रमुख आइगेनस्पेस (dominant directions) को संरक्षित करने और टेल को हटाने की अनुमति देता है।
- क्वेरी-अग्नोस्टिक सेटिंग (Query-Agnostic Setting): यदि $\nu$ अज्ञात है, तो संपीड़क को सभी ज्यामिति (geometries) के विरुद्ध हेजिंग करनी होगी। मिनिमैक्स रिस्क को कोवेरिएंस के पूर्ण ट्रेस (trace) द्वारा नियंत्रित किया जाता है, जो $\text{tr}(\Sigma_{P,\nu})/K$ के साथ स्केल करता है। लेखक एक तीव्र पृथक्करण (sharp separation) सिद्ध करते हैं: क्वेरी-अग्नोस्टिक संपीड़क क्वेरी ज्योमेट्री तक पहुंच के बिना क्वेरी-अवेयर वाले स्पेक्ट्रल रिफाइनमेंट को प्राप्त नहीं कर सकते हैं।
टाइटनेस (Tightness): लेखक यह सिद्ध करने के लिए कि ये ऊपरी सीमाएं (upper bounds) टाइट हैं, "लुकअप इंस्टेंस" (ऐसे कठिन उदाहरण जहाँ कीज़ स्पष्ट रूप से अलग होती हैं) का निर्माण करते हैं। वे प्रदर्शित करते हैं कि मिनिमैक्स रिस्क वास्तव में $\Sigma_{P,\nu}$ के स्पेक्ट्रम द्वारा निर्धारित होता है, जो लॉसलेस संपीड़न से लेकर वर्स्ट-केस इनकंप्रेसिबिलिटी तक की पूरी रेंज में फैला हुआ है।

एल्गोरिदम इंस्टेंशिएशन (Algorithmic Instantiation)
इन सैद्धांतिक सिद्धांतों के आधार पर, लेखक एक व्यावहारिक संपीड़न ढांचा प्रस्तावित करते हैं जो कॉज़ली मास्कड प्रीफिल (causally masked prefill) और ऑटोरेग्रेसिव डिकोडिंग (autoregressive decoding) दोनों के अनुकूल है:

मर्ज-रिड्यूस स्कीम (Merge-Reduce Scheme): वे प्रीफिल के दौरान प्रिफिक्स सारांश (prefix summaries) उत्पन्न करने के लिए एक पैरेलल प्रिफिक्स स्कैन (Blelach scan) का उपयोग करते हैं और डिकोडिंग के लिए एक स्ट्रीमिंग बकेट अपडेट तंत्र का उपयोग करते हैं।
लोकल रिड्यूसर्स (Local Reducers): वैश्विक योजना एक स्थानीय रिड्यूसर फंक्शन (REDUCE) पर निर्भर करती है, जो $2K$ $2 K$ टोकन को $K$ $K$ में संपीड़ित करता है।
- रैंडम सैंपलिंग (Random Sampling): यह बिना किसी धारणा के मिनिमैक्स-ऑप्टिमल क्वेरी-अग्नोस्टिक रिस्क (ट्रेस बाउंड) प्राप्त करता है।
- प्रोटेक्टेड क्लस्टरिंग (Protected Clustering): एक विशिष्ट धारणा (Assumption 5.1) के तहत, जहाँ एक फीचर मैप $\Phi$ क्वेरी-दृश्य ज्यामिति (query-visible geometry) का अनुमान लगाता है, एक क्लस्टरिंग रिड्यूसर प्रमुख आइगेनस्पेस दिशाओं को संरक्षित कर सकता है, जिससे क्वेरी-अग्नोस्टिक सेटिंग में भी क्वेरी-अवेयर स्पेक्ट्रल बाउंड प्राप्त होता है।

प्रायोगिक परिणाम
लेखकों ने अपने मेथड का मूल्यांकन Qwen3-32B मॉडल का उपयोग करके LongBench-v2 के "लॉन्ग" सबसेट पर किया।

बेसलाइन्स (Baselines): फुल KV अटेंशन, ScissorHands, SnapKV, और StreamingLLM के विरुद्ध तुलना की गई।
प्रदर्शन:
- एक सरल रैंडम सैंपलिंग रिड्यूसर (क्वेरी-अग्नोस्टिक बेसलाइन) ने 34.26% सटीकता प्राप्त की, जो प्रीफिल के दौरान काफी कम टोकन का उपयोग करने के बावजूद साहित्य के बेसलाइन्स के प्रतिस्पर्धी है।
- एक बैलेंस्ड क्लस्टरिंग रिड्यूसर (64 या 128 आयामों को सुरक्षित रखते हुए) ने क्रमशः 35.19% और 37.04% की सटीकता में सुधार किया।
- उल्लेखनीय रूप से, 128 संरक्षित आयामों वाले क्लस्टरिंग मेथड ने फुल अनकंप्रेस्ड बेसलाइन की सटीकता (37.04%) के बराबर प्रदर्शन किया, जबकि इसने कैश को लगभग 95% तक संपीड़ित कर दिया।
दक्षता (Efficiency): प्रस्तावित एल्गोरिदम प्रीफिल और डिकोडिंग दोनों के दौरान संपीड़न करते हैं, जबकि साहित्य के बेसलाइन्स आमतौर पर केवल डिकोडिंग के दौरान संपीड़न करते हैं।

महत्व और दावे
यह पेपर दावा करता है कि यह मिनिमैक्स रिस्क और अंतर्निहित संपीड़ितता उपायों ( $\Sigma_{P,\nu}$ ) के माध्यम से सैद्धांतिक गारंटी के साथ KV कैश संपीड़न के लिए एक सिद्धांतिक मार्ग (principled avenue) प्रदान करता है। इसके प्राथमिक योगदान हैं:

सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): यह मिनिमैक्स रिस्क और अंतर्निहित संपीड़ितता मापों ( $\Sigma_{P,\nu}$ ) के माध्यम से संपीड़न की मौलिक सीमाओं को परिभाषित करके अनुभवजन्य ह्यूरिस्टिक्स से आगे बढ़ता है।
डिज़ाइन सिद्धांत (Design Principles): यह पहचानता है कि एक संपीड़ित सारांश को (प्रासंगिक आइगेनस्पेस में रिस्पॉन्स प्रोफाइल्स के बैरीसेंट को बनाए रखने के लिए) क्या संरक्षित करना चाहिए ताकि इष्टतम जोखिम प्राप्त किया जा सके।
व्यावहारिक एल्गोरिदम (Practical Algorithms): यह प्रदर्शित करता है कि इन सैद्धांतिक सिद्धांतों को कुशल एल्गोरिदम में स्थापित किया जा सकता है जो कॉज़ल मास्किंग का सम्मान करते हैं और व्यवहार में निकट-इष्टतम प्रदर्शन प्राप्त करते हैं।

लेखक विनम्र रहते हुए नोट करते हैं कि हालांकि उनके परिणाम एक सैद्धांतिक आधार और आशाजनक प्रायोगिक प्रदर्शन प्रदान करते हैं, प्रयोगों में मानक त्रुटियां (standard errors) ओवरलैप होती हैं, और आगे के सत्यापन की आवश्यकता है। वे इस बात पर जोर देते हैं कि उनका कार्य यह समझने के लिए एक ढांचा प्रदान करता है कि संपीड़न कब सुरक्षित है और इसे प्राप्त करने के लिए एल्गोरिदम को कैसे डिजाइन किया जाए, न कि सभी लंबे-संदर्भ (long-context) परिदृश्यों के लिए एक सार्वभौमिक समाधान का दावा करना।