🤖 machine learning

CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM

CONF-KV एक नवीन KV कैश इविक्शन रणनीति है जो मॉडल के प्रति-चरण भविष्यवाणी आत्मविश्वास के आधार पर गतिशील रूप से कैश बजट को समायोजित करती है और लंबी अवधि के LLM इन्फरेंस के लिए उच्च रिट्रीवल सटीकता और कार्य प्रदर्शन बनाए रखते हुए मेमोरी उपयोग को महत्वपूर्ण रूप से कम करने के लिए मिश्रित-परिशुद्धता स्टोरेज का उपयोग करती है।

मूल लेखक: Yubo Li, Yidi Miao

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yubo Li, Yidi Miao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी किताब पढ़ने की कोशिश कर रहे हैं, लेकिन आपका मस्तिष्क (कंप्यूटर की मेमोरी) एक बार में केवल कुछ ही पन्ने रख सकता है। जैसे-जैसे आप पढ़ते हैं, आपको वर्तमान वाक्य को समझने के लिए यह याद रखने की आवश्यकता होती है कि पहले क्या हुआ था। यदि आप बहुत अधिक भूल जाते हैं, तो आप भ्रमित हो जाते हैं। यदि आप सब कुछ याद रखने की कोशिश करते हैं, तो आपका मस्तिष्क इतना भर जाता है कि वह बहुत धीमा हो जाता है।

यह ठीक वही समस्या है जिसे CONF-KV लंबी कहानियाँ लिखते या लंबी बातचीत करते समय AI मॉडल्स (लार्ज लैंग्वेज मॉडल्स) के लिए हल करता है।

यहाँ बताया गया है कि यह पेपर इसे सरल उपमाओं का उपयोग करके कैसे समझाता है:

समस्या: "ओवरफिल्ड बैकपैक" (ज़रूरत से ज़्यादा भरा हुआ बस्ता)

जब एक AI टेक्स्ट जेनरेट करता है, तो वह जानकारी का एक "बैकपैक" रखता है जिसे KV Cache कहा जाता है। यह बैकपैक उस पूरे संदर्भ (context) को थामे रहता है जो AI ने अब तक कहा है।

समस्या: जैसे-जैसे बातचीत लंबी होती जाती है, बैकपैक भारी होता जाता है। अंततः, यह इतना भारी हो जाता है कि AI की मेमोरी खत्म हो जाती है (बैकपैक फट जाता है) या यह इतना धीमा हो जाता है कि सोचने में बहुत समय लगता है।
पुराना तरीका: अधिकांश AI सिस्टम एक "स्लाइडिंग विंडो" (Sliding Window) का उपयोग करते हैं। एक ट्रेन की खिड़की की कल्पना करें। जैसे-जैसे ट्रेन आगे बढ़ती है, बाहर का दृश्य बदलता जाता है। AI केवल पिछले 512 शब्दों (खिड़की के ठीक बाहर का दृश्य) को याद रखता है और उससे पहले की सब कुछ भूल जाता है।
- दोष: यदि किसी प्रश्न का उत्तर 1,000 शब्द पहले दिया गया था, तो स्लाइडिंग विंडो उसे पूरी तरह से भूल जाती है, और AI विफल हो जाता है।
दूसरा पुराना तरीका: कुछ सिस्टम इस आधार पर "महत्वपूर्ण" शब्दों को याद रखने की कोशिश करते हैं कि अतीत में उन्हें कितनी बार देखा गया था। लेकिन यह इस बात को देखने जैसा है कि आप कल कहाँ थे, न कि यह कि आप अभी कैसा महसूस कर रहे हैं।

समाधान: "कॉन्फिडेंस मीटर" (आत्मविश्वास का पैमाना)

इस पेपर के लेखकों ने, CONF-KV, बैकपैक को प्रबंधित करने का एक नया तरीका पेश किया है। एक निश्चित नियम का उपयोग करने के बजाय, वे AI को एक कॉन्फिडेंस मीटर देते हैं।

AI को एक परीक्षा देने वाले छात्र के रूप में सोचें:

जब छात्र आत्मविश्वासी होता है: उसे उत्तर आसानी से पता होता है। उसे अपने नोट्स देखने की आवश्यकता नहीं होती। इसलिए, सिस्टम कहता है, "बहुत अच्छा! आप सुनिश्चित हैं। चलिए जगह बचाने के लिए कुछ पुराने नोट्स फेंक देते हैं।"
जब छात्र भ्रमित होता है: छात्र हिचकिचा रहा है। उसे यह समझने के लिए अपने इतिहास को देखने की आवश्यकता है। सिस्टम कहता है, "रुको, आप अनिश्चित लग रहे हैं। सभी नोट्स रखें! अभी कुछ भी मत फेंको।"

व्यवहार में यह कैसे काम करता है:

संकेत (The Signal): अगला शब्द चुनने से पहले, AI देखता है कि वह कितना निश्चित है। यदि अगला शब्द स्पष्ट है (उच्च आत्मविश्वास), तो वह अपनी मेमोरी को छोटा कर देता है। यदि अगला शब्द कठिन है (कम आत्मविश्वास), तो वह अपनी मेमोरी को बढ़ाता है।
छंटनी (The Sorting): भले ही इसे छोटा करने की आवश्यकता हो, यह केवल रैंडम चीज़ों को नहीं हटाता। यह सबसे हालिया शब्दों को रखता है (क्योंकि वे आमतौर पर महत्वपूर्ण होते हैं) और उन शब्दों को रखता है जिन्हें AI ने अतीत में सबसे अधिक बार देखा है। यह उस "बोरिंग" पुराने सामान को हटा देता है जिसकी किसी को परवाह नहीं है।

"मिक्सड-प्रिसिजन" (Mixed-Precision) का कमाल

पेपर एक और चतुर स्टोरेज ट्रिक का भी उल्लेख करता है।

कल्पना कीजिए कि आपके नोट्स कागज पर लिखे गए हैं।
हालिया नोट्स उच्च-गुणवत्ता वाले, मोटे कागज (FP16) पर लिखे गए हैं ताकि वे बिल्कुल स्पष्ट हों।
पुराने नोट्स पतले, रीसाइक्ल्ड कागज (INT8) पर लिखे गए हैं। वे बहुत कम जगह लेते हैं, लेकिन आप उनसे सार (gist) समझने के लिए पर्याप्त पढ़ सकते हैं।
यह AI को उसी बैकपैक स्पेस में बहुत अधिक इतिहास रखने की अनुमति देता है बिना गुणवत्ता खोए।

परिणाम क्या दिखाते हैं

लेखकों ने चार अलग-अलग AI मॉडल्स पर इसका परीक्षण किया और पाया:

मेमोरी बचत: यह एक साधारण "स्लाइडिंग विंडो" (सब कुछ पुराना भूल जाना) के समान मात्रा में मेमोरी का उपयोग करता है, लेकिन यह कहीं अधिक महत्वपूर्ण विवरण याद रखता है।
बेहतर सटीकता: एक "नीडल इन अ हेस्टैक" (एक विशाल टेक्स्ट में छिपी एक विशिष्ट तथ्य को खोजना) टेस्ट में, CONF-KV ने 91.4% बार सुई को खोज निकाला। पुराने स्लाइडिंग विंडो ने इसे केवल 53.8% बार खोजा।
वास्तविक दुनिया के कार्य: जब इसे एक वेब-ब्राउज़िंग एजेंट के रूप में उपयोग किया गया (ऑनलाइन चीजें खरीदने या फॉर्म भरने की कोशिश करना), तो यह फुल-मेमोरी वर्जन की तरह ही 95.3% बार सफल रहा, लेकिन इसने 2.8 गुना कम मेमोरी का उपयोग किया।
गति: क्योंकि बैकपैक हल्का है, AI तेजी से सोचता है (कम लेटेंसी) और एक साथ अधिक उपयोगकर्ताओं को संभाल सकता है (उच्च थ्रूपुट)।

निष्कर्ष

CONF-KV एक स्मार्ट लाइब्रेरियन की तरह है जो केवल इसलिए किताबें नहीं फेंकता क्योंकि वे "पुरानी" हैं। इसके बजाय, लाइब्रेरियन पाठक को देखता है। यदि पाठक संघर्ष कर रहा है, तो लाइब्रेरियन पूरी लाइब्रेरी खुली रखता है। यदि पाठक आसानी से आगे बढ़ रहा है, तो लाइब्रेरियन कमरे को तेज़ बनाने के लिए अव्यवस्था को साफ कर देता है।

यह AI को बिना मेमोरी खत्म हुए या धीमे हुए लंबी और स्मार्ट बातचीत करने की अनुमति देता है, केवल यह सुनकर कि हर एक कदम पर AI कितना "निश्चित" महसूस कर रहा है।

तकनीकी सारांश: CONF-KV

समस्या विवरण
लॉन्ग-होराइजन (Long-horizon) लार्ज लैंग्वेज मॉडल (LLM) इन्फरेंस एक महत्वपूर्ण बाधा का सामना करता है जहाँ की-वैल्यू (KV) कैश GPU मेमोरी का सबसे बड़ा उपभोक्ता बन जाता है, जिससे प्रति-टोकन अटेंशन लेटेंसी सीक्वेंस लेंथ के साथ रैखिक रूप से बढ़ती जाती है। मौजूदा इविक्शन (eviction) नीतियां, जैसे कि स्लाइडिंग विंडो या ऐतिहासिक अटेंशन-आधारित विधियाँ (जैसे H2O, SCISSORHANDS), यह निर्धारित करने के लिए स्टैटिक रिसेंसी (static recency) या पिछले संकेतों पर निर्भर करती हैं कि किन टोकन को बनाए रखना है। ये दृष्टिकोण उस सिग्नल का उपयोग करने में विफल रहते हैं जो प्रत्येक डिकोडिंग स्टेप पर उपलब्ध होता है: मॉडल की वर्तमान अनिश्चितता। फलस्वरूप, स्टैटिक नीतियां कठिन जनरेशन स्पैन के दौरान संदर्भ (context) को समय से पहले हटा सकती हैं या जब मॉडल आश्वस्त हो तो अनावश्यक टोकन को बनाए रख सकती हैं, जिससे मेमोरी उपयोग और जनरेशन क्वालिटी के बीच उप-इष्टतम (suboptimal) समझौता होता है।

कार्यप्रणाली: CONF-KV
लेखक CONF-KV प्रस्तावित करते हैं, जो एक कॉन्फिडेंस-अवेयर (confidence-aware) KV कैश मैनेजर है जो मॉडल के वर्तमान नेक्स्ट-टोकन डिस्ट्रीब्यूशन के आधार पर कैश बजट को गतिशील रूप से समायोजित करता है। सिस्टम निम्नलिखित तंत्रों के माध्यम से कार्य करता है:

कॉन्फिडेंस एस्टीमेशन (Confidence Estimation): प्रत्येक डिकोडिंग स्टेप पर, यह विधि लॉजिट्स (logits) को एक स्केलर कॉन्फिडेंस स्कोर ( $c$ ) में परिवर्तित करती है। यह स्कोर नॉर्मलाइज्ड एंट्रॉपी, टॉप दो टोकन के बीच लॉग-प्रोबेबिलिटी मार्जिन और टॉप टोकन की प्रोबेबिलिटी का एक वेटेड कॉम्बिनेशन है।
$c = w_H(1 - \hat{H}) + w_m\sigma(m) + w_p p_{(1)}$
जहाँ $\hat{H}$ नॉर्मलाइज्ड एंट्रॉपी है, $m$ लॉग-मार्जिन है, और वेट्स $(0.4, 0.3, 0.3)$ सेट किए गए हैं।
एडेप्टिव बजट सिलेक्शन (Adaptive Budget Selection): एक थ्रेशोल्ड $\tau$ वर्तमान स्टेप के लिए कैश बजट ( $N$ ) निर्धारित करता है।
- यदि $c \ge \tau$ (उच्च विश्वास), तो एक टाइट बजट ( $N_{high}$ ) चुना जाता है, जो आक्रामक इविक्शन की अनुमति देता है।
- यदि $c < \tau$ (कम विश्वास/अनिश्चितता), तो एक लूज़ बजट ( $N_{low}$ ) चुना जाता है ताकि अधिक संदर्भ को बनाए रखा जा सके।
  यह एक "सॉ-टूथ" (sawtooth) मेमोरी प्रोफाइल बनाता है जहाँ अनिश्चित स्पैन के दौरान कैश फैलता है और आश्वस्त स्पैन के दौरान सिकुड़ता है।
टोकन रैंकिंग और इविक्शन (Token Ranking and Eviction): चयनित बजट के भीतर, टोकन को एक्सपोनेंशियल मूविंग एवरेज (EMA) अटेंशन मास और रिसेंसी के संयोजन द्वारा रैंक किया जाता है। एक हार्ड प्रोटेक्टेड विंडो ( $P$ ) यह सुनिश्चित करती है कि हाल के टोकन को कभी भी हटाया न जाए ताकि लोकल कोहेरेंस बनी रहे।
सिस्टम इंटीग्रेशन (System Integration):
- मिक्स्ड-प्रिसिजन स्टोरेज (Mixed-Precision Storage): सबसे हाल के $W$ टोकन को FP16 में स्टोर किया जाता है, जबकि पुराने रिटेन किए गए टोकन को प्रति हेड और चैनल INT8 में क्वांटाइज किया जाता है। यह लोअर-बिट क्वांटाइजेशन की तुलना में परप्लेक्सिटी डिग्रेडेशन को कम करते हुए मेमोरी फुटप्रिंट को कम करता है।
- पिरामिडल बजट (Pyramidal Budgets - CONF-KV-L): एक वैकल्पिक वेरिएंट लेयर्स के बीच बजट को नॉन-यूनिफॉर्मली आवंटित करता है, जो गहरे लेयर्स को छोटा बजट देता है क्योंकि यह देखा गया है कि गहरे लेयर्स अक्सर सूचना को कम टोकन्स में केंद्रित करते हैं।
- इम्प्लीमेंटेशन: मैनेजर एक डेंस लेआउट बनाए रखने के लिए कंटीन्यूअस कॉम्पैक्शन (contiguous compaction) का उपयोग करता है ताकि अटेंशन कर्नेल्स के लिए इंडायरेक्शन टेबल्स से बचा जा सके, और ब्लॉकवाइज अटेंशन रीड्स में डीक्वांटाइजेशन को फ्यूज करता है।

प्रमुख योगदान

कॉन्फिडेंस-अवेयर पॉलिसी: एक नवीन इविक्शन रणनीति जो केवल ऐतिहासिक संकेतों पर निर्भर रहने के बजाय, वर्तमान आउटपुट डिस्ट्रीब्यूशन का उपयोग करके प्रति-स्टेप कैश बजट निर्णयों को संचालित करती है।
सिस्टम डिज़ाइन: एक पूर्ण कार्यान्वयन जो एडेप्टिव इविक्शन को ब्लॉकवाइज ऑनलाइन-सॉफ्टमैक्स अटेंशन, मिक्स्ड FP16/INT8 स्टोरेज और वैकल्पिक पिरामिडल लेयर बजट के साथ जोड़ता है।
मैकेनिस्टिक वैलिडेशन: एक परीक्षण जो यह प्रदर्शित करता है कि कॉन्फिडेंस स्कोर हाल के संदर्भ को हटाने से प्रेरित KL शिफ्ट के साथ दृढ़ता से एंटी-कोरिलेट (Pearson $r = -0.77$ ) होता है, जो इस धारणा की पुष्टि करता है कि कम कॉन्फिडेंस अधिक रिटेन किए गए संदर्भ की आवश्यकता को दर्शाता है।
व्यापक मूल्यांकन: चार मॉडल परिवारों (GPT-2, Qwen-14B/32B, gpt-oss-20b) और विविध वर्कलोड्स (परप्लेक्सिटी, लॉन्ग-कॉन्टेक्स्ट रिट्रीवल, और वेब-एजेंट टास्क) में व्यापक बेंचमार्क।

प्रायोगिक परिणाम

मेमोरी-क्वालिटी ट्रेड-ऑफ: 2048-टोकन जनरेशन लेंथ के साथ GPT-2 पर, CONF-KV+INT8 एक फिक्स्ड 512-टोकन स्लाइडिंग विंडो (~38.7 MB) के मेमोरी फुटप्रिंट से मेल खाता है लेकिन स्लाइडिंग विंडो की तुलना में परप्लेक्सिटी को 3.11 पॉइंट्स कम करता है। CONF-KV-L (पिरामिडल वेरिएंट) मेमोरी को घटाकर 34.2 MB कर देता है और परप्लेक्सिटी को 3.89 पॉइंट्स सुधारता है, जो स्लाइडिंग विंडो और फुल KV के बीच के क्वालिटी गैप का 74% हिस्सा भर देता है।
लॉन्ग-कॉन्टेक्स्ट रिट्रीवल: 32K टोकन तक नीडल-इन-अ-हेस्टैक (NIAH) टेस्ट में, CONF-KV 91.4% रिट्रीवल एक्यूरेसी प्राप्त करता है, जो स्लाइडिंग विंडोज (53.8%) और H2O (80.6%) को काफी पीछे छोड़ देता है।
एजेंट टास्क: 75 विजुअलवेब-एरेना (VisualWebArena) टास्क पर, CONF-KV फुल-KV सक्सेस रेट का 95.3% रिटेन करता है जबकि पीक मेमोरी को 2.8× कम करता है।
थ्रूपुट और लेटेंसी: GPT-2 और Qwen-32B पर CONF-KV फुल KV की तुलना में प्रति-स्टेप लेटेंसी को 1.8× कम करता है। थ्रूपुट बैच साइज के साथ स्केल करता है; बैच साइज 8 पर, CONF-KV फुल KV का 2.06× थ्रूपुट प्राप्त करता है।
एब्लेशन (Ablation): कॉन्फिडेंस सिग्नल को अलग करने से पता चलता है कि समान दर पर रैंडम इविक्शन प्रदर्शन को 36.54 PPL तक गिरा देता है, जबकि फुल CONF-KV 30.92 PPL प्राप्त करता है, जो पुष्टि करता है कि कॉन्फिडेंस गेटिंग और रैंकिंग मैकेनिज्म दोनों आवश्यक हैं।

महत्व और दावे
पेपर दावा करता है कि CONF-KV यह प्रदर्शित करता है कि वर्तमान अनिश्चितता एक उपयोगी सिस्टम मेटाडेटा है जो मेमोरी-क्वालिटी पारेटो फ्रंटियर (Pareto frontier) को बेहतर बनाने में मदद करती है। यह विधि इसलिए विशिष्ट है क्योंकि यह फॉरवर्ड-लुकिंग (forward-looking) है: यह हटाए गए टोकन्स को वापस नहीं पा सकती लेकिन कठिन स्पैन के दौरान समय से पहले इविक्शन को रोकती है। यह दृष्टिकोण ट्रेनिंग-फ्री होने के लिए डिज़ाइन किया गया है, यह मॉडल वेट्स को नहीं बदलता है, और यह हेड-वाइज एलोकेशन, लेयर-वाइज एलोकेशन और प्रिसिजन सिलेक्शन जैसी मौजूदा तकनीकों के साथ कंपोज (compose) हो सकता है।

लेखक सीमाओं को भी नोट करते हैं, जिसमें यह शामिल है कि यह विधि उन शॉर्ट कॉन्टेक्स्ट पर "नो-ऑप" (no-op) है जो कभी इविक्शन थ्रेशोल्ड से ऊपर नहीं जाते, और कंटीन्यूअस कॉम्पैक्शन में एक गेदर कॉस्ट (gather cost) होती है (हालांकि यह अटेंशन बचत द्वारा संतुलित है)। वे यह भी स्वीकार करते हैं कि हाई-टेम्परेचर सैंपलिंग के तहत कॉन्फिडेंस सिग्नल कम सूचनात्मक हो जाता है। अंत में, पेपर एक दोहरे उपयोग (dual-use) के विचार को उजागर करता है: जबकि कम इन्फरेंस लागत दक्षता में सुधार करती है, यह अवांछित लॉन्ग-होराइजन ऑटोमेशन के लिए बाधाओं को भी कम कर सकती है, जिससे सुझाव मिलता है कि मूल मॉडल्स के लिए सुरक्षा नियंत्रण आवश्यक बने रहेंगे।

समस्या: "ओवरफिल्ड बैकपैक" (ज़रूरत से ज़्यादा भरा हुआ बस्ता)

समाधान: "कॉन्फिडेंस मीटर" (आत्मविश्वास का पैमाना)

"मिक्सड-प्रिसिजन" (Mixed-Precision) का कमाल

परिणाम क्या दिखाते हैं

निष्कर्ष

इसी तरह के और पेपर