🤖 machine learning

MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference

MomentKV कॉम्पैक्ट मोमेंट सांख्यिकी (moment statistics) को बनाए रखकर और हटाए गए टोकन के उनके अटेंशन योगदान के लिए एक क्लोज्ड-फॉर्म सुधार प्रदान करके, लॉन्ग-कॉन्टेक्स्ट KV कैश इविक्शन में दिशात्मक बेमेल (directional mismatch) बाधा को संबोधित करता है ताकि हटाए गए टोकन की ज्यामितीय नियमितता (geometric regularity) सुनिश्चित की जा सके, जिससे यह विभिन्न बेंचमार्क और संपीड़न स्तरों पर मौजूदा विधियों से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yu Li, Binxu Li, Tian Lan

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Li, Binxu Li, Tian Lan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी कहानी को याद रखने की कोशिश कर रहे हैं ताकि आप उसे आगे लिख सकें। इसे करने के लिए, आपका मस्तिष्क अब तक पढ़ी गई हर चीज़ का एक "रफ नोट" (जिसे KV Cache कहते हैं) अपने पास रखता है। समस्या यह है कि जैसे-जैसे कहानी लंबी होती जाती है, यह रफ नोट बहुत बड़ा होता जाता है, और अंततः आपकी पूरी मेज को भर देता है जिससे काम करना असंभव हो जाता है।

इसे ठीक करने के लिए, वर्तमान तरीके एक "कचरा पात्र" (trash can) रणनीति का उपयोग करते हैं: वे कहानी को देखते हैं, उन सबसे महत्वपूर्ण वाक्यों को चुनते हैं जिन्हें मेज पर रखना है, और बाकी को कचरे में फेंक देते हैं। वे यह मान लेते हैं कि यदि वे "सर्वश्रेष्ठ" वाक्यों को रखते हैं, तो वे बाकी को अनदेखा कर सकते हैं।

पेपर की बड़ी खोज: "दिशा" की समस्या
इस पेपर के लेखकों ने, MOMENTKV, महसूस किया कि इस "कचरा पात्र" दृष्टिकोण में एक छिपा हुआ दोष है।

कल्पना कीजिए कि आप कुछ पत्तों के आधार पर हवा की दिशा का अनुमान लगाने की कोशिश कर रहे हैं जिन्हें आपने अपनी मेज पर रखा है।

पुराना तरीका: आप उन पत्तों को रखते हैं जो सबसे ज़ोर से बह रहे हैं (सबसे "महत्वपूर्ण" वाले) और बाकी को कचरे में फेंक देते हैं। फिर आप केवल मेज पर मौजूद पत्तों का उपयोग करके हवा की दिशा का अनुमान लगाने की कोशिश करते हैं।
समस्या: जो पत्ते आपने फेंक दिए हैं, वे पूरी तरह से अलग दिशा में (उनसे लंबवत/perpendicular) बह रहे हो सकते हैं जिन्हें आपने रखा है। भले ही आपने 90% पत्ते फेंक दिए हों, यदि बचे हुए 10% उत्तर की ओर इशारा कर रहे हैं और कचरा पूर्व की ओर इशारा कर रहा है, तो आपका अनुमान पूरी तरह से गलत होगा। आप केवल उत्तर वाले पत्तों को फिर से व्यवस्थित (re-calculate) करके उस गायब पूर्व की हवा को ठीक नहीं कर सकते; त्रुटि इस बारे में नहीं है कि आपने कितना फेंक दिया; यह उस दिशा के बारे में है जिसे आपने खो दिया।

समाधान: MOMENTKV
कचरे को फेंकने और सबसे अच्छे की उम्मीद करने के बजाय, MOMENTKV कचरे में जाने से पहले उसके बारे में एक छोटा, अत्यंत संक्षिप्त "सारांश नोट" रखता है।

इसे इस प्रकार समझें:

सारांश नोट (Moment Statistics): किसी वाक्य को फेंकने से पहले, सिस्टम तेज़ी से उसके बारे में कुछ सरल संख्याएँ निकालता है: "औसत अर्थ क्या था?" और "अगले शब्द के साथ यह अर्थ आमतौर पर कैसे बदलता है?" यह पूरा वाक्य स्टोर नहीं करता, बस ये कुछ "मोमेंट्स" (जैसे कि एक सांख्यिकीय फिंगरप्रिंट) रखता है।
स्मार्ट फेंकना: यह तय करते समय कि क्या फेंकना है, सिस्टम पूछता है: "क्या यह वाक्य मेरे सारांश नोट्स द्वारा अच्छी तरह से दर्शाया गया है?" यदि हाँ, तो इसे फेंकना सुरक्षित है। यदि नहीं (इसमें एक अनूठी दिशा है जिसे सारांश कैप्चर नहीं करता), तो यह उसे रखता है। यह सुनिश्चित करता है कि "कचरा" ज्यामितीय रूप से नियमित और अनुमानित बना रहे।
जादुई सुधार (Magic Correction): जब मॉडल को अगला शब्द लिखने की आवश्यकता होती है, तो वह केवल मेज पर मौजूद वाक्यों को नहीं देखता है। वह कचरे में मौजूद वाक्यों के बारे में उन छोटे "सारांश नोट्स" का उपयोग करके गणितीय रूप से यह पुनर्निर्माण करता है कि गायब वाक्यों ने क्या योगदान दिया होगा। यह अनिवार्य रूप से कहता है, "मुझे पता है कि मैंने इन्हें फेंक दिया है, लेकिन मेरे नोट्स के आधार पर, मैं अनुमान लगा सकता हूँ कि वे कहानी को इस विशिष्ट दिशा में धकेल रहे थे, इसलिए मैं उस प्रभाव को वापस जोड़ दूँगा।"

यह क्यों काम करता है
पेपर ने दो प्रसिद्ध AI मॉडलों (LLaMA और Qwen) पर दो बेंचमार्क (LongBench और RULER) का उपयोग करके इसका परीक्षण किया।

परिणाम: MOMENTKV ने अन्य सभी तरीकों को लगातार पछाड़ दिया, विशेष रूप से तब जब "मेज की जगह" बहुत कम थी (आक्रामक संपीड़न/compression)।
उपमा: यह एक ऐसे लाइब्रेरियन की तरह है जो न केवल शेल्फ पर सबसे लोकप्रिय किताबें रखता है, बल्कि बेसमेंट में मौजूद हर किताब के लिए एक छोटा इंडेक्स कार्ड भी रखता है। जब आप कोई प्रश्न पूछते हैं, तो लाइब्रेरियन उन इंडेक्स कार्डों का उपयोग करके बेसमेंट की किताबों के सार को तुरंत याद कर सकता है, जिससे आपको बेसमेंट को पूरी तरह से अनदेखा करने की तुलना में बहुत बेहतर उत्तर मिलता है।

संक्षेप में
वर्तमान AI तरीके पुराने संदर्भ को फेंक देते हैं और उम्मीद करते हैं कि बचे हुए हिस्से पर्याप्त होंगे। MOMENTKV यह समझता है कि फेंके गए हिस्सों की दिशा उतनी ही महत्वपूर्ण है जितना कि वे हिस्से स्वयं। फेंके गए "कचरे" के एक छोटे, स्मार्ट सारांश को रखकर और उस सारांश का उपयोग करके AI की स्मृति को गणितीय रूप से ठीक करके, यह मॉडल को अपनी जगह खोए बिना या गलतियाँ किए बिना बहुत लंबी कहानियों को संभालने की अनुमति देता है।

तकनीकी सारांश: MOMENTKV

समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर-आधारित भाषा मॉडलों में ऑटोरेग्रेसिव डिकोडिंग, की-वैल्यू (KV) कैश पर निर्भर करती है, जो पिछले कंप्यूटेड प्रोजेक्शन को पुन: उपयोग करने के लिए संग्रहीत करता है। जैसे-जैसे अनुक्रम की लंबाई (sequence length) दस या सैकड़ों हजार टोकन तक बढ़ती है, KV कैश का मेमोरी फुटप्रिंट रैखिक रूप से बढ़ता जाता है, जो लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के लिए प्राथमिक बाधा बन जाता है।

KV कैश इविक्शन (eviction) एक निश्चित आकार के की-वैल्यू पेयर्स के उपसमूह को बनाए रखकर और शेष को हटाकर इस समस्या का समाधान करता है। जबकि मौजूदा तरीकों ने टोकन चयन रणनीतियों (जैसे संचयी अटेंशन वेट्स या वैल्यू-अवेयर स्कोरिंग पर आधारित) में सुधार किया है, वे एक मौलिक सीमा साझा करते हैं: इविक्शन के बाद का इन्फरेंस विशेष रूप से रिटेन किए गए टोकन पर अटेंशन को रीनॉर्मलाइज़ करता है, और इविक्टेड सेट को पूरी तरह से त्याग देता है।

लेखक पहचानते हैं कि आउटपुट डिग्रेडेशन का प्राथमिक स्रोत केवल इविक्टेड टोकन पर अवशिष्ट अटेंशन मास (residual attention mass) नहीं है (जिसे मौजूदा तरीके पहले से ही कम करते हैं), बल्कि रिटेन किए गए और इविक्टेड टोकन सेट्स के बीच एक डायरेक्शनल मिसमैच (directional mismatch) है। अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि व्यवहार में, इविक्टेड टोकन अक्सर रिटेन किए गए टोकनों के लगभग ऑर्थोगोनल (near-orthogonal) होते हैं। फलस्वरूप, इविक्टेड अटेंशन मास की थोड़ी सी मात्रा भी एक महत्वपूर्ण डायरेक्शनल एरर पैदा कर सकती है जिसे मानक रीनॉर्मलाइजेशन रिकवर नहीं कर सकता। यह एक "डायरेक्शनल गैप" बनाता है जहाँ केवल टोकन चयन में सुधार करने से घटते प्रतिफल (diminishing returns) मिलते हैं क्योंकि अधिक चयनात्मक रिटेंशन रिटेन किए गए सेट को विशिष्ट क्वेरी-अलाइन्ड दिशाओं पर केंद्रित कर देता है, जिससे इविक्टेड सेट के साथ अंतर और बढ़ जाता है।

कार्यप्रणाली (Methodology): MOMENTKV

इस डायरेक्शनल गैप को संबोधित करने के लिए, लेखक MOMENTKV प्रस्तावित करते हैं, एक ऐसा फ्रेमवर्क जो इविक्टेड टोकन सेट पर कॉम्पैक्ट, छोटे आकार के मोमेंट स्टैटिस्टिक्स (moment statistics) बनाए रखता है। ये स्टैटिस्टिक्स दोहरे उद्देश्य की पूर्ति करते हैं: इविक्शन निर्णयों को निर्देशित करना और इन्फरेंस के दौरान अटेंशन आउटपुट को ठीक करना।

1. कॉम्पैक्ट मोमेंट स्टैटिस्टिक्स (Compact Moment Statistics)

इविक्टेड टोकन को स्टोर करने के बजाय, MOMENTKV प्रति अटेंशन हेड चार रनिंग सम (running sums) बनाए रखता है, जिन्हें प्रत्येक इविक्शन पर वृद्धिशील रूप से अपडेट किया जाता है:

काउंट ( $n_e$ ): इविक्टेड टोकनों की संख्या।
की सम ( $s_k$ ): $\sum_{i \in E} k_i$ ।
वैल्यू सम ( $s_v$ ): $\sum_{i \in E} v_i$ ।
आउटर-प्रोडक्ट सम ( $S$ ): $\sum_{i \in E} v_i k_i^\top$ ।

ये स्टैटिस्टिक्स इविक्टेड टोकनों पर पुन: जाए बिना की मीन ( $\bar{k}$ ), वैल्यू मीन ( $\bar{v}$ ), और वैल्यू-की कोवेरिएंस ( $\tilde{S}$ ) की गणना करने की अनुमति देते हैं। कुल स्टोरेज ओवरहेड प्रति हेड $O(d^2)$ है, जो कॉन्टेक्स्ट लेंथ से स्वतंत्र है।

2. इविक्टेड आउटपुट का फर्स्ट-ऑर्डर एप्रोक्सिमेशन (First-Order Approximation of Evicted Output)

इन्फरेंस के दौरान, MOMENTKV इविक्टेड अटेंशन आउटपुट, $\hat{f}_E(q)$ का एक क्लोज्ड-फॉर्म फर्स्ट-ऑर्डर एप्रोक्सिमेशन निकालता है। लॉगिट्स को मीन की (mean key) के इर्द-गिर्द रीसेंटर करके और सॉफ्टमैक्स फंक्शन पर फर्स्ट-ऑर्डर टेलर एक्सपेंशन लागू करके, लेखक व्युत्पन्न करते हैं:
$\hat{f}_E(q) = \bar{v} + \frac{1}{n_e \sqrt{d}} \tilde{S} q$

$\bar{v}$ टर्म एक क्वेरी-स्वतंत्र बेसलाइन के रूप में कार्य करता है, जो इविक्टेड सब-आउटपुट की औसत दिशा को रिकवर करता है।
$\tilde{S} q$ टर्म एक क्वेरी-एडेप्टिव करेक्शन के रूप में कार्य करता है, जो उस परपेंडिकुलर वेरिएशन (डायरेक्शनल कंटेंट) को कैप्चर करता है जिसे बेसलाइन अकेले मिस कर देती है।

यह एप्रोक्सिमेशन मॉडल को खोए हुए इविक्टेड योगदान के एक अनुमान को पुनर्गठित करने की अनुमति देता है, जो प्रभावी रूप से उस डायरेक्शनल जानकारी को बहाल करता है जिसे मानक इविक्शन मिटा देता है।

3. मोमेंट-इन्फॉर्म्ड इविक्शन (Moment-Informed Eviction)

मोमेंट स्टैटिस्टिक्स इविक्शन प्रक्रिया को भी निर्देशित करते हैं। प्रत्येक रिटेन किए गए टोकन $j$ के लिए, एल्गोरिदम एक मोमेंट रेसिड्यूल (moment residual) की गणना करता है:
$r_j = v_j - \bar{v} - \frac{1}{n_e \sqrt{d}} \tilde{S} k_j$
यह रेसिड्यूल मापता है कि टोकन $j$ कितनी नवीन डायरेक्शनल जानकारी वहता है जो पहले से संचित सारांश (summary) द्वारा कैप्चर की जा चुकी है। इविक्शन स्कोर को अटेंशन वेट और रेसिड्यूल नॉर्म के गुणनफल के रूप में परिभाषित किया गया है: $\text{score}(j) = \alpha_j \cdot \|r_j\|$ ।

कम रेसिड्यूल वाले टोकन मोमेंट मॉडल द्वारा अच्छी तरह से प्रेडिक्ट किए जाते हैं और उन्हें इविक्शन के लिए प्राथमिकता दी जाती है।
उच्च रेसिड्यूल वाले टोकन (जो अद्वितीय डायरेक्शनल जानकारी रखते हैं) भले ही उनके अटेंशन वेट कम हों, फिर भी उन्हें रिटेन किया जाता है।

यह एक परस्पर सुदृढ़ लूप (mutually reinforcing loop) बनाता है: मोमेंट-इन्फॉर्म्ड इविक्शन रिटेन किए गए सेट को "जियोमेट्रिकल रूप से रेगुलर" (लो लॉगिट स्प्रेड $\sigma$ ) रखता है, जो इन्फरेंस करेक्शन के लिए एप्रोक्सिमेशन बाउंड को टाइट करता है। बदले में, सटीक करेक्शन भविष्य के इविक्शन निर्णयों के लिए बेहतर रेसिड्यूल्स प्रदान करता है।

4. नॉर्मलाइजेशन-करेक्टेड इन्फरेंस (Normalization-Corrected Inference)

अंतिम अटेंशन आउटपुट को रिटेन किए गए आउटपुट ( $f_R$ ) और अनुमानित इविक्टेड आउटपुट ( $\hat{f}_E$ ) के एक कॉनवेक्स कॉम्बिनेशन के रूप में पुनर्गठित किया जाता है:
$\hat{f}(q) = \hat{w}_R f_R(q) + (1 - \hat{w}_R) \hat{f}_E(q)$
मिक्सिंग वेट $\hat{w}_R$ को जेन्स की असमानता (Jensen's inequality) के माध्यम से प्राप्त इविक्टेड पार्टीशन फंक्शन के लोअर बाउंड का उपयोग करके अनुमानित किया जाता है। यह सुनिश्चित करता है कि मॉडल इविक्टेड मास के परिमाण (magnitude) को ध्यान में रखे और साथ ही उसकी दिशा को भी सही करे।

मुख्य योगदान (Key Contributions)

डायरेक्शनल गैप की पहचान: यह पेपर स्थापित करता है कि KV कैश इविक्शन में प्रमुख त्रुटि स्रोत रिटेन किए गए और इविक्टेड सब-आउटपुट के बीच लगभग ऑर्थोगोनैलिटी है, न कि केवल इविक्टेड अटेंशन मास का परिमाण।
कॉम्पैक्ट मोमेंट स्टैटिस्टिक्स: प्रति हेड केवल $O(d^2)$ स्टोरेज का उपयोग करके इविक्टेड टोकन के ज्यामितीय गुणों (मीन और कोवेरिएंस) को ट्रैक करने के लिए एक मेमोरी-एफिशिएंट तरीका पेश करना।
क्लोज्ड-फॉर्म करेक्शन: इविक्टेड अटेंशन आउटपुट के लिए एक फर्स्ट-ऑर्डर एप्रोक्सिमेशन का व्युत्पन्न, जो मीन डायरेक्शन और क्वेरी-डिपेंडेंट वेरिएशंस दोनों को रिकवर करता है।
डुअल-रोल मैकेनिज्म: एक एकीकृत फ्रेमवर्क जहाँ मोमेंट स्टैटिस्टिक्स एक साथ इविक्शन सिलेक्शन (रेडंडेंट टोकन की पहचान करके) और इन्फरेंस आउटपुट को ठीक करने (खोई हुई डायरेक्शनल जानकारी को बहाल करके) को ऑप्टिमाइज़ करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaMA-3.1-8B-Instruct और Qwen3-4B-Instruct का उपयोग करके LongBench और RULER बेंचमार्क पर MOMENTKV का मूल्यांकन किया।

प्रदर्शन: MOMENTKV ने सभी कैश बजटों ( $L \in \{128, 256, 512, 1024\}$ ) में सभी बेसलाइन्स (H2O, SnapKV, PyramidKV, Ada-KV) को लगातार पछाड़ दिया।
आक्रामक कंप्रेशन (Aggressive Compression): सबसे बड़े लाभ आक्रामक कंप्रेशन के तहत देखे गए। LLaMA-3.1-8B के साथ LongBench पर $L=128$ के लिए, MOMENTKV ने सबसे मजबूत बेसलाइन (Ada-KV) पर +1.35 का औसत स्कोर सुधार हासिल किया, और फुल-कैश प्रदर्शन का 94.1% रिटेन किया।
रिट्रीवल टास्क: RULER पर, जो सटीक टोकन रिट्रीवल का परीक्षण करता है, MOMENTKV ने LLaMA और Qwen के लिए क्रमशः Ada-KV पर +3.4 और +3.5 के आनुपातिक लाभ दिखाए, जो रिट्रीवल-इंटेंसिव सेटिंग्स में इसकी प्रभावशीलता को प्रमाणित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- नॉर्मलाइजेशन-करेक्टेड इन्फरेंस (NC) ने अकेले मोमेंट-इन्फॉर्म्ड इविक्शन (MI) (+0.57) की तुलना में काफी अधिक (+2.41) योगदान दिया, जो पुष्टि करता है कि इविक्टेड दिशा को रिकवर करना प्रदर्शन का प्राथमिक चालक है।
- दोनों तंत्रों का संयोजन एक सिनर्जिस्टिक प्रभाव (+3.17 कुल लाभ) देता है, जो व्यक्तिगत लाभों के योग से अधिक है।
दक्षता (Efficiency): यह विधि प्रति टोकन केवल 1.6 ms का विलंब (latency) जोड़ती है और 4.1 MB का सहायक मेमोरी (रिटेन किए गए कैश का 6.4%) आवश्यक करती है, जबकि फुल कैश की तुलना में प्रति-टोकन विलंब को 65% से अधिक कम कर देती है।

महत्व (Significance)

यह पेपर तर्क देता है कि लॉन्ग-कॉन्टेक्स्ट इन्फरेंस में आगे सुधार का मार्ग केवल बेहतर टोकन चयन में नहीं, बल्कि उस डायरेक्शनल इंफॉर्मेशन को रिकवर करने में है जिसे वर्तमान इविक्शन रणनीतियाँ मिटा देती हैं। MOMENTKV प्रदर्शित करता है कि इविक्टेड सेट पर कॉम्पैक्ट स्टैटिस्टिक्स बनाए रखकर, डायरेक्शनल गैप को बंद करना संभव है, जिससे इविक्शन की "अपरिहार्य लागत" (irreducible cost) को एक सुधारात्मक एप्रोक्सिमेशन एरर में बदला जा सकता है। यह दृष्टिकोण फिक्स्ड-बजट KV कैश की दक्षता से समझौता किए बिना लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडलों को तैनात करने के लिए एक व्यावहारिक, स्केलेबल समाधान प्रदान करता है।