🤖 machine learning

RippleKV: Cross-Layer KV Cache Allocation via Perturbation Propagation

RippleKV एक नवीन क्रॉस-लेयर KV कैश एलोकेशन विधि है जो यह मापकर लॉन्ग-कॉन्टेक्स्ट LLM इन्फरेंस को अनुकूलित करती है कि प्रत्येक लेयर के वैल्यू कैश में होने वाले व्यवधान (perturbations) आउटपुट तक कैसे प्रसारित होते हैं, जिससे वह लेयर डेप्थ जैसे स्टैटिक प्रॉक्सी पर निर्भर रहने के बजाय संवेदनशील लेयर्स को गतिशील रूप से कैश बजट वितरित करती है।

मूल लेखक: Dongjie Xu, Kai Qian, Julius, Weijie Shi, Yuxuan Sun, Minghua Tang, Fenglei Jin, Hanchi Dong, Jiajie Xu

प्रकाशित 2026-08-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dongjie Xu, Kai Qian, Julius, Weijie Shi, Yuxuan Sun, Minghua Tang, Fenglei Jin, Hanchi Dong, Jiajie Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक सुपर-स्मार्ट रोबोट है जो कुछ ही सेकंड में पूरी लाइब्रेरी पढ़ सकता है, लेकिन उसका दिमाग बहुत छोटा और चिपचिपा है जो एक बार में केवल कुछ ही पन्नों के नोट्स रख सकता है। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है, और वे "नोट्स" KV कैश (KV cache) कहलाते हैं। हर बार जब रोबोट एक नया शब्द सोचता है, तो उसे कहानी को समझने के लिए अब तक पढ़ी गई हर चीज़ को पीछे मुड़कर देखना पड़ता है। यदि कहानी छोटी है, तो नोट्स आसानी से फिट हो जाते हैं। लेकिन अगर कहानी एक पूरा उपन्यास है, तो नोट्स का ढेर इतना बड़ा हो जाता है कि रोबोट का दिमाग जगह खत्म कर देता है, जिससे वह धीमा हो जाता है या क्रैश हो जाता है।

इसे ठीक करने के लिए, वैज्ञानिक यह तय करने की कोशिश कर रहे हैं कि "कम महत्वपूर्ण" नोट्स को कैसे फेंक दिया जाए ताकि जगह बचाई जा सके। लंबे समय तक, नियम सरल था: "पुराने नोट्स फेंक दो" या "दिमाग के बीच के नोट्स फेंक दो।" यह ऐसा था जैसे मान लेना कि नोटबुक का हर पन्ना समान रूप से महत्वपूर्ण है, या पहले कुछ पन्ने हमेशा सबसे महत्वपूर्ण होते हैं। लेकिन क्या होगा अगर रोबोट को अंत को समझने के लिए कहानी के बीच के नोट्स की आवश्यकता हो? क्या होगा अगर दिमाग के कुछ हिस्से सुपर-सेंसिटिव हों और उन्हें हर एक नोट की आवश्यकता हो, जबकि अन्य हिस्से शांत हों और थोड़े से नोट्स के साथ भी जीवित रह सकें? यह वह पहेली है जिसे RippleKV हल करने की कोशिश कर रहा है: हम यह कैसे तय करें कि किन नोट्स को रखना है और किन्हें फेंकना है, बिना रोबोट की एक अच्छी कहानी सुनाने की क्षमता को तोड़े?

द रिपल इफेक्ट: नोट्स छांटने का एक नया तरीका

RippleKV के पीछे के शोधकर्ताओं ने महसूस किया कि पुराने नियम कुछ हद तक इस बात का अनुमान लगाने जैसे थे कि किसी खिलाड़ी की जर्सी नंबर देखकर यह कैसे पता लगाया जाए कि वह सबसे महत्वपूर्ण खिलाड़ी है। सिर्फ इसलिए कि AI का एक लेयर "गहरा" (जैसे नंबर 10 पहनने वाला खिलाड़ी) है, इसका मतलब यह नहीं है कि वही गोल करने वाला खिलाड़ी है। वास्तव में, उनके प्रयोगों ने दिखाया कि नोट्स को हटाने से होने वाला "नुकसान" अव्यवस्थित और अप्रत्याशित है। कभी-कभी बीच के लेयर्स सबसे नाजुक होते हैं, और कभी-कभी ऊपरी लेयर्स ही बिखर जाते हैं। गहराई के आधार पर कोई सरल पैटर्न नहीं है।

तो, अनुमान लगाने के बजाय, टीम ने एक चतुर प्रयोग किया। उन्होंने AI को एक शांत तालाब की तरह माना। उन्होंने एक छोटा, नियंत्रित "कंकड़" (एक छोटा गणितीय धक्का/नज) लिया और उसे AI के दिमाग के एक विशिष्ट लेयर में डाला। फिर, उन्होंने लहरों (ripples) को देखा।

उन्होंने इसे इस प्रकार किया:

परीक्षण: उन्होंने अभ्यास वाक्यों का एक छोटा सेट लिया। AI के प्रत्येक लेयर के लिए, उन्होंने "वैल्यू" नोट्स (स्मृति का वह हिस्सा जो शब्दों के वास्तविक अर्थ को रखता है) को थोड़ा सा बदला, जबकि बाकी सब कुछ बिल्कुल स्थिर रखा।
लहर (The Ripple): उन्होंने देखा कि AI का अंतिम उत्तर कितना बदल गया। यदि लेयर 3 में एक छोटे से बदलाव ने AI को अंत में पूरी तरह से गलत उत्तर देने पर मजबूर कर दिया, तो वह लेयर "संवेदनशील" (sensitive) थी। वह श्रृंखला का एक महत्वपूर्ण हिस्सा था। यदि उन्होंने लेयर 10 को नचाया और AI ने मुश्किल से भी प्रतिक्रिया दी, तो वह लेयर "सहनशील" (tolerant) थी।
मैप: यह सब करने के बाद, उन्होंने एक "सेंसिटिविटी मैप" बनाया। इस मैप ने दिखाया कि किस लेयर को एक बड़े, सुरक्षित कैश की आवश्यकता थी और कौन सा लेयर एक छोटे, कंप्रेस्ड कैश के साथ जीवित रह सकता था।

परिणाम: एक कस्टम-टेलर बजट

इस मैप का उपयोग करते हुए, RippleKV एक स्मार्ट बजट मैनेजर की तरह काम करता है। AI के प्रत्येक लेयर को मेमोरी की समान मात्रा देने के बजाय (जो कि बर्बादी है) या "ऊपरी लेयर्स को कम दो" जैसे कठोर नियम का पालन करने के बजाय (जो अक्सर गलत होता है), यह लहरों के आधार पर मेमोरी वितरित करता है।

संवेदनशील लेयर्स (जहाँ लहरें बड़ी थीं) को मेमोरी का एक उदार बजट मिलता है। वे अपने लगभग सभी नोट्स रखते हैं।
सहनशील लेयर्स (जहाँ लहरें छोटी थीं) को एक सख्त बजट मिलता है। उन्हें अधिक नोट्स फेंकने की अनुमति है।

टीम ने इसे तीन प्रसिद्ध AI मॉडल्स (Llama-3.1, Qwen2.5, और Mistral) पर LongBench नामक बेंचमार्क का उपयोग करके टेस्ट किया, जिसमें लंबे दस्तावेज़ों के बारे में प्रश्न पूछना, कहानियों का सारांश देना और कोड लिखना जैसे कार्य शामिल हैं।

परिणाम प्रभावशाली थे। जब कुल मेमोरी को इसके मूल आकार के केवल 10% तक सिकोड़ दिया गया, तब भी RippleKV ने लगातार अन्य तरीकों से बेहतर स्कोर किया। उदाहरण के लिए, Llama-3.1 मॉडल पर, इसने 10% बजट पर 35.07 का औसत स्कोर प्राप्त किया, जो अगले सबसे अच्छे तरीके से काफी आगे था। यहाँ तक कि जब मेमोरी को 20% या 30% तक बढ़ाया गया, तब भी इसने अपनी बढ़त बनाए रखी।

महत्वपूर्ण रूप से, शोधकर्ताओं ने पाया कि इस पद्धति ने AI को धीमा नहीं किया। क्योंकि उन्होंने "रिपल टेस्टिंग" केवल एक बार पहले (ऑफलाइन) की थी, इसलिए AI को वास्तव में आपसे बात करते समय कोई अतिरिक्त गणित नहीं करना पड़ा। इसने बस यह तय करने के लिए पहले से बने मैप का उपयोग किया कि कितनी मेमोरी का उपयोग करना है। 128K की विशाल कॉन्टेक्स्ट लेंथ वाले परीक्षणों में, RippleKV अन्य तरीकों के समान ही तेज़ था लेकिन इसने बहुत बेहतर उत्तर दिए।

यह क्यों मायने रखता है

बड़ी बात यह है कि AI का दिमाग एक समान ब्लॉक नहीं है जहाँ हर हिस्सा एक जैसा हो। यह एक जटिल पारिस्थितिकी तंत्र है जहाँ कुछ हिस्से नाजुक हैं और कुछ मजबूत। एक छोटे से बदलाव से एक हिस्से में कितना प्रभाव पड़ता है, इसे मापकर, RippleKV ने मेमोरी के साथ बहुत अधिक कुशल होने का एक तरीका खोजा है। यह सुझाव देता है कि AI की मेमोरी को कंप्रेस करने का सबसे अच्छा तरीका किसी कठोर नियम का पालन करना नहीं है, बल्कि यह सुनना है कि जब उसकी स्मृति को बाधित किया जाता है तो मॉडल वास्तव में कैसे प्रतिक्रिया देता है।

लेखक इन निष्कर्षों के प्रति आश्वस्त हैं क्योंकि उन्होंने कई मॉडल्स और कई अलग-अलग प्रकार के कार्यों पर इनका परीक्षण किया, और परिणाम हर बार कायम रहे। हालांकि उन्होंने यह दावा नहीं किया कि उन्होंने AI मेमोरी की हर समस्या को हल कर दिया है, लेकिन उन्होंने दिखाया कि यह देखना कि "रिपल इफेक्ट" क्या है, मेमोरी को प्रबंधित करने के लिए केवल यह अनुमान लगाने से कहीं अधिक स्मार्ट तरीका है कि वह स्टैक में कहाँ स्थित है।

तकनीकी सारांश: RippleKV

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में लॉन्ग-कॉन्टेक्स्ट इन्फरेंस (long-context inference), KV कैश की मेमोरी और बैंडविड्थ आवश्यकताओं द्वारा सीमित होता है, जो कॉन्टेक्स्ट लेंथ और ट्रांसफॉर्मर लेयर्स की संख्या के साथ रैखिक रूप से (linearly) बढ़ती है। जबकि मौजूदा KV कैश कंप्रेशन विधियाँ टोकन के उपसमुच्चय (subsets) को बनाए रखकर मेमोरी उपयोग को कम करती हैं, वे आमतौर पर सभी ट्रांसफॉर्मर लेयर्स में समान या पूर्व-निर्धारित कैश बजट का उपयोग करती हैं।

हालिया लेयर-अवेयर दृष्टिकोण लेयर डेप्थ, अटेंशन स्टैटिस्टिक्स, या रिप्रेजेंटेशन परिवर्तन जैसे प्रॉक्सी के आधार पर गैर-समान बजट आवंटित करने का प्रयास करते हैं। हालाँकि, लेखक तर्क देते हैं कि ये प्रॉक्सी एक निश्चित वैश्विक बजट के तहत विभिन्न लेयर्स की सापेक्ष कैश आवश्यकताओं को सीधे मात्रात्मक रूप से नहीं माप पाते हैं। विशेष रूप से, वे यह नहीं मापते कि एक विशिष्ट लेयर पर होने वाले व्यवधान (perturbations) अंतिम मॉडल आउटपुट तक कैसे प्रसारित होते हैं। फलस्वरूप, ये विधियाँ "संवेदनशील" (sensitive) लेयर्स को संसाधन कम आवंटित करने का जोखिम उठाती हैं (जिससे प्रदर्शन में भारी गिरावट आती है) जबकि "सहनशील" (tolerant) लेयर्स को अधिक संसाधन आवंटित कर देती हैं। पेपर का अनुभवजन्य विश्लेषण (empirical analysis) दर्शाता है कि कंप्रेशन का नुकसान लेयर डेप्थ के संबंध में अत्यधिक विषम (heterogeneous) और गैर-मोनोटोनिक (non-monotonic) है, जो अक्सर एक निश्चित पैटर्न का पालन करने के बजाय मध्यवर्ती लेयर्स (intermediate layers) पर चरम पर होता है।

कार्यप्रणाली: RippleKV

RippleKV एक क्रॉस-लेयर KV कैश एलोकेशन फ्रेमवर्क है जो स्ट्रक्चरल प्रायर्स (structural priors) के बजाय डाउनस्ट्रीम आउटपुट सेंसिटिविटी (downstream output sensitivity) के आधार पर एक निश्चित वैश्विक कैश बजट को वितरित करता है। यह विधि दो चरणों में संचालित होती है: ऑफलाइन सेंसिटिविटी प्रोफाइलिंग और इन्फरेंस-टाइम बजट एलोकेशन।

1. ऑफलाइन सेंसिटिविटी प्रोफाइलिंग

लोकल लेयर स्टैटिस्टिक्स को मापने के बजाय, RippleKV यह अनुमान लगाता है कि एक लेयर का वैल्यू कैश (Value cache) अंतिम प्रेडिक्टिव डिस्ट्रीब्यूशन में कितना योगदान देता है।

परटर्बेशन इंजेक्शन (Perturbation Injection): एक छोटे कैलिब्रेशन सेट के लिए, यह विधि प्रत्येक कंप्रेसिबल लेयर $\ell$ के माध्यम से पुनरावृत्ति करती है। यह उस विशिष्ट लेयर के वैल्यू कैश ( $V_\ell$ ) में नॉर्म-एडेप्टिव परटर्बेशन इंजेक्ट करती है, जबकि इसके की कैश ( $K_\ell$ ) और अन्य सभी लेयर्स के कैश को अपरिवर्तित रखती है।
रिस्पॉन्स मेजरमेंट: मॉडल इन परटर्बड इनपुट के लिए आउटपुट जेनरेट करता है। प्रभाव को रेफरेंस आउटपुट डिस्ट्रीब्यूशन (फुल कैश) और परटर्बड आउटपुट डिस्ट्रीब्यूशन के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस की गणना करके मापा जाता है।
सेंसिटिविटी प्रोफाइल: कैलिब्रेशन सेट में से KL डाइवर्जेंस का औसत निकाला जाता है ताकि प्रत्येक लेयर के लिए एक सेंसिटिविटी स्कोर $s_\ell$ प्राप्त हो सके। यह स्कोर यह दर्शाता है कि किसी लेयर के कैश को संशोधित करने का अंतिम प्रेडिक्शन पर एंड-टू-एंड प्रभाव क्या है। लेखकों ने पाया कि यह सिग्नल वास्तविक कंप्रेशन डैमेज के साथ मजबूती से सह-संबंधित (mean Spearman $\rho \approx 0.799$ ) है, जो लेयर इंडेक्स सहसंबंध ( $\rho \approx 0.359$ ) से काफी बेहतर प्रदर्शन करता है।

2. सेंसिटिविटी-गाइडेड बजट एलोकेशन

सेंसिटिविटी प्रोफाइल को स्केल-इनवेरिएंट एक्सपोनेंशियल मैपिंग का उपयोग करके लेयर-विशिष्ट बजट मल्टीप्लायर में परिवर्तित किया जाता है:

नॉर्मलाइजेशन (Normalization): सेंसिटिविटी स्कोर को $[0, 1]$ की रेंज में नॉर्मलाइज किया जाता है।
एक्सपोनेंशियल मैपिंग: एक रेशियो पैरामीटर $r$ एलोकेशन डिस्पैरिटी (disparity) को नियंत्रित करता है। नॉर्मलाइज्ड स्कोर को मल्टीप्लायर $w_\ell = r^{s_\ell}$ में मैप किया जाता है। एक उच्च $r$ संवेदनशील और सहनशील लेयर्स के बीच बजट अंतर को बढ़ाता है।
क्लिपिंग और नॉर्मलाइजेशन: मल्टीप्लायर्स को एक बाउंडेड इंटरवल $[1/\gamma, \gamma]$ में क्लिप किया जाता है और यह सुनिश्चित करने के लिए रीस्केल किया जाता है कि लेयर्स के बजट का योग वैश्विक बजट $B$ के बराबर हो।
इन्फरेंस: इन्फरेंस के दौरान, पूर्व-निर्धारित बजट लागू किए जाते हैं। अंतर्निहित टोकन सिलेक्शन रणनीति (जैसे SnapKV) अपरिवर्तित रहती है; केवल आवंटित बजट के अनुसार प्रति लेयर रिटेन किए गए टोकन की संख्या को समायोजित किया जाता है।

मुख्य योगदान

अनुभवजन्य अंतर्दृष्टि (Empirical Insight): यह पेपर प्रदर्शित करता है कि लेयर-वाइज कंप्रेशन डैमेज डेप्थ के संबंध में गैर-मोनोटोनिक है और कंट्रोलड वैल्यू कैश परटर्बेशंस के प्रति डाउनस्ट्रीम आउटपुट सेंसिटिविटी, लेयर पोजीशन या लोकल स्टैटिस्टिक्स की तुलना में बजट एलोकेशन के लिए एक अधिक विश्वसनीय सिग्नल है।
RippleKV फ्रेमवर्क: यह एक ऐसी विधि पेश करता है जो परटर्बेशन प्रोपेगेशन के आधार पर कैश बजट आवंटित करती है। यह परटर्बेशन के अंतिम आउटपुट पर प्रभाव का अनुमान लगाकर, एक निश्चित वैश्विक बाधा के तहत मॉडल-विशिष्ट बजट प्राप्त करती है।
प्रदर्शन और दक्षता: व्यापक प्रयोग दर्शाते हैं कि RippleKV कई मॉडल फैमिली और कैश बजट के बीच श्रेष्ठ औसत प्रदर्शन प्राप्त करता है, जबकि रनटाइम और मेमोरी दक्षता को मौजूदा कंप्रेशन विधियों के समान बनाए रखता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन मॉडल फैमिली: Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, और Mistral-7B-Instruct-v0.3 का उपयोग करके LongBench पर RippleKV का मूल्यांकन किया, जिसमें कैश बजट 10%, 20%, और 30% था।

प्रदर्शन: RippleKV ने सभी मूल्यांकित सेटिंग्स में उच्चतम औसत प्रदर्शन प्राप्त किया। Llama-3.1-8B-Instruct के साथ 10% कैश बजट पर, इसने सबसे मजबूत बेसलाइन (PyramidKV) से 0.83 अंक अधिक स्कोर किया। जैसे-जैसे बजट बढ़ा, इसने फुल कैश बेसलाइन के अंतर को लगातार कम किया।
सामान्यीकरण (Generalization): यह विधि विभिन्न आर्किटेक्चर और टास्क श्रेणियों (Single/Multi-Document QA, Summarization, Few-shot, Synthetic, Code) में अच्छी तरह से सामान्यीकृत हुई।
दक्षता: RippleKV ने इन्फरेंस लेटेंसी और थ्रूपुट में बेसलाइन्स की बराबरी की या उनसे थोड़ा बेहतर प्रदर्शन किया। पीक मेमोरी उपयोग अन्य कंप्रेशन विधियों (जैसे StreamingLLM, SnapKV) के समान था, जो पुष्टि करता है कि क्षमता का पुनर्वितरण कुल मेमोरी ओवरहेड को नहीं बढ़ाता है।
एब्लेशन (Ablation): लेयर-वाइज बजट एलोकेशन (यूनिफॉर्म बजट का उपयोग करके) को हटाने या लेयर-लोकल रिस्पॉन्स को डाउनस्ट्रीम सेंसिटिविटी सिग्नल से बदलने पर प्रदर्शन में गिरावट आई, जो दोनों—गैर-समान एलोकेशन रणनीति और विशिष्ट सेंसिटिविटी मेट्रिक—को मान्य करता है।

महत्व और दावे

पेपर का दावा है कि डाउनस्ट्रीम आउटपुट सेंसिटिविटी, स्ट्रक्चरल प्रायर्स या लोकल लेयर स्टैटिस्टिक्स की तुलना में क्रॉस-लेयर KV कैश एलोकेशन के लिए एक अधिक प्रभावी आधार प्रदान करती है। यह समझने पर ध्यान केंद्रित करके कि परटर्बेशन अंतिम आउटपुट तक कैसे प्रसारित होते हैं, Ripple-KV फिक्स्ड डेप्थ-बेस्ड शेड्यूल्स के दोषों से बचता है, जो उन लेयर्स को गलत तरीके से संसाधन आवंटित कर सकते हैं जो या तो बहुत संवेदनशील हैं या बहुत सहनशील हैं।

लेखक इस बात पर जोर देते हैं कि RippleKV एक प्लग-एंड-प्ले समाधान है जिसके लिए इन्फरेंस के दौरान किसी अतिरिक्त मॉडल मूल्यांकन की आवश्यकता नहीं होती है, क्योंकि सेंसिटिविटी प्रोफाइल ऑफलाइन एक बार कंप्यूट किया जाता है। यह बजट एलोकेशन के प्रभाव को टोकन स्कोरिंग से अलग करता है, जिससे यह मौजूदा कंप्रेशन रणनीतियों के साथ एकीकृत हो सकता है। यह कार्य सुझाव देता है कि मेमोरी सीमाओं के तहत लॉन्ग-कॉन्टेक्स्ट LLM इन्फरेंस को अनुकूलित करने के लिए कैश परटर्बेशन के प्रसार (propagation) को समझना महत्वपूर्ण है।