🤖 AI

Make Your LVLM KV Cache More Lightweight

यह शोध पत्र LightKV का प्रस्ताव करता है, जो एक नवीन विधि है जो प्रॉम्प्ट-निर्देशित क्रॉस-मोडैलिटी मैसेज पासिंग के माध्यम से विजन-टोकन KV कैश को कंप्रेस करके लार्ज विजन-लैंग्वेज मॉडल्स के GPU मेमोरी ओवरहेड और गणना को महत्वपूर्ण रूप से कम करती है, जिससे आठ बेंचमार्क में प्रदर्शन को बनाए रखते हुए 50% तक कैश कमी और 40% गणना बचत प्राप्त होती है।

मूल लेखक: Xihao Chen, Yangyang Guo, Roger Zimmermann

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xihao Chen, Yangyang Guo, Roger Zimmermann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुमुखी सहायक (एक लार्ज विजन-लैंग्वेज मॉडल, या LVLM) है जो किसी तस्वीर को देख सकता है और उसके बारे में सवालों के जवाब दे सकता है। ऐसा करने के लिए, सहायक अपनी अल्पकालिक स्मृति (short-term memory) में एक "स्क्रैचपैड" रखता है जिसे KV Cache कहा जाता है। यह स्क्रैचपैड उस छवि को देखते समय बनाए गए सभी नोट्स को रखता है ताकि उसे हर बार नया उत्तर सोचने के लिए पूरी तस्वीर को दोबारा न पढ़ना पड़े।

समस्या यह है कि जब आपका सहायक एक उच्च-रिज़ॉल्यूशन वाली फोटो देखता है, तो वह छवि को सैकड़ों या हज़ारों छोटे टुकड़ों (जिन्हें विज़न टोकन कहा जाता है) में तोड़ देता है। प्रत्येक टुकड़े के लिए स्क्रैचपैड पर एक नोट बनाया जाता है। यदि फोटो जटिल है, तो स्क्रैचपैड इतना भर जाता है कि वह कंप्यूटर की सारी मेमोरी खा जाता है, जिससे सब कुछ धीमा हो जाता है या सिस्टम क्रैश हो जाता है।

यह पेपर LightKV को पेश करता है, जो एक नया तरीका है जिससे महत्वपूर्ण विवरणों को खोए बिना उस स्क्रैचपैड को छोटा किया जा सकता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: एक बिखरी हुई मेज (A Cluttered Desk)

कल्पना कीजिए कि आपके सहायक की मेज एक फोटो के हजारों छोटे पैच (जैसे एक पत्ती, कार का पहिया, एक बादल) का वर्णन करने वाले हजारों स्टिकी नोट्स से भरी हुई है।

पुराना तरीका: सहायक हर एक स्टिकी नोट को रखता है। यदि आप पूछते हैं, "आकाश में क्या है?", तो सहायक बादलों के बारे में नोट्स खोजने के लिए पत्तियों और पहियों के बारे में हजारों नोट्स को स्कैन करता है। यह धीमा है और डेस्क की बहुत अधिक जगह घेरता है (GPU मेमोरी)।
पिछले समाधानों में दोष: कुछ लोगों ने यादृच्छिक (random) रूप से नोट्स फेंकने या समान दिखने वाले नोट्स को एक साथ समूहबद्ध करने (जैसे "सभी हरी चीजें") की कोशिश की। लेकिन यह जोखिम भरा है। एक हरा नोट एक पेड़ (महत्वपूर्ण) भी हो सकता है या एक हरी शर्ट (अप्रासंगिक) भी। संदर्भ (context) के बिना, आप पेड़ को फेंक सकते हैं और शर्ट को रख सकते हैं, जिससे उत्तर बिगड़ सकता है।

समाधान: LightKV (द स्मार्ट एडिटर)

LightKV एक सुपर-स्मार्ट संपादक की तरह कार्य करता है जो जानता है कि उपयोगकर्ता वास्तव में क्या पूछ रहा है। यह तय करने के लिए कि किन नोट्स को रखना है और किन को मर्ज करना है, यह टेक्स्ट प्रॉम्प्ट (प्रश्न) का उपयोग एक मार्गदर्शक के रूप में करता है।

यहाँ प्रक्रिया के चरण दिए गए हैं, जिन्हें रूपकों के माध्यम से समझाया गया है:

1. "ग्रुप चैट" रणनीति (विंडोइंग - Windowing)

दुनिया के हर एक स्टिकी नोट की तुलना हर दूसरे नोट के साथ करने के बजाय (जिसमें बहुत समय लगेगा), LightKV डेस्क को छोटे, प्रबंधनीय विंडोज़ (जैसे नोट्स को छोटी ढेरियाँ बनाने) में विभाजित करता है।

उपमा: कल्पना कीजिए कि मेल के एक विशाल ढेर को उनके संबंधित पड़ोस के आधार पर छोटे स्टैक में छाँटना। आप पहले केवल एक ही पड़ोस के पत्रों की तुलना करते हैं। यह काम को बहुत तेज़ बनाता है।

2. "मैचमेकर" (बाइपार्टाइट ग्राफ - Bipartite Graph)

प्रत्येक छोटे विंडो के भीतर, LightKV नोट्स को दो समूहों (ग्रुप A और ग्रुप B) में विभाजित करता है। फिर यह उन जोड़ों की तलाश करता है जहाँ नोट्स बहुत समान हों (कम "फीचर डाइवर्जेंस")।

उपमा: इसे स्टिकी नोट्स के लिए एक 'स्पीड-डेटिंग' कार्यक्रम की तरह सोचें। यदि दो नोट्स लगभग एक जैसे हैं (जैसे नीले आकाश के दो पैच), तो उन्हें जोड़ा जाता है।

3. "संदर्भ सुराग" (प्रॉम्प्ट गाइडेंस - Context Clue)

यह सबसे महत्वपूर्ण हिस्सा है। पिछले तरीकों में, सहायक नोट्स को केवल इसलिए मर्ज कर देता था क्योंकि वे एक जैसे दिखते थे। LightKV पूछता है: "क्या यह नोट उपयोगकर्ता के प्रश्न का उत्तर देने में मदद करता है?"

यह कैसे काम करता है: यह देखता है कि जब सहायक ने पहली बार नोट पढ़ा, तो उसने उपयोगकर्ता के प्रश्न पर कितना ध्यान दिया था।
उपमा: यदि उपयोगकर्ता पूछता है, "क्या चित्र में एक कुत्ता है?", तो LightKV नोट्स की जाँच करता है। वह देखता है कि "भूरे रंग के फर वाले पैच" के नोट्स पर तब बहुत ध्यान दिया गया था जब "कुत्ता" शब्द पढ़ा गया था। इसलिए, वह उस नोट को रखता है। वह देखता है कि कुर्सी पर मौजूद "भूरे रंग के फर के पैच" को तब अनदेखा किया गया था जब "कुत्ता" पढ़ा गया था, इसलिए वह उस नोट को अन्य नोट्स के साथ मर्ज कर देता है या उसे हटा देता है।
परिणाम: यह समान नोट्स के सूचना को जोड़कर एक "सुपर-नोट" बनाता है लेकिन प्रश्न के लिए प्रासंगिक विशिष्ट विवरणों को बनाए रखता है।

4. "लेयर्ड क्लीनअप" (हायरार्किकल कंप्रेशन - Hierarchical Compression)

LightKV यह काम केवल एक बार नहीं करता है। जैसे-जैसे सहायक छवि को गहराई से प्रोसेस करता है, यह कई चरणों में किया जाता है।

उपमा: कल्पना कीजिए कि एक कमरा साफ कर रहे हैं। पहले, आप बड़े स्पष्ट कचरे को उठाते हैं (शुरुआती लेयर्स)। फिर, आप शेल्फ पर किताबों को व्यवस्थित करते हैं (मध्यम लेयर्स)। अंत में, आप कोनों की धूल झाड़ते हैं (बाद की लेयर्स)। LightKV छोटे स्थानीय समूहों में नोट्स को मर्ज करके शुरू करता है, और जैसे-जैसे यह गहरा जाता है, यह व्यापक क्षेत्रों के नोट्स को मर्ज करता है, यह सुनिश्चित करते हुए कि यह बड़ी तस्वीर को खोए बिना ढेर को छोटा कर सके।

उन्होंने क्या पाया?

लेखकों ने आठ अलग-अलग स्मार्ट सहायकों (जैसे LLaVA और Qwen) पर आठ अलग-अलग प्रकार के परीक्षणों (छवियों का वर्णन करने से लेकर विज्ञान की पहेलियाँ सुलझाने तक) का उपयोग करके LightKV का परीक्षण किया।

आधा स्थान: वे स्क्रैचपैड में विज़न नोट्स की संख्या को लगभग 50% तक कम करने में सफल रहे (मूल नोट्स का केवल 55% रखा)।
समान (या बेहतर) बुद्धिमत्ता: आधे नोट्स होने के बावजूद, सहायकों ने पहले की तरह ही अच्छे से सवालों के जवाब दिए, और कभी-कभी अन्य संपीड़न (compression) विधियों से भी बेहतर प्रदर्शन किया।
तेज़: क्योंकि प्रोसेस करने के लिए कम नोट्स थे, कंप्यूटर ने कम काम किया (40% तक कम गणना) और काफी कम मेमोरी का उपयोग किया।
कोई रिट्रेनिंग नहीं: सबसे अच्छी बात? उन्हें सहायकों को कुछ भी नया सिखाने की आवश्यकता नहीं थी। LightKV एक "प्लग-एंड-प्ले" टूल है जो मौजूदा मॉडलों के साथ तुरंत काम करता है।

सारांश

LightKV एक स्मार्ट लाइब्रेरियन की तरह है जो, एक विशाल फोटो एल्बम के हर एक पन्ने को रखने के बजाय, उसका एक संक्षिप्त सारांश बनाता है। लेकिन एक सामान्य सारांश के विपरीत, यह लाइब्रेरियन पहले आपका विशिष्ट प्रश्न पढ़ता है और यह सुनिश्चित करता है कि सारांश फोटो के ठीक उन्हीं हिस्सों को उजागर करे जो आपके प्रश्न का उत्तर देते हैं, और अप्रासंगिक शोर (noise) को हटा देता है। यह लाइब्रेरियन को भूलने वाला बनाए बिना स्थान और समय बचाता है।

यहाँ शोध पत्र "Make Your LVLM KV Cache More Lightweight" (LightKV) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) इन्फरेंस दक्षता को अनुकूलित करने के लिए की-वैल्यू (KV) कैशिंग पर निर्भर करते हैं। हालाँकि, टेक्स्ट टोकन को प्रोसेस करने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) के विपरीत, LVLMs को प्रीफिल स्टेज (prefill stage) के दौरान भारी संख्या में विज़न टोकन्स (जैसे LLaVA-v1.5 के लिए 576, LLaVA-OneVision के लिए 7,290 तक) को प्रोसेस करना पड़ता है।

यह दो महत्वपूर्ण बाधाएँ (bottlenecks) उत्पन्न करता है:

मेमोरी ओवरहेड (Memory Overhead): विज़न टोकन्स की विशाल मात्रा के कारण KV कैश, टेक्स्ट-ओनली LLMs की तुलना में काफी अधिक GPU मेमोरी का उपभोग करता है, जो अक्सर लॉन्ग-कॉन्टेक्स्ट या हाई-रेज़ोल्यूशन इनपुट के लिए प्राथमिक बाधा बन जाता है।
टोकन विषमता (Token Heterogeneity): विज़न टोकन्स विषम (heterogeneous) होते हैं (जो इमेज पैचेस का प्रतिनिधित्व करते हैं) और उनकी महत्ता टेक्स्ट प्रॉम्प्ट के आधार पर बदलती रहती है। मौजूदा प्रूनिंग विधियाँ अक्सर टोकन्स के साथ एक समान व्यवहार करती हैं या प्रीफिल के बाद की प्रूनिंग (post-prefill pruning) पर निर्भर करती हैं, जो प्रारंभिक प्रीफिल स्टेज के दौरान होने वाली मेमोरी बाधा को संबोधित करने में विफल रहती हैं।

MQA/GQA जैसे वर्तमान समाधानों के लिए भारी मॉडल रिट्रेनिंग की आवश्यकता होती है, जबकि टोकन प्रूनिंग विधियाँ (जैसे FastV, H2O) अक्सर प्रीफिल के बाद संचालित होती हैं या उनमें क्रॉस-मोडल मार्गदर्शन (cross-modal guidance) की कमी होती है, जिससे विभिन्न मॉडल्स और बेंचमार्क्स पर प्रदर्शन में असंगतता आती है।

2. कार्यप्रणाली: LightKV (Methodology: LightKV)

लेखक LightKV का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री (training-free) दृष्टिकोण है जो टेक्स्ट प्रॉम्प्ट द्वारा निर्देशित होकर, विज़न एम्बेडिंग्स के बीच रेडंडेंसी (redundancy) का लाभ उठाकर प्रीफिल स्टेज के दौरान विज़न टोकन्स को कंप्रेस करता है। यह विधि एक तीन-चरणीय पाइपलाइन के माध्यम से कार्य करती है:

A. इंट्रा-विंडो टोकन कम्प्रेशन (Intra-Window Token Compression)

पूरी इमेज को ग्लोबली प्रोसेस करने के बजाय, LightKV विज़न टोकन्स को नॉन-ओवरलैपिंग स्पेशियल विंडोज ( $w \times w$ ) में विभाजित करता है। प्रत्येक विंडो के भीतर, यह निम्नलिखित कार्य करता है:

बाइपार्टाइट ग्राफ निर्माण (Bipartite Graph Construction): एक विंडो में टोकन्स को दो सेटों ( $X_A$ $X_{A}$ और $X_B$ $X_{B}$ ) में विभाजित किया जाता है। एक बाइपार्टाइट ग्राफ बनाया जाता है जहाँ किनारे (edges) नोड्स के बीच फीचर डायवर्जेंस (Feature Divergence - FD) का प्रतिनिधित्व करते हैं।
- $FD(\alpha, \beta) = 1 - \frac{\langle x_\alpha, x_\beta \rangle}{||x_\alpha|| ||x_\beta||}$ (कोसाइन डिस्टेंस)।
- यह पूर्ण पेयरवाइज मैचिंग की तुलना में कम्प्यूटेशनल जटिलता को $O(v^2)$ से घटाकर $O(v^2/4)$ कर देता है।
प्रॉम्प्ट-अवेयर मैसेज पासिंग (Prompt-Aware Message Passing): केवल विजुअल सिमिलरिटी के आधार पर टोकन्स को मर्ज करने वाली पूर्ववर्ती विधियों के विपरीत, LightKV क्रॉस-मोडल अटेंशन स्कोर्स को वेट्स के रूप में उपयोग करता है।
- यह गणना करता है कि प्रत्येक विज़न टोकन टेक्स्ट प्रॉम्प्ट टोकन्स को कितना संचित अटेंशन ( $\xi_i$ ) दे रहा है।
- संदेशों को इन अटेंशन स्कोर्स द्वारा भारित (weighted) करके $X_A$ से $X_B$ (और इसके विपरीत) भेजा जाता है। यह सुनिश्चित करता है कि टेक्स्ट प्रॉम्प्ट के लिए अत्यधिक प्रासंगिक टोकन्स सुरक्षित रहें, जबकि रेडंडेंट विजुअल जानकारी को एग्रीगेट किया जा सके।
नोड एलिमिनेशन (Node Elimination): रेडंडेंट नोड्स (वे जिनमें कम FD और कम प्रॉम्प्ट प्रासंगिकता है) को हटा दिया जाता है, और शेष नोड्स को अपडेट और पुनर्व्यवस्थित किया जाता है।

B. इंटर-विंडो पदानुक्रमित कम्प्रेशन (Inter-Window Hierarchical Compression)

स्पेशियल लोकैलिटी (spatial locality) को खोए बिना ग्लोबल कॉन्टेक्स्ट को कैप्चर करने के लिए, LightKV स्विन-ट्रांसफॉर्मर (Swin-Transformers) से प्रेरित एक पदानुक्रमित रणनीति अपनाता है:

मल्टी-स्टेज इटरेशन (Multi-Stage Iteration): कम्प्रेशन विशिष्ट डिकोडर लेयर्स ( $\lambda_1, \lambda_2, \dots$ ) पर लागू किया जाता है।
प्रोग्रेसिव एक्सपेंशन (Progressive Expansion): शुरुआती लेयर्स में, कम्प्रेशन छोटे विंडोज के भीतर होता है (स्थानीय विवरणों को सुरक्षित रखते हुए)। गहरी लेयर्स में, विंडो का आकार बढ़ जाता है (या पार्टिशन्स मर्ज हो जाते हैं), जिससे ग्लोबल सिमेंटिक्स को कैप्चर करने के लिए बड़े स्पेशियल डिस्टेंस के पार मैसेज पासिंग संभव हो पाती है।
डायनेमिक शेड्यूलिंग (Dynamic Scheduling): यह विधि विभिन्न मॉडल डेप्थ के अनुकूल होने के लिए लेयर सिलेक्शन ( $\Lambda$ ), विंडो साइज ( $W$ ), और कम्प्रेशन रेश्यो ( $P$ ) के लिए हाइपरपैरामीटर्स का उपयोग करती है।

3. मुख्य योगदान (Key Contributions)

प्रॉम्प्ट-अवेयर कम्प्रेशन (Prompt-Aware Compression): LightKV पहला ऐसा तरीका है जो प्रीफिल स्टेज के दौरान विज़न टोकन कम्प्रेशन को चलाने के लिए स्पष्ट रूप से टेक्स्ट-प्रॉम्प्ट गाइडेंस का उपयोग करता है। यह इसे विजन-ओनली प्रूनिंग रणनीतियों से अलग करता है, जिससे यह सुनिश्चित होता है कि क्वेरी के सापेक्ष महत्वपूर्ण विजुअल फीचर्स सुरक्षित रहें।
ट्रेनिंग-फ्री और प्लग-एंड-प्ले (Training-Free & Plug-and-Play): इस विधि के लिए किसी मॉडल रिट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता नहीं है। इसे विभिन्न ओपन-सोर्स LVLMs (जैसे LLaVA, InternVL, Qwen2.5-VL, EVE) पर निर्बाध रूप से लागू किया जा सकता है।
कुशल ग्राफ विभाजन (Efficient Graph Partitioning): स्पेशियल विंडोज के भीतर बाइपार्टाइट मैचिंग का उपयोग करके, यह विधि पूर्ण पेयरवाइज मैचिंग की तुलना में फीचर डायवर्जेंस की गणना करने की कम्प्यूटेशनल लागत को काफी कम कर देती है।
पदानुक्रमित डिज़ाइन (Hierarchical Design): इंट्रा-विंडो (लोकल) और इंटर-विंडो (ग्लोबल) कम्प्रेशन का संयोजन स्पेशियल कोहेरेंस के संरक्षण और ग्लोबल कॉन्टेक्स्ट के एकीकरण के बीच संतुलन बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 8 ओपन-सोर्स LVLMs (LLaVA-v1.5, LLaVA-NeXT, InternVL2, EVE, और Qwen2.5-VL सहित) पर 8 बेंचमार्क्स (MME, SeedBench, GQA, आदि) पर LightKV का मूल्यांकन किया।

मेमोरी रिडक्शन (Memory Reduction): LightKV विज़न-टोकन KV कैश के आकार को लगभग 50% कम कर देता है (मूल टोकन्स का ~55% बनाए रखता है)।
प्रदर्शन संरक्षण (Performance Preservation):
- यह वैनिला LVLMs के प्रदर्शन को बनाए रखता है या उससे थोड़ा बेहतर प्रदर्शन करता है (जैसे LLaVA-v1.5-13B पर 99.94% बेसलाइन प्रदर्शन प्राप्त करना)।
- यह FastV, ToMe और ElasticCache जैसे मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन करता है, जो अक्सर प्रदर्शन में गिरावट (जैसे LLaVA-NeXT पर FastV का ~90% तक गिरना) का सामना करते हैं।
दक्षता लाभ (Efficiency Gains):
- कम्प्यूटेशन (Computation): FLOPs को 40% तक कम करता है।
- लेटेंसी (Latency): टाइम-टू-फर्स्ट-टोकन (TTFT) को महत्वपूर्ण रूप से कम करता है (उदाहरण के लिए, LLaVA-NeXT-13B पर 656ms से 383ms तक)।
मजबूती (Robustness): यह विधि विजन-एनकोडर-आधारित मॉडल्स और एनकोडर-फ्री मॉडल्स (जैसे EVE) दोनों पर प्रभावी ढंग से काम करती है, जो व्यापक प्रयोज्यता प्रदर्शित करती है।

5. महत्व (Significance)

LightKV, LVLMs के परिनियोजन (deployment) में एक महत्वपूर्ण स्केलेबिलिटी समस्या का समाधान करता है। सबसे महंगे चरण (प्रीफिल) के दौरान KV कैश के मेमोरी फुटप्रिंट को कम करके, यह सक्षम बनाता है:

संसाधन-सीमित परिनियोजन (Resource-Constrained Deployment): हाई-रेज़ोल्यूशन LVLMs को कंज्यूमर-ग्रेड GPUs (जैसे A100-40GB) पर चलाना, जो अन्यथा बड़े कॉन्टेक्स्ट विंडोज के कारण OOM (आउट ऑफ मेमोरी) हो जाते।
लागत दक्षता (Cost Efficiency): इन्फरेंस के लिए कम्प्यूटेशनल लागत (FLOPs) और लेटेंसी को कम करना, जिससे रियल-टाइम मल्टीमॉडल एप्लिकेशन अधिक व्यवहार्य हो जाते हैं।
सामान्यीकरण (Generalization): एक यूनिवर्सल, ट्रेनिंग-फ्री ऑप्टिमाइज़ेशन लेयर प्रदान करना जो मॉडल की रीजनिंग क्षमताओं से समझौता किए बिना पूरे LVLM इकोसिस्टम की दक्षता में सुधार करता है।

संक्षेप में, LightKV "विजुअल-ओनली" प्रूनिंग से प्रॉम्प्ट-गाइडेड, पदानुक्रमित कम्प्रेशन की ओर शिफ्ट होकर मल्टीमॉडल मॉडल्स के लिए KV कैश ऑप्टिमाइज़ेशन को फिर से परिभाषित करता है, जिससे मेमोरी दक्षता और टास्क परफॉरमेंस के बीच एक बेहतर संतुलन प्राप्त होता है।