🤖 machine learning

Minimal-Intervention KV Retention: A Design-Space Study and a Diversity-Penalty Survivor

यह शोधपत्र प्रदर्शित करता है कि एक न्यूनतम, विविधता-दंड (diversity-penalty) संशोधन, टाइट मेमोरी बजट के तहत दीर्घ-रूप गणितीय तर्क (long-form mathematical reasoning) में सात भारी संरचनात्मक पुनर्रचनाओं से बेहतर प्रदर्शन करता है, जो एक कठोर, पूर्व-पंजीकृत मूल्यांकन प्रोटोकॉल स्थापित करता है जो इस प्रदर्शन विषमता को प्रकट करता है।

मूल लेखक: Libo Sun, Po-wei Harn, Peixiong He, Xiao Qin

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Libo Sun, Po-wei Harn, Peixiong He, Xiao Qin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: "भीड़भाड़ वाली लाइब्रेरी" की समस्या

कल्पना कीजिए कि एक सुपर-स्मार्ट AI (एक लैंग्वेज मॉडल) एक बहुत लंबी और कठिन गणित की समस्या को हल करने की कोशिश कर रहा है। इसे करने के लिए, इसे वह सब कुछ याद रखने की ज़रूरत है जो इसने अब तक लिखा है। कंप्यूटर की भाषा में, इस मेमोरी को KV Cache कहा जाता है।

KV Cache को एक लाइब्रेरी शेल्फ की तरह समझें जहाँ AI अपने नोट्स रखता है।

समस्या: जैसे-जैसे AI एक लंबा समाधान लिखता है, शेल्फ भरती जाती है। यदि शेल्फ बहुत छोटी है, तो AI को नए नोट्स के लिए जगह बनाने के लिए पुराने नोट्स फेंकने पड़ते हैं।
लक्ष्य: हम शेल्फ को छोटा करना चाहते हैं (मेमोरी बचाना) बिना AI को कहानी के सबसे महत्वपूर्ण हिस्सों को भुलाए। यदि यह गलत चीज़ें भूल जाता है, तो यह तर्कहीन हो जाता है।

शोधकर्ताओं ने पूछा: "जब शेल्फ बहुत छोटी हो, तो हम यह कैसे तय करें कि कौन से नोट्स रखने हैं?"

प्रयोग: 7 अलग-अलग "लाइब्रेरियन" को आज़माना

शोधकर्ताओं ने सात अलग-अलग रणनीतियों (तंत्रों) का परीक्षण किया ताकि यह देखा जा सके कि जब शेल्फ बहुत छोटी हो (64 या 128 आइटम का बजट), तो नोट्स चुनने में कौन सा सबसे अच्छा है। उन्होंने इन रणनीतियों को पाँच श्रेणियों में व्यवस्थित किया:

स्टेट (State): यह बदलना कि नोट्स कैसे दिखते हैं (जैसे, एक पूरे पेज का सारांश एक वाक्य में बनाना)।
रूटिंग (Routing): यह बदलना कि नोट्स कौन देख सकता है (जैसे, केवल मस्तिष्क के कुछ खास हिस्से ही शेल्फ को देख पा रहे हों)।
कैडेंस (Cadence): यह बदलना कि चीज़ों को कब फेंका जाता है (जैसे, हर 10 स्टेप्स के बाद शेल्फ की सफाई करना)।
डिकोडिंग (Decoding): यह बदलना कि AI कैसे लिखता है (जैसे, उसे छोटे सारांश लिखने के लिए मजबूर करना)।
स्कोरिंग (Scoring): यह बदलना कि AI यह कैसे तय करता है कि कौन से नोट्स "सबसे अच्छे" हैं जिन्हें रखना है।

परिणाम: उन्होंने सातों रणनीतियों को आज़माया। वे सभी विफल रहे। या तो उन्होंने मदद नहीं की या वास्तव में AI को गणित की समस्या सुलझाने में और भी खराब बना दिया।

विजेता: "मिनिमलिस्ट" सुधार (अल्फा)

बड़े, संरचनात्मक बदलावों के विफल होने के बाद, शोधकर्ताओं ने एक बहुत छोटा, लगभग अदृश्य बदलाव आज़माया। उन्होंने इसे $\alpha$ (अल्फा) कहा।

उपमा (Analogy):
कल्पना कीजिए कि आप यात्रा के लिए एक सूटकेस पैक कर रहे हैं।

पुराना तरीका (Top-K): आप बस जितनी भी महत्वपूर्ण चीज़ें मिल सकती हैं, उनमें से 10 चीज़ें उठा लेते हैं।
समस्या: कभी-कभी, आप ऐसी 10 चीज़ें उठाते हैं जो आपस में बहुत समान होती हैं (जैसे, लाल मोजों के 10 अलग-अलग जोड़े)। आपके पास किसी और चीज़ के लिए कोई जगह नहीं बचती।
अल्फा फिक्स: AI अभी भी सबसे महत्वपूर्ण चीज़ों की तलाश करता है, लेकिन वह एक छोटा सा नियम जोड़ देता है: "यदि कोई वस्तु उस चीज़ के बहुत समान है जिसे मैंने पहले ही चुन लिया है, तो मैं उसे नहीं चुनूँगा।"

इसे "डाइवर्सिटी पेनल्टी" (विविधता दंड) कहा जाता है। यह AI को एक विविधता (variety) चुनने के लिए मजबूर करता है, न कि केवल समान चीज़ों का ढेर। यह ऐसा है जैसे कहना, "मैं लाल मोजे तो लूँगा, लेकिन अगर मेरे पास पहले से ही लाल मोजे हैं, तो मैं नीले मोजे नहीं लूँगा; मैं इसके बजाय एक टोपी ढूँढूँगा।"

यह क्यों काम कर गया:

इसने सूटकेस को नहीं बदला (मेमोरी संरचना)।
इसने यात्री को नहीं बदला (AI मॉडल)।
इसने यात्रा के शेड्यूल को नहीं बदला।
इसने बस चीज़ों को चुनने के लिए एक छोटा सा नियम बदल दिया।

"सख्त जज" (प्रोटोकॉल)

यह पेपर इस बात पर ज़ोर देता है कि पिछले कई अध्ययन "बेईमानी" कर रहे थे या बहुत उदार थे। वे अपने विचारों का परीक्षण समस्याओं के एक छोटे समूह (50 आइटम) पर करते थे और जीत का दावा करते थे।

शोधकर्ताओं ने धोखाधड़ी से बचने के लिए एक सख्त, प्री-रजिस्टर्ड ट्रायल सेट किया:

"मैच्ड मेमोरी" नियम: उन्होंने केवल यह नहीं देखा कि AI के पास समान मात्रा में मेमोरी शुरू हुई थी या नहीं; उन्होंने यह भी जांचा कि क्या AI ने पूरी प्रक्रिया के दौरान समान मात्रा में मेमोरी का उपयोग किया। (कुछ तरीकों ने दावा किया कि उन्होंने मेमोरी बचाई, लेकिन वास्तव में उन्होंने यात्रा के दौरान 5 गुना अधिक मेमोरी का उपयोग किया)।
"मैथ ग्रेडर": यह जाँचने के बजाय कि AI का उत्तर सही दिख रहा है या नहीं, उन्होंने यह देखने के लिए एक कंप्यूटर प्रोग्राम (SymPy) का उपयोग किया कि गणित वास्तव में सही था या नहीं, फॉर्मेटिंग त्रुटियों को नज़रअंदाज़ करते हुए।
"डबल ब्लाइंड": उन्होंने अपनी सेटिंग्स को ट्यून करने के लिए एक "अभ्यास टेस्ट" (डेवलपमेंट सेट) चुना, और यह साबित करने के लिए एक पूरी तरह से अलग "फाइनल एग्जाम" (हेल्ड-आउट सेट) का उपयोग किया कि यह काम करता है। वे फाइनल एग्जाम के परिणाम देखने के बाद अपनी रणनीति नहीं बदल सकते थे।
"दो मॉडल" नियम: समाधान को दो अलग-अलग AI दिमागों (Qwen और Llama) पर काम करना था, न कि केवल एक पर।

निर्णय

7 बड़े बदलाव: सभी विफल रहे। वे बहुत भारी-भरकम थे और उन्होंने AI की तर्क करने की क्षमता को तोड़ दिया।
छोटा सा बदलाव ( $\alpha$ ): यह टिक गया।
- दो विशिष्ट टेस्ट केस (Qwen के साथ छोटा बजट, और Llama के साथ छोटा बजट) पर, इसने AI के गणित के स्कोर में काफी सुधार किया।
- अन्य दो मामलों में, इसने स्कोर को नुकसान नहीं पहुँचाया (यह न्यूट्रल रहा)।
- क्योंकि इसने अन्य जगहों पर नुकसान पहुँचाए बिना स्कोर में सुधार किया, इसलिए यह सख्त "ब्रांच A" मानदंडों को पास कर गया।

मुख्य सबक

यह पेपर निष्कर्ष निकालता है कि बहुत कम मेमोरी बजट की दुनिया में, कम ही अधिक है (less is more)।

इंजन को फिर से न बनाएँ: यह कोशिश करना कि मेमोरी कैसे स्टोर की जाती है या AI जानकारी कैसे भेजता है (संरचनात्मक परिवर्तन) जब जगह कम हो, तो चीजें बिगाड़ देता है।
केवल चयन को ट्यून करें: जगह बचाने का सबसे अच्छा तरीका इंजन को बिल्कुल वैसा ही चलते रहने देना है जैसा वह है, बस यह बदलने के लिए कि क्या रखना है, नियम को बदल दें। एक छोटा, स्मार्ट फ़िल्टर (डाइवर्सिटी पेनल्टी) एक विशाल संरचनात्मक बदलाव से बेहतर है।

संक्षेप में: जब आपके पास जगह खत्म हो रही हो, तो नया घर बनाने की कोशिश न करें। बस इस बारे में अधिक स्मार्ट बनें कि आप पहले से मौजूद कमरे में कौन सा फर्नीचर रखते हैं।

तकनीकी सारांश: न्यूनतम-हस्तक्षेप KV प्रतिधारण (Minimal-Intervention KV Retention)

समस्या विवरण
यह शोध पत्र लंबे संदर्भ वाले लैंग्वेज मॉडल इन्फरेंस में KV-कैश संपीड़न (compression) की चुनौती को संबोधित करता है, विशेष रूप से "छोटे बजट" ( $b \in \{64, 128\}$ ) के तहत लंबी-फॉर्म गणितीय तर्क (mathematical reasoning) के लिए। इस शासन (regime) में, कैश किए गए की (key) और वैल्यू (value) टेंसर की मेमोरी लागत जनरेशन की लंबाई के साथ निरंतर बढ़ती जाती है। जबकि संपीड़न मेमोरी बचत के लिए सटीकता का थोड़ा त्याग करता है, मौजूदा तरीके अक्सर सख्त बजट होने पर तर्क प्रदर्शन (reasoning performance) को काफी कम कर देते हैं। लेखक जांच करते हैं कि KV-रिटेंशन पाइपलाइन के भीतर कौन सा हस्तक्षेप अक्ष (intervention axis) वास्तव में सटीकता में सुधार करता है जब मेमोरी को सख्ती से मैच किया जाता है, यह देखते हुए कि प्रकाशित तंत्र अक्सर प्रदर्शन में बहुत करीब क्लस्टर होते हैं, जिससे सबसे प्रभावी डिजाइन विकल्पों की पहचान करना कठिन हो जाता है।

कार्यप्रणाली (Methodology)
अध्ययन एक कठोर, बहु-चरणीय मूल्यांकन प्रोटोकॉल का उपयोग करता है जिसे KV-कैश अनुसंधान में सामान्य 'फॉल्स पॉजिटिव' के स्रोतों को समाप्त करने के लिए डिज़ाइन किया गया है:

मैच्ड-मीन-कैश मूल्यांकन (Matched-Mean-Cache Evaluation): मानक प्रोटोकॉल के विपरीत, जो केवल प्रीफिल चरण के अंत में मेमोरी को मैच करते हैं, यह अध्ययन पूरे जनरेशन के दौरान औसत कैश लंबाई को इंस्ट्रुमेंट करता है। यह सुनिश्चित करता है कि विधियाँ डिकोडिंग के दौरान अपने बजट से चुपचाप अधिक न हो जाएं।
वर्कलोड और मेट्रिक्स: मूल्यांकन MATH-500 बेंचमार्क पर दो डिस्टिल्ड-रीजनिंग मॉडल्स (Qwen-7B और Llama-8B के DeepSeek-R1-Distill वेरिएंट्स) पर किया गया है। सटीकता को sympy का उपयोग करके ग्रेड किया गया है ताकि उत्तर प्रारूपों को सामान्य किया जा सके, जिससे सटीक-स्ट्रिंग मिलान (जैसे, फॉर्मेटिंग अंतर) से होने वाला शोर हट जाता है और तर्क विफलताओं को एक्सट्रैक्शन कोलैप्स से अलग किया जा सके।
पूर्व-पंजीकृत प्रोटोकॉल (Pre-registered Protocol): ओवरफिटिंग और $p$ -हैकिंग को रोकने के लिए, लेखक डेटासेट के एक फ्रीज्ड, MD5-बकेटेड स्प्लिट का उपयोग करते हैं। हाइपरपैरामीटर ट्यूनिंग के लिए एक डेवलपमेंट स्प्लिट ( $n=201$ ) का उपयोग किया जाता है, और अंतिम सत्यापन के लिए एक अलग होल्ड-आउट कन्फर्मेशन स्प्लिट ( $n=299$ ) का उपयोग किया जाता है। सांख्यिकीय महत्व (statistical significance) को चार (मॉडल, बजट) सेल्स के बीच बोनफेरोनी करेक्शन (Bonferroni correction) के साथ क्लस्टर बूटस्ट्रैपिंग के माध्यम से निर्धारित किया जाता है।
डिज़ाइन-स्पेस स्टडी: लेखक पहले पांच हस्तक्षेप परिवारों में सात तंत्रों का वर्गीकरण और परीक्षण करते हैं: स्टेट (कैश प्रतिनिधित्व), रूटिंग (हेड/लेयर दृश्यता), कैडेंस (संपीड़न समय), डिकोडिंग (जनरेशन व्यवहार), और स्कोरिंग (टोकन चयन)।

मुख्य योगदान

नकारात्मक परिणाम (डिज़ाइन-स्पेस स्टडी):
शोध पत्र व्यवस्थित रूप से सात संरचनात्मक और स्कोरिंग तंत्रों को खारिज करता है। स्टेट, रूटिंग, कैडेंस और डिकोडिंग परिवारों में परीक्षण किए गए सभी हस्तक्षेप, मैच-मेमोरी स्थितियों के तहत बेसलाइन से बेहतर प्रदर्शन करने में विफल रहे। अध्ययन छह आवर्ती विफलता मोड की पहचान करता है, जिनमें "आइसो-कैश अंडरपरफॉर्मेंस" (जहाँ विधियाँ विफल हो जाती हैं जब मीन कैश को प्रीफिल के अंत के बजाय मैच किया जाता है), "n-इवैपोरेशन" (जहाँ 50 से 200 तक सैंपल साइज बढ़ने पर प्रदर्शन लाभ कम हो जाता है), और "प्रॉक्सी-टू-रनटाइम ड्रिफ्ट" (जहाँ मेट्रिक्स वास्तविक कार्य सटीकता की भविष्यवाणी करने में विफल रहते हैं) शामिल हैं।
$\alpha$ तंत्र:
एकमात्र जीवित रहने वाला $\alpha$ है, जो TriAttention रिटेंशन स्कोरर में एक न्यूनतम संशोधन है। मानक argmax-top-k चयन के बजाय, $\alpha$ एक V-स्पेस रेडंडेंसी पेनल्टी के तहत एक ग्रीडी, फैसिलिटी-लोकेशन-प्रेरित सेलेक्टर का उपयोग करता है।

तंत्र: यह सभी लेयर्स और हेड्स में एवरेज और नॉर्मलाइज़ करके प्रत्येक टोकन के लिए एक "V-सिग्नेचर" की गणना करता है।
चयन: अगले टोकन को रिटेन करने के लिए चुनते समय, एल्गोरिदम बेस स्कोर को घटाकर अधिकतम करता है, जिसमें उम्मीदवार के V-सिग्नेचर और पहले से चयनित टोकन के सेट के बीच कोसाइन सिमिलरिटी के अनुपात में एक पेनल्टी लगाई जाती है।
नियंत्रण: एक एकल वेट $\lambda$ पेनल्टी स्ट्रेंथ को नियंत्रित करता है। $\lambda=0$ पर, यह तंत्र बिटवाइज रूप से मानक top-k बेसलाइन में बदल जाता है।

मूल्यांकन प्रोटोकॉल:
यह शोध पत्र KV-कैश अनुसंधान के लिए एक उच्च-मानक साक्ष्य मानक स्थापित करता है, जो मैच-मीन-कैश मूल्यांकन, sympy-आधारित ग्रेडिंग, बड़े सैंपल साइज ( $n \ge 200$ ), और शोर और ओवरफिटिंग के विरुद्ध मजबूती सुनिश्चित करने के लिए पूर्व-पंजीकृत देव/कन्फर्म स्प्लिट पर जोर देता है।

परिणाम

चरण 1 (डेवलपमेंट): डेवलपमेंट स्प्लिट पर, मॉडल्स और बजट के बीच औसत सटीकता वृद्धि के आधार पर $\lambda=0.5$ को इष्टतम हाइपरपैरामीटर के रूप में चुना गया था।
चरण 2 (कन्फर्मेशन): होल्ड-आउट स्प्लिट पर, $\alpha$ $α$ (के साथ $\lambda=0.5$ $λ = 0.5$ ) ने चार में से दो (मॉडल, बजट) सेल्स में बोनफेरोनी-करेक्टेड सिग्निफिकेंस थ्रेशोल्ड को पार किया:
- Qwen-7B $b=128$ पर: +4.79 pp सटीकता लाभ ( $p=0.0024$ )।
- Llama-8B $b=64$ पर: +2.23 pp सटीकता लाभ ( $p=0.0054$ )।
- अन्य दो सेल्स (Qwen-7B $b=64$ और Llama-8B $b=128$ ) ने सकारात्मक या शून्य पॉइंट एस्टीमेट दिखाए लेकिन महत्व (significance) तक नहीं पहुँचे। कोई भी सेल महत्वपूर्ण नकारात्मक प्रभाव नहीं दिखाया।
तुलना: SnapKV-शैली के विंडो-अटेंशन बेसलाइन के खिलाफ पोस्ट-कन्फर्मेशन हेड-टू-हेड परीक्षण ने दिखाया कि $\alpha$ ने अपना लाभ बनाए रखा, सभी सेल्स में सकारात्मक पॉइंट एस्टीमेट के साथ।

महत्व और दावे
शोध पत्र का प्राथमिक दावा एक डिज़ाइन स्पेस में विषमता (asymmetry) है: छोटे बजट और लंबी-फॉर्म रीजनिंग के शासन में, एक न्यूनतम स्कोरिंग-फंक्शन हस्तक्षेप ( $\alpha$ ) भारी संरचनात्मक पुनर्गठन की तुलना में बेहतर रहा।

न्यूनिमलिज्म (Minimalism): जीवित रहने वाला तंत्र मौजूदा स्कोरर के भीतर केवल टोकन चयन चरण को संशोधित करता है, जिससे K/V टेंसर, रूटिंग, बजट कैडेंस और डिकोडिंग व्यवहार अपरिवर्तित रहता है।
मेथोडोलॉजिकल रिगर (Methodological Rigor): लेखक तर्क देते हैं कि "विषमता" (संरचनात्मक परिवर्तनों के ऊपर न्यूनतम हस्तक्षेप की जीत) केवल उनके सख्त मूल्यांकन प्रोटोकॉल के कारण ही दृश्यमान थी। ढीले प्रोटोकॉल (जैसे, एंड-ऑफ-प्रीफिल मैचिंग, $n=50$ ) के तहत, सात खारिज किए गए तंत्र व्यवहार्य दिखाई दे सकते थे।
दायरा सीमाएँ (Scope Limitations): लेखक स्पष्ट रूप से कहते हैं कि ये परिणाम 7-8B पैरामीटर वाले डिस्टिल्ड मॉडल्स के लिए लंबी-फॉर्म गणितीय तर्क के विशिष्ट हैं। वे बिना पुनर्मूल्यांकन के अन्य वर्कलोड (जैसे, कोड जनरेशन, LongBench), बड़े मॉडल्स, या गैर-रीजनिंग मॉडल्स के लिए ट्रांसफ़ेरेबिलिटी का दावा नहीं करते हैं। योगदान को एक सार्वभौमिक समाधान के बजाय एक डिज़ाइन-स्पेस सबक और एक मजबूत मूल्यांकन मानक के रूप में फ्रेम किया गया है।