🤖 AI

InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories

यह शोध पत्र InduceKV को प्रस्तुत करता है, जो मल्टीमॉडल LLMs के फिक्स्ड-फुटप्रिंट निरंतर अनुकूलन (continual adaptation) के लिए एक रिट्रीवल-आधारित विधि है, जो बैकबोन मॉडल को संशोधित किए बिना एक सख्त, सीमित मेमोरी बजट बनाए रखते हुए बेहतर प्रदर्शन प्राप्त करने के लिए कॉम्पैक्ट, अटेंशन-रेडी KV मेमोरीज को स्टोर करता है।

मूल लेखक: Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ InduceKV पेपर का सरल, रोज़मर्रा की भाषा में स्पष्टीकरण दिया गया है, जिसमें अवधारणाओं को स्पष्ट करने के लिए उपमाओं (analogies) का उपयोग किया गया है।

बड़ी समस्या: वह "हमेशा पढ़ने वाला छात्र" जो अपना बस्ता नहीं उठा सकता

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, सर्वज्ञ छात्र (एक Multimodal Large Language Model या MLLM) है जो तस्वीरें देख सकता है और सवालों के जवाब दे सकता है। इस छात्र को पहले से ही भारी मात्रा में डेटा पर प्रशिक्षित किया जा चुका है।

अब, कल्पना कीजिए कि इस छात्र को समय के साथ नए कौशल सीखने की आवश्यकता है: पहले चिकित्सा चार्ट (medical charts) को समझना; फिर गणित की पहेलियाँ हल करना; फिर कानूनी दस्तावेजों को समझना।

दुविधा:

"पुनर्लेखन" (Rewrite) की समस्या: यदि आप उनके मस्तिष्क को बदलकर (मॉडल के पैरामीटर्स को अपडेट करके) उन्हें सिखाने की कोशिश करते हैं, तो आप अनजाने में उन्हें उन चीजों को भूलने के लिए मजबूर कर सकते हैं जो वे पहले से जानते थे। यह अपनी मातृभाषा को मिटाकर एक नई भाषा सीखने जैसा है।
"बस्ते" (Backpack) की समस्या: यदि आप उन्हें हर उस उदाहरण को "याद रखने" के लिए कहते हैं जो उन्होंने कभी देखा है, जैसे कि फ्लैशकार्डों का एक विशाल बस्ता लेकर चलना (replay memory), तो वह बस्ता अंततः बहुत भारी हो जाएगा। आपके पास जगह खत्म हो जाएगी।

लक्ष्य:
पेपर पूछता है: क्या हम इस छात्र को उनका मस्तिष्क बदले बिना और एक बड़ा, बढ़ता हुआ बस्ता उठाए बिना नई चीजें सिखा सकते हैं?

समाधान: InduceKV (एक "स्मार्ट इंडेक्स कार्ड" प्रणाली)

लेखक InduceKV का प्रस्ताव करते हैं। छात्र के मस्तिष्क को बदलने या भारी बस्ता उठाने के बजाय, वे छात्र को एक कॉम्पैक्ट, निश्चित आकार का इंडेक्स कार्ड सिस्टम देते हैं जो उनके मस्तिष्क के बाहर स्थित होता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. जमा हुआ मस्तिष्क (The Frozen Brain - लाइब्रेरी)

छात्र का मस्तिष्क (मॉडल) जमा हुआ (frozen) है। हम इसे कभी नहीं छूते। यह बिल्कुल वैसा ही रहता है जैसा वह था। यह सुनिश्चित करता है कि वे अपने मूल कौशल न भूलें।

2. "इंडेक्स कार्ड्स" (KV Memories)

जब छात्र एक नया कार्य सीखता है (जैसे "मेडिकल डायग्नोसिस"), तो पूरे पाठ्यपुस्तक को याद करने के बजाय, सिस्टम उस पाठ के सबसे महत्वपूर्ण "सार" (essence) को निकाल लेता है।

उपमा: इसे एक किताब के सबसे महत्वपूर्ण पन्ने की फोटो लेने और उसे एक छोटे, संकुचित (compressed) इंडेक्स कार्ड में बदलने के रूप में सोचें।
तकनीक: इन कार्डों में "की-वैल्यू" (Key-Value) डेटा होता है। सरल शब्दों में, एक Key एक लेबल है (जैसे "मेडिकल चार्ट"), और Value वह वास्तविक जानकारी है जो उस चार्ट के बारे में सवाल का जवाब देने के लिए आवश्यक है।

3. एक निश्चित बजट (The Fixed Budget - वॉलेट)

आपको केवल एक निश्चित संख्या में इंडेक्स कार्ड (जैसे 256 कार्ड) ले जाने की अनुमति है। आप और अधिक नहीं जोड़ सकते।

चुनौती: यदि आप एक नया कार्य सीखते हैं, तो आप बस एक नया कार्ड नहीं जोड़ सकते। आपको तय करना होगा: मुझे इस नए कार्ड के लिए जगह बनाने के लिए कौन सा पुराना कार्ड फेंक देना चाहिए?

4. "स्मार्ट सेलेक्टर" (Bilevel Optimization)

यही जादुई हिस्सा है। सिस्टम सबसे अच्छे कार्डों को चुनने के लिए एक स्मार्ट एल्गोरिदम का उपयोग करता है। यह बदलाव करने से पहले तीन सवाल पूछता है:

वर्तमान फिट (Current Fit): "क्या यह नया कार्ड अभी मेरे वर्तमान प्रश्न का उत्तर देने में मेरी मदद करता है?"
प्रतिधारण (Retention): "यदि मैं इस पुराने कार्ड को फेंक देता हूँ, तो क्या मैं पुराने कार्यों को करने की क्षमता खो दूँगा?" (यह अतीत के कुछ "एंकर" कार्डों को रखता है ताकि जांच की जा सके)।
विविधता (Diversity): "क्या यह नया कार्ड किसी पुराने कार्ड की नकल है? यदि ऐसा है, तो इसे न चुनें। हमें विभिन्न प्रकार के कार्डों की आवश्यकता है, डुप्लिकेट की नहीं।"

5. "मैजिक इंजेक्शन" (Retrieval)

जब छात्र को एक नया प्रश्न मिलता है (जैसे "इस X-ray में क्या गलत है?"):

सिस्टम प्रश्न को देखता है और इंडेक्स कार्ड्स पर मिलान होने वाली Key को ढूंढता है।
यह उन कार्डों से Value (उत्तर का डेटा) निकालता है।
यह इस डेटा को सीधे छात्र के अटेंशन मैकेनिज्म (attention mechanism) में इंजेक्ट करता है।

उपमा: यह ऐसा है जैसे छात्र एक किताब पढ़ रहा है, और अचानक, एक मददगार भूत उसके कान में वही सटीक पन्ना फुसफुसा देता है जिसकी उसे आवश्यकता है, बिना छात्र को पूरी लाइब्रेरी पलटने की आवश्यकता के।

यह पुराने तरीकों से बेहतर क्यों है?

पेपर InduceKV की तुलना दो अन्य सामान्य विधियों से करता है:

विधि A (PEFT/LoRA): यह छात्र को उनके मस्तिष्क में एक छोटा "नोटबुक" जोड़कर सिखाने जैसा है। समय के साथ, आपको अधिक नोटबुक्स की आवश्यकता होती है, और वे एक-दूसरे के साथ हस्तक्षेप करने लगती हैं।
- InduceKV जीतता है: यह मस्तिष्क को साफ रखता है और केवल एक निश्चित आकार की बाहरी मेमोरी का उपयोग करता है।
विधि B (Replay): यह छात्र को हर बार कुछ नया सीखने पर पुराने फ्लैशकार्ड्स को फिर से पढ़ने के लिए मजबूर करने जैसा है। यह धीमा है और इसमें पूरा फ्लैशकार्ड (पूरी छवि और पाठ) स्टोर करना आवश्यक है।
- InduceKV जीतता है: यह केवल संकुचित "सार" (KV डेटा) को स्टोर करता है, जो बहुत कम जगह लेता है और उपयोग करने में तेज़ है।

परिणाम (जो पेपर ने वास्तव में पाया)

लेखकों ने कई कठिन कार्यों पर इसका परीक्षण किया:

नए प्रकार के प्रश्न सीखना (जैसे "यह क्या है?" से "वहाँ कितने हैं?" पर जाना)।
नए डोमेन सीखना (जैसे सामान्य तस्वीरों से मेडिकल चार्ट या गणित की समस्याओं तक पहुँचना)।
हमेशा सीखना (डेटासेट्स का एक प्रवाह जो एक के बाद एक आ रहे हैं)।

निष्कर्ष:

बेहतर मेमोरी: InduceKV ने नए चीजें सीखते समय अन्य तरीकों की तुलना में पुराने कौशल को बहुत बेहतर तरीके से याद रखा।
कम भूलना: 10 नए कार्य सीखने के बाद भी छात्र ने अपने पहले के कार्यों को नहीं भुलाया।
दक्षता (Efficiency): भले ही सिस्टम को इंडेक्स कार्ड्स को "ढूंढना" पड़ता है, लेकिन यह पुराने फ्लैशकार्ड्स के ढेर को पढ़ने की तुलना में तेज़ है और कम कंप्यूटर शक्ति का उपयोग करता है (replay की तुलना में)।
यह हर जगह काम करता है: यह विभिन्न प्रकार के AI मॉडल्स (LLaVA, Qwen, DeepSeek) पर अच्छी तरह से काम किया, जो साबित करता है कि यह एक सामान्य समाधान है, न कि केवल एक विशिष्ट मॉडल के लिए कोई ट्रिक।

सारांश

InduceKV एक तरीका है जिससे AI को उसके पुराने ज्ञान को नुकसान पहुँचाए बिना नई चीजें सिखाई जा सकती हैं। यह AI के मस्तिष्क को स्थिर रखकर और उसे स्मार्टली चुने गए "चीट शीट्स" (KV memories) का एक निश्चित आकार का सेट देकर करता है जिसे वह आवश्यकतानुसार तुरंत निकाल सकता है। यह एक अत्यंत बुद्धिमान लाइब्रेरियन होने जैसा है जो कभी कोई किताब नहीं भूलता, लेकिन पूरी लाइब्रेरी ले जाने के बजाय, वे केवल सबसे महत्वपूर्ण पन्नों की एक बेहतरीन तरह से चुनी गई सूची साथ रखते हैं।

तकनीकी सारांश: InduceKV

समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) को विकसित होते कार्यों और डोमेन के साथ निरंतर अनुकूलन (continual adaptation) करने में, सख्त परिनियोजन बाधाओं (deployment constraints) के तहत महत्वपूर्ण चुनौतियों का सामना करना पड़ता है। मौजूदा दृष्टिकोण आमतौर पर दो श्रेणियों में आते हैं, जो दोनों ही "फिक्स्ड-फुटप्रिंट" (fixed-footprint) की आवश्यकता के साथ संघर्ष करते हैं:

पैरामीटर अपडेट (Parameter Updates): पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT), मिक्सचर ऑफ एक्सपर्ट्स (MoE), या आर्किटेक्चर विस्तार का उपयोग करने वाले तरीके स्थिरता और प्लास्टिसिटी (plasticity) से समझौता करते हैं, लेकिन स्वाभाविक रूप से समय के साथ मॉडल पैरामीटर्स को फिर से लिखते हैं। यह बजट नियंत्रण को जटिल बनाता है (जैसे कि एक्सपर्ट/रूटर स्टेट्स का बढ़ना) और नए-कार्य अनुकूलन को प्री-ट्रेंड क्रॉस-मोडल इंटरफेस के साथ उलझने का जोखिम पैदा करता है, जिससे सामान्यीकरण (generalization) को नुकसान पहुँच सकता है।
रिप्ले-आधारित तंत्र (Replay-Based Mechanisms): डायनेमिक डेटा चयन, सिंथेटिक रिप्ले, या डिस्टिलेशन का उपयोग करने वाले दृष्टिकोण फॉरगेटिंग (forgetting) को कम करते हैं, लेकिन निरंतर सुधार को ट्रेनिंग-टाइम डेटा प्रबंधन के साथ जोड़ देते हैं। वे अक्सर विविध ऐतिहासिक व्यवहारों को बनाए रखने और एक निश्चित, छोटे मेमोरी फुटप्रिंट के भीतर फिट होने के बीच तनाव का सामना करते हैं, विशेष रूप से जब कैंडिडेट पूल रेडंडेंट (redundant) होता जाता है।

इस कार्य द्वारा संबोधित केंद्रीय चुनौती यह है कि कैसे एक MLLM को नए कार्यों के प्रति निरंतर अनुकूलित किया जाए जबकि पूर्व क्षमताओं को सुरक्षित रखा जाए, बैकबोन मॉडल को फ्रीज (frozen) रखा जाए, और एक सख्ती से सीमित बाहरी अनुकूलन अवस्था (fixed footprint) बनाए रखी जाए।

कार्यप्रणाली (Methodology): InduceKV

लेखक InduceKV का प्रस्ताव करते हैं, जो एक रिट्रीवल-आधारित (retrieval-based) विधि है जो बैकबोन पैरामीटर्स को अपडेट किए बिना टास्क-विशिष्ट वृद्धियों (increments) को अटेंशन-कम्पैटिबल की-वैल्यू (Key-Value) मेमोरी में एक्सटर्नलाइज़ करती है।

मुख्य तंत्र (Core Mechanism)

फ्रोज़न की और KV एक्सट्रैक्शन (Frozen Key and KV Extraction):
- एक दिए गए इनपुट प्रीफिक्स $x$ के लिए, फ्रीज़्ड MLLM फाइनल-लेयर हिडन स्टेट्स के मीन-पूलिंग द्वारा एक यूनिट-नॉर्म रिट्रीवल की $r(x)$ निकालता है।
- साथ ही, यह प्रत्येक ट्रांसफार्मर लेयर के लिए कॉम्पैक्ट, लेयरवाइज की-वैल्यू (KV) पेलोड्स $\{(\bar{K}_\ell(x), \bar{V}_\ell(x))\}_{\ell=1}^L$ निकालता है। इन पेलोड्स को एक निश्चित टोकन लंबाई $m$ तक सेगमेंट-मीन पूलिंग के माध्यम से संकुचित किया जाता है, जो एक टास्क-इंडिपेंडेंट मेमोरी साइज सुनिश्चित करता है।
- ये घटक एक मेमोरी एंट्री $e(x)$ बनाते हैं जिसे एक बाहरी मेमोरी में स्टोर किया जाता है।
रिट्रीवल-वेटेड KV इंडक्शन (Retrieval-Weighted KV Induction):
- इन्फरेंस के समय, एक क्वेरी की $r(x)$ कोस साइन सिमिलरिटी (cosine similarity) के आधार पर प्रासंगिक मेमोरी एंट्रीज को रिट्रीव करती है।
- एक लाइटवेट कैलिब्रेशन पैरामीटर $\phi$ (जिसमें एक रिट्रीवल टेम्परेचर $\tau$ और प्रति-लेयर वैल्यू गेट्स $\lambda_\ell$ शामिल हैं) रिट्रीवल स्ट्रेंथ और मेमोरी वैल्यूज के इंजेक्शन को नियंत्रित करता है।
- रिट्रीव किए गए KV पेलोड्स को कॉन्कैटिनेट किया जाता है और मॉडल के मास्कड सेल्फ-अटेंशन में अतिरिक्त कैश टोकन के रूप में इंजेक्ट किया जाता है। अटेंशन मैकेनिज्म को मानक प्रीफिक्स टोकन और इंजेक्टेड मेमोरी टोकन दोनों पर ध्यान देने के लिए संशोधित किया गया है, जिससे मॉडल $\theta$ को बदले बिना बाहरी साक्ष्य का लाभ उठा पाता है।
बाइलेवल इंड्यूसिंग-सेट सिलेक्शन (Bilevel Inducing-Set Selection):
- एक सख्त मेमोरी बजट $B$ $B$ के तहत काम करने के लिए, सिस्टम सभी एक्सट्रैक्टेड एंट्रीज को स्टोर नहीं कर सकता। यह एक बाइलेवल ऑप्टिमाइजेशन प्रक्रिया का उपयोग करता है:
  - इनर लेवल (Inner Level): वर्तमान टास्क डेटा पर एक मिनिमल रिट्रीवल कैलिब्रेशन $\phi$ को फिट करता है ताकि नेगेटिव लॉग-लाइक्लाइहुड (NLL) को कम किया जा सके।
  - आउटर लेवल (Outer Level): मेमोरी एंट्रीज के एक सबसेट (वेट्स $w$ $w$ ) का चयन करता है जो संयुक्त रूप से ऑप्टिमाइज़ करता है:
    - करंट फिट (Current Fit): वर्तमान कार्य पर लाइक्लाइहुड।
    - रिटेंशन (Retention): पिछले कार्यों के एक छोटे सेट ("एंकर") पर प्रदर्शन।
    - कवरेज (Coverage): एक स्पेक्ट्रल कवरेज रेगुलराइज़र (प्रोजेक्टेड रिट्रीवल स्पेस में कोवेरिएंस मैट्रिक्स का लॉग-डिटरमिनेंट) जो रेडंडेंसी को रोकता है और चयनित मेमोरी में विविधता सुनिश्चित करता है।
- अंतिम मेमोरी $M_t$ आउटर ऑप्टिमाइजेशन द्वारा चयनित टॉप- $B$ एंट्रीज है।

मुख्य योगदान (Key Contributions)

निरंतर अनुकूलन का पुनर्गठन (Reframing Continual Adaptation): यह पेपर रिट्रीवल-आधारित मेमोरी के लिए निरंतर MLLM अनुकूलन को एक बजेटेड ऑनलाइन इंड्यूसिंग-सेट सिलेक्शन समस्या के रूप में पुनर्गठित करता है। यह स्थिरता-प्लास्टिसिटी तनाव को बढ़ते हुए पैरामीटर अपडेट प्रोसेस से हटाकर एक मेमोरी एलोकेशन समस्या में बदल देता है।
रिट्रीवल-ड्रिवन अडैप्टेशन मैकेनिज्म (Retrieval-Driven Adaptation Mechanism): लेखक एक ऐसा तंत्र पेश करते हैं जो टास्क वृद्धियों को अटेंशन-कम्पैटिबल बाहरी KV मेमोरी के रूप में स्टोर करता है। महत्वपूर्ण रूप से, यह रिट्रीवल स्ट्रेंथ को नियंत्रित करने के लिए एक लाइटवेट कैलिब्रेशन इंटरफेस का उपयोग करता है और प्रीफिल और KV-इंजेक्शन ओवरहेड को स्पष्ट रूप से ध्यान में रखता है, जिससे बार-बार बैकबोन अपडेट किए बिना टास्क-विशिष्ट साक्ष्य इंजेक्ट किए जाते हैं।
अनुभवजन्य और सैद्धांतिक सत्यापन (Empirical and Theoretical Validation): यह दृष्टिकोण विविध सेटिंग्स (टास्क-इन्क्रीमेंटल इंस्ट्रक्शन ट्यूनिंग, कॉन्टिनुअल VQA, डोमेन-इन्क्रीमेंटल अडैप्टेशन, और लाइफलॉन्ग ट्यूनिंग) में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है। सैद्धांतिक रूप से, पेपर रेजिग्रेट बाउंड्स (regret bounds) प्रदान करता है जो दिखाता है कि रिलैक्स्ड मेमोरी सेलेक्टर समान बजट के तहत सर्वश्रेष्ठ फिक्ड इंड्यूसिंग-सेट एलोकेशन के साथ प्रतिस्पर्धा करता है, जिसमें सबलीनियर रेजिग्रेट (sublinear regret) है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने मैच किए गए मेमोरी बजट और कंप्यूट कंस्ट्रेंट्स के तहत मजबूत बेसलाइन्स (PEFT, MoE, रिप्ले, और प्रॉम्प्ट-रिट्रीवल मेथड्स सहित) के विरुद्ध InduceKV का मूल्यांकन किया।

टास्क-इन्क्रीमेंटल इंस्ट्रक्शन ट्यूनिंग (UCIT & CoIN): InduceKV ने HiDe-LLaVA, O-LoRA, और MoELoRA जैसे बेसलाइन्स को लगातार पछाड़ दिया। उदाहरण के लिए, LLaVA-v1.5-7B बैकबोन के साथ UCIT बेंचमार्क पर, InduceKV ने HiDe-LLaVA की तुलना में औसत स्कोर में 0.88 और अंतिम-टास्क स्कोर में 1.12 का सुधार किया।
कॉन्टिनुअल VQA: LV और T5 दोनों प्रोटोकॉल के तहत, InduceKV ने CL-MoE और QUAD की तुलना में उच्च एवरेज प्रिसिजन (AP) और कम फॉरगेटिंग (AF) प्राप्त किया।
डोमेन-इन्क्रीमेंटल और लाइफलॉन्ग ट्यूनिंग: विधि ने डोमेन शिफ्ट (मेडिसिन, चार्ट, मैथ) और डायनेमिक डेटासेट अराइवलल सिनेरियो (LiIT) में मजबूती प्रदर्शित की, जो Adapt- $\infty$ और अन्य डायनेमिक सिलेक्शन बेसलाइन्स से बेहतर रही।
एब्लेशन स्टडीज (Ablation Studies): रिट्रीवल-वेटेड इंडक्शन, बाइलेवल कपलिंग, या स्पेक्ट्रल कवरेज जैसे घटकों को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो सिलेक्शन वेट्स और रिट्रीवल कैलिब्रेशन के संयुक्त अनुकूलन की आवश्यकता की पुष्टि करता है।
दक्षता (Efficiency): हालांकि InduceKV में रिट्रीवल की गणना के कारण प्रीफिल ओवरहेड होता है, लेकिन यह प्रॉम्प्ट-आधारित रिप्ले मेथड्स (जिन्हें रिट्रीव किए गए एक्सेम्पलर्स को फुल नेटवर्क के माध्यम से प्रोसेस करना पड़ता है) की तुलना में उच्च थ्रूपुट प्राप्त करता है और PEFT मेथड्स के तुलनीय थ्रूपुट बनाए रखते हुए बेहतर रिटेंशन प्रदान करता है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि InduceKV निरंतर MLLM अनुकूलन के लिए पैरामीटर-अपडेटिंग पाइपलाइनों के लिए एक सिद्धांतवादी विकल्प प्रदान करता है। बैकबोन को फ्रीज करके और वृद्धियों को एक कॉम्पैक्ट, बजटेड KV मेमोरी में एक्सटर्नलाइज़ करके, यह विधि:

अनुकूलन को बैकबोन से अलग करती है (Decouples Adaptation from Backbones): यह बढ़ते पैरामीटर स्टेट्स (जैसे एक्सपर्ट राउटर) को प्रबंधित करने की जटिलता से बचती है और नए कार्यों को प्री-ट्रेंड इंटरफेस के साथ उलझने से रोकती है।
फिक्स्ड फुटप्रिंट सुनिश्चित करती है (Ensures Fixed Footprint): अनुकूलन अवस्था सख्ती से बंधी हुई है, जो इसे सीमित स्टोरेज और गोपनीयता बाधाओं वाले परिनियोजन परिदृश्यों के लिए उपयुक्त बनाती है।
नेटिव अटेंशन का लाभ उठाती है (Leverages Native Attention): प्रॉम्प्ट-रिट्रीवल मेथड्स के विपरीत जो रिट्रीव किए गए डेटा को टेक्स्ट के रूप में मानते हैं, InduceKV साक्ष्य को सीधे अटेंशन कैश में इंजेक्ट करता है, जिससे मॉडल रिट्रीव किए गए ज्ञान का अधिक कुशलता से और नियंत्रित तरीके से उपयोग कर पाता है।

लेखक इस बात पर जोर देते हैं कि लाभ एक मजबूत बैकबोन, केवल रिप्ले, या एक अनबाउंडेड कैंडिडेट पूल के कारण नहीं हैं, बल्कि बजटेड इंड्यूसिंग-सेट सिलेक्शन और अटेंशन-अलाइन्ड इंजेक्शन के विशिष्ट डिजाइन के कारण हैं। यह कार्य सुझाव देता है कि स्केलेबल निरंतर अनुकूलन एक स्टैटिक डेटा स्टोरेज कार्य के बजाय एक ऑनलाइन ऑप्टिमाइजेशन समस्या के रूप में मेमोरी सिलेक्शन को मानकर संभव है।