Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse
यह शोधपत्र एक क्लोज्ड-फॉर्म लीनियर मैपिंग तकनीक का प्रस्ताव करता है जो एक ही परिवार के भीतर विभिन्न आकारों के मॉडलों के बीच KV कैश के कुशल पुन: उपयोग को सक्षम बनाता है, जिससे प्राप्तकर्ता (receivers) स्टैंडअलोन सटीकता का 73-98% बनाए रखते हुए अनावश्यक प्रीफिलिंग को छोड़ सकते हैं और इन्फरेंस लेटेंसी को महत्वपूर्ण रूप से कम कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान पुस्तकालय चला रहे हैं जहाँ किताबें अलग-अलग अनुभव वाले लेखकों की एक टीम द्वारा लिखी जाती हैं। कभी-कभी, आपको एक त्वरित, सरल उत्तर चाहिए होता है, इसलिए आप एक कनिष्ठ सहायक (junior assistant) से पूछते हैं। अन्य समय में, आपको एक गहरे, जटिल विश्लेषण की आवश्यकता होती है, इसलिए आप एक वरिष्ठ विशेषज्ञ (senior expert) को बुलाते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "सहायक" और "विशेषज्ञ" विभिन्न आकारों के लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। बातचीत को सुचारू रूप से चलाने के लिए, सिस्टम को अक्सर चैट के बीच में विभिन्न मॉडल्स के बीच स्विच करना पड़ता है।
हालाँकि, इसमें एक पेंच है। हर बार जब आप कनिष्ठ सहायक से वरिष्ठ विशेषज्ञ पर स्विच करते हैं, तो विशेषज्ञ को संदर्भ समझने के लिए पूरी बातचीत के इतिहास को शुरू से पढ़ना पड़ता है। यह प्रक्रिया, जिसे "प्रीफिल" (prefill) कहा जाता है, विशेषज्ञ द्वारा एक 100 पन्नों के उपन्यास को फिर से पढ़ने जैसा है ताकि वह याद रख सके कि पहले अध्याय में क्या हुआ था। इस प्रक्रिया में बहुत समय, ऊर्जा और पैसा लगता है। वैज्ञानिक यह पता लगाने की कोशिश कर रहे हैं कि क्या वरिष्ठ विशेषज्ञ सीधे तौर पर जूनियर असिस्टेंट के नोट्स (जिसे "KV कैश" कहा जाता है) को "उधार" ले सकता है ताकि उसे दोबारा पढ़ने से बचा जा सके, लेकिन नोट्स अलग-अलग लिखावट में लिखे गए हैं, जिससे उन्हें सीधे पढ़ना कठिन हो जाता है।
यह शोध पत्र, जिसका शीर्षक "क्रॉस-मॉडल KV कैश ट्रांसफर" (Cross-Model KV Cache Transfer) है, ठीक इसी समस्या का समाधान करता है। शोधकर्ताओं ने पाया कि भले ही एक छोटे मॉडल और एक बड़े मॉडल के नोट्स अलग दिखते हों, वे वास्तव में एक छिपे हुए, सीधे, रैखिक संबंध (straight-line relationship) को साझा करते हैं। उन्होंने पाया कि आप एक सरल गणितीय ट्रिक—एक "क्लोज्ड-फॉर्म लीनियर मैपिंग" (closed-form linear mapping)—का उपयोग करके जूनियर असिस्टेंट के नोट्स को सीनियर एक्सपर्ट की भाषा में अनुवादित कर सकते हैं, जिसके लिए मॉडल्स को फिर से प्रशिक्षित करने या जटिल न्यूरल नेटवर्क का उपयोग करने की आवश्यकता नहीं होती है।
इसे इस तरह सोचें: जूनियर असिस्टेंट एक विशिष्ट प्रकार के क्रेयॉन (रंगों) का उपयोग करके एक कहानी लिखता है। सीनियर एक्सपर्ट को वही कहानी अलग प्रकार के क्रेयनों में चाहिए। विशेषज्ञ को कहानी फिर से पढ़ने और उसे शून्य से फिर से लिखने के लिए कहने के बजाय, शोधकर्ताओं ने एक "क्रेयॉन ट्रांसलेटर" बनाया है। यह ट्रांसलेटर एक सरल सूत्र है जो कहता है, "यदि जूनियर ने यहाँ लाल क्रेयॉन का उपयोग किया है, तो सीनियर को वहाँ नीले क्रेयॉन का उपयोग करना चाहिए।" आश्चर्यजनक रूप से, यह सरल अनुवाद अविश्वसनीय रूप से अच्छा काम करता है। कुछ मॉडल जोड़ों पर, सीनियर एक्सपर्ट को 98% सटीकता मिली जो उसे तब मिलती यदि उसने कहानी स्वयं पढ़ी होती, लेकिन वह इसे 2.7 से 25 गुना तेज़ी से करता है।
टीम ने तीन प्रसिद्ध परिवारों (Qwen3, Llama 3.1, और Ministral) के छह अलग-अलग मॉडल जोड़ों पर इसका परीक्षण किया। उन्होंने पाया कि चार जोड़ों के लिए, यह सरल "क्रेयॉन ट्रांसलेटर" लगभग पूरी तरह से काम करता है। उन दो जोड़ों के लिए जहाँ सरल ट्रांसलेटर संघर्ष कर रहा था, उन्होंने दिखाया कि एक थोड़ा अधिक जटिल उपकरण (एक नॉन-लीनियर MLP) त्रुटियों को ठीक कर सकता है, जिससे प्रदर्शन में 37 प्रतिशत अंक तक की वृद्धि हुई। शोध पत्र सुझाव देता है कि सफलता की कुंजी केवल यह नहीं है कि नोट्स कितनी अच्छी तरह मेल खाते हैं, बल्कि यह है कि अनुवाद की त्रुटियाँ कहाँ होती हैं। यदि त्रुटियाँ कहानी के उन हिस्सों में होती है जिन पर विशेषज्ञ ध्यान नहीं देता है, तो इससे कोई फर्क नहीं पड़ता। लेकिन यदि वे महत्वपूर्ण हिस्सों में आती हैं, तो अनुवाद विफल हो जाता है।
संक्षेप में, लेखक सुझाव देते हैं कि हमें मॉडल्स के बीच महंगे, जटिल पुल बनाने की आवश्यकता नहीं है। इसके बजाय, एक सरल, तेज़ और बिना प्रशिक्षण वाला गणितीय मानचित्र अलग-अलग आकार के AI मॉडल्स को अपनी "याददाश्त" तुरंत साझा करने दे सकता है। यह AI बातचीत को बहुत तेज़ और सस्ता बना सकता है, जिससे सिस्टम को शुरू से शुरू होने के विलंब (lag) के बिना त्वरित और स्मार्ट मोड के बीच स्विच करने की अनुमति मिलती है। परिणाम मापे गए और सुदृढ़ हैं, जो दर्शाते हैं कि यह "नोट्स उधार लेने" की रणनीति AI के भविष्य को गति देने का एक व्यावहारिक तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।