InferScale: GPU-Native KV Injection for Personalized LLM Serving
InferScale एक GPU-नेटिव मेमोरी सिस्टम है जो पुन: प्रयोज्य (reusable) KV स्टेट्स को सीधे vLLM कैश में प्रीकंप्यूट और इंजेक्ट करके व्यक्तिगत LLM सर्विंग को तेज़ करता है, जिससे रिट्रीव किए गए कॉन्टेक्स्ट के आकार से 'टाइम-टू-फर्स्ट-टोकन' लेटेंसी को अलग किया जा सकता है और उच्च सटीकता बनाए रखी जा सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को अपनी पूरी जीवन कहानी सिखाने की कोशिश कर रहे हैं ताकि वह आपके बारे में सवालों के जवाब दे सके। हर बार जब आप रोबोट से कोई सवाल पूछते हैं, तो आपको सोचने से पहले अपने पूरे जीवन परिचय (बायोग्राफी) को उसके दिमाग में पेस्ट करना पड़ता है। यदि आपका जीवन परिचय छोटा है, तो रोबोट तेज़ी से सोचता है। लेकिन यदि आपका जीवन परिचय लंबा है—वर्षों की यादों, अंदरूनी चुटकुलों और पिछले रोमांचों से भरा हुआ—तो रोबोट को एक साधारण "मेरा पसंदीदा रंग क्या है?" का जवाब देने के लिए भी उस पूरे जीवन परिचय के हर एक शब्द को फिर से पढ़ना और प्रोसेस करना पड़ता है। यह दोबारा पढ़ने की प्रक्रिया धीमी और महंगी है, जैसे एक लाइब्रेरियन जिसे आपको सिर्फ एक किताब देने से पहले पूरी लाइब्रेरी को फिर से शेल्फ पर सजाना पड़े। यह "पर्सनलाइज्ड" AI की वर्तमान स्थिति है: जितनी अधिक यादें आप इसे देंगे, यह आपसे बात करने में उतना ही धीमा होता जाएगा।
आप जो पेपर पढ़ने जा रहे हैं, वह कंप्यूटर साइंस की एक चतुर तकनीक जिसका नाम "की-वैल्यू कैशिंग" (Key-Value caching) है, का उपयोग करके इस समस्या का समाधान करता है। इस 'की-वैल्यू कैशिंग' को ऐसे समझें: कल्पना करें कि रोबोट का दिमाग एक विशाल व्हाइटबोर्ड है जहाँ वह अब तक पढ़ी गई सबसे महत्वपूर्ण बातों को लिख देता है, ताकि उसे मूल टेक्स्ट को दोबारा न पढ़ना पड़े। आमतौर पर, यदि आप शेल्फ पर किताबों का क्रम बदलते हैं, तो रोबोट को अपना पूरा व्हाइटबोर्ड फिर से लिखना पड़ता है। लेकिन क्या होगा अगर रोबोट दराज से पहले से लिखे हुए नोट्स निकाल सके और उन्हें तुरंत अपने व्हाइटबोर्ड पर चिपका सके, चाहे आप उन्हें कहीं भी रखना चाहें? यही इस शोध का मूल विचार है: रोबोट को आपकी यादों को दोबारा पढ़ने के लिए मजबूर करने के बजाय, हम प्रत्येक स्मृति (मेमोरी) के लिए "नोट्स" को पहले से ही कैलकुलेट करते हैं और उन्हें रोबोट के सुपर-फास्ट इंटरनल हार्ड ड्राइव पर स्टोर कर देते हैं। फिर, जब आप कोई सवाल पूछते हैं, तो हम उन नोट्स को सीधे रोबोट के दिमाग में डाल देते हैं।
समस्या: "री-रीडिंग" (दोबारा पढ़ने) का जाल
आज, जब आप लंबे संवादों वाले इतिहास के साथ एक AI असिस्टेंट का उपयोग करते हैं, तो सिस्टम को सबसे प्रासंगिक यादों को खोजना और उन्हें आपके नए प्रश्न में पेस्ट करना पड़ता है। इसे "प्रॉम्प्ट इंजेक्शन" (prompt injection) कहा जाता है। कल्पना कीजिए कि आप किसी दोस्त से सलाह मांग रहे हैं, लेकिन हर बार जब आप बोलते हैं, तो आपको अपना वास्तविक सवाल कहने से पहले अपनी डायरी के पिछले 50 पन्ने जोर से पढ़कर सुनाने पड़ते हैं। आप जितने अधिक पन्ने पढ़ेंगे, सलाह तक पहुँचने में उतना ही अधिक समय लगेगा। भले ही आप एक ही सवाल दस बार पूछें, दोस्त को वे 50 पन्ने दस बार पढ़ने पड़ेंगे। यह AI को सुस्त महसूस कराता है, खासकर जब आपकी व्यक्तिगत स्मृति बढ़ती जाती है।
समाधान: InferScale
शोधकर्ताओं, पीटर ली और प्रशांत पांडे ने InferScale नामक एक नया सिस्टम बनाया है। AI को यादों को दोबारा पढ़ने के देने के बजाय, InferScale सारा भारी काम आपके बात शुरू करने से पहले ही कर देता है। यह स्मृति के हर तथ्य (जैसे "मुझे पिज्जा पसंद है" या "मेरे कुत्ते का नाम रेक्स है") को लेता है और उसके "ब्रेन नोट्स" (जिन्हें KV states कहा जाता है) को पहले से ही कैलकुलेट कर लेता है। ये नोट्स सीधे ग्राफिक्स कार्ड (GPU) पर स्टोर किए जाते हैं, जो कंप्यूटर का सुपर-फास्ट दिमाग होता है।
जब आप कोई सवाल पूछते हैं, तो सिस्टम आपकी यादों का टेक्स्ट AI को नहीं भेजता है। इसके बजाय, यह GPU से सही "ब्रेन नोट्स" ढूंढता है और उन्हें सीधे AI की वर्किंग मेमोरी में इंजेक्ट कर देता है। यह एक ऐसी लाइब्रेरी की तरह है जहाँ, आपको किताबें थमाने के बजाय, लाइब्रेरियन तुरंत आपके डेस्क पर आवश्यक पैराग्राफ चिपका देता है। AI को कभी भी मूल टेक्स्ट को दोबारा नहीं पढ़ना पड़ता; वह बस नोट्स का उपयोग करता है।
जादुई ट्रिक्स
इसे काम करने के योग्य बनाने के लिए, टीम को दो पेचीदा पहेलियों को हल करना पड़ा:
"मूविंग टारगेट" की समस्या (Chunked RoPE):
आमतौर पर, ये "ब्रेन नोट्स" टेक्स्ट के एक विशिष्ट स्थान से बंधे होते हैं। यदि आप किसी कहानी की शुरुआत में मौजूद स्मृति को बीच में ले जाते हैं, तो नोट्स गलत हो जाते हैं। शोधकर्ताओं ने Chunked RoPE नामक एक तकनीक का आविष्कार किया। कल्पना करें कि नोट्स एक विशेष प्रकार के कागज पर लिखे गए हैं जिसे घुमाया (rotate) जा सकता है। आप उस कागज को डेस्क पर कहीं भी रखें, आप इसे नए स्थान के अनुसार पूरी तरह से घुमा सकते हैं। यह सिस्टम को एक स्मृति को एक स्थान पर स्टोर करने और बिना गणित को बिगाड़े उसे आपकी बातचीत में कहीं भी डालने की अनुमति देता है।"कॉन्टेक्स्ट" (संदर्भ) की समस्या (Context-Window Encoding):
यदि आप केवल एक वाक्य लेते जैसे "वह दुकान पर गया," तो AI को पता नहीं चल सकता कि "वह" कौन है। यदि आप स्मृति को अलग-थも स्टोर करते हैं, तो आप संदर्भ खो देते हैं। इसे ठीक करने के लिए, सिस्टम स्मृति को उसके पहले आने वाले वाक्यों के एक छोटे से विंडो (जैसे "जॉन दुकान पर गया") के साथ स्टोर करता है। हालाँकि, यह केवल विशिष्ट स्मृति वाले हिस्से के लिए "ब्रेन नोट्स" सुरक्षित करता है, पूरे विंडो के लिए नहीं। इस तरह, AI संदर्भ को समझ जाता है ("वह" जॉन है) बिना हर बार पूरा पैराग्राफ दोबारा पढ़े।
उन्होंने क्या पाया
इसके परिणाम प्रभावशाली हैं। शोधकर्ताओं ने तीन अलग-अलग AI मॉडल (Llama-3.1-8B, Mistral-7B, और Qwen2.5-7B) पर लंबे संवादों के एक डेटासेट का उपयोग करके इसका परीक्षण किया।
- गति (Speed): पुराने तरीके (Mem0) में, जैसे-जैसे उन्होंने निकाली गई यादों की संख्या 5 से बढ़ाकर 50 की, AI के बोलने शुरू करने के समय (Time-to-First-Token) में 106% की वृद्धि हुई (33.2 ms से 68.3 ms)। InferScale के साथ, उसी वृद्धि के कारण केवल 4% की गिरावट आई (16.6 ms से 17.3 ms)।
- थ्रूपुट (Throughput): जब 100 लोग एक ही समय में सिस्टम का उपयोग कर रहे थे, तब InferScale ने पुराने सिस्टम की तुलना में प्रति सेकंड 3.7 से 4.5 गुना अधिक सवालों को संभाला।
- सटीकता (Accuracy): क्योंकि सिस्टम कभी-कभी यादों को अलग से स्टोर करता है, इसलिए एक जोखिम था कि AI भ्रमित हो सकता है। हालाँकि, "Context-Window" ट्रिक का उपयोग करके, उन्होंने लगभग सारी सटीकता वापस पा ली। उच्चतम मेमोरी लोड पर, InferScale ने 60.3% उत्तर सही दिए, जो पुराने सिस्टम के 63.3% के बहुत करीब है, लेकिन बहुत अधिक तेज़ है।
यह क्यों मायने रखता है
यह पेपर साबित करता है कि आपको एक स्मार्ट, स्मृति-समृद्ध AI और एक तेज़ AI के बीच चुनाव करने की आवश्यकता नहीं है। मेमोरी स्टोरेज को GPU पर ले जाकर और "ब्रेन नोट्स" को सीधे इंजेक्ट करके, उन्होंने AI की गति को आपकी स्मृति के आकार से अलग कर दिया है। इस सिस्टम के लिए AI मॉडल को फिर से प्रशिक्षित करने या इसके अंतर्निहित इंजन में बदलाव करने की आवश्यकता नहीं है, जो इसे व्यक्तिगत AI सहायकों के भविष्य के लिए एक व्यावहारिक अपग्रेड बनाता है। यहाँ तक कि यदि मेमोरी डेटा इतना बड़ा है कि वह तेज़ GPU में फिट नहीं होता, तो भी उन्होंने दिखाया कि इसे नियमित कंप्यूटर मेमोरी में ऑफलोड करने से भी सिस्टम वर्तमान तरीकों की तुलना में काफी तेज़ रहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।