KVBoost: Chunk-Level Key-Value Cache Reuse with Deviation-Guided Recomputation for Efficient Large Language Model Inference
KVBoost एक चंक-लेवल की Key-Value कैश पुन: उपयोग प्रणाली है जो एक ड्यूल-हैश कीइंग स्कीम और डेविएशन-गाइडेड रीकंप्यूटेशन रणनीतियों का उपयोग करती है ताकि बड़े भाषा मॉडलों के लिए कुशल, पोजीशन-अग्नोस्टिक इन्फरेंस त्वरण सक्षम किया जा सके, जिससे सटीकता से समझौता किए बिना महत्वपूर्ण विलंबता में कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (Large language models), वे शक्तिशाली कंप्यूटर प्रोग्राम जो कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और प्रश्नों के उत्तर दे सकते हैं, संदर्भ (context) को समझने के लिए सूचनाओं को संसाधित करने के एक विशिष्ट तरीके पर निर्भर करते हैं। जब ये मॉडल किसी प्रॉम्प्ट (prompt) को पढ़ते हैं, तो वे केवल वर्तमान शब्द को ही नहीं देखते; बल्कि यह समझने के लिए कि हिस्से आपस में कैसे फिट होते हैं, वे उससे पहले आए हर शब्द का एक मानसिक मानचित्र (mental map) बनाते हैं। यह मानचित्र, जिसे की-वैल्यू कैश (key-value cache) कहा जाता है, मॉडल के सही ढंग से कार्य करने के लिए आवश्यक है, लेकिन इसे बनाना गणनात्मक रूप से बहुत महंगा है। हर बार जब कोई उपयोगकर्ता कोई अनुरोध भेजता है, तो मॉडल को पारंपरिक रूप से इस पूरे मानचित्र को शून्य से फिर से बनाना पड़ता है, भले ही उस अनुरोध में ऐसा टेक्स्ट शामिल हो जिसे उसने पहले देखा हो। कई वास्तविक स्थितियों में, जैसे कि जब कोई उपयोगकर्ता एक ही दस्तावेज़ के बारे में कई प्रश्न पूछता है या जब कोई सिस्टम हर बातचीत के लिए एक मानक परिचय का उपयोग करता है, तो यह बार-बार पुनर्गठन करना समय और ऊर्जा की भारी बर्बादी है। इंजीनियरों के लिए मुख्य चुनौती यह रही है कि मॉडल के उत्तरों की सटीकता खोए बिना इस कार्य को कैसे बचाया जाए।
श्रीहरि उन्नीकृष्णनन नामक एक शोधकर्ता ने इस विशिष्ट समस्या को हल करने के लिए KVBoost नामक एक प्रणाली विकसित की है। यह प्रणाली उस मानसिक मानचित्र के उन हिस्सों को पहचानने और पुनः उपयोग करने के लिए डिज़ाइन की गई है जिन्हें मॉडल पहले ही बना चुका है, लेकिन यह इसे पिछले तरीकों की तुलना में बहुत अधिक लचीले तरीके से करती है। पुराने सिस्टम केवल तभी काम बचा सकते थे जब दोहराया गया टेक्स्ट अनुरोध के बिल्कुल शुरुआत में आता था। यदि साझा किया गया टेक्स्ट एक लंबे पैराग्राफ के बीच में छिपा हुआ था या एक अद्वितीय प्रश्न के बाद आया था, तो सिस्टम उसे अनदेखा कर देता था और फिर से शुरुआत करता था। KVBoost इसे टेक्स्ट को छोटे, प्रबंधनीय टुकड़ों (chunks) में तोड़कर बदल देता है। यह प्रत्येक टुकड़े को पहेली के एक अलग हिस्से की तरह मानता है जिसे स्वतंत्र रूप से संग्रहीत और प्राप्त किया जा सकता है, चाहे वह पूरे वाक्य की संरचना में कहीं भी स्थित हो। यह सिस्टम को उस टेक्स्ट के मानसिक मानचित्र को फिर से बनाने की भारी मेहनत करने से बचने की अनुमति देता है जिसे पहले देखा जा चुका है, भले ही वह पूरी तरह से अलग क्रम या संदर्भ में दिखाई दे रहा हो।
हालाँकि, पहले से बने मानसिक मानचित्र के टुकड़ों को बस आपस में जोड़ने मात्र से एक नई समस्या उत्पन्न हो जाती है। जब दो टुकड़ों को जोड़ा जाता है, तो मॉडल एक टुकड़े के अंत और दूसरे की शुरुआत के बीच के सूक्ष्म संबंधों को खो सकता है, जिससे कहानी के प्रवाह को समझने में त्रुटियाँ हो सकती हैं। इसे ठीक करने के लिए, यह प्रणाली एक चतुर मरम्मत रणनीति (repair strategy) का उपयोग करती है। यह उन विशिष्ट बिंदुओं की पहचान करती है जहाँ टुकड़े मिलते हैं और पूरी गणना को फिर से करने के बजाय केवल कनेक्शन के सबसे महत्वपूर्ण हिस्सों की पुनर्गर्णाना करती है। यह दृष्टिकोण एक ऐसी विधि द्वारा निर्देशित होता है जो यह मापती है कि मॉडल की समझ वास्तविक स्थिति से कितनी विचलित होती है, जिससे यह केवल वहीं अपना प्रयास केंद्रित कर पाती है जहाँ वास्तव में इसकी आवश्यकता होती है। परिणाम एक ऐसी प्रणाली है जो मुख्य रूप से पूर्व-निर्धारित टुकड़ों का उपयोग करके एक प्रॉम्प्ट की पूर्ण, सटीक समझ को जोड़ने में सक्षम है, जिसमें सीम (seams) को ठीक करने के लिए आवश्यक कार्य का केवल एक बहुत छोटा हिस्सा ही लगता है।
इस प्रणाली की प्रभावशीलता का परीक्षण तीन बिलियन पैरामीटर्स वाले एक मॉडल का उपयोग करके एक मानक ग्राफिक्स कार्ड पर किया गया था, जिसने बग-लोकलाइजेशन (bug-localization) कार्य के एक हजार विभिन्न उदाहरणों को संसाधित किया, जहाँ एक कंप्यूटर को कोड में त्रुटियाँ ढूँढनी होती हैं। इन परीक्षणों में, नया सिस्टम पारंपरिक तरीके (शून्य से शुरू करने के) की तुलना में अपने उत्तर का पहला शब्द लगभग साढ़े चार गुना तेजी से उत्पन्न करने में सक्षम था। मौजूदा सर्वोत्तम पद्धति की तुलना में, जो केवल प्रॉम्प्ट की शुरुआत में मौजूद टेक्स्ट के लिए काम करती है, KVBoost औसily सोलह प्रतिशत तेज़ था। महत्वपूर्ण रूप से, यह गति गुणवत्ता की कीमत पर नहीं आई; सिस्टम ने नब्बे दशमलव दो प्रतिशत की सटीकता दर बनाए रखी, जो धीमी, पूर्ण-पुनर्गणना पद्धति से सांख्यिकीय रूप से अभिन्न थी। यह प्रणाली लंबे संदर्भों को कुशलतापूर्वक संभालने में भी सक्षम सिद्ध हुई, जिसमें टेक्स्ट की लंबाई बढ़ने के साथ गति का लाभ बढ़ता गया, जो बहुत लंबे इनपुट के लिए लगभग पांच गुना तक पहुँच गया।
गति के अलावा, यह प्रणाली वास्तविक दुनिया के उपयोग के लिए व्यावहारिक रूप से डिज़ाइन की गई है। इसमें ऐसे फीचर्स शामिल हैं जो इसे मेमोरी भरने पर इन पूर्व-निर्धारित टुकड़ों को कंप्यूटर की हार्ड ड्राइव पर स्टोर करने की अनुमति देते हैं, जिससे यह सुनिश्चित होता है कि विशाल मात्रा में डेटा के साथ काम करते समय भी कैश उपयोगी बना रहे। यह जानकारी को संकुचित (compress) करने की तकनीक का भी उपयोग करता है, जिससे उत्तरों की गुणवत्ता से समझौता किए बिना इसके स्थान को कम किया जा सके। शोध पुष्टि करता है कि टेक्स्ट की सामग्री को उसके स्थान से अलग करके, इन मॉडल्स के संचालन में महत्वपूर्ण दक्षता प्राप्त करना संभव है। निष्कर्ष बताते हैं कि साझा टेक्स्ट के लिए प्रॉम्प्ट के प्रारंभ में होने की कठोर आवश्यकता अब आवश्यक नहीं है, जो कृत्रिम बुद्धिमत्ता के साथ अधिक तेज़ और कुशल बातचीत के द्वार खोलता है, विशेषकर उन परिदृश्यों में जहाँ साझा जानकारी बातचीत के भीतर कहीं भी दिखाई देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।