Elastic KV Cache for LLM Serving:A Working Reclamation Mechanism, and Why Chunked Prefill Already Closes the Gap
यह शोध पत्र एक इलास्टिक KV कैश तंत्र को प्रस्तुत और मूल्यांकित करता है जो बिना ड्राइवर संशोधनों के डिकोड चरणों के दौरान आरक्षित मेमोरी को गतिशील रूप से पुनः प्राप्त करता है, और अंततः यह पाता है कि यह दृष्टिकोण मौजूदा चंक्ड प्रीफिल रणनीतियों की तुलना में न्यूनतम प्रदर्शन लाभ प्रदान करता है क्योंकि प्रीफिल विलंबता (लेटेंसी) काफी हद तक चंक आकार के प्रति असंवेदनशील होती है और मेमोरी रिजर्व टेंसर पैरेललिज्म के तहत स्वाभाविक रूप से कम हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी लाइब्रेरी की कल्पना करें जहाँ सबसे मूल्यवान पुस्तकें शेल्फ पर नहीं रखी जाती हैं, बल्कि एक अकेले लाइब्रेरियन के हाथों में होती हैं जो वर्तमान में उन्हें पढ़ रहा है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से जब लार्ज लैंग्वेज मॉडल्स टेक्स्ट जनरेट करते हैं, तो वे "पुस्तकें" डेटा के टुकड़ों के रूप में होती हैं जिन्हें 'की-वैल्यू कैश' (key-value cache) कहा जाता है। ये टुकड़े आवश्यक हैं ताकि मॉडल यह याद रख सके कि उसने अभी क्या कहा है ताकि वह अगला वाक्य लिख सके। "लाइब्रेरियन" कंप्यूटर चिप है, और "शेल्फ" इसकी सीमित मेमोरी है। लाइब्रेरी को सुचारू रूप से चलाने के लिए, सिस्टम को यह निर्णय लेना चाहिए कि लाइब्रेरियन के वर्तमान कार्य के लिए कितनी जगह आरक्षित की जाए और नए अनुरोधों के लिए कितनी जगह खाली छोड़ी जाए। यदि लाइब्रेरियन एक लंबी, जटिल पुस्तक पढ़ने में बहुत व्यस्त है, तो उन्हें एक बड़े, समर्पित कार्यक्षेत्र की आवश्यकता होगी। लेकिन एक बार जब वे वह पुस्तक समाप्त कर लेते हैं और केवल छोटे नोट्स लिखना शुरू करते हैं, तो वह बड़ा कार्यक्षेत्र खाली पड़ा रहता है, जो अन्य पुस्तकों के लिए जगह घेर लेता है।
वर्षों से, इंजीनियरों ने एक कठिन विकल्प का सामना किया है। सबसे जटिल अनुरोधों को संभालने के लिए, उन्हें दिन की शुरुआत में ही एक विशाल, निश्चित रिजर्व (आरक्षित हिस्सा) अलग रखना पड़ता है। यह रिजर्व एक वीआईपी (VIP) सेक्शन की तरह है जो तब भी लॉक और खाली रहता है जब सिस्टम केवल सरल कार्यों को संभाल रहा होता है। शोधकर्ताओं ने जो प्रश्न पूछा वह सरल था: क्या वे इस खाली वीआईपी सेक्शन को अनलॉक कर सकते हैं और शांत समय के दौरान इसकी जगह को सामान्य शेल्फों को उधार दे सकते हैं, और फिर एक जटिल अनुरोध आने से ठीक पहले इसे वापस लॉक कर सकते हैं? यदि वे ऐसा कर सके, तो वे बिना नया फर्नीचर खरीदे शेल्फों पर बहुत अधिक पुस्तकें रख सकते हैं। यह पेपर ठीक यही करने के लिए एक तंत्र (mechanism) के निर्माण का वर्णन करता है, और उस आश्चर्यजनक खोज का भी, कि जबकि यह तंत्र पूरी तरह से काम करता है, उस समस्या का अस्तित्व ही समाप्त हो गया है जिसे इसे हल करने के लिए बनाया गया था।
शोधकर्ताओं ने एक विशिष्ट प्रकार की कंप्यूटर चिप पर इस मेमोरी को प्रबंधित करने के लिए एक चतुर प्रणाली बनाई। डेटा को इधर-उधर ले जाने के बजाय, जिससे सब कुछ धीमा हो जाता, उन्होंने मेमोरी को एक लचीले कंटेनर की तरह माना। उन्होंने एक आभासी स्थान (virtual space) बनाया जो एक साथ डेटा के दो अलग-अलग भौतिक सेटों को रख सकता था। एक सेट हमेशा वहां होता था, और दूसरा एक "इलास्टिक" (लचीला) रिजर्व था जिसे कुछ मिलीसेकंड में जोड़ा या हटाया जा सकता था। जब सिस्टम केवल सरल कार्यों के साथ व्यस्त था, तो उन्होंने मुख्य पूल से इलास्टिक रिजर्व को जोड़ दिया, जिससे लाइब्रेरी को तुरंत अधिक जगह मिल गई। जब एक जटिल अनुरोध आया, तो उन्होंने पलक झपकते ही रिजर्व को अलग कर दिया, जिससे मेमोरी अपनी मूल, लॉक स्थिति में वापस आ गई ताकि जटिल कार्य बिना क्रैश हुए चल सके। इंजीनियरों ने यह सिद्ध किया कि यह आवश्यक था क्योंकि यदि वे रिजर्व को हमेशा अनलॉक रखने की कोशिश करते, तो जटिल अनुरोध आते ही सिस्टम क्रैश हो जाता, क्योंकि काम करने के लिए जगह खत्म हो जाती।
हालाँकि, मशीन बनाना कहानी का केवल आधा हिस्सा था। शोधकर्ताओं ने फिर उस मूल धारणा का परीक्षण किया जिसने इस मशीन को आवश्यक बनाया था: यह विचार कि जटिल अनुरोधों के लिए छोटे टेक्स्ट चंक्स (टुकड़ों) का उपयोग करना इतना धीमा होगा कि ऑपरेटरों को बड़े चंक्स का उपयोग करने के लिए मजबूर होना पड़ेगा और मेमोरी बर्बाद होगी। उन्होंने एक नियंत्रित प्रयोग किया जहाँ उन्होंने एक ऐसे सिस्टम में लंबे, जटिल प्रॉम्प्ट डाले जो पहले से ही कई सरल अनुरोधों से व्यस्त था। उन्होंने छोटे चंंक बनाम बड़े चंक का उपयोग करते हुए इन लंबे प्रॉम्प्ट्स के उत्तर देने में लगने वाले समय की तुलना की। परिणाम एक शांत सदमा था। अंतर लगभग अदृश्य था, जो केवल लगभग एक प्रतिशत था। इसका कारण संरचनात्मक है: जटिल कार्य इस बात से सीमित है कि कंप्यूटर कितनी तेज़ी से गणना कर सकता है, न कि इस बात से कि उसके पास कितनी मेमोरी है। कार्य को छोटे टुकड़ों में तोड़ने से वह धीमा नहीं होता है; यह केवल काम की समान मात्रा को अधिक चरणों में फैला देता है। इस बीच, सरल कार्य इतने हल्के हैं कि वे कभी भी जटिल कार्यों को विस्थापित नहीं करते।
यह खोज पूरे प्रोजेक्ट के मूल्य को बदल देती है। शोधकर्ताओं ने दिखाया कि अधिक मेमोरी प्राप्त करने का सबसे अच्छा तरीका एक जटिल इलास्टिक सिस्टम बनाना नहीं है, बल्कि जटिल कार्यों के लिए बस छोटे चंक्स का उपयोग करना है। यह दृष्टिकोण उस मेमोरी से भी अधिक रिकवर करता है जो इलास्टिक सिस्टम उधार दे सकता था, और यह बिना किसी अतिरिक्त इंजीनियरिंग या क्रैश होने के जोखिम के किया जाता है। इसके अलावा, उन्होंने पाया कि जैसे-जैसे ये आर्टिफिशियल इंटेलिजेंस मॉडल्स बड़े होते जाते हैं और उन्हें मिलकर काम करने के लिए कई चिप्स की आवश्यकता होती है, बर्बाद होने वाली मेमोरी की मात्रा नाटकीय रूप से कम हो जाती है। सबसे शक्तिशाली सेटअपों में, वह "वीआईपी सेक्शन" जिसे कभी एक विशाल, खाली स्थान माना जाता था, वास्तव में कुल मेमोरी का एक छोटा सा हिस्सा बन जाता है, जिससे उसे पुनः प्राप्त करने का प्रयास और भी कम सार्थक हो जाता है।
पेपर निष्कर्ष निकालता है कि यह तकनीक कब भी उपयोगी हो सकती है इसका एक सटीक मानचित्र प्रदान करता है। यह केवल उन बहुत विशिष्ट, दुर्लभ स्थितियों में मदद करेगा जहाँ मॉडल छोटे हैं, अनुरोध अत्यंत लंबे हैं, और सिस्टम लोड साझा करने के लिए कई चिप्स का उपयोग नहीं कर रहा है। आधुनिक अनुप्रयोगों के विशाल बहुमत के लिए, इंजीनियरों ने काम को शेड्यूल करने के तरीके को बदलकर पहले ही समस्या को हल कर दिया है। शोधकर्ताओं ने अपने इलास्टिक मेमोरी टूल को दूसरों के उपयोग के लिए एक पुन: प्रयोज्य सॉफ़्टवेयर के रूप में जारी किया है, लेकिन वे स्पष्ट हैं कि आज के वर्कलोड के लिए, गति और क्षमता के बीच का अंतर पहले ही समाप्त हो चुका है। तंत्र काम करता है, लेकिन इसे उपयोग करने का अवसर लुप्त हो गया है, जो अक्सर अगले बड़े ब्रेकथ्रू के वादे से प्रेरित क्षेत्र में एक दुर्लभ और ईमानदार परिणाम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।