Joint Optimization of Retrieval-Augmented KV Caching and Adaptive Speculative Decoding for Autoregressive Generation
यह शोध पत्र RAKV-ASD को प्रस्तुत करता है, जो एक सीखे हुए नियंत्रक (learned controller) के माध्यम से ड्राफ्ट लंबाई को गतिशील रूप से चुनने के लिए रिट्रीवल-ऑगमेंटेड KV कैशिंग और एडेप्टिव स्पेकुलेटिव डिकोडिंग को संयुक्त रूप से अनुकूलित करता है, जिससे मानक डिकोडिंग के साथ सटीक आउटपुट समानता बनाए रखते हुए फिक्स्ड रणनीतियों की तुलना में महत्वपूर्ण विलंबता (latency) और थ्रूपुट सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब एक लार्ज लैंग्वेज मॉडल (LLM) शब्द दर शब्द एक वाक्य लिखता है, तो उसे एक आवर्ती बाधा का सामना करना पड़ता है: अगला शब्द अनुमान लगाने के लिए, उसे उससे पहले आए हर शब्द को याद रखना होगा। यह स्मृति, जिसे संख्याओं के एक विशाल संग्रह के रूप में संग्रहीत किया जाता है जिसे 'की-वैल्यू कैश' (key-value cache) कहते हैं, हर नए टोकन के साथ बढ़ती जाती है। आधुनिक कंप्यूटिंग में, इस स्मृति को प्राप्त करना अक्सर अगले शब्द की वास्तविक गणना करने की तुलना में धीमा होता है। चीजों को तेज करने के लिए, इंजीनियरों ने दो मुख्य तरकीबें विकसित की हैं। पहली यह कि यदि शुरुआती शब्द समान हैं, तो पिछले अनुरोधों से स्मृति का पुन: उपयोग करें, ठीक वैसे ही जैसे आपने पहले पढ़ी हुई किताब के पहले कुछ पन्नों को छोड़ दिया हो। दूसरी है 'स्पेक्टिवल डिकोडिंग' (speculative decoding), जहाँ एक छोटा, तेज़ मॉडल कई शब्द आगे का अनुमान लगाता है, और मुख्य मॉडल जल्दी से जाँच करता है कि वे अनुमान सही हैं या नहीं। यदि अनुमान सही होते हैं, तो सिस्टम एक-एक करके उन्हें उत्पन्न करने के धीमे काम को छोड़ देता है।
शोधकर्ताओं ने यह सवाल पूछा था कि क्या इन दोनों तरकीबों को मिलाने से एक सुपर-फास्ट सिस्टम बनेगा। सहज रूप से, यह तार्किक लग रहा था: जो स्मृति आपके पास पहले से है उसका पुन: उपयोग करें, और फिर समय बचाने के लिए आगे का अनुमान लगाएं। हालांकि, कंप्यूटर हार्डवेयर की वास्तविकता अक्सर सहज ज्ञान से कम उदार होती है। जॉन्स हॉपकिन्स यूनिवर्सिटी, कार्नेगी मेलन यूनिवर्सिटी, न्यूयॉर्क यूनिवर्सिटी और यूनिवर्सिटी ऑफ साउदर्न कैलिफोर्निया के चेनयी हुआंग और सहयोगियों द्वारा किया गया एक नया अध्ययन इसी सटीक संयोजन की जांच करता है। उन्होंने एक ऐसा सिस्टम बनाया जो दोनों तरकीबों को अंधाधुंध लागू नहीं करता है। इसके बजाय, यह एक सतर्क प्रबंधक की तरह कार्य करता है, जो लगातार प्रत्येक संभावित क्रिया की लागत को मापता है और प्रत्येक विशिष्ट अनुरोध के लिए यह निर्णय लेता है कि स्मृति का पुन: उपयोग करना है, आगे का अनुमान लगाना है, या दोनों में से कुछ भी नहीं करना है।
शोधकर्ताओं ने अपने सिस्टम, जिसे वे RAKV-ASD कहते हैं, का परीक्षण एक मानक लैपटॉप ग्राफिक्स कार्ड पर दो जोड़ी भाषा मॉडलों के साथ किया। उन्होंने हजारों समयबद्ध प्रयोग चलाए, सिस्टम को विभिन्न लंबाई के प्रॉम्प्ट दिए और अलग-अलग आकार का टेक्स्ट उत्पन्न करने के लिए कहा। उनके काम का मुख्य हिस्सा एक 'कंट्रोलर' था जो वर्तमान स्थिति को देखता था और विकल्पों के मेनू में से सबसे अच्छा रास्ता चुनता था। इन विकल्पों में शामिल थे: बिना अनुमान लगाए स्मृति का पुन: उपयोग करना, एक शब्द, दो शब्द, या आठ शब्दों तक आगे का अनुमान लगाते हुए स्मृति का पुन: उपयोग करना, या पूरी तरह से स्मृति कैश को अनदेखा करके नए सिरे से शुरू करना। सिस्टम ने यह मापा कि हार्डवेयर पर प्रत्येक चरण वास्तव में कितना समय लेता है, न कि सैद्धांतिक अनुमानों पर भरोसा किया।
परिणाम उन लोगों के लिए आश्चर्यजनक थे जो एक सार्वभौमिक गति वृद्धि (universal speedup) की उम्मीद कर रहे थे। अध्ययन में पाया गया कि केवल स्मृति पुन: उपयोग को एक निश्चित मात्रा में अनुमान लगाने के साथ मिलाने से सिस्टम अक्सर तेज़ होने के बजाय धीमा हो जाता है। कई मामलों में, अनुमान लगाने और फिर उन्हें सत्यापित करने में लगने वाला समय उस समय से अधिक था जो मूल कार्य को छोड़ने से बचाया गया था। शोधकर्ताओं ने पाया कि प्रक्रिया का "अनुमान लगाने" वाला हिस्सा तभी सार्थक होता है जब सिस्टम लगभग आश्वस्त हो कि अनुमान सही होंगे। अपने प्रयोगों में, कंट्रोलर ने अक्सर अनुमान लगाने के संबंध में कुछ भी न करने का विकल्प चुना, यानी एक ऐसी सेटिंग चुनी जहाँ वह स्मृति का पुन-उपयोग करता था लेकिन टेक्स्ट को एक-एक शब्द करके उत्पन्न करता था। यह निर्णय सिस्टम की विफलता नहीं थी, बल्कि इसके तर्क की सफलता थी: इसने पहचान लिया था कि अनुमान लगाने का ओवरहेड (overhead) विशिष्ट परिस्थितियों के लिए बहुत अधिक था।
जब शोधकर्ताओं ने अपने स्मार्ट, एडेप्टिव (अनुकूलन योग्य) सिस्टम की तुलना उस संस्करण से की, जिसने हमेशा चार शब्द आगे का अनुमान लगाने के लिए मजबूर किया था, तो अंतर स्पष्ट था। एडेप्टिव सिस्टम ने टेक्स्ट उत्पन्न करने में लगने वाले समय को 64.0 प्रतिशत कम कर दिया और मजबूर-अनुमान (forced-guessing) दृष्टिकोण की तुलना में प्रति सेकंड उत्पन्न शब्दों की संख्या में 170.8 प्रतिशत की वृद्धि की। ऐसा इसलिए है क्योंकि एडेप्टिव सिस्टम ने विफल अनुमानों के भारी दंड (penalty) से बचने में सफलता पाई। हालांकि, एक ऐसे सिस्टम की तुलना में जो बिना किसी अनुमान के केवल स्मृति का पुन: उपयोग करता था, एडेप्टिव सिस्टम केवल 0.45 प्रतिशत धीमा था। यह मामूली अंतर बताता है कि परीक्षण किए गए विशिष्ट हार्डवेयर और मॉडलों के लिए, आगे का अनुमान लगाने की क्रिया से कोई वास्तविक लाभ नहीं हुआ। सिस्टम यह निर्णय लेने में इतना सक्षम था कि कब अनुमान नहीं लगाना है, कि इसने अनिवार्य रूप से एक ऐसे सिस्टम की तरह कार्य किया जिसने कभी अनुमान ही नहीं लगाया।
अध्ययन ने यह भी स्थापित किया कि अनुमान लगाना कब उपयोगी हो सकता है, इसकी एक स्पष्ट सीमा तय की। शोधकर्ताओं ने गणना की कि सिस्टम को अनुमान लगाने से लाभ मिलना तभी शुरू होगा जब अनुमानों के सही होने की संभावना एक बहुत उच्च सीमा, 89.4 प्रतिशत और 97.3 प्रतिशत के बीच पहुँच जाएगी। उनके परीक्षणों में, अनुमानों की स्वीकृति दर (acceptance rate) इससे कम थी, जिसका अर्थ था कि स्थितियाँ अतिरिक्त गति के लिए अनुकूल नहीं थीं। सिस्टम का कंट्रोलर इस अंतर को पहचानने में असाधारण रूप से सटीक था। भले ही वह किसी कार्य के सटीक समय की भविष्यवाणी नहीं कर सकता था, लेकिन वह अनुमान लगाने या न लगाने का निर्णय लेने में 100 प्रतिशत सटीक था। उसने सही ढंग से पहचाना कि अनुमान लगाने की लागत लाभों से अधिक थी।
यह कार्य आर्टिफिशियल इंटेलिजेंस सिस्टम के भविष्य के लिए एक महत्वपूर्ण सबक देता है: जटिल रणनीतियाँ हमेशा बेहतर नहीं होती हैं। कई अनुकूलन तकनीकों को एक साथ जोड़ने का विचार कुशल लगता है, लेकिन यदि उनके व्यक्तिगत हिस्से हार्डवेयर की क्षमताओं के साथ पूरी तरह से संरेखित नहीं होते हैं, तो वे एक-दूसरे के प्रभाव को समाप्त कर सकते हैं। शोधकर्ताओं ने दिखाया कि एक ऐसा सिस्टम जो यह जानता है कि कब रुकना है, अक्सर उस सिस्टम से तेज़ होता है जो सब कुछ करने की कोशिश करता है। अनुमान लगाने के निर्णय को एक निश्चित नियम के बजाय एक परिवर्तनशील विकल्प के रूप में मानकर, उन्होंने एक ऐसा तरीका बनाया जो मशीन की वास्तविकता के अनुकूल है। निष्कर्ष बताते हैं कि वर्तमान हार्डवेयर के लिए, सबसे कुशल मार्ग अक्सर वह होता है जिसमें आप जो जानते हैं उसका पुन: उपयोग करते हैं और बाकी को सावधानी से उत्पन्न करते हैं, बजाय इसके कि उन अनुमानों के साथ आगे बढ़ें जिन्हें सुधारा जाना पड़ सकता है।
अध्ययन को विवरणों के प्रति कठोर ध्यान के साथ किया गया था, जिसमें परिणामों को केवल एक इत्तेफाक न होने के लिए 3,600 समयबद्ध निष्पादन चलाए गए। उन्होंने सत्यापित किया कि उनके एडेप्टिव सिस्टम द्वारा उत्पादित टेक्स्ट उनके मानक, धीमे तरीके द्वारा उत्पादित टेक्स्ट के समान था, जिससे यह सिद्ध हुआ कि गति का लाभ सटीकता की कीमत पर नहीं आया था। हालांकि परिणाम प्रयोग में उपयोग किए गए मॉडलों और हार्डवेयर के लिए विशिष्ट हैं, लेकिन सिद्धांत एक व्यापक सत्य को धारण करता है: जटिल दुनिया में, स्मार्टतम चाल अक्सर वह होती है जो यह पहचान लेती है कि कब एक शॉर्टकट वास्तव में एक लंबा रास्ता (detour) बन जाता है। शोधकर्ताओं को कोई ऐसा 'मैजिक बुलेट' नहीं मिला जो सभी AI जनरेशन को तेज कर दे, लेकिन उन्हें एक विश्वसनीय तरीका मिला जिससे उन धीमी गति से बचा जा सके जो बहुत अधिक चतुर होने की कोशिश से आती है। उनका कार्य एक मापा गया, डेटा-संचालित दायरा प्रदान करता है कि कब अटकलें मदद करती हैं और कब वे बाधा बनती हैं, जो भविष्य में अधिक कुशल सिस्टम बनाने के लिए एक स्पष्ट मार्गदर्शिका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।