Learning Agent Execution for KV-Cache Management in Agentic Serving
यह शोध पत्र CacheScout को प्रस्तुत करता है, जो एक एजेंट-जागरूक (agent-aware) KV-कैश रनटाइम है जो कैश इविक्शन और प्रीफेचिंग को सक्रिय रूप से प्रबंधित करने के लिए ऑनलाइन एजेंट निष्पादन संक्रमणों (execution transitions) को सीखता है, जिससे बिना किसी पूर्व-निर्धारित वर्कफ़्लो ग्राफ के मल्टी-एजेंट LLM सर्विंग के लिए हिट रेट में उल्लेखनीय सुधार होता है और विलंबता (latency) कम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, स्मार्ट असिस्टेंट बनाने का एक नया तरीका प्रचलित हो गया है। एक एकल, सर्वज्ञ कंप्यूटर मस्तिष्क से एक जटिल समस्या को एक बार में हल करने के लिए कहने के बजाय, डेवलपर्स कार्यों को विशेष डिजिटल श्रमिकों की एक टीम में विभाजित करते हैं। एक यात्रा योजनाकार (ट्रैवल प्लानर) की कल्पना करें जो पहले उड़ानों को खोजने के लिए एक एजेंट से पूछता है, फिर होटल बुक करने के लिए दूसरे एजेंट को काम सौंपता है, और अंत में तीसरे को रेस्तरां खोजने के लिए काम सौंपता है। इनमें से प्रत्येक एजेंट एक 'लार्ज लैंग्वेज मॉडल' है, जो एक प्रकार का सॉफ्टवेयर है जो सीखे गए पैटर्न के आधार पर वाक्य में अगले शब्द की भविष्यवाणी करता है। ऐसा करने के लिए, सॉफ्टवेयर को अपनी अल्पकालिक स्मृति (शॉर्ट-टर्म मेमोरी) में बड़ी मात्रा में जानकारी रखनी होती है, जिसे 'की-वैल्यू कैश' (key-value cache) कहा जाता है। यह मेमोरी एक कार्यक्षेत्र की तरह काम करती है जहाँ मॉडल खेल के नियम, उन उपकरणों की परिभाषाएँ जिनका वह उपयोग कर सकता है, और व्यवहार करने के उदाहरण रखता है। जब भी कोई नया एजेंट बातचीत में शामिल होता है, तो वह अपने निर्देशों और उदाहरणों का एक सेट साथ लाता है, जिससे डेटा का एक बड़ा हिस्सा बनता है जिसे सिस्टम को उपयोगकर्ता के विशिष्ट प्रश्न का उत्तर देने से पहले प्रोसेस करना पड़ता है।
चुनौती यह है कि ये डिजिटल टीमें गतिशील होती हैं। पहला एजेंट अपना काम पूरा कर सकता है, और सिस्टम तुरंत पूरी तरह से अलग एजेंट पर स्विच कर सकता है, या यह बाद में पहले एजेंट के पास वापस जा सकता है। इन AI टीमों को चलाने वाले वर्तमान कंप्यूटर सिस्टम अपनी मेमोरी को प्रतिक्रियात्मक (रिएक्टिव) तरीके से प्रबंधित करते हैं। वे सबसे हाल ही में उपयोग की गई जानकारी रखते हैं और नई अनुरोधों के लिए जगह बनाने के लिए पुरानी चीजों को हटा देते हैं। यह सरल बातचीत के लिए अच्छा काम करता है, लेकिन एक मल्टी-एजेंट टीम में, यह एक निराशाजनक अक्षमता पैदा करता है। सिस्टम अक्सर एक एजेंट के निर्देशों और उदाहरणों को केवल इसलिए हटा देता है क्योंकि उस एजेंट ने पिछले कुछ सेकंडों में बात नहीं की है, भले ही उसी एजेंट को अगले ही चरण में फिर से बुलाए जाने की संभावना हो। जब एजेंट वापस आता है, तो सिस्टम को उन सभी निर्देशों को शुरू से फिर से पढ़ने और प्रोसेस करने में काफी समय और कंप्यूटिंग शक्ति बर्बाद करनी पड़ती है। यह हटाने और फिर से सीखने का चक्र पूरी प्रक्रिया को धीमा कर देता है, जिससे AI सुस्त और चलाने में महंगा महसूस होता है।
कैलिफोर्निया विश्वविद्यालय, सांता क्रूज़ और अन्य संस्थानों के शोधकर्ताओं ने इस समस्या को हल करने के लिए एक नया दृष्टिकोण विकसित किया है, जिसे 'कैशस्कॉट' (CacheScout) कहा जाता है। अतीत में क्या हुआ है इसे केवल देखने के बजाय, यह सिस्टम अनुमान लगाने के लिए सीखता है कि आगे क्या होने वाला है। यह बातचीत के प्रवाह को यादृच्छिक घटनाओं की एक श्रृंखला के रूप में नहीं, बल्कि विभिन्न श्रमिकों के बीच संक्रमण (ट्रांजिशन) के एक पैटर्न के रूप में देखता है। यह देखते हुए कि एक ट्रैवल एजेंट के बाद कितनी बार होटल एजेंट आता है, या कैसे एक कोडिंग एजेंट समीक्षा एजेंट में बदल जाता है, यह सिस्टम चलते समय वर्कफ़्लो का एक मानसिक मानचित्र बनाता है। इसे चलाने के लिए डेवलपर्स द्वारा प्रदान किए गए किसी पूर्व-लिखित स्क्रिप्ट या मानचित्र की आवश्यकता नहीं होती है; यह इन संबंधों को चलते समय ही सीख लेता है और प्रत्येक अनुरोध को प्रोसेस करते हुए अपनी समझ को अपडेट करता है।
इस नए सिस्टम का मूल एक हल्का (लाइटवेट) लेयर है जो AI एजेंटों और कंप्यूटर हार्डवेयर के बीच स्थित होता है। जब एक एजेंट अपना कार्य पूरा करता है, तो यह लेयर बातचीत के इतिहास को देखती है और भविष्यवाणी करती है कि अगला कौन सा एजेंट बोलने की सबसे अधिक संभावना रखता है। यदि सिस्टम अगले कदम के बारे में आश्वस्त है, तो यह काम को तेज करने के लिए दो विशिष्ट कार्य करता है। पहला, जब इसे नई जगह बनाने के लिए पुराने डेटा को हटाना होता है, तो यह उस एजेंट के निर्देशों को हटाने से इनकार कर देता है जिसके जल्द ही वापस आने की भविष्यवाणी की गई है, भले ही उस एजेंट ने कुछ समय से बात न की हो। यह इन बहुमूल्य मेमोरी ब्लॉक्स को उनके पिछले उपयोग के बजाय उनके भविष्य के महत्व के आधार पर सुरक्षित रखता है। दूसरा, जब सिस्टम अगले अनुरोध की प्रतीक्षा कर रहा होता है, तो यह चुपचाप और अदृश्य रूप से उस अनुमानित एजेंट के लिए मेमोरी तैयार करता है। यह आवश्यक निर्देशों को तेज़ मेमोरी में लोड कर देता है इससे पहले कि उपयोगकर्ता उन्हें मांगे, ताकि जब एजेंट अंततः काम करना शुरू करे, तो वह बिना किसी देरी के तुरंत शुरू हो सके।
शोधकर्ताओं ने वास्तविक दुनिया के कार्यों पर इस प्रणाली का परीक्षण किया, जिसमें यात्रा की योजना बनाना, गणित की समस्याओं को हल करना और सॉफ्टवेयर कोड लिखना शामिल है। उन्होंने पाया कि एजेंट के व्यवहार के पैटर्न को याद रखकर, सिस्टम मौजूदा मेमोरी को पहले की तुलना में बहुत अधिक बार बनाए रख सकता है। उनके परीक्षणों में, मौजूदा मेमोरी का सफलतापूर्वक पुन: उपयोग करने की दर दस से अठारह प्रतिशत बढ़ गई। यह सुधार सीधे गति में परिवर्तित हुआ। उत्तर का पहला शब्द दिखने में लगने वाला समय पैंतालीस प्रतिशत तक कम हो गया, और बातचीत के एक एकल टर्न को पूरा करने का कुल समय लगभग चालीस प्रतिशत गिर गया। सिस्टम ने एक साथ अधिक अनुरोधों को भी संभाला, जिससे प्रति सेकंड पूरे किए जा सकने वाले कार्यों की कुल संख्या में बयान सत्तावन प्रतिशत तक की वृद्धि हुई।
महत्वपूर्ण रूप से, शोधकर्ताओं ने दिखाया कि यह दृष्टिकोण तब भी प्रभावी है जब वर्कफ़्लो निश्चित नहीं होता है। कई आधुनिक अनुप्रयोगों में, अगला चरण वास्तविक समय में AI द्वारा ही तय किया जाता है, जिसका अर्थ है कि पथ अनिश्चित रूप से बदल सकता है। यह नया सिस्टम इस तरलता के अनुकूल है, यह होते हुए भी सबसे सामान्य रास्तों को सीखता है और तदनुसार अपनी भविष्यवाणियों को समायोजित करता है। यह बहुत बड़े और अधिक जटिल AI मॉडल के साथ भी प्रभावी सिद्ध हुआ, जिसने उच्च मेमोरी आवश्यकताओं के बावजूद अपनी गति के लाभ को बनाए रखा। यह सिस्टम बिना कंप्यूटर को धीमा किए या किसी जटिल नए हार्डवेयर की आवश्यकता के बिना यह सब हासिल करता है; यह केवल मेमोरी प्रबंधन प्रक्रिया में थोड़ी सी बुद्धिमत्ता जोड़ता है, जिससे एक निष्क्रिय स्टोरेज सिस्टम एक सक्रिय भागीदार बन जाता है जो जानता है कि आगे क्या होने वाला है।
निष्कर्ष बताते हैं कि कुशल AI सर्विसिंग का भविष्य केवल डेटा को समझने में नहीं, बल्कि काम के संदर्भ (कॉन्टेक्स्ट) को समझने में निहित है। यह पहचानकर कि एक ट्रैवल एजेंट के बाद होटल एजेंट आने की संभावना है, सिस्टम हर क्षण को एक नई शुरुआत के रूप में देखना बंद कर देता है और बातचीत को एक निरंतर यात्रा के रूप में देखने लगता है। अतीत के प्रति प्रतिक्रिया करने से भविष्य के लिए तैयारी करने की ओर यह बदलाव इन डिजिटल टीमों को बहुत तेज़ी से और अधिक कुशलता से काम करने की अनुमति देता है, जिससे उन बाधाओं को दूर किया जा सकता है जिन्होंने जटिल AI अनुप्रयोगों की तैनाती को धीमा कर दिया था। परिणाम एक ऐसा सिस्टम है जो अधिक उत्तरदायी और सक्षम महसूस होता है, जो अगली पीढ़ी की आर्टिफिशियल इंटेलिजेंस सेवाओं को परिभाषित करने वाले जटिल, बहु-चरणीय कार्यों को संभालने में सक्षम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।