Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory
नेक्सस (Nexus) एक सिमेंटिक लुकसाइड बफर (semantic lookaside buffer) और संकुचित हस्ताक्षरों (compressed signatures) के माध्यम से टूल रूटिंग को महंगे स्कीमा प्रीफिलिंग (schema prefilling) से अलग करके, यूनिफाइड मेमोरी पर एजेंटिक एलएलएम (agentic LLMs) को त्वरित करता है, जबकि रोटरी पोजीशनल एम्बेडिंग ड्रिफ्ट (rotary position embedding drift) के बावजूद आउटपुट फिडेलिटी बनाए रखने के लिए डेप्थ-अडैप्टिव केवी-कैश स्प्लिसिंग (depth-adaptive KV-cache splicing) तंत्र के साथ फॉलबैक री-डिकोडिंग का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, एक विशिष्ट प्रकार का सॉफ्टवेयर एजेंट हमारे प्रतिनिधि के रूप में कार्य करना सीख रहा है। ये डिजिटल सहायक केवल सवालों के जवाब ही नहीं देते; वे कैलेंडर चेक करने, डेटाबेस खोजने या ईमेल भेजने जैसे उपकरणों (टूल्स) का उपयोग करने के लिए आगे बढ़ते हैं। ऐसा करने के लिए, सॉफ्टवेयर को पहले हर उस टूल के लिए एक विस्तृत निर्देश पुस्तिका (इंस्ट्रक्शन मैनुअल) को समझना होगा जिसका वह उपयोग कर सकता है। जैसे-जैसे उपलब्ध टूल्स की संख्या सैकड़ों में बढ़ती है, ये मैनुअल विशाल होते जाते हैं, जो एजेंट के सोचने शुरू करने से पहले ही कंप्यूटर की अल्पकालिक स्मृति (शॉर्ट-टर्म मेमोरी) को दोहराव वाले टेक्स्ट से भर देते हैं। यह एक बाधा उत्पन्न करता है: एजेंट के पास जितने अधिक टूल्स होंगे, उसे काम शुरू करने में उतना ही अधिक समय लगेगा, क्योंकि कंप्यूटर को हर नए कदम के लिए इन विशाल निर्देश सेटों को बार-बार पढ़ना और प्रोसेस करना पड़ता है।
शोधकर्ता इस बाधा को दूर करने का तरीका खोज रहे हैं। एक विचार यह था कि इन निर्देशों पर कंप्यूटर के काम को एक संकुचित (कंप्रेस्ड) रूप में सहेज लिया जाए, जैसे कि एक बुकमार्क, और आवश्यकता पड़ने पर इसे वापस मेमोरी में पेस्ट कर दिया जाए। यह सुनने में कुशल लगता है, लेकिन यह आधुनिक एआई मॉडल द्वारा समय और क्रम को ट्रैक करने के तरीके के साथ एक मौलिक समस्या पैदा करता है। ये मॉडल शब्दों के एक अनुक्रम में वे कहाँ हैं, इसे याद रखने के लिए एक प्रणाली का उपयोग करते हैं, और यदि आप काम के एक सहेजे गए हिस्से को मेमोरी में किसी अलग स्थान पर ले जाते हैं, तो मॉडल घटनाओं के क्रम को लेकर भ्रमित हो जाता है। यह एक किताब के बीच से एक पन्ना निकालकर दूसरे अध्याय में चिपकाने जैसा है; कहानी अभी भी समझ में आ सकती है, लेकिन वाक्यों के बीच के सूक्ष्म संबंध टूट सकते हैं, जिससे त्रुटियां होती हैं।
शोधकर्ताओं की एक टीम ने इस पेचीदा परिदृश्य को संभालने के लिए 'नेक्सस' (Nexus) नामक एक प्रणाली बनाई है। उन्होंने पाया कि हालांकि आप जोखिम के बिना इन सहेजे गए निर्देश ब्लॉकों को इधर-उधर नहीं ले जा सकते, लेकिन आप ऐसा तब कर सकते हैं जब आप इस बात के प्रति सावधान हों कि उन्हें कहाँ रखा जाए और उन त्रुटियों को कैसे ठीक किया जाए जो अनिवार्य रूप से आती हैं। उनके काम ने, जिसे आधुनिक लैपटॉप में पाए जाने वाले एक विशिष्ट शक्तिशाली कंप्यूटर चिप पर परखा गया, यह बताया कि आप इन ब्लॉकों को कितनी दूर तक ले जा सकते हैं इससे पहले कि एआई का आउटपुट अविश्वसनीय हो जाए। उन्होंने पाया कि यदि ब्लॉक को बहुत दूर ले जाया जाता है, तो मॉडल की अनुक्रम संबंधी समझ भटक जाती है, लेकिन यह विचलन (ड्रिफ्ट) अनुमानित होता है। शोधकर्ताओं ने एक ऐसी विधि डिजाइन की जो यह पता लगा सके कि विचलन कब बहुत अधिक हो जाता है और फिर निर्देशों के आवश्यक भाग को फिर से पढ़कर मेमोरी को पूरी तरह से जोड़ने के लिए उन्हें सिल सके।
इस कार्य की सबसे महत्वपूर्ण खोज यह है कि सिस्टम को अपने सबसे महत्वपूर्ण कार्य के लिए इन जोखिम भरे मेमोरी शॉर्टकट पर निर्भर होने की आवश्यकता नहीं है: यह तय करना कि किस टूल का उपयोग करना है। एआई को चुनाव करने के लिए विशाल निर्देश मैनुअल पढ़ने के लिए मजबूर करने के बजाय, नेक्सस एक अलग, अत्यंत तीव्र 'लुकअप सिस्टम' का उपयोग करता है। यह सिस्टम टूल के नामों और विवरणों की एक संक्षिप्त सूची को स्कैन करता है ताकि सही मिलान को माइक्रोसेकंड में खोजा जा सके। एक बार टूल चुन लिए जाने के बाद, एआई निर्देशों के एक छोटे, संकुचित सारांश का उपयोग करके आवश्यक तर्क (आर्ग्युमेंट्स) तैयार करता है—जो अक्सर केवल कुछ दर्जन शब्द होते हैं—न कि पूरे, भारी-भरकम टेक्स्ट का। यह दृष्टिकोण मुख्य मेमोरी को साफ रखता है और एजेंट को अपना काम बहुत तेज़ी से शुरू करने की अनुमति देता है, जिससे वह पूरे मैनुअल को फिर से पढ़ने की तुलना में आधे से भी कम समय में अपने उत्तर का पहला शब्द ढूंढ लेता है।
शोधकर्ताओं ने अपनी मेमोरी-स्प्लिसिंग (मेमोरी-जोड़ने की) तकनीक की सीमाओं का भी कड़ाई से परीक्षण किया। उन्होंने पुष्टि की कि हालांकि यह विधि कम दूरी के लिए अच्छी तरह काम करती है, लेकिन इसकी एक कठोर सीमा है। यदि सहेजा गया ब्लॉक मूल रूप से बनाए गए स्थान से 256 स्थितियों से अधिक दूर रखा जाता है, तो त्रुटियां इतनी महत्वपूर्ण हो जाती हैं कि उन्हें नजरअंदाज नहीं किया जा सकता। इस बिंदु पर, सिस्टम मेमोरी को पैच करने की कोशिश करना बंद कर देता है और इसके बजाय पूरे टेक्स्ट को फिर से पढ़ने के धीमे लेकिन सुरक्षित तरीके पर वापस आ जाता है। यह सुनिश्चित करता है कि अंतिम आउटपुट हमेशा उतना ही सटीक हो जितना कि तब होता जब कंप्यूटर ने शॉर्टकट लेने की कोशिश ही न की होती। उन्होंने यह भी सिद्ध किया कि शॉर्टकट को कब रोकना है, इसका अनुमान लगाने के लिए एक सरल, सस्ता तरीका—जो मेमोरी की आंतरिक स्थिति की त्वरित जांच पर आधारित हो—काम नहीं करता है, क्योंकि यह त्रुटियों का विश्वसनीय रूप से पूर्वानुमान लगाने में विफल रहता है।
अपने परीक्षणों में, नेक्सस सिस्टम ने बिना धीमा हुए 250 विभिन्न टूल्स के रजिस्ट्री को संभालने में सफलता प्राप्त की, और सही टूल चुनने में उच्च सफलता दर बनाए रखी। जब संदर्भ मध्यम था, तो सिस्टम पारंपरिक पद्धति (सब कुछ फिर से पढ़ने) की तुलना में 1.7 गुना अधिक तेज़ था। हालाँकि, जैसे-जैसे बातचीत लंबी और गहरी होती गई, गति का लाभ स्वाभाविक रूप से कम होता गया, और अंततः मानक पद्धति के प्रदर्शन के बराबर पहुँच गया। यह उनकी डिज़ाइन की विफलता नहीं, बल्कि एक विशेषता है: सिस्टम गति से ऊपर सही उत्तर देने को प्राथमिकता देता है। यह गारंटी देता है कि आउटपुट कभी भी मानक पद्धति से खराब नहीं होगा, भले ही इसमें कभी-कभी उतना ही समय लगे।
यह कार्य एक एकल प्रकार के कंप्यूटर चिप पर किया गया था जिसमें एक 'यूनिफाइड मेमोरी आर्किटेक्चर' है, जो प्रोसेसर को डेटा को मशीन के विभिन्न हिस्सों के बीच स्थानांतरित किए बिना सीधे एक्सेस करने की अनुमति देता है। यह विशिष्ट हार्डवेयर सेटअप मेमोरी-स्प्लिसिंग तकनीक के काम करने के लिए आवश्यक था, क्योंकि इसके लिए मेमोरी सेल्स तक सीधी भौतिक पहुंच की आवश्यकता होती है। शोधकर्ता स्पष्ट हैं कि जबकि गति के आंकड़े इस एक सेटअप के लिए विशिष्ट हैं, अंतर्निहित सिद्धांत—मेमोरी ब्लॉकों को स्थानांतरित करने की सीमाएं और एक अलग रूटिंग सिस्टम की आवश्यकता—इन मॉडलों के कार्य करने के बारे में सार्वभौमिक सत्य प्रतीत होते हैं। उन्होंने एक स्पष्ट मानचित्र प्रदान किया है कि शॉर्टकट कहाँ काम करते हैं, वे कहाँ टूटते हैं, और एक ऐसा सिस्टम कैसे बनाया जाए जो गति और विश्वसनीयता दोनों प्रदान करने के लिए उन सीमाओं का सम्मान करता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।