AsymSpec: Context-Asymmetric Speculative Decoding for Agentic LLMs
AsymSpec एक एसिमेट्रिक स्पेक्युलेटिव डिकोडिंग फ्रेमवर्क है जो एक हल्के ड्राफ्टर को पूर्ण इनपुट कॉन्टेक्स्ट तक पहुँचने में सक्षम बनाता है जबकि एक बड़ा वेरीफायर संकुचित दृश्य (कंप्रेस्ड व्यू) पर कार्य करता है, जिससे प्रभावी रूप से एजेंटिक LLMs के लिए अनुमान गति और सटीकता को संतुलित करते हुए काफी कम कंप्यूट लागत पर पूर्ण-कॉन्टेक्स्ट प्रदर्शन प्राप्त किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम तेजी से स्वायत्त एजेंटों के रूप में कार्य कर रहे हैं, जो जटिल समस्याओं को हल करने के लिए दस्तावेज़ प्राप्त करने, सॉफ़्टवेयर टूल्स का उपयोग करने और बहु-चरणीय (multi-turn) बातचीत करने में सक्षम हैं। जैसे-जैसे ये एजेंट काम करते हैं, वे सूचना का एक बढ़ता हुआ इतिहास संचित करते हैं: खोज परिणाम, टूल आउटपुट और पिछले संदेश। इन सिस्टम्स को वास्तविक दुनिया के उपयोग के लिए पर्याप्त तेज़ बनाने के लिए, इंजीनियर अक्सर इस इतिहास को कंप्रेस (compress) कर देते हैं, जैसे लंबे दस्तावेज़ों को संक्षिप्त वाक्यों में सारांशित करना या समय बचाने के लिए विस्तृत छवियों को हटा देना। हालाँकि, यह कंप्रेशन एक भारी कीमत पर आता है: एआई सटीक तर्क (reasoning) के लिए आवश्यक सूक्ष्म विवरण खो देता है, जिससे गति और बुद्धिमत्ता के बीच एक कठिन चुनाव करना पड़ता है। 'स्पेक्टिव डिकोडिंग' (speculative decoding) नामक एक मानक तकनीक, जो एक बड़े, धीमे मॉडल के बोलने के अंदाज़ का अनुमान लगाने के लिए एक छोटे, तेज़ मॉडल का उपयोग करती है, इसे एआई को तेज़ करने का मुख्य समाधान माना जाता रहा है। फिर भी, यह पारंपरिक विधि एजेंटिक सेटिंग्स में एक दीवार से टकरा जाती है क्योंकि इसके लिए छोटे गेसर (guesser) और बड़े वेरीफायर (verifier) दोनों को बिल्कुल एक ही जानकारी देखनी पड़ती है। यदि जानकारी को समय बचाने के लिए कंप्रेस किया गया है, तो गेसर भी उसी महत्वपूर्ण विवरण को खो देता है जिसे वेरीफायर देख सकता है, जिसका अर्थ है कि स्पीडअप उस खोई हुई सटीकता की भरपाई नहीं कर सकता।
हुआवेई टेक्नोलॉजीज (Huawei Technologies) और यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी ऑफ चाइना (University of Science and Technology of China) के शोधकर्ताओं ने ASYMSPEC नामक एक नया दृष्टिकोण प्रस्तावित किया है जो इस गतिरोध को तोड़ता है, क्योंकि यह दोनों मॉडलों को एक ही कहानी के अलग-अलग संस्करण देखने की अनुमति देता है। उनके सिस्टम में, बड़ा और शक्तिशाली मॉडल जो अंतिम निर्णय लेता है, वह इनपुट के केवल कंप्रेस्ड और तेज़ संस्करण पर कार्य करता है ताकि लेटेंसी (latency) कम रहे। इस बीच, एक बहुत छोटा और हल्का मॉडल बैकग्राउंड में पूर्ण, अनकंप्रेस्ड इतिहास को पढ़ता है। यह छोटा मॉडल एक मार्गदर्शक के रूप में कार्य करता है, जो ठीक से पहचानता है कि कंप्रेशन के दौरान कौन सी जानकारी खो गई थी और बड़े मॉडल के भविष्यवाणियों को उन लुप्त विवरणों को शामिल करने के लिए सूक्ष्मता से प्रेरित करता है। शोधकर्ताओं ने पाया कि यह एसिमेट्रिक (asymmetric) सेटअप सिस्टम को पूर्ण-संदर्भ विश्लेषण (full-context analysis) की लगभग पूरी सटीकता बनाए रखने की अनुमति देता है, जबकि यह एक कंप्रेस्ड वर्जन की गति से कार्य करता है। जटिल बहु-चरणीय प्रश्नों और टूल के उपयोग सहित चार अलग-अलग एजेंटिक क्षमताओं पर परीक्षणों में, इस पद्धति ने पूर्ण-संदर्भ सटीकता का लगभग 90 प्रतिशत हिस्सा बहाल किया, जबकि कंप्यूटिंग लागत का केवल 20 से 30 प्रतिशत ही उपयोग किया।
इसका मुख्य नवाचार इस बात में निहित है कि दोनों मॉडल आपस में कैसे संवाद करते हैं। केवल छोटे मॉडल को अनुमान लगाने देने और यह उम्मीद करने के बजाय कि बड़ा मॉडल सहमत होगा, सिस्टम पूर्ण टेक्स्ट के प्रति छोटे मॉडल की प्रतिक्रिया की तुलना कंप्रेस्ड टेक्स्ट के प्रति उसकी प्रतिक्रिया से करता है। इन दो प्रतिक्रियाओं के बीच का अंतर यह प्रकट करता है कि कंप्रेशन ने वास्तव में क्या हटाया है। सिस्टम फिर इस विशिष्ट सिग्नल का उपयोग बड़े मॉडल के आउटपुट को समायोजित करने के लिए करता है, जो बड़े मॉडल को भारी, पूर्ण-लंबाई वाले डेटा को प्रोसेस किए बिना ही अंतराल को भरने में प्रभावी रूप से सक्षम बनाता है। एक स्मार्ट गेटकीपर मैकेनिज्म यह सुनिश्चित करता है कि यह मार्गदर्शन केवल तभी लागू किया जाए जब आवश्यक हो, जिससे सिस्टम तब भ्रमित न हो जब कंप्रेशन मामूली हो। यह दृष्टिकोण तब भी काम करता है जब इनपुट में विभिन्न प्रकार के मीडिया शामिल हों; उदाहरण के लिए, एक छोटा मॉडल एक कच्ची (raw) छवि देख सकता है जबकि बड़ा मॉडल केवल एक टेक्स्ट विवरण देख सकता है, जिसमें छोटा मॉडल बड़े मॉडल को उन दृश्य विवरणों को समझने के लिए निर्देशित करता है जिन्हें वह स्वयं नहीं देख सकता।
शोधकर्ताओं ने इस पद्धति का परीक्षण वास्तविक दुनिया के एजेंट कार्यों पर किया, जैसे कि ऐसे प्रश्नों के उत्तर देना जिनमें कई दस्तावेज़ों में खोजने, बहु-चरणीय निर्देशों का पालन करने और सॉफ़्टवेयर टूल्स का उपयोग करने की आवश्यकता होती है। उन्होंने अपने सिस्टम की तुलना मानक विधियों से की जो या तो सब कुछ धीरे-धीरे प्रोसेस करती हैं या सब कुछ तेज़ी से कंप्रेस कर देती हैं। परिणामों ने दिखाया कि पारंपरिक स्पेक्टिव डिकोडिंग कंप्रेशन के कारण खोई गई सटीकता को पुनः प्राप्त नहीं कर सकती थी; यह केवल लॉस्य (lossy) प्रक्रिया को तेज़ कर रही थी। इसके विपरीत, नई एसिमेट्रिक पद्धति ने सफलतापूर्वक अंतर को पाट दिया, जो पूर्ण-संदर्भ आदर्श के करीब प्रदर्शन प्रदान करती है, लेकिन बहुत कम समय में। विशिष्ट बेंचमार्क में, जिसमें लंबे दस्तावेज़ शामिल थे, सिस्टम ने अनकंप्रेस्ड बेसलाइन की तुलना में 1.3 से 1.7 गुना तक की स्पीडअप हासिल की, जबकि कंप्यूटिंग शक्ति को लगभग एक-पांचवें तक कम कर दिया। अध्ययन बताता है कि यह तकनीक विशेष रूप से तब मूल्यवान है जब कंप्रेशन गंभीर हो, क्योंकि सिस्टम की खोई हुई जानकारी को पुनः प्राप्त करने की क्षमता इस बात पर निर्भर करती है कि शुरू में कितने विवरण हटाए गए थे।
यह कार्य यह प्रदर्शित करता है कि एआई एजेंटों के लिए गति और सटीकता के बीच का ट्रेड-ऑफ अनिवार्य रूप से कठोर नहीं होना चाहिए। तेज़ मॉडल जो देखता है उसे धीमे मॉडल द्वारा देखे जाने वाले डेटा से अलग करके, और एक हल्के मार्गदर्शक का उपयोग करके महत्वपूर्ण अंतर्दृष्टि को स्थानांतरित करके, दक्षता और उच्च-गुणवत्ता वाले तर्क दोनों प्राप्त करना संभव है। निष्कर्ष बताते हैं कि उन कार्यों के लिए जहाँ संदर्भ भारी होता है और विवरण आसानी से खो जाते हैं, एक पूर्ण चित्र पढ़ने वाला छोटा मॉडल एक सारांश के साथ काम करने वाले बड़े मॉडल को प्रभावी ढंग से निर्देशित कर सकता है। यह दृष्टिकोण परिष्कृत एआई एजेंटों को प्रोडक्शन वातावरण में तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है, जहाँ लेटेंसी और लागत महत्वपूर्ण बाधाएं हैं, बिना जटिल निर्णय लेने के लिए आवश्यक विश्वसनीयता से समझौता किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।