Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs
यह शोधपत्र AsyncFC प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो बिना किसी मॉडल फाइन-ट्यूनिंग या प्रोटोकॉल परिवर्तन के एसिंक्रोनस और समानांतर टूल उपयोग को सक्षम करने के लिए मॉडल डिकोडिंग को फंक्शन निष्पादन से अलग करके LLM एजेंट लेटेंसी (विलंबता) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शानदार प्रोजेक्ट मैनेजर (AI) हैं जो एक जटिल काम पूरा करने की कोशिश कर रहे हैं, जैसे कि किसी यात्रा की योजना बनाना या किसी सॉफ़्टवेयर को ठीक करना। आपके पास विशेषज्ञों (functions) की एक टीम है जो उड़ान बुक कर सकती है, मौसम की जाँच कर सकती है, या कोड लिख सकती है।
पुराना तरीका: "वेटिंग रूम" की समस्या
वर्तमान मानक तरीके में, आपका प्रोजेक्ट मैनेजर बहुत विनम्र है लेकिन अविश्वसनीय रूप से अक्षम है।
- आप एक विशेषज्ञ से उड़ान बुक करने के लिए कहते हैं।
- विशेषज्ञ काम करने के लिए काउंटर पर जाता है।
- प्रोजेक्ट मैनेजर जम जाता है और खाली बैठा रहता है, दीवार को घूरता रहता है, और तब तक कुछ भी नहीं करता जब तक विशेषज्ञ टिकट लेकर वापस नहीं आ जाता।
- उसके बाद ही मैनेजर अगला सवाल पूछता है (जैसे, "अब, उस हवाई अड्डे पर मौसम कैसा है?")।
यदि आपके पास तीन कार्य हैं जिनमें से प्रत्येक में 10 सेकंड लगते हैं, तो पूरी प्रक्रिया में 30 सेकंड का शुद्ध प्रतीक्षा समय लगता है। मैनेजर 20 सेकंड के लिए निष्क्रिय रहता है। यह जो सिंक्रोनस निष्पादन (synchronous execution) है, वही है।
नया तरीका: AsyncFC (द "मैजिक क्लिपबोर्ड")
यूसी बर्कले के शोधकर्ताओं ने एक नया सिस्टम पेश किया जिसे AsyncFC कहा जाता है। इसे एक मैजिक क्लिपबोर्ड और एक सुपर-फास्ट असिस्टेंट देने के रूप में सोचें।
यह इस प्रकार काम करता है:
- आप एक विशेषज्ञ से उड़ान बुक करने के लिए कहते हैं।
- विशेषज्ञ अनुरोध लेता है और तुरंत आपको एक मैजिक टिकट स्टब (जिसे पेपर में "फ्यूचर" कहा गया है) थमा देता है। यह स्टब कहता है, "आपकी उड़ान बुक हो गई है; मैं 10 सेकंड में वास्तविक टिकट वापस ले आऊँगा।"
- महत्वपूर्ण बात यह है कि प्रोजेक्ट मैनेजर रुकता नहीं है। वे तुरंत उस स्टब को देखते हैं, कहते हैं "ठीक है," और अगले कार्य (मौसम की जाँच करना) पर आगे बढ़ जाते हैं, जबकि बैकग्राउंड में उड़ान बुकिंग अभी भी चल रही होती है।
- विशेषज्ञ बैकग्राउंड में उड़ान बुकिंग पूरी करता है। जब वे समाप्त कर लेते हैं, तो वे चुपचाप वास्तविक टिकट मैनेजर की मेज पर रख देते हैं।
- यदि मैनेजर को होटल बुक करने के लिए टिकट की आवश्यकता है, तो वे बस मेज की ओर देखते हैं, देखते हैं कि टिकट आ गया है, और उसका उपयोग करते हैं। यदि होटल बुकिंग को टिकट की आवश्यकता नहीं है, तो मैनेजर अन्य चीजों पर काम करना जारी रखता है।
दो बड़ी महाशक्तियाँ
1. ओवरलैपिंग वर्क (द "मल्टीटास्किंग" प्रभाव)
कार्य A को समाप्त होने के लिए प्रतीक्षा करने के बजाय, मैनेजर कार्य B कर रहा होता है जबकि कार्य A बैकग्राउंड में प्रोसेस हो रहा होता है। यह एक शेफ की तरह है जो सूप उबलने का इंतज़ार करने के बजाय, सूप उबलते समय सब्जियां काट रहा है।
2. पैरेलल स्पेशलिस्ट (द "टीम हडल" प्रभाव)
कभी-कभी, आपको उड़ान बुक करनी होती और कार किराए पर लेनी होती है। ये दोनों कार्य एक-दूसरे पर निर्भर नहीं हैं।
- पुराना तरीका: उड़ान बुक करें (10 सेकंड प्रतीक्षा करें) -> कार किराए पर लें (10 सेकंड प्रतीक्षा करें)। कुल: 20 सेकंड।
- AsyncFC: मैनेजर एक साथ दोनों के लिए अनुरोध करता है। सिस्टम दोनों अनुरोध अलग-अलग विशेषज्ञों को भेजता है जो एक ही समय में काम करते हैं। मैनेजर को तुरंत दोनों स्टब मिल जाते हैं और वे काम जारी रखते हैं। कुल समय केवल 10 सेकंड है।
"स्मार्ट शेड्यूलर"
आप सोच सकते हैं: "क्या होगा अगर मैनेजर उड़ान का टिकट तैयार होने से पहले होटल के लिए पूछता है? यह तो आपदा होगी!"
पेपर एक स्मार्ट शेड्यूलर (एक ट्रैफिक पुलिस) का परिचय देता है जो मैनेजर और विशेषज्ञों के बीच बैठता है।
- यह जानता है कि कौन से कार्य एक-दूसरे पर निर्भर हैं।
- यदि होटल बुकिंग को उड़ान के टिकट की आवश्यकता है, तो शेड्यूलर होटल के अनुरोध को "वेटिंग रूम" में तब तक रोक कर रखता है जब तक उड़ान का टिकट नहीं आ जाता।
- यदि होटल बुकिंग को टिकट की आवश्यकता नहीं है, तो यह विशेषज्ञ को तुरंत काम शुरू करने देता है।
- यह सुनिश्चित करता है कि मैनेजर कभी भ्रमित न हो या किसी ऐसे परिणाम का उपयोग करने की कोशिश न करे जो मौजूद नहीं है, और यह सब बिना मैनेजर के व्यवहार बदले होता है।
उन्होंने क्या सिद्ध किया?
शोधकर्ताओं ने वास्तविक दुनिया के कार्यों पर इसका परीक्षण किया जैसे:
- वेब सर्च: कई वेबसाइटों से जानकारी खोजना।
- सॉफ्टवेयर इंजीनियरिंग: कोड में बग्स को ठीक करना (SWE-agent नामक टूल का उपयोग करके)।
- जटिल तर्क (Complex Reasoning): ऐसे प्रश्नों के उत्तर देना जिनके लिए कई चरणों की आवश्यकता होती है (जैसे HotpotQA)।
परिणाम:
- गति: कार्य बहुत तेज़ी से पूरे हुए (सॉफ्टवेयर इंजीनियरिंग कार्यों में 1.44 गुना तेज़ तक)।
- सटीकता: उत्तरों की गुणवत्ता कम नहीं हुई। AI बस बहुत तेज़ था, उतना ही स्मार्ट भी था।
- कोई प्रशिक्षण आवश्यक नहीं: उन्हें AI को सोचने के लिए दोबारा नहीं सिखाना पड़ा। उन्होंने बस "एग्जीक्यूशन लेयर" (वह सिस्टम जो कार्यों को चला रहा है) को बदल दिया। AI स्वाभाविक रूप से "मैजिक टिकट स्टब्स" को समझ गया क्योंकि उसने अपने ट्रेनिंग डेटा में समान अवधारणाओं को देखा था।
मुख्य निष्कर्ष
AsyncFC एक कारखाने को सिंगल-लेन सड़क से स्मार्ट हाईवे सिस्टम में अपग्रेड करने जैसा है जहाँ कारें हर चौराहे पर रुकती हैं, बजाय इसके कि वे मर्ज हो सकें, ओवरटेक कर सकें और टकराए बिना अलग-अलग समय पर पहुँच सकें। यह AI एजेंटों को तेज़ बनाता है क्योंकि यह उन्हें जवाबों की प्रतीक्षा करते समय भी काम करने की अनुमति देता है, बिना टूल्स के साथ बात करने के नियमों को तोड़े।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।