ProgRouter: Online Progress-Guided Orchestration for Multi-Agent LLM Workflows under Quality-Cost Tradeoffs

आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, प्रणालियों की एक नई पीढ़ी उभरी है जो जटिल समस्याओं को छोटे चरणों में तोड़कर उन्हें हल कर सकती है। ये प्रणालियाँ, जिन्हें मल्टी-एजेंट वर्कफ्लो (multi-agent workflows) के रूप में जाना जाता है, विशेषज्ञों की एक टीम की तरह काम करती हैं जहाँ विभिन्न कंप्यूटर प्रोग्राम, जिनमें से प्रत्येक एक लार्ज लैंग्वेज मॉडल द्वारा संचालित होता है, एक एकल कार्य को हल करने के लिए सहयोग करते हैं। एक एजेंट रणनीति की योजना बना सकता है, दूसरा कोड लिख सकता है, और तीसरा परिणामों की जाँच कर सकता है। हालाँकि यह दृष्टिकोण मशीनों को उन खुले-अंत वाले (open-ended) चुनौतियों को संभालने की अनुमति देता है जो पहले असंभव थीं, लेकिन इसके साथ एक बड़ा खर्च भी आता है। हर बार जब सिस्टम किसी मॉडल से सोचने या कार्य करने के लिए कहता है, तो यह ऊर्जा और पैसा खर्च करता है। हर एक चरण के लिए सबसे शक्तिशाली और सक्षम मॉडलों का उपयोग करना अक्सर बर्बादी है, जबकि केवल छोटे, सस्ते मॉडलों पर निर्भर रहना ऐसी त्रुटियों का कारण बन सकता है जिन्हें बाद में महंगी सुधार प्रक्रियाओं की आवश्यकता होती है। शोधकर्ताओं के लिए केंद्रीय चुनौती यह खोजने का तरीका ढूंढना रहा है कि प्रत्येक विशिष्ट क्षण में किस मॉडल का उपयोग किया जाए, जिससे उच्च गुणवत्ता वाले परिणामों की आवश्यकता और समय एवं बजट की सीमाओं के बीच संतुलन बनाया जा सके।

शोधकर्ताओं ने इस सटीक समस्या को हल करने के लिए PROGROUTER नामक एक नई प्रणाली विकसित की है। एक कार्य की शुरुआत में एक एकल निर्णय लेने या चीजें खराब होने पर अंधाधुंध अधिक शक्तिशाली मॉडलों की ओर बढ़ने के बजाय, PROGROTER एक बुद्धिमान कंडक्टर (conductor) की तरह कार्य करता है जो वास्तविक समय में वर्कफ्फ़्लो की निगरानी करता है। यह लगातार इस बात की निगरानी करता है कि टीम ने कितनी प्रगति की है, शेष चरणों की कठिनाई कितनी है, और कितना बजट खर्च हो चुका है। इस लाइव मूल्यांकन के आधार पर, यह अगले चरण के लिए सबसे उपयुक्त मॉडल का चयन करता है, यह सुनिश्चित करते हुए कि शक्तिशाली और महंगे मॉडलों को केवल तभी बुलाया जाए जब वास्तव में किसी विशिष्ट बाधा को पार करने के लिए उनकी आवश्यकता हो। यह दृष्टिकोण सिस्टम को उच्च प्रदर्शन बनाए रखने की अनुमति देता है और कार्य को पूरा करने के लिए आवश्यक कुल ऊर्जा और लागत को काफी कम कर देता है।

शोधकर्ताओं ने इस प्रणाली का परीक्षण चार अलग-अलग प्रकार के कठिन कार्यों पर किया: कंप्यूटर कोड लिखना, गणितीय समस्याओं को हल करना, और जटिल प्रश्नों के उत्तर देना जिनमें बड़ी मात्रा में जानकारी खोजने की आवश्यकता होती है। उन्होंने PROGROUTER की तुलना कई मौजूदा तरीकों से की, जिसमें वे रणनीतियाँ शामिल थीं जो हमेशा एक ही मॉडल का उपयोग करती हैं, वे रणनीतियाँ जो छोटी शुरुआत करती हैं और केवल अटक जाने पर बड़े मॉडलों पर स्विच करती हैं, और वे रणनीतियाँ जो सबसे अच्छे परिणामों के बारे में पिछले अनुमानों पर निर्भर करती हैं। परिणामों ने दिखाया कि निश्चित रणनीतियाँ, चाहे वे केवल छोटे मॉडलों का उपयोग करती हों या केवल बड़े मॉडलों का, प्रयोगों के लिए निर्धारित ऊर्जा और लागत की सीमाओं को पूरा करने में लगातार विफल रहीं। छोटे मॉडल अक्सर अटक जाते थे और उन्हें बहुत अधिक पुनरावृत्तियों (retries) की आवश्यकता होती थी, जबकि बड़े मॉडल हर एक कॉल के साथ बहुत अधिक ऊर्जा खर्च करते थे। इसके विपरीत, PROGROUTER ने बीच का रास्ता सफलतापूर्वक खोज निकाला। कोड लिखने के परीक्षणों में, इसने 4,800 जूल के सख्त ऊर्जा बजट के भीतर रहते हुए 93 प्रतिशत की सफलता दर हासिल की। गणित की समस्याओं पर, इसने केवल 6,112 जूल ऊर्जा का उपयोग करके मात्र 19 सेकंड में कार्य पूरे किए, जिसने बजट बाधाओं को पूरा करने वाले अन्य सभी तरीकों को पछाड़ दिया।

PROGRO根據 (PROGROUTER) की प्रभावशीलता कार्य की "अवस्था" (state) को समझने की इसकी क्षमता में निहित है। यह प्रणाली एक स्कोरिंग तंत्र का उपयोग करती है जो वर्कफ्फ़्लो को कई कोणों से देखता है। यह जाँचता है कि क्या समग्र योजना वैध है, कितने उप-कार्यों को पूरा किया गया है, क्या कार्य आगे बढ़ रहा है या रुक रहा है, और अब तक उत्पन्न की गई जानकारी की गुणवत्ता कैसी है। इन विभिन्न दृष्टिकोणों को जोड़कर, सिस्टम यह बता सकता है कि कार्य लगभग समाप्त होने वाला है या यह किसी बड़ी बाधा का सामना कर रहा है। जब कार्य सुचारू रूप से प्रगति कर रहा होता है, तो सिस्टम लागत कम रखने के लिए छोटे, तेज़ और सस्ते मॉडलों का विकल्प चुनता है। हालाँकि, यदि सिस्टम यह पता लगाता है कि वर्कफ्फ़्लो अटक गया है या कोई कठिन चरण शेष है, तो यह कार्य को आगे बढ़ाने के लिए तुरंत एक अधिक शक्तिशाली मॉडल पर स्विच कर देता है। यह निर्णय पूरे अमल के दौरान तुरंत और बार-बार लिया जाता है, यह सुनिश्चित करते हुए कि अनावश्यक भारी काम पर कोई ऊर्जा बर्बाद न हो, और न ही उन चरणों पर समय नष्ट हो जिनके लिए वर्तमान मॉडल की तुलना में अधिक बुद्धिमत्ता की आवश्यकता है।

अध्ययन ने यह भी खुलासा किया कि यह अनुकूलन योग्य दृष्टिकोण उन खुले-अंत वाली स्थितियों में भी काम करता है जहाँ कोई स्पष्ट सही या गलत उत्तर नहीं होता, जैसे कि जब एक सिस्टम को एक विस्तृत रिपोर्ट लिखने के लिए इंटरनेट से जानकारी एकत्र करनी होती है। इन परिदृश्यों में, जहाँ प्रगति को मापना कठिन है, PROGROUTER ने फिर भी सभी परीक्षण किए गए तरीकों में उच्चतम गुणवत्ता वाले परिणाम देने में सफलता प्राप्त की। इसने अपनी ऊर्जा सीमाओं के भीतर रहते हुए इन जटिल प्रश्नों पर 92.1 प्रतिशत का परिशुद्धता (precision) स्कोर प्राप्त किया। शोधकर्ताओं ने पाया कि सिस्टम ने स्वाभाविक रूप से विशेषज्ञता हासिल करना सीख लिया, जिससे अधिकांश नियमित चरणों के लिए छोटे मॉडलों का उपयोग किया गया और सबसे बड़े, सबसे सक्षम मॉडलों को उन महत्वपूर्ण क्षणों के लिए सुरक्षित रखा गया जहाँ उनकी अतिरिक्त शक्ति से वास्तविक अंतर पड़ता है। इस गतिशील व्यवहार ने सिस्टम को अन्य तरीकों के सामान्य दोषों से बचने में मदद की, जैसे कि कमजोर मॉडलों के साथ लूप में फंसना या शक्तिशाली मॉडलों के साथ बजट को बहुत जल्दी खत्म कर देना।

अंततः, यह कार्य प्रदर्शित करता है कि कुशल आर्टिफिशियल इंटेलिजेंस का भविष्य न केवल बेहतर मॉडल बनाने में है, बल्कि उन्हें बेहतर तरीके से उपयोग करने में भी है। मॉडल के चयन को एक बार के विकल्प के बजाय एक निरंतर, डेटा-संचालित निर्णय के रूप में मानकर, PROGROUTER दिखाता है कि उच्च-गुणवत्ता वाले परिणाम प्राप्त करना संभव है, वह भी उन अत्यधिक लागतों के बिना जो वर्तमान में इन तकनीकों के विस्तार (scalability) को सीमित करती हैं। यह प्रणाली सिद्ध करती है कि सही समन्वय के साथ, विविध मॉडलों की एक टीम किसी एकल मॉडल की तुलना में अधिक कुशलता से मिलकर काम कर सकती है, जो अधिक टिकाऊ और सुलभ एआई प्रणालियों की ओर एक मार्ग प्रदान करती है जो अपने संसाधनों को समाप्त किए बिना जटिल, वास्तविक दुनिया की चुनौतियों को संभाल सकती हैं।