TRACE-ROUTER: Task-Consistent and Adaptive Online Routing for Agentic AI
TRACE-Router एक टास्क-लेवल रूटिंग फ्रेमवर्क है जो एडमिशन के समय एक सिंगल लार्ज लैंग्वेज मॉडल को एजेंटिक वर्कफ़्लो असाइन करता है और डिलेड टास्क-लेवल रिवार्ड्स के आधार पर पॉलिसियों को अपडेट करता है, जिससे यह कई बेंचमार्क में मौजूदा पर-कॉल रूटरों की तुलना में सटीकता-विलंबता (accuracy-latency) ट्रेड-ऑफ में बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक कॉल सेंटर चला रहे हैं जहाँ आपकी हर ग्राहक की रिक्वेस्ट एक जटिल मिशन है। आपके पास काम करने वालों की एक टीम है: कुछ बिजली की तरह तेज़ हैं लेकिन शायद बारीकियों को मिस कर दें, जबकि अन्य अविश्वसनीय रूप से विस्तृत और सटीक हैं लेकिन उन्हें समय लगता है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, ये काम करने वाले 'लार्ज लैंग्वेज मॉडल्स' (LLMs) हैं। बड़ी चुनौती कंपनियों के लिए यह तय करना है कि किस काम के लिए किस कर्मचारी को नियुक्त किया जाए। यदि आप हमेशा धीमे और सावधान विशेषज्ञ को चुनते हैं, तो आप सरल कार्यों पर पैसा और समय बर्बाद करते हैं। यदि आप हमेशा तेज़ कर्मचारी को चुनते हैं, तो आपको कठिन समस्या पर गलत उत्तर मिल सकता है।
लंबे समय तक, इसे हल करने का मानक तरीका एक एकल प्रश्न को देखना और यह तय करना था, "ठीक है, यह आसान लग रहा है, इसे तेज़ कर्मचारी के पास भेजें," या "यह कठिन लग रहा है, इसे विशेषज्ञ के पास भेजें।" लेकिन इस दृष्टिकोण में "एजेंटिक" (agentic) AI के साथ काम करते समय एक छिपा हुआ दोष है। एक एजेंट केवल एक प्रश्न का उत्तर नहीं दे रहा है; वह एक लंबी यात्रा पर है। वह एक सवाल पूछ सकता है, एक टूल का उपयोग कर सकता है, एक मानचित्र देख सकता है, और फिर एक बड़े समस्या को हल करने के लिए एक और सवाल पूछ सकता है। यदि आप यात्रा के बीच में ही कर्मचारी बदल देते हैं, तो नए कर्मचारी को पता नहीं होता कि पहला वाला क्या सोच रहा था, और पूरा मिशन विफल हो सकता है। असली सवाल यह है कि पूरी यात्रा के लिए सही कर्मचारी कैसे चुना जाए, और अगली बार बेहतर करने के लिए परिणाम से कैसे सीखा जाए?
यही वह चीज़ है जिसे TRACE-Router के पीछे के शोधकर्ताओं ने हल करने की कोशिश की। उन्होंने महसूस किया कि हर एक प्रश्न को एक अलग निर्णय के रूप में देखना, हर मील के लिए एक नया ड्राइवर चुनने जैसा है। इसके बजाय, वे एक ऐसा सिस्टम प्रस्तावित करते हैं जो पूरी यात्रा के लिए एक ड्राइवर चुनता है और गंतव्य तक पहुँचने तक उसी के साथ रहता है।
यहाँ उनका नया सिस्टम कैसे काम करता है, इसे एक सरल उपमा (analogy) से समझते हैं: कल्पना कीजिए कि एक ट्रेन स्टेशन पर एक स्मार्ट डिस्पैचर (प्रेषक) है। पुराने सिस्टम में, डिस्पैचर यात्री के टिकट को देखता और तय करता कि उसे किस ट्रेन में डालना है। यदि यात्री को बाद में ट्रेन बदलने की आवश्यकता होती, तो डिस्पैचर एक नया निर्णय लेता, जिससे अक्सर यात्री का मूल लक्ष्य भूल जाता। TRACE-Router नियमों को बदल देता है। जब एक यात्री (एक कार्य) आता है, तो डिस्पैचर गंतव्य को देखता है और तुरंत उन्हें एक विशिष्ट ट्रेन (एक विशिष्ट AI मॉडल) में असाइन कर देता है। एक बार जब यात्री उस ट्रेन पर सवार हो जाता है, तो वह पूरे सफर के दौरान उसी पर रहता है, चाहे वह कितने भी स्टॉप क्यों न ले।
जादू तब होता है जब यात्रा समाप्त होती है। डिस्पैचर यह देखने के लिए प्रतीक्षा करता है कि क्या यात्री सुरक्षित और समय पर पहुँचा। यदि यात्रा सफल रही, तो डिस्पैचर शुरू में लिए गए निर्णय को "थम्स अप" (सफलता का संकेत) देता है। यदि यात्रा विफल रही या इसमें बहुत अधिक समय लगा, तो उसे "थम्स डाउन" (असफलता का संकेत) मिलता है। महत्वपूर्ण बात यह है कि डिस्पैचर व्यक्तिगत स्टॉप्स को दोष नहीं देता; वह शुरुआत में किए गए ट्रेन के चुनाव को दोष देता है। यह सिस्टम को केवल अलग-थलग क्षणों के बजाय पूरे अनुभव से सीखने की अनुमति देता है।
यह पेपर एक चतुर शिक्षण पद्धति पेश करता है जिसे "कॉन्टेक्स्टुअल बैंडिट" (contextual bandit) कहा जाता है। इसे एक खेल के रूप में समझें जहाँ डिस्पैचर सीखता है कि विभिन्न प्रकार के यात्रियों के लिए कौन सी ट्रेन सबसे अच्छी काम करती है। वे यात्रियों को मोटे तौर पर "आसान", "मध्यम" और "कठिन" जैसी श्रेणियों में वर्गीकृत करते हैं (AI से कुछ भी पूछे बिना पहले ही उनके टिकट पर एक त्वरित नज़र डालकर)। प्रत्येक श्रेणी के लिए, सिस्टम अलग-अलग ट्रेनों को आज़माता है, सीखता है कि कौन सा काम को सबसे अच्छी तरह से पूरा करता है, और अंततः एक आदर्श मिलान स्थापित करता है। यह एक शेफ की तरह है जो किसी व्यंजन का स्वाद लेता है और सीखता है कि मसालेदार भोजन के लिए, उसे हमेशा लाल चूल्हा इस्तेमाल करना चाहिए, लेकिन मीठे भोजन के लिए नीला चूल्हा बेहतर है।
इसके परिणाम काफी प्रभावशाली हैं। शोधकर्ताओं ने जटिल गणितीय समस्याओं और कोडिंग कार्यों सहित कई वास्तविक दुनिया की चुनौतियों पर अपने सिस्टम का परीक्षण किया। उन्होंने पाया कि पूरे कार्य के लिए एक ही मॉडल के साथ बने रहकर, TRACE-Router लगातार उस "स्वीट स्पॉट" (इष्टतम बिंदु) को खोज लेता है जिसे अन्य तरीके मिस कर देते हैं (यानी गति और सटीकता के बीच का संतुलन)। एक विशिष्ट टेस्ट, जिसे τ 2-Bench कहा जाता है, पर उनका सिस्टम अन्य स्मार्ट रूटिंग विधियों की तुलना में 7 से 8 अधिक समस्याओं को सही ढंग से हल करने में सक्षम था, भले ही उन विधियों को समान समय दिया गया था। एक अन्य टेस्ट, Terminal-Bench पर, इसने उपलब्ध सबसे मजबूत एकल मॉडल की तुलना में 7.1 प्रतिशत अंक अधिक सटीकता प्राप्त की, जबकि यह वास्तव में 36% तेज़ था।
इस पेपर ने यह देखने के लिए भी कुछ अलग विचारों का परीक्षण किया कि क्या काम करता है। उन्होंने सिस्टम को "प्री-वॉर्म" (पहले से तैयार) करने की कोशिश की, यानी काम शुरू करने से पहले उसे कुछ नकली अनुभव दिया, इस उम्मीद में कि वह तेज़ी से सीखेगा। हालाँकि, परिणामों ने दिखाया कि इसने वास्तव में सिस्टम को धीमा और कम लचीला बना दिया, इसलिए उन्होंने "कोल्ड स्टार्ट" पद्धति पर टिके रहने का निर्णय लिया जहाँ सिस्टम वास्तविक यात्राओं से सीखता है। उन्होंने अपने लर्निंग एल्गोरिदम की अन्य लोकप्रिय विधियों के साथ भी तुलना की और पाया कि उनका चुनाव विभिन्न प्रकार के कार्यों में सबसे स्थिर और विश्वसनीय था।
संक्षेप में, TRACE-Router सुझाव देता है कि AI एजेंटों को प्रबंधित करने का सबसे अच्छा तरीका हर एक कदम को सूक्ष्म रूप से नियंत्रित (micromanage) करना नहीं है, बल्कि पूरी यात्रा के लिए एक ही, अच्छी तरह से चुने गए साथी पर भरोसा करना है। अंतिम परिणाम के आधार पर निर्णय का आकलन करके, सिस्टम समय के साथ स्मार्ट विकल्प बनाना सीखता है, जो गति और सटीकता के बीच संतुलन बनाने के मामले में पिछले तरीकों से बेहतर है। यह AI को अलग-थलग प्रश्नों की एक श्रृंखला के रूप में देखने के बजाय, एक सुसंगत, लंबी दूरी के मिशन के रूप में देखने की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।