Scaling Enterprise Agent Routing: Degradation, Diagnosis, and Recovery
यह शोध पत्र इस बात की जांच करता है कि कैसे एंटरप्राइज एलएलएम (LLM) असिस्टेंट्स में टूल कैटलॉग के आकार 10 से बढ़कर 110 एजेंटों तक होने पर रूटिंग सटीकता कम हो जाती है, जिसमें रिट्रीवल (retrieval) और कन्फ्यूजन (confusion) अंतराल को विफलता के प्राथमिक कारणों के रूप में पहचाना गया है और यह प्रदर्शित किया गया है कि एम्बेडिंग-आधारित शॉर्टलिस्टिंग (embedding-based shortlisting) कई फ्रंटियर मॉडल्स (frontier models) में महत्वपूर्ण एफ1 (F1) प्रदर्शन को प्रभावी ढंग से पुनः प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, व्यस्त कार्यालय के प्रबंधक हैं। आपके पास 110 विशिष्ट कर्मचारी (एजेंट) और 584 विशिष्ट कौशल (टूल्स) की एक टीम है जिनका वे उपयोग कर सकते हैं। आपका काम एक क्लाइंट से प्राप्त अनुरोध (जैसे "मुझे एक ईमेल भेजना है") को लेना और तुरंत उस काम को संभालने के लिए सही कर्मचारी को चुनना है।
यह शोध पत्र इस पर आधारित है कि क्या होता है जब वह कार्यालय बहुत बड़ा हो जाता है, और कैसे प्रबंधक (एक AI) गलतियाँ करने लगता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "बहुत अधिक विकल्प" का जाल
जब कार्यालय छोटा था (मान लीजिए 10 कर्मचारी), तो प्रबंधक सही व्यक्ति चुनने में बहुत अच्छा था। लेकिन जैसे-जैसे उन्होंने अधिक लोग जोड़े, प्रबंधक भ्रमित होने लगा।
- उपमा: कल्पना कीजिए कि घास के ढेर (haystack) में एक विशिष्ट सुई खोजने की कोशिश करना। जब घास का ढेर छोटा होता है, तो यह आसान होता है। जब यह एक पहाड़ के आकार का हो जाता है, तो आप उन सुइयों को भी मिस करने लगते हैं जिन्हें आपको ढूंढ लेना चाहिए था।
- परिणाम: जैसे-जैसे टूल्स की सूची 10 से बढ़कर 110 हुई, सही टूल खोजने की AI की क्षमता काफी कम हो गई (लगभग 16-23%)। ऐसा नहीं था कि AI ने अधिक बार गलत टूल्स चुनना शुरू कर दिया था; बल्कि यह था कि वह सही टूल्स को पूरी तरह से मिस (miss) करने लगा था।
2. यह क्यों विफल हुआ? दो प्रकार की गलतियाँ
शोधकर्ताओं ने इस विफलता को दो अलग-अलग समस्याओं में विभाजित किया, जैसे कि एक जासूस के केस सुलझाने में विफल होने के दो अलग कारण हो सकते हैं:
- "रिट्रीवल गैप" (लाइब्रेरियन की समस्या): AI सूची में सही टूल को देख ही नहीं पा रहा था। यह एक ऐसे लाइब्रेरियन की तरह था जो लाइब्रेरी बहुत बड़ी और अव्यवस्थित होने के कारण शेल्फ पर मौजूद किताब को नहीं ढूंढ पा रहा था। यह वह हिस्सा था जिसे शोधकर्ता ठीक कर सके।
- "कन्फ्यूजन गैप" (जुड़वां समस्या): भले ही AI ने सही टूल को देख लिया हो, फिर भी वह भ्रमित हो गया। क्यों? क्योंकि कार्यालय में कई "जुड़वां" हैं।
- उदाहरण: आपके पास Gmail, Outlook और Yahoo Mail है। आपके पास "Improve", "Paraphrase" और "Proofread" टूल्स हैं। ये सभी लगभग एक जैसा काम करते हैं। भले ही एक आदर्श सूची मौजूद हो, AI यह तय करने में संघर्ष करता रहा कि कौन सा "जुड़वां" सबसे उपयुक्त है। इस भ्रम के कारण प्रदर्शन में एक स्थायी गिरावट आई जिसे केवल टूल्स को बेहतर तरीके से सूचीबद्ध करके ठीक नहीं किया जा सकता था।
3. समाधान: "शॉर्टलिस्ट" फ़िल्टर
शोधकर्ताओं ने एक सरल समाधान का परीक्षण किया: AI को पूरी सूची न दिखाएं। इसके बजाय, पहले सबसे संभावित 20 उम्मीदवारों को खोजने के लिए एक त्वरित फ़िल्टर (एक स्मार्ट सर्च बार की तरह) का उपयोग करें, और फिर उस छोटे समूह में से विजेता चुनने के लिए AI से पूछें।
- उपमा: एक जज से 584 प्रतियोगियों में से विजेता चुनने के लिए कहने के बजाय, पहले एक स्काउट से शीर्ष 20 को चुनने को कहें। फिर, जज उन केवल 20 में से विजेता चुनता है।
- परिणाम: यह "शॉर्टलिस्टिंग" विधि जादू की तरह काम कर गई। इसने खोए हुए प्रदर्शन को लगभग 10-17% तक वापस पा लिया। इसने "जुड़वां समस्या" (भ्रम) को ठीक नहीं किया, लेकिन इसने "लाइब्रेरियन समस्या" (सही टूल को मिस करना) को पूरी तरह से हल कर दिया।
4. क्या काम नहीं आया (और क्या काम आया)
टीम ने इस "स्काउट" (फ़िल्टर) को बनाने के विभिन्न तरीकों का परीक्षण किया:
- विजेता: एम्बेडिंग्स (Embeddings) (एक प्रकार का AI जो शब्दों की स्पेलिंग के बजाय उनके अर्थ को समझता है) का उपयोग करना। यह सबसे अच्छा तरीका था। यह समझ गया कि "संदेश भेजना" और "टीम को ईमेल करना" समान हैं, भले ही शब्द अलग हों।
- हारने वाला: कीवर्ड सर्च (Keyword Search) (सटीक शब्द मिलान देखना)। यह बुरी तरह विफल रहा क्योंकि एक बड़े कार्यालय में, सभी लोग एक ही शब्दों (जैसे "email" या "schedule") का उपयोग करते हैं, इसलिए उन शब्दों को खोजने से अलग-अलग टूल्स के बीच अंतर करने में मदद नहीं मिली।
- "पैक" दृष्टिकोण: टूल्स को श्रेणियों (जैसे "Email Tools" बनाम "Writing Tools") में समूहित करना और पहले एक श्रेणी चुनना, सीधे व्यक्तिगत टूल्स चुनने की तुलना में उतना प्रभावी नहीं था।
5. वास्तविक दुनिया का परीक्षण
शोधकर्ताओं ने केवल कंप्यूटर-जनित परीक्षण प्रश्नों का उपयोग नहीं किया। उन्होंने 1,435 वास्तविक अनुरोधों पर भी परीक्षण किया जो वास्तविक उपयोगकर्ताओं से आए थे।
- वास्तविक उपयोगकर्ता अव्यवस्थित होते हैं: वे शब्दों की गलत वर्तनी (misspell) करते हैं, स्लैंग का उपयोग करते हैं, और वे बिल्कुल वैसा नहीं कहते जैसा उनका मतलब होता है।
- परिणाम बरकरार रहे: वास्तविक दुनिया के अव्यवस्थित डेटा के साथ भी, "शॉर्टलिस्ट" विधि ने प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया, जिससे साबित हुआ कि यह केवल लैब का प्रयोग नहीं है—यह वास्तविक दुनिया में काम करता है।
मुख्य निष्कर्ष (The Bottom Line)
जब आप बहुत अधिक टूल्स के साथ एक AI सिस्टम को स्केल करते हैं, तो वह अभिभूत (overwhelmed) हो जाता है और सही उत्तरों को मिस करने लगता है।
- समाधान: AI को एक साथ सब कुछ न देखने दें। पहले विकल्पों को कम करने के लिए एक स्मार्ट फ़िल्टर का उपयोग करें ताकि वह एक शॉर्टलिस्ट (20 विकल्प) तक पहुँच सके।
- सीमा: शॉर्टलिस्ट के साथ भी, AI उन टूल्स के बीच भ्रमित हो जाएगा जो बहुत समान कार्य करते हैं (जैसे विभिन्न ईमेल ऐप्स)। वह हिस्सा ठीक करना कठिन है, लेकिन "शॉर्टलिस्ट" विधि समस्या के सबसे बड़े हिस्से को हल करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।