EARS: Explanatory Abstention for Reliable Sub-Agent Modeling in Large-scale Multi-Agent Systems
यह शोध पत्र EARS प्रस्तुत करता है, जो एक ऐसा ढांचा है जो उप-एजेंटों को अपनी सीमाओं का पता लगाने और भ्रमित आउटपुट (hallucinated outputs) देने के बजाय व्याख्यात्मक त्याग (explanatory abstentions) और तर्कों के साथ प्रतिक्रिया करने के लिए प्रशिक्षित करके बड़े पैमाने के मल्टी-एजेंट सिस्टम की विश्वसनीयता को बढ़ाता है, जिससे उत्पादन वातावरण में समग्र कार्य सफलता दर में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल ऑनलाइन स्टोर के लिए एक विशाल, हाई-टेक कस्टमर सर्विस सेंटर की कल्पना करें। इस केंद्र में एक हेड मैनेजर (कोऑर्डिनेटर) और स्पेशलिस्ट वर्कर्स (सब-एजेंट्स) की एक टीम है।
हेड मैनेजर का काम ग्राहक के अनुरोध को सुनना और यह तय करना है कि कौन सा स्पेशलिस्ट उसे संभालने के लिए सबसे उपयुक्त है। उदाहरण के लिए, यदि कोई ग्राहक अपने बिक्री के आंकड़ों के बारे में पूछता है, तो मैनेजर उन्हें "डेटा एनालिस्ट" स्पेशलिस्ट के पास भेज देता है। यदि वे शिपिंग के बारे में पूछते हैं, तो वे "लॉजिस्टिक्स" स्पेशलिस्ट के पास जाते हैं।
समस्या: "अति-आत्मविश्वासी" स्पेशलिस्ट
यह पेपर इस सिस्टम में एक सामान्य गड़बड़ी की पहचान करता है। स्पेशलिस्ट वर्कर्स को अक्सर पैसा बचाने के लिए छोटे, तेज़ कंप्यूटर दिमागों (कंप्यूटर ब्रेन्स) का उपयोग करके बनाया जाता है। कभी-कभी, एक ग्राहक ऐसा प्रश्न पूछता है जो है:
- भ्रमित करने वाला: "मेरी दुकान कैसी रही?" (कौन सी दुकान? कब की?)
- अधूरा: "मुझे बिक्री दिखाओ।" (किसकी बिक्री? कल की? पिछले साल की?)
- स्कोप से बाहर: उस स्पेशलिस्ट के पास उस प्रश्न का उत्तर देने के लिए आवश्यक उपकरण ही नहीं हैं।
पुराने सिस्टम में, जब इन स्पेशलिस्ट्स का सामना ऐसे प्रश्नों से होता था, तो उन्हें यह नहीं पता होता था कि "मैं यह नहीं कर सकता" कैसे कहना है। इसके बजाय, वे अनुमान लगाने की कोशिश करते थे। वे मनगढ़ंत उत्तर (हैलुसिनेशन) बना लेते थे या भ्रमित करने वाले, अनुपयोगी जवाब देते थे। इससे पूरा सिस्टम अविश्वसनीय लगने लगता था।
समाधान: EARS (द "एक्सप्लेनेटरी पॉज़")
लेखकों ने EARS (एक्सप्लेनेटरी एब्स्टेंशन फॉर रिलायबल सब-एजेंट मॉडलिंग) नामक एक नया फ्रेमवर्क बनाया है।
EARS को एक नए, विनम्र और बहुत विशिष्ट तरीके के रूप में समझें जिससे स्पेशलिस्ट यह कह सकते हैं कि "मैं यह नहीं कर सकता।" चुप रहने या मनगढ़ंत बातें बनाने के बजाय, उन्हें प्रशिक्षित किया गया है कि वे:
- रुकें (Abstain/परहेज करें) उत्तर देने से।
- समझाएं कि उन्होंने क्यों रोका।
वे केवल "नहीं" नहीं कहते। वे कहते हैं, "मैं इसका उत्तर नहीं दे सकता क्योंकि प्रश्न बहुत अस्पष्ट है," या "मैं उत्तर नहीं दे सकता क्योंकि आप मुझे तारीख बताना भूल गए," या "मैं उत्तर नहीं दे सकता क्योंकि यह वास्तव में लॉजिस्टिक्स टीम का काम है, मेरा नहीं।"
यह एक "विफलता" को एक उपयोगी सिग्नल में बदल देता है जो वापस हेड मैनेजर को भेजा जाता है, जो फिर अनुरोध को ठीक कर सकता है या उसे सही व्यक्ति के पास भेज सकता है।
उन्होंने स्पेशलिस्ट्स को कैसे सिखाया
आप केवल एक कंप्यूटर को "ईमानदार" होने के लिए नहीं कह सकते और उम्मीद नहीं कर सकते कि यह काम करेगा। शोधकर्ताओं ने एक चतुर तीन-चरणीय प्रशिक्षण प्रक्रिया का उपयोग किया:
- मानव शिक्षक: सबसे पहले, वास्तविक मनुष्यों ने हजारों ग्राहक चैट देखी और ठीक से लेबल किया कि एक स्पेशलिस्ट क्यों विफल हुआ। उन्होंने विभिन्न प्रकार की विफलताओं के लिए एक नियम पुस्तिका (टैक्सोनॉमी) बनाई।
- "जज" पैनल: चूंकि मनुष्यों के पढ़ने के लिए बहुत अधिक चैट थीं, इसलिए शोधकर्ताओं ने शक्तिशाली AI "जजों" का एक पैनल प्रशिक्षित किया जो शिक्षकों के रूप में कार्य करते थे। उन्होंने इन जजों का परीक्षण तब तक किया जब तक कि वे विफलता के विशिष्ट कारणों को पहचानने में बहुत अच्छे नहीं हो गए। अतिरिक्त सावधानी के लिए, उन्होंने एक "कंसेंसस" (आम सहमति) पद्धति का उपयोग किया: यदि चार अलग-अलग AI जज विफलता के कारण पर सहमत थे, तो उन्होंने इसे सही के रूप में चिह्नित किया।
- प्रशिक्षण लूप: उन्होंने इन "जज-अनुमोदित" उदाहरणों का उपयोग स्पेशलिस्ट्स को फिर से प्रशिक्षित करने के लिए किया। अब, जब कोई स्पेशलिस्ट किसी भ्रमित करने वाले प्रश्न को देखता है, तो वह पैटर्न को पहचान लेता है और तुरंत एक स्पष्ट स्पष्टीकरण के साथ वापस भेजता है बजाय एक नकली उत्तर के।
परिणाम
टीम ने इसे एक वास्तविक, विशाल ई-कॉमर्स वातावरण में टेस्ट किया जो लाखों ग्राहकों की सेवा करता है।
- EARS से पहले: सिस्टम केवल 68.5% अनुरोधों को सफलतापूर्वक संभाल पाता था। बाकी या तो गलत, भ्रमित करने वाले या अनुपयोगी थे।
- EARS के बाद: सफलता दर बढ़कर 78.9% हो गई।
सरल शब्दों में, स्पेशलिस्ट्स को यह स्वीकार करने और कारण बताने के लिए प्रशिक्षित करके कि वे कहाँ फंस गए हैं, पूरी टीम बहुत अधिक विश्वसनीय हो गई। हेड मैनेजर मुद्दों को तेज़ी से ठीक कर सका, और ग्राहकों को बेहतर उत्तर मिले। यह पेपर दिखाता है कि AI एजेंटों की एक टीम में, यह जानना कि कब नहीं बोलना है (और क्यों), उतना ही महत्वपूर्ण है जितना कि यह जानना कि क्या कहना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।