One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows
यह शोधपत्र थिंकिंगबॉक्स (Thinkingbox) को प्रस्तुत करता है, जो एक सैंडबॉक्स और बेंचमार्क है जिसे स्टेटफुल बिजनेस वर्कफ्लो पर एआई एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो सही पर्सिस्टेंट स्टेट ट्रांज़िशन के साथ जटिल, मल्टी-टर्न कार्यों को विश्वसनीय रूप से निष्पादित करने की उनकी क्षमता को मापकर, 507 पॉलिसी-कंडीशन्ड परिदृश्यों में कभी-कभार होने वाली सफलता और निरंतर विश्वसनीयता के बीच एक महत्वपूर्ण अंतर को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटर प्रोग्रामों की एक नई पीढ़ी उभरी है जिसे "एजेंट्स" (agents) के रूप में जाना जाता है। उन शुरुआती चैटबॉट्स के विपरीत जो केवल सवालों के जवाब देते थे या टेक्स्ट लिखते थे, ये एजेंट कार्य करने के लिए डिज़ाइन किए गए हैं। वे वेब ब्राउज़ कर सकते हैं, सॉफ्टवेयर कोड चला सकते हैं, या किसी मानव कर्मचारी की तरह कार्यों को पूरा करने के लिए डिजिटल टूल्स का उपयोग कर सकते हैं। वर्षों से, शोधकर्ताओं ने इन एजेंटों का परीक्षण करने के लिए उन्हें ऐसी समस्याओं को हल करने के लिए कहा है जिनके स्पष्ट और आसानी से जांचने योग्य उत्तर होते हैं, जैसे कि कोड की एक टूटी हुई लाइन को ठीक करना या किसी वेबसाइट पर कोई विशिष्ट तथ्य खोजना। इन क्षेत्रों में सफलता इस बात से मापी जाती थी कि क्या एजेंट ने सही अंतिम आउटपुट या एक वैध कमांड उत्पन्न किया। हालाँकि, व्यवसाय की वास्तविक दुनिया शायद ही कभी इतनी सरल होती है। एक कॉर्पोरेट कार्यालय में, काम में अक्सर घटनाओं की एक लंबी श्रृंखला शामिल होती है जहाँ कंप्यूटर सिस्टम को सही ढंग से अपडेट किया जाना चाहिए, नीतियों का पालन किया जाना चाहिए, और एक डेटाबेस की स्थिति एक विशिष्ट तरीके से बदलनी चाहिए। यदि कोई एजेंट किसी प्रक्रिया के बीच में गलती करता है, या यदि वह गलत रिकॉर्ड को बदल देता है, तो इसके परिणाम वास्तविक और महंगे हो सकते हैं। इस तकनीक के भविष्य के लिए महत्वपूर्ण प्रश्न यह नहीं है कि क्या एक एजेंट एक बार सफल होने का रास्ता खोज सकता है, बल्कि यह है कि क्या वह बिना किसी अनपेक्षित नुकसान के, हर बार भरोसेमंद तरीके से ऐसा कर सकता है।
पिట్స్बर्ग विश्वविद्यालय, नॉर्थवेस्टर्न यूनिवर्सिटी, यूनिवर्सिटी ऑफ कैलिफोर्निया, इरविन और माइक्रोसॉफ्ट के शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने के लिए एक नया परीक्षण स्थल बनाया है। उन्होंने 'थिंकिंगबॉक्स' (ThinkingBox) नामक एक डिजिटल वातावरण बनाया है, जो एक सुरक्षित, अलग सैंडबॉक्स के रूप में कार्य करता है जहाँ ये एआई एजेंट सिम्युलेटेड उपयोगकर्ताओं और जटिल व्यावसायिक उपकरणों के साथ बातचीत कर सकते हैं। इस सैंडबॉक्स के भीतर, एजेंटों को वास्तविक कार्य दिए जाते हैं, जैसे कि ऑनलाइन ऑर्डर के लिए रिफंड प्रोसेस करना, होटल रिजर्वेशन बदलना, बीमा दावे को अपडेट करना, या किसी कर्मचारी के आईटी सहायता के अनुरोध को संभालना। इस वातावरण को कार्यालय के काम की अव्यवस्थपूर्ण वास्तविकता की नकल करने के लिए डिज़ाइन किया गया है, जहाँ जानकारी अक्सर अधूरी होती है, नियम सख्त होते हैं, और प्रत्येक क्रिया एक डिजिटल रिकॉर्ड पर स्थायी निशान छोड़ती है। शोधकर्ताओं ने एजेंटों से केवल बात करने के लिए नहीं कहा; उन्होंने उन्हें वास्तव में सिस्टम की स्थिति बदलने के लिए बाध्य किया। परीक्षणों को निष्पक्ष और दोहराने योग्य सुनिश्चित करने के लिए, सैंडबॉक्स हर प्रयास के बाद पूरी तरह से खुद को रीसेट कर लेता है, जिससे यह सुनिश्चित होता है कि कोई भी दो परीक्षण एक ही डेटा या छिपे हुए इतिहास को साझा नहीं करते हैं।
शोधकर्ताओं ने फिर इस वातावरण को पांच विभिन्न उद्योगों: रिटेल, ट्रैवल एंड हॉस्पिटैलिटी, ऑटो इंश्योरेंस, बैंकिंग और कंसल्टिंग में 507 विशिष्ट कार्यों के साथ भरा। उन्होंने प्रमुख तकनीकी कंपनियों के स्वामित्व वाले सिस्टम और ओपन-सोर्स मॉडल दोनों सहित उपलब्ध सबसे उन्नत आर्टिफिशियल इंटेलिजेंस मॉडलों की एक विस्तृत श्रृंखला को इन कार्यों को करने के लिए आमंत्रित किया। प्रत्येक मॉडल को प्रत्येक समस्या को हल करने के बीस अवसर दिए गए। मूल्यांकन कठोर था। एक एजेंट केवल इसलिए पास नहीं हुआ क्योंकि उसने एक विनम्र उत्तर दिया या एक ऐसा टूल कॉल किया जो सतही तौर पर सही लग रहा था। इसके बजाय, सिस्टम ने अंतिम परिणाम की जांच आवश्यक परिणाम के विरुद्ध की। क्या रिफंड वास्तव में डेटाबेस में दिखाई दिया? क्या होटल का कमरा सही ढंग से बदला हुआ चिह्नित किया गया? क्या बीमा दावे को गलत ग्राहक की पॉलिसी को गलती से बदले बिना अपडेट किया गया? सिस्टम ने "कोलेटरल इफेक्ट्स" (collateral effects) की भी जांच की, जिसका अर्थ है कि इसने यह देखा कि क्या एजेंट ने अनजाने में उस चीज़ को बदल दिया जिसे उसे नहीं छूना चाहिए था, जो वास्तविक दुनिया के सॉफ्टवेयर में एक सामान्य और खतरनाक त्रुटि है।
परिणामों ने इस बात के बीच एक महत्वपूर्ण अंतर प्रकट किया कि एजेंट कभी-कभी क्या कर सकते हैं और वे कितनी विश्वसनीयता से कार्य कर सकते हैं। सबसे अच्छा प्रदर्शन करने वाले मॉडल ने लगभग 65 प्रतिशत बार अपने पहले प्रयास में कार्य को सही ढंग से हल किया। हालांकि यह प्रभावशाली लग सकता है, लेकिन तस्वीर तब बदल गई जब शोधकर्ताओं ने विश्वसनीयता की जांच की। जब उन्होंने यह जांचा कि एक मॉडल कितनी बार बीस प्रयासों में से सभी में सफलतापूर्वक कार्य को हल कर सकता है, तो संख्या नाटकीय रूप से गिरकर केवल 25 प्रतिशत रह गई। इसका मतलब है कि जबकि एक स्मार्ट एजेंट पर्याप्त प्रयासों के साथ एक सफल पथ खोज सकता है, वह त्रुटियां किए बिना उस सफलता को लगातार दोहरा नहीं सका। शोधकर्ताओं ने पाया कि कई विफलताएं एजेंटों के अनुरोध को समझने में असमर्थ होने या उपयोगकर्ता से बात करने में विफल होने के कारण नहीं थीं। इसके बजाय, सबसे आम समस्या यह थी कि एजेंट रिकवर करने में विफल रहे जब किसी टूल ने एरर मैसेज दिया, या उन्होंने गलत डेटा पर सही क्रिया की। उदाहरण के लिए, एक एजेंट सफलतापूर्वक रिकॉर्ड को अपडेट करने के लिए टूल को कॉल कर सकता है लेकिन परिवर्तन को गलत ग्राहक पर लागू कर सकता है, या वह एक आवश्यक चरण को पूरा करने से पहले ही प्रक्रिया को रोक सकता है, जिससे सिस्टम एक टूटी हुई स्थिति में रह जाता है।
अध्ययन ने यह भी रेखांकित किया कि विभिन्न मॉडल विभिन्न प्रकार के कार्यों के साथ संघर्ष करते हैं। कुछ मॉडल रिटेल ऑर्डर संभालने में काफी अच्छे थे लेकिन जटिल बीमा पॉलिसियों या बैंकिंग नियमों से निपटने में खराब प्रदर्शन करते थे। यह सुझाव देता है कि एक क्षेत्र में उच्च प्रदर्शन यह गारंटी नहीं देता कि एक एजेंट दूसरे क्षेत्र में विश्वसनीय होगा। शोधकर्ताओं ने देखा कि भले ही एक एजेंट उपयोगकर्ता को एक आदर्श दिखने वाला अंतिम संदेश प्रदान करता था, लेकिन अंतर्निहित डेटाबेस अक्सर अपरिवर्तित या दूषित रहता था। यह खोज वर्तमान पद्धति को चुनौती देती है जिसके द्वारा कई प्रणालियों का मूल्यांकन किया जाता है, जो अक्सर बातचीत की गुणवत्ता या टूल कॉल की वैधता के बजाय वास्तविक परिणाम पर ध्यान केंद्रित करती है। पेपर का निष्कर्ष है कि आर्टिफिशियल इंटेलिजेंस को consequential (महत्वपूर्ण परिणाम वाले) व्यावसायिक कार्य के लिए भरोसेमंद बनाने के लिए, इसे केवल एक बार सफल पथ खोजने से आगे बढ़ना होगा और उस पथ को निरंतर, दोहराने योग्य सटीकता के साथ निष्पादित करना सीखना होगा। थिंकिंगबॉक्स सैंडबॉक्स और इसका बेंचमार्क अब जनता के लिए उपलब्ध है, जो एक नया मानक प्रदान करता है कि क्या ये डिजिटल कार्यकर्ता वास्तव में वास्तविक दुनिया के लिए तैयार हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।