Do Agents Know What They Can't Do? Evaluating Feasibility Awareness in Tool-Using Agents
यह शोध पत्र FeasiGen को प्रस्तुत करता है, जो महत्वपूर्ण उपकरणों (tools) को मास्क करके अप्राप्य टूल-उपयोग करने वाले एजेंट कार्यों को उत्पन्न करने के लिए एक स्वचालित पाइपलाइन है, और इसका उपयोग यह प्रकट करने के लिए करता है कि वर्तमान एजेंटों में मजबूत व्यवहार्यता जागरूकता की कमी है, जो अक्सर उच्च त्रुटि दरों के साथ असंभव कार्यों पर निष्पादन जारी रखते हैं, हालांकि मल्टी-एजेंट आर्किटेक्चर बेहतर प्रदर्शन दिखाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक जटिल प्रोजेक्ट, जैसे कि फ्लाइट बुक करना और उसका भुगतान करना, में मदद करने के लिए एक बहुत ही बुद्धिमान और उत्साही सहायक को काम पर रखा है। आप अपने सहायक को उन टूल्स की एक सूची देते हैं जिनका वे उपयोग कर सकते हैं: एक सर्च इंजन, एक बुकिंग इंजन और एक क्रेडिट कार्ड प्रोसेसर।
अब, कल्पना कीजिए कि वे शुरू करने से पहले ही आपने उनके टूलबॉक्स से चुपके से क्रेडिट कार्ड प्रोसेसर को हटा दिया।
समस्या:
आज के अधिकांश AI असिस्टेंट उस उत्साही सहायक की तरह हैं जिन्हें यह पता ही नहीं है कि उनका एक टूल गायब है। वे फ्लाइट्स खोजना शुरू करते हैं, एक बेहतरीन डील ढूंढ लेते हैं, और फिर भुगतान करने की कोशिश करते हैं। जब उन्हें एहसास होता है कि वे भुगतान नहीं कर सकते, तो वे केवल यह नहीं कहते, "ओह, मैं यह नहीं कर सकता।" इसके बजाय, वे कोशिश करते रहते हैं। वे शायद फिर से भुगतान करने की कोशिश करेंगे, किसी ऐसे अलग पेमेंट मेथड को खोजने की कोशिश करेंगे जो मौजूद ही नहीं है, या इस बारे में एक लंबा निबंध लिखेंगे कि वे भुगतान क्यों नहीं कर पा रहे हैं। वे एक ऐसे कार्य पर बहुत सारा समय और ऊर्जा (कंप्यूटिंग पावर) बर्बाद करते हैं जो शुरुआत से ही असंभव था।
समाधान (FeasiGen):
शोधकर्ताओं ने FeasiGen (फिजिजन - Feasibility Generator) नामक एक सिस्टम बनाया है। इसे एक "रियलिटी चेक" मशीन की तरह समझें।
- नियमों को सीखना: सबसे पहले, उन्होंने कई अलग-अलग AI असिस्टेंट्स को सफलतापूर्वक कार्य पूरे करते हुए देखा। उन्होंने "पदचिह्नों" (उपयोग किए गए विशिष्ट टूल्स) को देखा ताकि यह देख सकें कि कौन से टूल्स हर एक सफलता के लिए बिल्ly आवश्यक थे। फ्लाइट वाले उदाहरण के लिए, उन्होंने देखा कि हर सफल बुकिंग में "पेमेंट API" का उपयोग किया गया था।
- जाल बनाना: फिर, उन्होंने उन्हीं कार्यों को लिया और उन महत्वपूर्ण टूल्स को चुपके से हटा दिया। उन्होंने एक हल करने योग्य कार्य को एक असंभव कार्य में बदल दिया।
- परीक्षण: उन्होंने इन "टूटे हुए" कार्यों को नौ अलग-अलग AI मॉडल्स को दिया यह देखने के लिए कि क्या वे यह समझ पाते हैं कि, "हे, मेरे पास एक महत्वपूर्ण टूल गायब है, मुझे अब रुक जाना चाहिए," या क्या वे चक्कर काटते रहेंगे।
उन्होंने क्या पाया:
परिणाम थोड़े आश्चर्यजनक और AI दक्षता के लिए थोड़े चिंताजनक थे:
- अधिकांश AI चलते रहते हैं: सबसे स्मार्ट मॉडल्स भी अक्सर रुकने में विफल रहे। वे लगभग 23% से 74% समय असंभव कार्य को हल करने की कोशिश करते रहे। यह एक ड्राइवर की तरह है जो दीवार के माध्यम से गाड़ी चलाने की कोशिश करता है क्योंकि वह भूल गया कि सड़क खत्म हो गई है।
- ज़िद की कीमत: जब एक AI असंभव कार्य पर कोशिश करता रहता है, तो वह तुरंत रुक जाने की तुलना में 2 से 5 गुना अधिक कंप्यूटिंग पावर (टोकेन्स) का उपयोग करता है। यह एक डेड-एंड गली के अंत तक चलने और यह महसूस करने के बीच का अंतर है कि आप खो गए हैं, बनाम वहां तक चलने, वापस मुड़ने और फिर से वापस चलने के बीच का अंतर।
- टीमवर्क मदद करता है: जब शोधकर्ताओं ने AI की एक "टीम" बनाई (एक योजना बनाने के लिए, एक काम करने के लिए), तो टीम टूटे हुए टूल्स को पहचानने में बहुत बेहतर थी। "प्लानर" पहले टूल्स को देखता, यह महसूस करता कि कुछ गायब है, और "वर्कर" के शुरू करने से पहले ही "रुकने" का निर्देश देता। इसने बर्बाद हुई मेहनत को नाटकीय रूप से कम कर दिया।
- ज़्यादा सोचने से मदद मिलती है (कभी-कभी): जिन मॉडल्स को कार्य करने से पहले "स्टेप-बाय-स्टेप सोचने" के लिए मजबूर किया गया, वे टूटे हुए टूल्स को पहचानने में आम तौर पर बेहतर थे, हालांकि यह हर मॉडल के लिए सच नहीं था।
बड़ी सीख:
अभी, हम ज्यादातर AI का परीक्षण इस आधार पर करते हैं कि क्या वे कोई कार्य पूरा कर सकते हैं। यह पेपर कहता है कि यह पर्याप्त नहीं है। हमें यह भी परीक्षण करने की आवश्यकता है कि क्या वे जानते हैं कि कब कुछ नहीं करना है। एक AI जो जानता है कि कब हार माननी है, वह उतना ही महत्वपूर्ण है जितना कि वह जो जानता है कि कैसे काम पूरा करना है। वर्तमान में, अधिकांश AI यह जानने में बहुत खराब हैं कि वे कब किसी डेड-एंड में फंस गए हैं, जिससे बहुत अधिक ऊर्जा और पैसा बर्बाद होता है।
सीमाओं पर एक नोट:
शोधकर्ता स्वीकार करते हैं कि उनका परीक्षण केवल "क्लोज्ड" वातावरण में काम करता है जहाँ टूल्स की सूची निश्चित और ज्ञात होती है। यदि एक AI जादुई रूप से नए टूल्स बना सकता या इंटरनेट पर उन्हें ढूंढ सकता, तो यह परीक्षण समान रूप से काम नहीं करता। लेकिन उन सिस्टम्स के लिए जहाँ टूल्स सख्ती से परिभाषित हैं, यह "रियलिटी चेक" यह मापने का एक नया और महत्वपूर्ण तरीका है कि एक AI वास्तव में कितना स्मार्ट है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।