AppWorld-UL: Benchmarking Diverse Agent-User Interactions for Tool-Use
यह शोधपत्र AppWorld-UL प्रस्तुत करता है, जो नौ सिम्युलेटेड अनुप्रयोगों में 516 कार्यों वाला एक चुनौतीपूर्ण बेंचमार्क है जो उपयोगकर्ताओं के साथ विविध, आवश्यक इंटरैक्शन को संभालने के लिए टूल-यूज़ एजेंटों की क्षमता का मूल्यांकन करता है, यह प्रकट करते हुए कि अत्याधुनिक मॉडल भी इन यूजर-इन-द-लूप परिदृश्यों के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट बटलर को अपने काम निपटाने के लिए सिखा रहे हैं। आप उसे कहते हैं, "मेरे लिए एक शर्ट खरीद लाओ।" कंप्यूटर साइंस की दुनिया में, इसे "टूल यूज़" (tool use) कहा जाता है—रोबोट जानता है कि ऐप कैसे खोलना है, बटन कैसे दबाना है और खरीदारी कैसे करनी है। लेकिन यहाँ एक पेंच है: असली ज़िंदगी बहुत उलझी हुई होती है। क्या होगा अगर आपके कार्ट में पाँच शर्ट्स हों और रोबोट को पता ही न चले कि आपका मतलब किस शर्ट से है? क्या होगा अगर आपकी पसंद की शर्ट बिक चुकी हो? क्या होगा अगर कीमत अचानक दोगुनी हो जाए, और आप इसे तभी खरीदते अगर आप उस बदलाव के लिए "हाँ" कहते?
इन रोबोट्स के लिए किए जाने वाले अधिकांश परीक्षण केवल यह जाँचते हैं कि क्या वे एक आदर्श, चरण-दर-चरण रेसिपी का पालन कर सकते हैं जहाँ कुछ भी गलत न हो। लेकिन असली इंसान अप्रत्याशित होते हैं। हम अस्पष्ट बातें करते हैं, अपना मन बदल लेते हैं, और हमें अपनी अनुमति देने के लिए रोबोट को पूछने की ज़रूरत होती है कि वह हमारे पैसे खर्च करे। यह शोध पत्र AI रिसर्च के उस उलझे हुए, वास्तविक दुनिया वाले कोने में कदम रखता है और एक सरल लेकिन कठिन सवाल पूछता है: क्या हमारे बेहतरीन AI एजेंट वास्तव में जटिल होने पर हमसे बात कर सकते हैं, या क्या वे केवल तब विफल हो जाते हैं जब निर्देश एकदम सटीक नहीं होते?
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व जुनज़ी चेन और हर्ष त्रिवेदी कर रहे हैं, रोबोट्स का परीक्षण आदर्श, काल्पनिक दिनों पर करना बंद करने और उन्हें उन दिनों पर टेस्ट करना शुरू किया जो वास्तविक जीवन की तरह महसूस होते हैं। उन्होंने एक नया खेल का मैदान बनाया जिसे AppWorld-UL (यूज़र-इन-द-लूप) कहा गया। इसे एक विशाल, सिम्युलेटेड डिजिटल शहर के रूप में समझें जिसमें अमेज़न और स्पॉटीफाई जैसे नौ लोकप्रिय ऐप्स हैं, लेकिन इसमें एक ट्विस्ट है: "यूज़र" (एक सिम्युलेटेड व्यक्ति) इस खेल का हिस्सा है, और रोबोट को मदद के लिए उनसे पूछना सीखना होगा।
टीम ने केवल रैंडम समस्याएँ नहीं बनाईं; उन्होंने एक चतुर "परटर्बेशन" (perturbation) पद्धति का उपयोग किया। कल्पना कीजिए कि उन्होंने एक सामान्य कार्य लिया, जैसे "पिछले हफ्ते खरीदी गई नाइकी की शर्ट वापस करो," और फिर चुपके से दुनिया में थोड़ा बदलाव करके इसे पेचीदा बना दिया।
- "कौन सी वाली?" का जाल (अस्पष्टता/Underspecification): उन्होंने यह सुनिश्चित किया कि रोबोट को पिछले हफ्ते की दो नाइकी शर्ट मिलें। अब रोबोट केवल अंदाज़ा नहीं लगा सकता; उसे रुकना होगा और पूछना होगा, "आप कौन सी वापस करना चाहते हैं?"
- "यह तो गायब है!" का जाल (असंभवता/Infeasibility): उन्होंने स्टोर से शर्ट का "लार्ज" साइज गायब कर दिया। रोबोट केवल विफल नहीं हो सकता; उसे यूज़र को बताना होगा, "लार्ज साइज खत्म हो गया है। क्या आप दूसरा साइज चाहते हैं या रिफंड?"
- "रुको, यह तो महंगा है!" का जाल (पुष्टि/Confirmation): उन्होंने शर्ट की कीमत दोगुनी कर दी। रोबोट को रुकना होगा और कहना होगा, "अरे, कीमत बढ़ गई है! क्या आप अभी भी इसे खरीदना चाहते हैं?"
परीक्षण को निष्पक्ष बनाने के लिए, उन्होंने एक "सिम्युलेटेड यूज़र" बनाया जो एक वास्तविक व्यक्ति की तरह व्यवहार करता है लेकिन सख्त नियमों का पालन करता है। यह यूज़र पेचीदा सवालों के जवाब जानता है लेकिन तब तक उन्हें नहीं बताएगा जब तक कि रोबोट सही सवाल न पूछे। यह "20 सवाल" (20 Questions) के खेल जैसा है जहाँ यूज़र केवल तभी जवाब देगा यदि आप ठीक वही पूछें जो वे सोच रहे हैं।
जब उन्होंने दुनिया के सबसे स्मार्ट AI रोबोट्स (जैसे क्लॉड ओपस 4.7 और GPT-5.5) को इस अराजक डिजिटल शहर में डाला, तो परिणाम एक तरह का वेक-अप कॉल थे। यहाँ तक कि सबसे बेहतरीन रोबोट भी पूरे कार्यों के सेट पर केवल 48.6% बार ही सफल रहा। जब कार्य और भी कठिन हो गए, जैसे एक साथ दो या तीन पेचीदा स्थितियों को मिलाना, तो सफलता दर गिरकर मात्र 35.7% रह गई।
अध्ययन यह सुझाव देता है कि समस्या यह नहीं है कि रोबोट ऐप्स का उपयोग नहीं कर सकते; वे वास्तव में बटन दबाने में काफी अच्छे हैं। असली संघर्ष बातचीत का है। जब शोधकर्ताओं ने रोबोट्स को पहले से ही सारी गायब जानकारी के साथ एक "चीट शीट" दी (ताकि उन्हें यूज़र से पूछना न पड़े), तो सफलता दर बढ़कर 78.1% हो गई। यह साबित करता है कि कठिनाई बातचीत करने की आवश्यकता से आती है, न कि ऐप्स की जटिलता से।
शोध में यह भी पाया गया कि जब रोबोट विफल हुए, तो इसका कारण आमतौर पर यह था कि उन्होंने सही सवाल नहीं पूछे। या तो उन्होंने उत्तर का अनुमान लगाया (भ्रम/hallucinating), या ऐसे अस्पष्ट सवाल पूछे जिससे यूज़र भ्रमित हो गया, या वे जो यूज़र ने अभी बताया उसे भूल गए। यह एक ऐसे रोबोट की तरह है जो सुनता है "मुझे लाल शर्ट चाहिए" लेकिन फिर नीली शर्ट खरीद लेता है क्योंकि वह चेक करना भूल गया।
संक्षेप में, यह पेपर दिखाता है कि जबकि हमारे AI एजेंट कार्य करने में माहिर होते जा रहे हैं, वे अभी भी एक अच्छे बातचीत करने वाले साथी बनने के लिए सीख रहे हैं। उन्हें यह सीखने की ज़रूरत है कि कभी-कभी समस्या को हल करने का सबसे अच्छा तरीका आगे बढ़ना नहीं, बल्कि रुकना, इंसान की ओर देखना और पूछना है, "रुको, आपका मतलब किससे था?" जब तक वे इस लेन-देन वाले नृत्य में महारत हासिल नहीं कर लेते, वे शायद एक साधारण किराने की खरीदारी के लिए तैयार हो सकते हैं, लेकिन वे एक वास्तविक इंसान के दिन की अराजकता को संभालने के लिए पूरी तरह तैयार नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।