CRAB-Bench: Evaluating LLM Agents under Complex Task Dependencies and Human-aligned User Simulation
यह शोध पत्र जटिल कार्य निर्भरताओं और मानव-संरेखित उपयोगकर्ता सिमुलेशन वाले वास्तविक सेवा परिदृश्यों में LLM एजेंटों का मूल्यांकन करने के लिए CRAB-Bench और RUSE को प्रस्तुत करता है, जो यह प्रकट करता है कि वर्तमान फ्रंटियर मॉडल इन चुनौतियों के साथ, विशेष रूप से सूचना प्रकटीकरण जैसे अपूर्ण उपयोगकर्ता व्यवहारों का सामना करते समय, काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक परफेक्ट वेकेशन प्लान करने के लिए एक ट्रैवल एजेंट को काम पर रख रहे हैं। असल दुनिया में, यह सिर्फ एक फ्लाइट और होटल चुनने के बारे में नहीं है। यह एक ऐसी पहेली है जहाँ हर टुकड़ा बिल्कुल सही बैठना चाहिए: फ्लाइट का लैंड होना होटल के चेक-इन से पहले होना चाहिए, कुल लागत आपके बजट में होनी चाहिए, और तारीखें भी मेल खानी चाहिए। साथ ही, आप (ग्राहक) अस्पष्ट, भुलक्कड़ हो सकते हैं, या अगर एजेंट कोई गलती करता है तो आप चिढ़ भी सकते हैं।
पेपर CRAB-Bench एक नया और बहुत कठिन तरीका पेश करता है यह टेस्ट करने के लिए कि क्या AI "एजेंट्स" (स्मार्ट कंप्यूटर प्रोग्राम) वास्तव में इस तरह की वास्तविक दुनिया की उथल-पुथल को संभाल सकते हैं।
यहाँ उनके काम का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. समस्या: "बहुत-परफेक्ट" टेस्ट
AI ट्रैवल एजेंटों के लिए अधिकांश पिछले टेस्ट किसी वीडियो गेम को "ईज़ी मोड" पर खेलने जैसे थे।
- खामी: इन टेस्ट्स में "ग्राहक" रोबोट थे जो हमेशा स्पष्ट निर्देश देते थे, कभी गलतियाँ नहीं करते थे, और पूरी तरह से सहयोग करते थे।
- परिणाम: इन टेस्ट्स पर AI अद्भुत दिखता था, लेकिन ऐसा इसलिए था क्योंकि टेस्ट बहुत सरल थे। उन्होंने इस बात पर ध्यान नहीं दिया कि असली इंसान अव्यवस्थित होते हैं, और वास्तविक यात्रा योजना में हजारों गलत विकल्प होते हैं जो पहली नज़र में सही लग सकते हैं।
2. समाधान: CRAB-Bench (द "हार्ड मोड" टेस्ट)
लेखकों ने एक नया टेस्टिंग ग्राउंड बनाया जिसे CRAB-Bench कहा जाता है। इसे एक विशाल, स्वचालित भूलभुलैया (maze) के रूप में समझें जिसे AI को चकमा देने के लिए डिज़ाइन किया गया है।
- कन्स्ट्रेंट ग्राफ (नियम पुस्तिका): केवल कार्यों की एक सूची देने के बजाय, सिस्टम नियमों का एक जटिल जाल बनाता है। उदाहरण के लिए, "यदि आप सुबह की फ्लाइट चुनते हैं, तो होटल में लेट चेक-इन होना चाहिए।"
- डिस्ट्रैक्टर्स (फर्जी सुराग): यह इस पेपर का सबसे बड़ा नवाचार है। सिस्टम हजारों फर्जी यात्रा विकल्प (distractors) बनाता है।
- उपमा: कल्पना करें कि एक लाइब्रेरी में 10,000 किताबें हैं। केवल एक किताब ही सही उत्तर है। बाकी 9,999 बिल्कुल सही किताब जैसी दिखती हैं, लेकिन उनमें सूक्ष्म, घातक खामियां हैं (जैसे, फ्लाइट होटल बंद होने के बाद पहुँचती है)। AI को 10,000 एक जैसी दिखने वाली सुइयों के ढेर में से वह एक सुई ढूंढनी होगी।
- कठिनाई: टेस्ट के सबसे कठिन संस्करण में, किस्मत से सही विकल्प चुनने की संभावना केवल 0.05% है।
3. नया "ग्राहक": RUSE (रियलिस्टिक यूजर)
लेखकों ने महसूस किया कि AI को एक रोबोटिक, विनम्र ग्राहक के साथ टेस्ट करना यह नहीं बताता कि क्या AI एक वास्तविक इंसान को संभाल सकता है। उन्होंने RUSE (रियलिस्टिक यूजर सिमुलेशन इंजन) बनाया।
- यह कैसे काम करता है: RUSE एक रोबोट के बजाय एक वास्तविक व्यक्ति की तरह व्यवहार करता है जिसके विशिष्ट व्यक्तित्व लक्षण होते हैं:
- बेधैर्य (Impatient): अगर आप बहुत अधिक सवाल पूछते हैं तो यह चिढ़ जाता है।
- संक्षिप्त (Terse): बहुत छोटे, अस्पष्ट उत्तर देता है।
- भावुक (Emotional): गलतियों पर नकारात्मक प्रतिक्रिया देता है।
- "सूचना प्रकटीकरण" का जाल: पेपर ने पाया कि सबसे हानिकारक लक्षण तब था जब मानव उपयोगकर्ता जानकारी छिपाता था या उसे धीरे-धीरे प्रकट करता था। AI उस पहेली को जोड़ने में संघर्ष करता था जब ग्राहक सभी सुराग एक साथ नहीं देता था।
4. परिणाम: वास्तविकता का सामना
लेखकों ने इस नए, क्रूर टेस्ट पर चार सबसे स्मार्ट AI मॉडल्स (जैसे Claude, DeepSeek, आदि) का परीक्षण किया।
- गिरावट: जब AI एक "विनम्र रोबोट" से बदलकर एक "वास्तविक मानव" (RUSE) के साथ बातचीत करता है, तो इसके प्रदर्शन में भारी गिरावट आती है।
- कुछ मॉडल्स के प्रदर्शन में 57% तक की गिरावट आई।
- सबसे अच्छा मॉडल भी केवल 61% कार्यों को सही ढंग से कर पाया।
- क्या विफल हुआ? AI इसलिए विफल नहीं हुआ क्योंकि वह असभ्य था या बातचीत नहीं कर सका। वह इसलिए विफल हुआ क्योंकि वह पहेली को हल नहीं कर सका। वह हजारों फर्जी विकल्पों से भ्रमित हो गया और यह नहीं समझ पाया कि फ्लाइट और होटल का कौन सा संयोजन वास्तव में काम करेगा।
- "गलती" वाला व्यवहार: वास्तविक मानव के साथ बातचीत करते समय, AI यह कहने की संभावना कम रखता था कि, "मैंने एक गलती की है।" इसके बजाय, इसने बिना स्वीकार किए चुपचाप त्रुटियों को ठीक करने की कोशिश की, जिससे स्थिति अक्सर और खराब हो गई।
5. मुख्य निष्कर्ष
- अधिक विकल्प = अधिक कठिन: जितने अधिक "वैध" समाधान मौजूद होंगे (यात्रा की योजना बनाने के जितने अधिक तरीके होंगे), AI के लिए सबसे अच्छा वाला ढूंढना उतना ही कठिन होगा क्योंकि वह विकल्पों से अभिभूत हो जाता है।
- लचीलापन दुश्मन है: वे कार्य जहाँ उपयोगकर्ता तारीखों को लेकर लचीला है (जैसे, "मैं 5 दिनों की विंडो में कभी भी निकल सकता हूँ"), निश्चित तारीखों की तुलना में बहुत कठिन थे, भले ही फर्जी विकल्पों की संख्या समान हो।
- मजबूत मॉडल्स मदद करते हैं, लेकिन पर्याप्त नहीं: सबसे स्मार्ट AI मॉडल्स ने कमजोर मॉडल्स की तुलना में वास्तविक मानव को बेहतर तरीके से संभाला, लेकिन कोई भी परफेक्ट नहीं था।
संक्षेप में: यह पेपर तर्क देता है कि हम AI की वास्तविक दुनिया के कार्यों को संभालने की क्षमता को बढ़ा-चढ़ाकर बता रहे हैं क्योंकि हम उन्हें फर्जी, परफेक्ट ग्राहकों के साथ टेस्ट कर रहे हैं। जब आप उन्हें एक वास्तविक, अव्यवस्थित मानव और हजारों गलत उत्तरों की भूलभुलैया देते हैं, तो सबसे स्मार्ट AI भी सही रास्ता खोजने के लिए संघर्ष करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।