ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents
यह शोधपत्र ClawMark प्रस्तुत करता है, जो एक गतिशील, स्टेटफुल (stateful) वातावरण में मल्टी-टर्न, मल्टी-डे, मल्टीमॉडल सहकर्मी एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क है, जो यह प्रकट करता है कि जबकि फ्रंटियर मॉडल आंशिक प्रगति दिखाते हैं, वे बाह्य परिवर्तनों के अनुकूल होने और पूर्ण एंड-टू-एंड कार्य सफलता प्राप्त करने में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपना ऑफिस चलाने में मदद करने के लिए एक नया असिस्टेंट नियुक्त कर रहे हैं। आज के अधिकांश AI असिस्टेंट टेस्ट एक पॉप क्विज़ (अचानक होने वाली परीक्षा) की तरह होते हैं: वे AI को एक सवाल देते हैं, वह जवाब देता है, और टेस्ट खत्म हो जाता है। उस क्विज़ के दौरान दुनिया समय में जम जाती है।
लेकिन असल जिंदगी में, एक असिस्टेंट सिर्फ एक सवाल का जवाब देकर नहीं जाता। वे कई दिनों तक आपके साथ रहते हैं। जब वे काम कर रहे होते हैं, तब उनके आसपास की दुनिया बदलती रहती है। नए ईमेल आते हैं, आपका कैलेंडर बदलता है, फाइलों को अपडेट किया जाता है, और नई जानकारी (जैसे फोटो या वॉयस नोट्स) अचानक सामने आ जाती है। यदि आपका असिस्टेंट इन बदलावों पर ध्यान नहीं देता है, तो वे पुरानी जानकारी के आधार पर निर्णय ले सकते हैं, जिससे गलतियाँ हो सकती हैं।
ClawMark एक नया "टेस्ट ड्राइव" है जिसे विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि क्या AI असिस्टेंट इस अस्त-व्यस्त और बदलती वास्तविकता को संभाल सकते हैं।
द "लिविंग ऑफिस" टेस्ट (जीवंत कार्यालय परीक्षण)
एक जमे हुए क्विज़ के बजाय, ClawMark एक सिम्युलेटेड ऑफिस की तरह है जो सांस लेता है।
- सेटअप: AI को एक काम दिया जाता है (जैसे किसी बीमा दावे को संभालना या किसी प्रोजेक्ट का प्रबंधन करना) जो कई "कार्य दिवसों" तक चलता है।
- ट्विस्ट: प्रत्येक दिन के बीच, वातावरण अपने आप बदल जाता है। शायद एक नया ईमेल आता है, एक स्प्रेडशीट अपडेट होती है, या बिना किसी को बताए फोल्डर में एक साइलेंट फाइल डाल दी जाती है।
- सबूत (एविडेंस): AI केवल टेक्स्ट नहीं पढ़ रहा है। इसे कच्चे फोटो देखने, ऑडियो रिकॉर्डिंग सुनने, स्कैन किए गए PDF पढ़ने और वीडियो का विश्लेषण करने की आवश्यकता है, ठीक वैसे ही जैसे एक इंसान करेगा।
वे AI को ग्रेड कैसे देते हैं
कई AI टेस्ट में, एक इंसान या दूसरा AI जवाब पढ़ता है और कहता है, "यह अच्छा लग रहा है।" ClawMark कुछ अधिक सख्त करता है: यह एक रोबोट रेफरी का उपयोग करता है।
- यहाँ कोई "राय" नहीं है। यह टेस्ट 1,537 छोटे, स्वचालित पायथन स्क्रिप्ट्स (चेकर्स) का उपयोग करता है जो AI के काम पूरा करने के बाद कंप्यूटर की वास्तविक स्थिति की जांच करते हैं।
- क्या AI ने वास्तव में फाइल सेव की? क्या उसने कैलेंडर अपडेट किया? क्या उसने छिपी हुई फोटो को पहचाना?
- यदि AI कहता है "मैंने कर दिया" लेकिन फाइल वहां नहीं है, तो रोबोट रेफरी उसे शून्य (जीरो) देता है। यह एक गणित के टेस्ट की तरह है जहाँ आपको अंक तभी मिलते हैं जब उत्तर सही बॉक्स में लिखा हो, न कि केवल इसलिए कि आपने संख्या बोलकर बता दी।
परिणाम: शुरुआत में अच्छे, अनुकूलन में कमजोर
शोधकर्ताओं ने सात शीर्ष-स्तरीय AI मॉडल्स (जैसे प्रमुख चैटबॉट्स के पीछे के दिमाग) का इस "लिविंग ऑफिस" में परीक्षण किया। उन्हें यहाँ क्या मिला:
- "परफेक्ट स्कोर" दुर्लभ है: सबसे अच्छे AI को भी केवल 20% कार्यों पर "परफेक्ट" एंड-टू-एंड सफलता मिली। इसका मतलब है कि हालांकि उन्होंने अक्सर कुछ प्रगति की, लेकिन वे बिना किसी गलती के पूरा काम पूरा करने में शायद ही कभी सफल रहे।
- "डे 2 ड्रॉप" (दूसरे दिन की गिरावट): यह सबसे दिलचस्प खोज है। पहले दिन, AI ने काफी अच्छा प्रदर्शन किया। लेकिन दूसरे दिन, जब वातावरण बदला (नए ईमेल, नई फाइलें), तो सात में से छह मॉडल काफी खराब प्रदर्शन करने लगे।
- उपमा: कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं। आप लेवल 1 आसानी से जीत जाते हैं। लेकिन जब गेम अचानक नियम बदल देता है और लेवल 2 में नए दुश्मन जोड़ देता है, तो AI भूल जाता है कि कैसे खेलना है और लड़खड़ाने लगता है। वह "जागने" और यह समझने में संघर्ष करता है कि दुनिया बदल गई है।
- साइलेंट चेंजेस (शांत बदलाव) उनकी कमज़ोरी हैं: AI तब सबसे अधिक विफल हुआ जब उसने एक "साइलेंट म्यूटेशन" को मिस कर दिया—एक ऐसा बदलाव जो बिना किसी बड़े ऐलान के हुआ (जैसे बैकग्राउंड में चुपचाप एक फाइल अपडेट होना)। वे वास्तव में अपने काम को सही जगह पर सेव करने में भी संघर्ष करते हैं (बैकएंड राइटबैक)।
निष्कर्ष
ClawMark दिखाता है कि जबकि AI असिस्टेंट एकल समस्याओं को हल करने में स्मार्ट हो रहे हैं, वे अभी भी स्थिर सहकर्मी (पर्सिस्टेंट को-वर्कर) बनने की राह पर हैं। वे "पहले दिन" के लिए अच्छे हैं, लेकिन अक्सर लड़खड़ा जाते हैं जब उनके आसपास का ऑफिस वातावरण बदल जाता है।
पेपर यह निष्कर्ष निकालता है कि एक वास्तव में विश्वसनीय AI सहकर्मी बनाने के लिए, हमें इस बात पर ध्यान केंद्रित करने की आवश्यकता नहीं है कि वह एक अकेले प्रश्न का उत्तर कितनी अच्छी तरह देता है, बल्कि इस पर कि वह बदलती दुनिया के अनुकूल खुद को कितनी अच्छी तरह ढालता है और जब दुनिया बदलती है तो वह अपने टूल्स को अपडेट करना कैसे याद रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।