Workspace-Bench 1.0: Benchmarking AI Agents on Workspace Tasks with Large-Scale File Dependencies
यह शोधपत्र Workspace-Bench प्रस्तुत करता है, जो AI एजेंटों की वर्कस्पेस सीखने की क्षमताओं का मूल्यांकन करने के लिए यथार्थवादी फ़ाइल निर्भरताओं और विविध कार्यों से युक्त एक बड़े पैमाने का बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल जटिल क्रॉस-फ़ाइल तर्क और निर्णय लेने के मामले में मानव प्रदर्शन से काफी पीछे हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने काम में मदद के लिए एक सुपर-स्मार्ट रोबोट असिस्टेंट को काम पर रखा है। आप उसे फाइलों से भरा एक फोल्डर देते हैं: स्प्रेडशीट्स, ईमेल, पीडीएफ, कोड और पुराने ड्राफ्ट। आपका लक्ष्य यह है कि रोबोट सही जानकारी के टुकड़ों को खोजे, यह समझे कि वे आपस में कैसे जुड़े हैं, और एक रिपोर्ट लिखे।
Workspace-Bench एक विशाल, वास्तविक परीक्षण है यह देखने के लिए कि क्या आज के AI रोबोट वास्तव में यह काम बिना खोए, भ्रमित हुए या गलत तथ्य बनाए बिना कर सकते हैं।
यहाँ शोध के निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "साफ कमरा" बनाम "बिखरी हुई मेज"
AI के लिए अधिकांश पिछले परीक्षण किसी छात्र को एक एकल, आदर्श पाठ्यपुस्तक देने और उससे एक प्रश्न पूछने की तरह थे। AI को बस पन्ना पढ़ना था और उत्तर देना था।
- वास्तविकता: असली काम एक बिखरी हुई मेज की तरह है। आपके पास 74 अलग-अलग फॉर्मेट्स (Excel, कोड, PDF, ईमेल) में फैले हुए 20,000 फाइलें हैं। कुछ फाइलें पुराने ड्राफ्ट हैं, कुछ अंतिम संस्करण (final versions) हैं, और कुछ केवल नोट्स हैं।
- परीक्षण: शोधकर्ताओं ने 5 अलग-अलग "डिजिटल ऑफिस" बनाए (एक लॉजिस्टिक्स मैनेजर, एक रिसर्चर, एक डेवलपर, आदि के लिए)। प्रत्येक ऑफिस एक विशाल, बिखरा हुआ डिजिटल कमरा है जिसमें हजारों फाइलें हैं। फिर उन्होंने AI को 388 अलग-अलग कार्य दिए, जैसे "पिछले साल के बिक्री डेटा और इस सप्ताह के ईमेल के आधार पर एक रणनीति रिपोर्ट लिखें।"
2. बड़ा खुलासा: AI अभी भी रास्ता भटक रहा है
शोधकर्ताओं ने 28 अलग-अलग AI दिमागों (मॉडेल्स) और AI शरीरों (सॉफ्टवेयर फ्रेमवर्क जो AI को टूल्स का उपयोग करने देते हैं) के संयोजनों का परीक्षण किया।
- स्कोर: सबसे अच्छा AI संयोजन केवल लगभग 69% विवरण सही कर पाया। औसत AI 50% से भी कम स्कोर कर गया।
- मानव तुलना: जब वास्तविक मनुष्यों ने समान परीक्षण किया (टूल्स की मदद से), तो उन्होंने 81% स्कोर किया।
- उपमा: कल्पना कीजिए कि एक दौड़ में मानव धावक 10 मिनट में समाप्त करते हैं, लेकिन सबसे तेज़ रोबोट 20 मिनट लेता है और फिर भी अपने ही पैरों से टकराकर गिर जाता है। पेपर कहता है कि वर्तमान AI वास्तविक ऑफिस के काम के लिए "विश्वसनीय होने से बहुत दूर" है।
3. वे क्यों विफल होते हैं? (तीन मुख्य बाधाएं)
पेपर ने पाया कि AI संघर्ष क्यों करता है, इसके तीन विशिष्ट कारण हैं:
- "टाइम ट्रैवल" की समस्या (Lineage Tracing):
वास्तविक वर्कस्पेस मेंreport_v1,report_reviewed, औरreport_finalजैसी फाइलें होती हैं। AI अक्सर गलत वर्जन चुन लेता है (जैसे अंतिम संस्करण के बजाय पुराना ड्राफ्ट इस्तेमाल करना)। वह फाइलों के "फैमिली ट्री" को नहीं समझ पाता। - "अनुवाद" की समस्या (Heterogeneous Understanding):
AI टेक्स्ट पढ़ने में बहुत अच्छा है, लेकिन वह पावरपॉइंट में एक चार्ट को एक्सेल शीट के कच्चे आंकड़ों से जोड़ने में या मीटिंग ट्रांसक्रिप्ट के साथ एक कोड फाइल को समझने में संघर्ष करता है। वह विभिन्न प्रकार की फाइलों को अलग-अलग भाषाओं की तरह मानता है जिन्हें वह अनुवाद नहीं कर सकता। - "भूसे के ढेर में सुई" की समस्या (Needle in a Haystack):
जब कार्य कठिन हो जाता है (जिसके लिए 6+ अलग-अलग फाइलों के बीच संबंध खोजने की आवश्यकता होती है), तो AI का प्रदर्शन तेजी से गिर जाता है। वह डेटा की भारी मात्रा से अभिभूत हो जाता है और महत्वपूर्ण कड़ियों को मिस कर देता है।
4. "कीमत" का अनुभव
पेपर ने गौर किया कि AI समस्याओं को हल करने की कोशिश कैसे करता है:
- "पहिए घुमाने" का प्रभाव (Spinning Wheels Effect): कुछ AI सेटअप ने बहुत अधिक प्रयास किया, खुद से 60+ स्टेप्स तक बात की और कंप्यूटर पावर (टोकन) का भारी मात्रा में उपयोग किया। लेकिन इतना सारा प्रयास करने के बावजूद, वे गलत उत्तर ही दे पाए।
- "स्मार्ट और तेज़" का प्रभाव: सबसे अच्छा प्रदर्शन करने वाला AI (OpenClaw + Opus-4.7) कम स्टेप्स और कम कंप्यूटर पावर के साथ समस्याओं को जल्दी हल करता है और सही उत्तर देता है। यह सुझाव देता है कि केवल अधिक प्रयास करने से ज्यादा महत्वपूर्ण तर्क (reasoning) की गुणवत्ता है।
5. भविष्य: विकास के पांच चरण
लेखक AI के ऑफिस में काम सीखने के पांच चरणों की कल्पना करते हैं, जैसे सीढ़ी चढ़ना:
- L0 (पैसिव एडवाइजर): AI केवल सलाह देता है; काम इंसान करता है।
- L1 (पैसिव एक्सेक्यूटर): इंसान कहता है, "फाइल A खोलें और उसे फाइल B में कॉपी करें।" AI इसे करता है लेकिन यह नहीं समझता कि क्यों।
- L2 (डिपेंडेंसी रीज़नर): AI यह समझना शुरू करता है कि फाइल A, फाइल B पर निर्भर है। (वर्तमान AI यहाँ तक पहुँचने के लिए संघर्ष कर रहा है)।
- L3 (प्रोएक्टिव एक्सप्लोरर): AI पूरे ऑफिस को देख सकता है, अपनी मर्जी से आवश्यक फाइलें ढूंढ सकता है और समस्या को हल कर सकता है। (यह वह "कैपेबिलिटी सिंगुलैरिटी" है जिसे पेपर कहता है कि हमने अभी तक प्राप्त नहीं किया है)।
- L4 (सेल्फ-इवॉल्विंग पार्टनर): AI हर कार्य से सीखता है, आपकी आदतों को याद रखता है और समय के साथ आपके विशिष्ट काम में बेहतर होता जाता है।
सारांश
Workspace-Bench एक वास्तविकता की जांच (reality check) है। यह दिखाता है कि भले ही AI बात करने और लिखने में बेहतर हो रहा है, लेकिन यह वास्तविक मानव कार्यालय की अव्यवस्थित, परस्पर जुड़ी और वर्जन-कंट्रोल वाली दुनिया में नेविगेट करने में अभी भी बहुत बुरा है। जब तक AI विश्वसनीय रूप से फाइल हिस्ट्री को ट्रैक करने और विभिन्न प्रकार के दस्तावेजों को जोड़ने में सक्षम नहीं हो जाता, तब तक इसे ट्रैक पर रखने के लिए एक मानव "पायलट" की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।