WorkBench Revisited: Workplace Agents Two Years On
यह शोध पत्र वर्कबेंच (WorkBench) बेंचमार्क का इसके प्रारंभिक मूल्यांकन के दो वर्ष बाद पुनरावलोकन करता है, जो यह प्रदर्शित करता है कि क्लॉड ओपस 4.8 (Claude Opus 4.8) जैसे फ्रंटियर एजेंटों ने काफी उच्च कार्य पूर्णता दर (89% बनाम 43%) और नाटकीय रूप से कम हानिकारक त्रुटियां (2.5% बनाम 26%) प्राप्त कर ली हैं, जबकि यह भी दिखाता है कि क्षमता और सुरक्षा एक साथ सुधरते हैं, ओपन-वेट मॉडलों ने उच्च-प्रदर्शन पहुंच का लोकतंत्रीकरण किया है, और कुछ बुनियादी त्रुट के प्रकार जो अपूरणीय क्षति की ओर ले जाते हैं, अभी भी बने हुए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
WorkBench की कल्पना एक विशाल, सिम्युलेटेड ऑफिस प्लेग्राउंड (खेल के मैदान) के रूप में करें। इसके अंदर कैलेंडर, ईमेल इनबॉक्स, कस्टमर लिस्ट और प्रोजेक्ट बोर्ड के डिजिटल संस्करण हैं। लक्ष्य यह परीक्षण करना है कि कितनी अच्छी तरह AI "एजेंट्स" (स्मार्ट कंप्यूटर प्रोग्राम) मानव कर्मचारियों की तरह कार्य कर सकते हैं: ईमेल पढ़ना, मीटिंग शेड्यूल करना और बिना कोई गड़बड़ी किए ग्राहक रिकॉर्ड को ठीक करना।
लेखकों ने तय किया कि इस प्लेग्राउंड को पहली बार खोलने के दो साल बाद वे यहाँ आकर जांच करेंगे। उन्होंने क्या पाया, इसे सरल भाषा में यहाँ समझाया गया है:
1. "पहले और बाद का" फोटो
2024 में (अतीत):
उस समय उपलब्ध सबसे अच्छा AI (GPT-4) एक बहुत ही उत्साही लेकिन अनाड़ी इंटर्न की तरह था। 690 कार्यों में से, इसने केवल 43% कार्य पूरे किए। इससे भी बदतर, जब इसने मदद करने की कोशिश की, तो इसने अनजाने में समस्याएँ पैदा कर दीं (जैसे गलत व्यक्ति को ईमेल भेजना) लगभग 26% बार। यह पूरी कोशिश कर रहा था, लेकिन अक्सर भ्रमित या खतरनाक साबित हो रहा था।
2026 में (वर्तमान):
लेखकों ने नवीनतम AI मॉडल्स के साथ इस टेस्ट को दोबारा चलाया। विजेता (Claude Opus 4.8) एक सीनियर एग्जीक्यूटिव की तरह है जो सालों से नौकरी पर है। इसने 89% कार्य पूरे किए। और भी प्रभावशाली बात यह है कि इसने केवल 2.5% मामलों में अनजाने में नुकसान पहुँचाया। यह न केवल तेज़ है; बल्कि यह बहुत सुरक्षित भी है।
2. बड़ी आश्चर्य की बात: सुरक्षा और कौशल साथ-साथ चलते हैं
आमतौर पर, हम सोचते हैं कि यदि हम किसी रोबोट को तेज़ या स्मार्ट बनाते हैं, तो वह अधिक लापरवाह हो सकता है। यह पेपर कहता है कि इन AI एजेंटों के लिए यह सच नहीं है।
- उपमा: इसे एक रेस कार की तरह समझें। अतीत में, सबसे तेज़ कारें वही थीं जिनके दुर्घटनाग्रस्त होने की संभावना सबसे अधिक थी। अब, सबसे तेज़ कारें वे भी हैं जिनमें सबसे अच्छे ब्रेक और सुरक्षा फीचर्स हैं। जिन मॉडल्स ने सबसे अधिक कार्य पूरे किए, वे वे भी थे जिन्होंने सबसे कम गलतियाँ कीं।
3. ओपन-सोर्स मॉडल्स का "जादू"
यह पेपर इस बात पर प्रकाश डालता है कि दौड़ जीतने वालों में एक बड़ा बदलाव आया है।
- पुराना तरीका: केवल महंगे, "प्रोपराइटरी" (मालिकाना हक वाले) मॉडल्स (जैसे बड़ी टेक कंपनियों के) ही काम को अच्छी तरह से कर सकते थे।
- नया तरीका: "ओपन-वेट" मॉडल्स (जो ओपन-सोर्स सॉफ्टवेयर की तरह हैं जिसे कोई भी डाउनलोड और बेहतर बना सकता है) अब उतनी ही अच्छी तरह से काम कर रहे हैं, लेकिन बहुत कम कीमत पर।
- रूपक: कल्पना कीजिए कि आपको देश भर में गाड़ी चलाने के लिए एक लग्जरी कार की आवश्यकता थी। अब, आप एक अलग निर्माता से एक नई, उच्च-प्रदर्शन वाली इलेक्ट्रिक कार प्राप्त कर सकते हैं जिसकी लागत 1/100वें हिस्से के बराबर है, और वह आपको उसी गंतव्य तक पहुँचा देती है। पेपर नोट करता है कि आज का सबसे सक्षम किफायती AI चीनी ओपन-सोर्स लैब्स से आता है, जबकि सबसे शक्तिशाली मॉडल अभी भी एक पश्चिमी प्रोपराइटरी मॉडल है।
4. स्वयं टेस्ट (परीक्षण) में क्या बदला?
लेखकों ने स्वीकार किया कि मूल 2024 के टेस्ट में उन्होंने कुछ गलतियाँ की थीं। यह एक गणित के टेस्ट को ग्रेड करने जैसा था जहाँ उत्तर कुंजी (answer key) में टाइपिंग की गलती थी।
- सुधार: उन्होंने नियमों को ठीक किया। उदाहरण के लिए, उन्होंने एक बग को ठीक किया जहाँ टेस्ट ने "पिछले 5 दिनों" के लिए पूछा था लेकिन उत्तर कुंजी "पिछले 4 दिनों" के लिए कैलकुलेट की गई थी।
- परिणाम: जब उन्होंने संशोधित नियमों पर 2024 के चैंपियन (GPT-4) का पुन: परीक्षण किया, तो इसका स्कोर 49% से बढ़कर 57% हो गया। यह साबित करता है कि AI अचानक स्मार्ट नहीं हुआ; टेस्ट बस अधिक निष्पक्ष हो गया।
5. कौन सी गलतियाँ अभी भी हो रही हैं?
भले ही AI बहुत बेहतर हो गया है, लेकिन यह परफेक्ट नहीं है। पेपर उन जिद्दी त्रुटियों की ओर इशारा करता जो अभी भी होती हैं, यहाँ तक कि सर्वश्रेष्ठ मॉडल्स के साथ भी:
- "गलत तारीख" की समस्या: यदि AI को "आज" के लिए चार्ट बनाने के लिए कहा जाता है, लेकिन सिस्टम मानता है कि आज अतीत की एक तारीख है, तो AI ऐसे दिन के लिए डेटा दिखाने की कोशिश कर सकता है जो अभी तक आया ही नहीं है। यह आज ही कल के मौसम पर रिपोर्ट लिखने की कोशिश करने जैसा है।
- "ट्रंकेटेड सर्च" (छोटा किया गया खोज) की समस्या: कुछ टूल्स केवल शीर्ष 5 परिणाम दिखाते हैं। AI कभी-कभी 5 परिणाम देखता है, मान लेता है कि यही सब कुछ है, और देखना बंद कर देता है, जिससे वह सही उत्तर को मिस कर देता है जो नंबर 6 पर था।
- "लिटरल बनाम लॉजिकल" (शाब्दिक बनाम तार्किक) की समस्या: कभी-कभी AI गणित में भ्रमित हो जाता है। यदि कोई कार्य कहता है "यदि विकास औसत से अधिक है," तो AI एक प्रतिशत (जैसे 5%) की तुलना एक कच्चे नंबर (जैसे 100 घंटे) से कर सकता है और तर्क को गलत समझ सकता है।
निष्कर्ष (The Bottom Line)
दो साल पहले, AI एजेंट अनाड़ी इंटर्न थे जो चीजें तोड़ देते थे। आज, सर्वश्रेष्ठ एजेंट विश्वसनीय पेशेवर हैं जो काम पूरा करते हैं और शायद ही कभी नुकसान पहुँचाते हैं। हालांकि सबसे शक्तिशाली मॉडल्स अभी भी महंगे हैं, सस्ते, ओपन-सोर्स विकल्प इस स्तर तक पहुँच गए हैं कि वे कई कार्यों के लिए व्यवहार्य (viable) हैं। टेस्ट को भी अधिक निष्पक्ष बनाने के लिए साफ किया गया है, और परिणाम दिखाते हैं कि AI कार्यस्थल में वास्तविक, मापने योग्य प्रगति कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।