WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing
यह शोधपत्र WebTestBench प्रस्तुत करता है, जो एक व्यापक बेंचमार्क और बेसलाइन फ्रेमवर्क है जिसे एंड-टू-एंड स्वचालित वेब परीक्षण में कंप्यूटर-उपयोग एजेंटों की क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो टेस्ट पूर्णता, दोष पहचान (defect detection) और लॉन्ग-होरिज़न इंटरेक्शन विश्वसनीयता के संबंध में वर्तमान LLMs में महत्वपूर्ण अंतराल को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक वेबसाइट बनाने के लिए एक सुपर-स्मार्ट, जादुई रोबोट सहायक (एक AI) को काम पर रखा है। आप उसे कहते हैं, "मेरे लिए एक पेट अडॉप्शन (पालतू जानवरों को गोद लेने वाली) साइट बनाओ जहाँ लोग कुत्तों को उनके आकार और उम्र के आधार पर फ़िल्टर कर सकें, और अपॉइंटमेंट बुक कर सकें।" रोबोट अपनी मशीनें चलाता है, तेज़ी से टाइप करता है, और कुछ ही सेकंडों में, आपके सामने एक पूरी तरह से कार्यात्मक वेबसाइट पेश करता है।
समस्या:
आप साइट को देखते हैं, और यह दिखने में बहुत अच्छी है। लेकिन क्या यह वास्तव में काम करती है?
- क्या आप वास्तव में उम्र के आधार पर फ़िल्टर कर सकते हैं?
- क्या होता है अगर दो लोग एक ही समय में एक ही कुत्ते को बुक करने की कोशिश करते हैं?
- क्या कुत्तों की तस्वीरें वास्तव में कुत्तों की हैं, या वे बस बिल्लियों की रैंडम तस्वीरें हैं?
पुराने दिनों में, एक मानव टेस्टर (tester) इन खामियों को खोजने के लिए घंटों तक बटन क्लिक करने और चीज़ों को तोड़ने में बिता देता। लेकिन अब, चूंकि AI सेकंडों में वेबसाइट बना सकता है, हमें उन्हें तुरंत टेस्ट करने के लिए एक AI की आवश्यकता है। समस्या यह है कि वर्तमान AI टेस्टर आंखों पर पट्टी बांधे हुए निरीक्षकों की तरह हैं। वे अक्सर छिपे हुए जाल को मिस कर देते हैं, लंबे कार्यों में भ्रमित हो जाते हैं, या एक पहले से लिखी गई चेकलिस्ट पर निर्भर रहते हैं जो हर अनूठी स्थिति के लिए फिट नहीं बैठती।
समाधान: WebTestBench
इस शोध पत्र के लेखकों ने AI परीक्षकों के लिए एक "जिम" बनाया जिसे WebTestBench कहा जाता है। इसे एक सेल्फ-ड्राइविंग कारों के लिए कठोर ड्राइविंग टेस्ट की तरह समझें, लेकिन वेबसाइटों के लिए।
यहाँ बताया गया है कि उन्होंने इस टेस्ट को कैसे सेट किया:
- "परीक्षा" (द बेंचमार्क): उन्होंने 100 अलग-अलग वेबसाइट परिदृश्य बनाए (जैसे एक पेट स्टोर, एक मीटिंग रूम शेड्यूलर, या एक ब्लॉग)। उन्होंने इन साइटों को बनाने के लिए AI का उपयोग किया, और जानबूझकर AI को गलतियाँ (बग्स) करने दी ताकि कुछ खोजने के लिए मौजूद रहे।
- "गोल्ड स्टैंडर्ड" (उत्तर कुंजी): मानव विशेषज्ञों ने इन साइटों को देखा और जांचने के लिए चीजों की एक आदर्श सूची लिखी। उन्होंने केवल यह नहीं जांचा कि एक बटन काम कर रहा है या नहीं; उन्होंने "अदृश्य" तर्क (logic) की भी जांच की, जैसे: "यदि मैं दोपहर 2 बजे के लिए एक कमरा बुक करता हूँ, तो सिस्टम को मुझे 2:30 बजे फिर से बुक करने की अनुमति नहीं देनी चाहिए।"
- "परीक्षार्थी" (द एजेंट): उन्होंने विभिन्न शक्तिशाली AI मॉडल लिए और उन्हें टेस्टर के रूप में कार्य करने के लिए कहा। AI को दो चीजें करनी थीं:
- चरण 1: अपनी खुद की चेकलिस्ट लिखना। यह बताने के बजाय कि क्या जांचना है, AI को खुद यह समझना था कि, "हे, मुझे यह जांचना होगा कि क्या सर्च बार काम करता है और क्या तस्वीरें विवरण से मेल खाती हैं।"
- चरण 2: साइट का परीक्षण करना। AI को वास्तव में बटन क्लिक करने, टेक्स्ट टाइप करने और साइट पर नेविगेट करने के लिए कहा गया ताकि यह देखा जा सके कि वह अपनी चेकलिस्ट में पास होता है या फेल।
परिणाम: एक वास्तविकता की जाँच
परिणाम थोड़े निराशाजनक थे। यहाँ तक कि सबसे स्मार्ट AI मॉडल (जैसे GPT-5 और Claude) भी बहुत कम स्कोर करते हैं—30% से नीचे की सटीकता।
- "ब्लाइंड स्पॉट" (अंधा कोना): AI टेस्टर एक पूर्ण चेकलिस्ट लिखने में बहुत खराब थे। उन्होंने लगभग 40% उन चीजों को मिस कर दिया जिन्हें टेस्ट किया जाना चाहिए था। यह एक सुरक्षा गार्ड की तरह है जो पीछे का दरवाजा चेक करना भूल जाता है।
- "फॉल्स अलार्म" (गलत चेतावनी): जब उन्होंने कुछ पाया, तो वे अक्सर तब भी "भेड़िया आया" चिल्लाने लगे जब वहाँ कोई भेड़िया नहीं था। उन्हें लगा कि एक धीरे लोड होने वाला बटन एक टूटा हुआ बटन है।
- "लॉन्ग मेमोरी" (लंबी याददाश्त) की समस्या: एक जटिल वेबसाइट का परीक्षण करने में कई कदम लगते हैं (यहाँ क्लिक करें, प्रतीक्षा करें, वहाँ टाइप करें, फिर क्लिक करें)। AI कुछ समय बाद भ्रमित हो गया, और भूल गया कि वह 10 कदम पहले क्या कर रहा था।
यह क्यों महत्वपूर्ण है
हम "वाइब कोडिंग" (Vibe Coding) के युग में प्रवेश कर रहे हैं, जहाँ कोई भी केवल AI से चैट करके सॉफ्टवेयर बना सकता है। लेकिन यदि AI एक ऐसी वेबसाइट बनाता है जो एक साथ 10 लोग टिकट खरीदने की कोशिश करने पर क्रैश हो जाती है, तो यह एक आपदा है।
यह शोध पत्र कहता है: "हम केवल AI के बनाने पर भरोसा नहीं कर सकते; हमें AI के परीक्षण करने पर भी भरोसा करने की आवश्यकता है। और अभी, AI टेस्टर बड़े लीग के लिए तैयार नहीं हैं।"
निष्कर्ष
WebTestBench एक नया टूल है जो यह मापने के लिए है कि AI कितनी अच्छी तरह उन वेबसाइटों में बग ढूंढ सकता है जिन्हें उसने नहीं बनाया है। यह हमें दिखाता है कि हालांकि AI कोड लिखने में बहुत अच्छा हो रहा है, लेकिन यह अभी भी उसे सत्यापित (verify) करने में संघर्ष कर रहा है। इससे पहले कि हम AI को अपना पूरा इंटरनेट बनाने दें, हमें इसे एक बेहतर जासूस बनने के लिए सिखाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।