StressWeb: A Diagnostic Benchmark for Web Agent Robustness under Realistic Interaction Variability
यह शोध पत्र StressWeb को प्रस्तुत करता है, जो एक नैदानिक बेंचमार्क (diagnostic benchmark) है जो स्थिर वातावरण में उनके प्रदर्शन की वास्तविक, संरचित गड़बड़ियों (structured perturbations) के साथ व्यवस्थित रूप से तुलना करके बड़े भाषा मॉडल-आधारित वेब एजेंटों की मजबूती का मूल्यांकन करता है ताकि छिपे हुए विफलता मोड और मजबूती के अंतराल को प्रकट किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही स्मार्ट, रोबोटिक व्यक्तिगत सहायक बनाया है। आपने इसे ऑनलाइन किराने का सामान खरीदने, फ्लाइट बुक करने या कोई फॉर्म भरने जैसे काम करने के लिए प्रशिक्षित किया है। आप इसे अपने बिल्कुल साफ, शांत लिविंग रूम में टेस्ट करते हैं। यह शानदार तरीके से काम करता है! यह सही बटन दबाता है, सही शब्द टाइप करता है और रिकॉर्ड समय में काम पूरा कर देता है। आप सोचते हैं, "यह रोबोट वास्तविक दुनिया के लिए तैयार है!"
लेकिन फिर, आप इसे अराजक, शोर-शराबे वाली, अप्रत्याशित वास्तविक दुनिया में भेज देते हैं। अचानक, वेबसाइट जिसका उपयोग यह कर रहा है, अपने लेआउट को बदल देती है क्योंकि कोई गड़बड़ी (glitch) हुई है। एक पॉप-अप विज्ञापन "सबमिट" बटन को ब्लॉक कर देता है। या, वेबसाइट तय करती है कि आज, एक बार क्लिक करने से काम नहीं चलेगा—आपको डबल-क्लिक करना होगा।
आपका रोबोट फ्रीज हो जाता है। यह एक बार क्लिक करने की कोशिश करता रहता है, भ्रमित हो जाता है, और अंततः हार मान लेता है, भले ही वह समस्या को हल कर सकता था यदि इसने बस अनुकूलन (adapt) किया होता।
यही वह समस्या है जिसे StressWeb हल करने की कोशिश कर रहा है।
समस्या: "ग्लास हाउस" (कांच का घर) टेस्ट
अभी, जब हम AI वेब एजेंटों (वेब ब्राउज़ करने वाले रोबोट) का परीक्षण करते हैं, तो हम आमतौर पर एक "ग्लास हाउस" में परीक्षण करते हैं। वहां सब कुछ परफेक्ट होता है:
- बटन हमेशा एक ही जगह पर होते हैं।
- इंटरनेट कभी धीमा नहीं होता।
- नियम कभी नहीं बदलते।
यह एक रेस कार को एक बिल्कुल चिकने, खाली ट्रैक पर टेस्ट करने जैसा है। कार अद्भुत दिखती है। लेकिन अगर आप उसी कार को ऊबड़-खाबड़, कीचड़ भरे कच्चे रास्ते पर ले जाते हैं जहाँ हर तरफ ट्रैफिक कोन रखे हों, तो यह बिखर सकती है। वर्तमान परीक्षण इस बात का अतिरंजित अनुमान लगा रहे हैं कि ये रोबोट वास्तव में कितने अच्छे हैं।
समाधान: "ऑब्स्टेकल कोर्स" (बाधा दौड़) (StressWeb)
इन शोधकर्ताओं ने जिसने इस पेपर को लिखा है, उन्होंने एक नया परीक्षण मैदान बनाया जिसे StressWeb कहा जाता है। एक चिकने ट्रैक के बजाय, उन्होंने एक ऑब्स्टेकल कोर्स बनाया है जिसे रोबोटों को वास्तविक तरीकों से उलझाने के लिए डिज़ाइन किया गया है।
उन्होंने तीन मुख्य प्रकार के "ट्रैप्स" (जाल) बनाए ताकि वे देख सकें कि रोबोट कैसे प्रतिक्रिया देते हैं:
- "मेसी रूम" (धारणा संबंधी व्यवधान - Perception Perturbations):
कल्पना कीजिए कि रोबोट एक कमरे में लाल कुर्सी खोजने की कोशिश कर रहा है। टेस्ट में, शोधकर्ता अचानक कुर्सी को नीला रंग देते हैं, उसे तिरछा घुमा देते हैं, या बक्सों के ढेर के पीछे छिपा देते हैं।
- टेस्ट: क्या रोबोट कुर्सी को ढूंढ पाएगा भले ही वह अजीब दिख रही हो या आंशिक रूप से छिपी हुई हो?
- परिणाम: अधिकांश रोबोट थोड़े भ्रमित हुए लेकिन उन्होंने कुर्सी ढूंढ ली। वे विजुअल नॉइज़ (दृश्य शोर) के साथ ठीक हैं।
- "नियम परिवर्तन" (सिमेंटिक व्यवधान - Semantic Perturbations):
यह सबसे बड़ा है। कल्पना कीजिए कि रोबोट को दरवाजा धक्का देकर खोलने की आदत है। अचानक, दरवाजा लॉक हो जाता है, और आपको उसे खींचना पड़ता है। या, साइन बोर्ड कहता है "धक्का दें" (Push), लेकिन दरवाजा तभी खुलता है जब आप उसे खींचते हैं।
- टेस्ट: शोधकर्ताओं ने वेबसाइट के नियम बदल दिए। शायद अब "क्लिक" करने के लिए "डबल-क्लिक" की आवश्यकता है, लेकिन उन्होंने रोबोट को यह नहीं बताया।
- परिणाम: पूर्ण तबाही। रोबोट पुराने नियमों पर ही अड़े रहे, फंस गए, और हार मान ली। वे पुराने नियमों के इतने आदी थे कि वे नए नियमों को समझ नहीं सके। उनमें "कॉमन सेंस" की कमी थी।
- "व्यवधान" (एग्जीक्यूशन संबंधी व्यवधान - Execution Perturbations):
कल्पना कीजिए कि रोबोट एक संदेश टाइप कर रहा है, और अचानक एक तेज़ अलार्म बज उठता है, या कीबोर्ड एक सेकंड के लिए काम करना बंद कर देता है।
- टेस्ट: शोधकर्ताओं ने वेबसाइट को क्रैश कर दिया, परेशान करने वाले विज्ञापन दिखाए, या क्लिक को रजिस्टर करने में विफल कर दिया।
- परिणाम: रोबोट निराश हो गए। उन्होंने बार-बार वही चीज़ करने की कोशिश की, या उन्होंने काम करना ही बंद कर दिया। उन्हें नहीं पता था कि गलती से कैसे उबरना है।
चौंकाने वाली खोज
जब उन्होंने आज के सबसे स्मार्ट AI मॉडल्स (जैसे गूगल, OpenAI और Anthropic के मॉडल्स) पर ये टेस्ट चलाए, तो उन्हें कुछ डरावने सच पता चले:
- "ग्लास हाउस" का झूठ: परफेक्ट टेस्ट में, रोबोट 50-60% सफल थे। मेसी, वास्तविक दुनिया के टेस्ट में, उनकी सफलता दर गिरकर लगभग 30-40% रह गई।
- "कन्फ्यूज्ड रोबोट" प्रभाव: सबसे बड़ी गिरावट तब हुई जब नियम बदले गए ("नियम परिवर्तन" वाला जाल)। रोबोट केवल विफल नहीं हुए; वे एक लूप में फंस गए, एक ही बटन को लगातार 50 बार क्लिक करते रहे, यह सोचते हुए, "अगर मैं ज़ोर से क्लिक करूँगा, तो यह काम कर जाएगा!"
- "झूठ बोलने वाला" समस्या: यहाँ तक कि जब रोबोट विफल हो जाते थे, तो वे अक्सर उपयोगकर्ता को बताते थे, "मैं समाप्त कर चुका हूँ! मैं सफल रहा!" उन्हें एहसास ही नहीं हुआ कि उन्होंने गलती की है। यह उस छात्र की तरह है जो गणित के टेस्ट में फेल हो जाता है लेकिन आत्मविश्वास के साथ पेपर जमा करते हुए कहता है, "मुझे A ग्रेड मिला है!"
यह क्यों मायने रखता है
यह पेपर एक वेक-अप कॉल है। यह हमें बताता है कि सिर्फ इसलिए कि एक AI एक परफेक्ट लैब में टेस्ट पास कर सकता है, इसका मतलब यह नहीं है कि वह वास्तविक दुनिया में आपके टिकट खरीदने या आपके बैंक खाते को मैनेज करने में मदद करने के लिए तैयार है।
निष्कर्ष:
हमें ऐसे AI बनाने से रुकना चाहिए जो केवल एक आदर्श दुनिया में निर्देशों का पालन करने में अच्छे हैं। हमें ऐसा AI बनाने की आवश्यकता है जो रेज़िलिएंट (लचीला/सक्षम) हो—जैसे एक इंसान, जो जब दरवाजा लॉक होता है, तो हैंडल को आज़माता है, चाबी की तलाश करता है, या खिड़की ढूँढता है, बजाय इसके कि वह दरवाजे को देखते हुए हार मान ले।
StressWeb वह टूल है जिसकी हमें उस तरह का रेज़िलिएंट AI बनाने के लिए आवश्यकता है, यह सुनिश्चित करने के लिए कि जब हम अंततः इन रोबोटों को इंटरनेट पर छोड़ दें, तो वे पहली समस्या आते ही क्रैश न हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।