When Web Agents Finish but Still Fail: Reproducible Triggers and Trace Diagnostics for Parallel Web Exploration
यह शोध पत्र 'पैरेलल वेबबेंच' (Parallel WebBench) का परिचय देता है, जो 1,679 सत्यापित रिकॉर्डों वाला एक बेंचमार्क है, ताकि लॉन्ग-होराइजन वेब एजेंटों में छिपी हुई विफलताओं का विश्लेषण और निदान किया जा सके, जो यह दर्शाता है कि हालांकि GRPO प्रशिक्षण कार्य पूरा करने की दरों में महत्वपूर्ण सुधार करता है, लेकिन यह संदर्भ-बद्ध लूप (context-bound loops), समयपूर्व समाप्ति (premature termination) और संश्लेषण पतन (synthesis collapse) जैसी निरंतर समस्याओं के कारण अंतिम शुद्धता में एक महत्वपूर्ण अंतर छोड़ देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने जानकारी जुटाने के लिए एक बहुत ही बुद्धिमान और उत्साही रिसर्च असिस्टेंट को काम पर रखा है। आप उनसे एक कॉन्फ्रेंस के बारे में विशिष्ट विवरण खोजने के लिए कहते हैं: तारीखें, वक्ता (speakers), वेन्यू और पंजीकरण शुल्क। वे इधर-उधर भागते हैं, कई वेब पेज खोलते हैं, और एक सुंदर, व्यवस्थित रूप से फॉर्मेट की गई रिपोर्ट लेकर वापस आते हैं। वे आत्मविश्वासी दिख रहे हैं और रिपोर्ट पूरी हो चुकी है।
लेकिन जब आप इसे ध्यान से पढ़ते हैं, तो आपको एहसास होता है कि उन्होंने आधी तारीखें छोड़ दी हैं, एक ऐसे वक्ता का नाम लिख दिया है जो अस्तित्व में ही नहीं है, या पिछले साल के वेन्यू को इस साल के साथ मिला दिया है। उन्होंने कार्य को "पूरा" तो किया, लेकिन वे वास्तव में उसे "हल" नहीं कर पाए।
यह शोध पत्र, "When Web Agents Finish but Still Fail" (जब वेब एजेंट काम पूरा तो करते हैं पर फिर भी असफल होते हैं), ठीक इसी समस्या के बारे में है। यह उन AI एजेंटों का अध्ययन करता है जो इंटरनेट ब्राउज़ करके सवालों के जवाब दे सकते हैं। शोधकर्ताओं ने पाया कि हालांकि ये एजेंट अपना रिपोर्ट "पूरा करने" में बेहतर हो रहे हैं, लेकिन वे यह सुनिश्चित करने में अभी भी बहुत खराब हैं कि उनके अंदर की जानकारी वास्तव में सही और पूर्ण है या नहीं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. नया परीक्षण: "Parallel WebBench"
एजेंटों के लिए अधिकांश पिछले परीक्षण किसी छात्र से एक विशिष्ट तथ्य खोजने के समान थे (जैसे, "फ्रांस की राजधानी क्या है?")। यदि वे इसे ढूंढ लेते हैं, तो वे जीत जाते हैं।
शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे Parallel WebBench कहा जाता है। यह एक छात्र को एक जटिल डोजियर (dossier) तैयार करने के लिए कहने जैसा है। उन्हें ढूँढना होगा:
- 5 अलग-अलग पेजों से 5 अलग-अलग वक्ता।
- 3 अलग-अलग सब-पेजों से 3 अलग-अलग तारीखें।
- एक PDF से नियमों की एक सूची।
एजेंट को कई जगहों पर जाना होगा, इन सभी अलग-अलग तथ्यों को व्यवस्थित रखना होगा, और उन्हें एक पूर्ण उत्तर में संयोजित करना होगा। शोधकर्ताओं ने 1,679 ऐसे जटिल कार्य बनाए, जिसमें हर एक लिंक और उत्तर की जांच की गई ताकि यह सुनिश्चित हो सके कि "गोल्ड स्टैंडर्ड" सही है।
2. प्रशिक्षण: "उत्साही इंटर्न"
शोधकर्ताओं ने अपने AI एजेंटों को GRPO (एक फैंसी तरीका जिसका अर्थ है "पुरस्कारों के साथ ट्रायल और एरर") नामक पद्धति का उपयोग करके प्रशिक्षित किया। उन्होंने तीन अलग-अलग "शिक्षकों" को आजमाया:
- केवल मानव (Human-only): AI ने केवल उन कार्यों से सीखा जिन्हें मनुष्यों ने सावधानीपूर्वक जांचा था।
- संतुलित (Balanced): मानव-जांच किए गए और कंप्यूटर-जनरेटेड कार्यों का मिश्रण।
- सिंथेटिक-हैवी (Synthetic-heavy): AI ने मुख्य रूप से कंप्यूटर-जनरेटेड कार्यों से सीखा।
परिणाम: "सिंथेटिक-हैवी" एजेंट काम पूरा करने में चैंपियन बन गया। इसने लगभग हमेशा रिपोर्ट सबमिट की (96% बार), जबकि पुराने मॉडल्स अक्सर हार मान लेते थे या समय समाप्त होने पर रुक जाते थे (केवल 50% पूरा हुआ)।
पेंच (The Catch): सिर्फ इसलिए कि एजेंट ने रिपोर्ट सौंप दी, इसका मतलब यह नहीं था कि रिपोर्ट अच्छी थी।
- पूर्णता दर (Completion Rate): 50% से बढ़कर 96% हुई (शानदार!)।
- वास्तविक सटीकता (Actual Accuracy): केवल 22% से बढ़कर 33% हुई (अभी भी खराब)।
एजेंट ने बहुत आत्मविश्वास के साथ कहना सीख लिया, "यहाँ मेरा उत्तर है!", भले ही उत्तर ज्यादातर गलत हो।
3. तीन तरीके जिनसे एजेंट "दिखावा" करते हैं
शोधकर्ताओं ने "ट्रेस" (एजेंट द्वारा किए गए स्टेप-बाय-स्टेप लॉग) को देखा और पाया कि एजेंट तीन विशिष्ट तरीकों से विफल होते हैं, भले ही वे काम पूरा कर लें:
A. "स्पिनिंग व्हील" लूप (Context-bound search loops)
- उपमा: कल्पना कीजिए कि आप एक एजेंट को किसी व्यक्ति का पद (job title) खोजने के लिए कहते हैं। एजेंट "Editor" के लिए खोजता है, एक पेज पाता है, लेकिन सटीक पद नहीं देख पाता। इसलिए, वह फिर से "Editor" के लिए खोजता है, फिर "Editorial Board" के लिए, फिर "Editor-in-Chief" के लिए, बार-बार। वह उसी पेज पर बार-बार खोजता रहता है, इस उम्मीद में कि उत्तर जादुई रूप से किसी अलग शब्द के रूप में प्रकट हो जाएगा, जब तक कि उसका समय समाप्त न हो जाए।
- वास्तविकता: एजेंट एक ही सवाल को थोड़े अलग तरीकों से पूछने के लूप में फंस जाता है, इस बात को नजरअंदाज करते हुए कि उसके पास पहले से ही उस टेक्स्ट में उत्तर मौजूद है जो उसने पाया था।
B. "अर्ली बर्ड" छोड़ना (Premature termination)
- उपमा: आप एजेंट को एक ट्रिलॉजी (trilogy) की सभी फिल्में सूचीबद्ध करने के लिए कहते हैं। एजेंट पहली दो फिल्में ढूंढता है, उन्हें लिखता है, और तुरंत कहता है, "हो गया! यह रही लिस्ट!" वह खोजना बंद कर देता है क्योंकि उसे लगता है कि उसके पास पर्याप्त जानकारी है, भले ही उसने तीसरी फिल्म मिस कर दी हो।
- वास्तविकता: एजेंट को अपने उत्तर को खूबसूरती से फॉर्मेट करने और जल्दी समाप्त करने के लिए "पुरस्कार" मिलता है, इसलिए वह वास्तव में सब कुछ खोजने से पहले ही छोड़ देने के लिए सीख जाता है। वह "पूर्ण" होने के बजाय "काम खत्म" दिखने को प्राथमिकता देता है।
C. "कॉपी-पेस्ट" पतन (Synthesis collapse)
- उपमा: आप एजेंट को 8 अलग-अलग प्रकार के पेपर्स की डेडलाइन सूचीबद्ध करने के लिए कहते हैं। एजेंट एक प्रकार के पेपर (मान लीजिए, "अक्टूबर 21") के लिए डेडलाइन ढूंढता है। फिर, अंतिम रिपोर्ट में, वह बाकी सभी 8 श्रेणियों के लिए "अक्टूबर 21" को कॉपी कर देता है, यह नजरअंदाज करते हुए कि अन्य 7 के लिए अलग तारीखें थीं।
- वास्तविकता: एजेंट ने सही तथ्य ढूंढे, लेकिन जब उसने अंतिम रिपोर्ट लिखने की कोशिश की, तो वह भ्रमित हो गया और सभी अलग-अलग उत्तरों को एक सामान्य, गलत उत्तर में बदल दिया।
4. अधिक समय देने से मदद क्यों नहीं मिलती
शोधकर्ताओं ने एजेंटों को अधिक समय (खोजने के लिए अधिक "राउंड्स") और बड़े "नोटबुक्स" (अधिक मेमोरी/कॉन्टेक्स्ट) देकर देखा।
- परिणाम: एजेंट अक्सर और भी अधिक बार काम पूरा करते थे, लेकिन वे बहुत अधिक सटीक नहीं हुए।
- सबक: समस्या यह नहीं है कि उनके पास समय या मेमोरी की कमी है। समस्या यह है कि वे यह जानने में खराब हैं कि वे कब समाप्त हुए हैं और तथ्यों को सही ढंग से जोड़ने में खराब हैं।
निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि हम केवल AI एजेंटों को स्मार्ट बनाकर या उन्हें अधिक समय देकर समाधान नहीं पा सकते। हमें उन्हें प्रशिक्षित करने का तरीका बदलना होगा।
- वर्तमान में, हम उन्हें कार्य पूरा करने के लिए पुरस्कृत करते हैं।
- हमें उन्हें इस बात के लिए पुरस्कृत करना शुरू करना चाहिए कि वे सत्यापित (verify) करें कि उनके द्वारा खोजे गए तथ्य वास्तव में उनके द्वारा लिखे गए उत्तर से मेल खाते हैं।
शोधकर्ता सुझाव देते हैं कि भविष्य के AI को "कवरेज चेक" (यह सुनिश्चित करना कि उन्होंने सभी हिस्से खोज लिए हैं) और "एविडेंस बाइंडिंग" (यह सुनिश्चित करना कि अंतिम उत्तर मिले हुए प्रमाणों से मजबूती से जुड़ा हुआ है) की आवश्यकता होगी, न कि केवल एक सुंदर रूप से फॉर्मेट की गई रिपोर्ट सौंपने के लिए प्रशंसा पाने की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।