TimeWarp: Evaluating Web Agents by Revisiting the Past
यह शोध पत्र TimeWarp प्रस्तुत करता है, जो डिज़ाइन परिवर्तनों के प्रति एजेंटों की संवेदनशीलता को उजागर करने के लिए विकसित होते UI संस्करणों के माध्यम से वेब एजेंटों का मूल्यांकन करने वाला एक बेंचमार्क है, और TimeTraj प्रस्तावित करता है, जो एक प्लान डिस्टिलेशन एल्गोरिदम है जो कई वेब संस्करणों से एकत्र किए गए प्रक्षेप पथों (trajectories) पर प्रशिक्षण देकर एजेंट की मजबूती में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट बटलर (नौकर) को ऑनलाइन किराने का सामान ऑर्डर करना सिखा रहे हैं। आप हफ्तों तक उसे दिखा रहे हैं कि किसी विशिष्ट वेबसाइट पर बटन कैसे क्लिक करना है, फॉर्म कैसे भरना है और सबसे सस्ते कुकीज़ कैसे ढूँढने हैं। रोबोट उस वेबसाइट के एक विशेष संस्करण में माहिर हो जाता है।
लेकिन फिर, वेबसाइट का मालिक स्टोर का डिज़ाइन बदल देता है। वे सर्च बार को ऊपर से हटाकर नीचे कर देते हैं, "Buy" बटन का रंग बदल देते हैं, और एक पॉप-अप विज्ञापन जोड़ देते हैं जो स्क्रीन को ब्लॉक कर देता है। अचानक, आपका रोबोट बटलर पूरी तरह से खो जाता है। उसे नहीं पता कि कहाँ क्लिक करना है, और वह अब कुकीज़ नहीं ढूँढ पा रहा है।
यही वह समस्या है जिसे TIMEWARP पेपर हल करने की कोशिश कर रहा है।
यहाँ शोधकर्ताओं ने जो किया है उसका एक सरल विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. समस्या: "टाइम ट्रैवल" का अंतर (The "Time Travel" Gap)
इंटरनेट एक जीवित, सांस लेते हुए शहर की तरह है जो कभी रुकता नहीं है। वेबसाइटों के नए लेआउट, नए बटन और नई सुविधाएँ हर दिन आती हैं।
- पुराना तरीका: अधिकांश शोधकर्ता अपने AI एजेंटों (रोबोटों) को वेबसाइट के एक "जमे हुए" (frozen) संस्करण पर प्रशिक्षित करते हैं। यह एक ड्राइवर को केवल 1990 के शहर के मानचित्र पर प्रशिक्षित करने जैसा है। जब वे आज के शहर में गाड़ी चलाने की कोशिश करते हैं, तो वे दुर्घटनाग्रस्त हो जाते हैं क्योंकि सड़कें बदल गई हैं।
- नई वास्तविकता: पेपर पूछता है: यदि हम आज एक रोबोट को प्रशिक्षित करते हैं, तो क्या यह कल भी काम करेगा जब वेबसाइट बदल जाएगी?
2. समाधान: "टाइम मशीन" बेंचमार्क (TIMEWARP)
इसे परखने के लिए, शोधकर्ताओं ने TIMEWARP नामक एक विशेष परीक्षण मैदान बनाया।
- उदाहरण: एक वीडियो गेम लेवल की कल्पना करें जिसमें छह अलग-अलग "स्किन्स" या युग (eras) हैं।
- युग 1 (1999): वेबसाइट शुरुआती इंटरनेट के एक सादे टेक्स्ट दस्तावेज़ जैसी दिखती है।
- युग 2-4 (2000-2010 के दशक): साइट रंगीन हो जाती है, मेनू जुड़ जाते हैं और लेआउट बदल जाता है।
- युग 5-6 (आज): साइट आधुनिक है, आइकन, पॉप-अप और जटिल डिज़ाइनों से भरी है।
- मिशन: उन्होंने 1,386 अलग-अलग कार्य बनाए (जैसे "एक रेसिपी ढूँढें" या "$5 की कुकी खरीदें") और AI को वेबसाइट के इन सभी छह संस्करणों पर उन्हें हल करने के लिए कहा। यह एक नियंत्रित लैब में 25 वर्षों के विकास का अनुकरण करता है।
3. खोज: रोबोट नाजुक होते हैं (Robots are Fragile)
जब उन्होंने अपने AI एजेंटों का परीक्षण किया, तो उन्हें एक आश्चर्यजनक बात पता चली:
- "एक ही आकार सबके लिए" की विफलता: यदि उन्होंने एक रोबोट को केवल 2025 के संस्करण पर प्रशिक्षित किया, तो वह 1999 के संस्करण पर बुरी तरह विफल रहा। यह किसी को फरारी चलाना सिखाने और फिर उनसे मॉडल टी फोर्ड (पुरानी कार) चलाने के लिए कहने जैसा है; नियंत्रण बहुत अलग हैं।
- दृश्य भ्रम (Visual Confusion): जो रोबोट स्क्रीन को "देखने" (जैसे स्क्रीनशॉट देखना) पर निर्भर करते थे, डिज़ाइन बदलने पर वे सबसे अधिक भ्रमित हुए। जो रोबोट कोड को "पढ़ते" (टेक्स्ट) थे, वे थोड़े अधिक मजबूत थे, लेकिन फिर भी संघर्ष करते रहे।
4. सुधार: "मास्टर प्लानर" रणनीति (TIMETRAJ & TIMEWARP-BC)
शोधकर्ताओं ने महसूस किया कि केवल रोबोट को उत्तर दिखाना काफी नहीं है। रोबोट को यह सीखना होगा कि कैसे सोचा जाए, न कि केवल क्या क्लिक किया जाए।
उन्होंने एक दो-चरणीय प्रशिक्षण पद्धति पेश की:
- मास्टर प्लानर (मानव + AI): एक इंसान द्वारा किए जाने वाले हर एक माउस क्लिक को रिकॉर्ड करने के बजाय (जो उबाऊ और कठिन है), एक इंसान एक उच्च-स्तरीय योजना (high-level plan) लिखता है।
- उदाहरण: एक छात्र को गणित के सवाल का हर एक कदम सिखाने के बजाय, आप उन्हें समाधान की रूपरेखा (outline) देते हैं: "पहले, सामग्री ढूँढें। दूसरा, कीमत देखें। तीसरा, सबसे सस्ती चीज़ खरीदें।"
- टीचर रोबोट (शिक्षक रोबोट): एक उन्नत AI ("शिक्षक") उस उच्च-स्तरीय योजना को लेता है और वेबसाइट के सभी छह संस्करणों पर इसे स्वचालित रूप से निष्पादित करता है।
- वह समझ जाता है कि 1999 में बटन कैसे क्लिक करना है, 2010 में कैसे स्क्रॉल करना है, और 2025 में पॉप-अप को कैसे अनदेखा करना है।
- स्टूडेंट रोबोट (छात्र रोबोट): छात्र रोबोट शिक्षक को देखता है। महत्वपूर्ण बात यह है कि वह केवल क्लिक नहीं देखता; वह उस सोच, योजना और स्मृति को देखता है जिसका उपयोग शिक्षक ने समस्या को हल करने के लिए किया था।
5. परिणाम: अत्यधिक लचीले रोबोट
इन "शिक्षक" योजनाओं और वेबसाइट के सभी संस्करणों पर छात्र रोबोट को प्रशिक्षित करके, परिणाम अद्भुत थे:
- पहले: कुछ रोबोटों की सफलता दर नए वेबसाइट संस्करणों पर 0% थी।
- बाद में: वही रोबोट 27% से 37% की सफलता दर पर पहुँच गए।
- जादू: रोबोट लचीला होना सीख गए। उन्होंने सीखा कि "सर्च बार ढूँढना" लक्ष्य है, चाहे वह बार ऊपर हो, नीचे हो, या किसी आइकन के पीछे छिपा हो।
यह क्यों मायने रखता है
यह पेपर AI डेवलपर्स के लिए एक चेतावनी है। यह दिखाता है कि यदि हम चाहते हैं कि AI वास्तविक दुनिया में उपयोगी हो, तो हम केवल एक स्थिर तस्वीर (static snapshot) पर इसे प्रशिक्षित नहीं कर सकते। हमें इसे बदलाव के अनुकूल बनना सिखाना होगा।
बड़ी सीख:
हर बार डिज़ाइन बदलने पर यह मैन्युअल रूप से रिकॉर्ड करने में वर्षों बिताने के बजाय कि एक इंसान वेबसाइट के माध्यम से कैसे क्लिक करता है, हम अब एक स्मार्ट योजना लिख सकते हैं और AI को यह समझने दे सकते हैं कि उस योजना को साइट के किसी भी संस्करण पर कैसे लागू किया जाए। यह एक छात्र को एक एकल मानचित्र रटने के बजाय, उसे दिशा-सूचक यंत्र (compass) का उपयोग करके नेविगेट करना सिखाने के बीच का अंतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।