Vision2Web: A Hierarchical Benchmark for Visual Website Development with Agent Verification
यह शोध पत्र Vision2Web को प्रस्तुत करता है, जो एक पदानुक्रमित बेंचमार्क है जिसमें 193 वास्तविक दुनिया के कार्य और एक नवीन द्वि-घटक एजेंट सत्यापन प्रणाली शामिल है, जो दृश्य वेबसाइट विकास (visual website development) के स्पेक्ट्रम में, UI जनरेशन से लेकर फुल-स्टैक परिनियोजन (full-stack deployment) तक, लार्ज लैंग्वेज मॉडल-आधारित एजेंटों के महत्वपूर्ण प्रदर्शन अंतराल को व्यवस्थित रूप से मूल्यांकन करने और प्रकट करने के लिए बनाया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक घर बनाना चाहते हैं। आपके पास एक सुंदर वास्तुशिल्प ड्राइंग (विजुअल प्रोटोटाइप) और आवश्यकताओं की एक सूची (टेक्स्ट निर्देश) है।
अतीत में, एआई कोडिंग असिस्टेंट ऐसे प्रशिक्षुओं (apprentices) की तरह थे जो यदि आप उन्हें एक फोटो की ओर इशारा करें, तो वे एक ईंट की दीवार को पूरी तरह से बना सकते थे। लेकिन यदि आपने उनसे पूरा घर बनाने, प्लंबिंग जोड़ने, बिजली स्थापित करने और यह सुनिश्चित करने के लिए कहा कि दरवाजा खटखटाने पर खुले, तो वे अक्सर रास्ता भटक जाते, ब्लूप्रिंट भूल जाते, या ऐसी दीवार बना देते जो ड्राइंग से बिल्कुल अलग दिखती।
"Vision2Web" एक नया, विशाल प्रशिक्षण मैदान और परीक्षण केंद्र है जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या एआई वास्तव में केवल चित्रों को देखकर और निर्देशों को पढ़कर शून्य से ये "डिजिटल घर" (वेबसाइट) बना सकता है।
यहाँ इसका सरल विवरण दिया गया है कि यह कैसे काम करता है:
1. कठिनाई के तीन स्तर (द "सीढ़ी")
शोधकर्ताओं ने एआई को सीधे गहरे पानी में नहीं फेंका। उन्होंने एक सीढ़ी बनाई जिसमें तीन पायदान थे, जैसे-जैसे आप ऊपर चढ़ते हैं, यह कठिन होता जाता है:
- स्तर 1: एक स्थिर स्नैपशॉट (द "फोटो बूथ")
- कार्य: एआई एक फोन, एक टैबलेट और एक कंप्यूटर पर वेबपेज की एक तस्वीर देखता है। इसे एक ऐसा वेबपेज बनाना होगा जो तीनों स्क्रीन पर उस तस्वीर जैसा ही दिखे।
- चुनौती: यह एक चित्रकार की तरह है जो फोटो की हूबहू नकल करने की कोशिश कर रहा है। यदि एआई रंगों या स्पेसिंग (spacing) में गलती करता है, तो वह विफल हो जाता है।
- स्तर 2: एक इंटरैक्टिव टूर (द "थीम पार्क")
- कार्य: अब, एआई को कई पेजों वाली वेबसाइट बनानी है। यदि आप एक बटन पर क्लिक करते हैं, तो यह आपको एक नए पेज पर ले जाना चाहिए। यदि आप "बैक" पर क्लिक करते हैं, तो यह वापस जाना चाहिए।
- चुनौती: यह एक थीम पार्क बनाने जैसा है जहाँ राइड्स (पेज) सड़कों (नेविगेशन) द्वारा जुड़ी होती हैं। एआई को यह याद रखना होगा कि पूरा पार्क आपस में कैसे फिट बैठता है, न कि केवल एक राइड।
- स्तर 3: एक फुल-स्टैक साम्राज्य (द "स्मार्ट सिटी")
- कार्य: एआई को एक पूर्ण प्रणाली बनानी है। इसे फ्रंट एंड (जो आप देखते हैं), बैक एंड (वह मस्तिष्क जो डेटा प्रोसेस करता है), और डेटाबेस (याददाश्त) की आवश्यकता है। इसे लॉगिन, शॉपिंग कार्ट और यूजर डेटा को सेव करने का काम संभालना होगा।
- चुनौती: यह ट्रैफिक लाइट, पावर ग्रिड और पुलिस स्टेशनों के साथ एक पूरा शहर बनाने जैसा है। यदि एक भी हिस्सा टूट जाता है, तो पूरा शहर रुक जाता है।
2. "रेफरी" सिस्टम (यह एआई को ग्रेड कैसे देता है)
आपको कैसे पता चलेगा कि एआई ने वास्तव में काम करने वाली वेबसाइट बनाई है? आप केवल एआई से नहीं पूछ सकते कि, "क्या आपने अच्छा काम किया?" क्योंकि वह झूठ बोल सकता है।
शोधकर्ताओं ने काम को ग्रेड करने के लिए एक दो-भागों वाली रेफरी टीम बनाई है:
- रेफरी A: "रोबोट बटलर" (GUI एजेंट वेरीफायर)
- यह एक रोबोट है जो एक मानव उपयोगकर्ता की तरह व्यवहार करता है। यह एक सख्त चेकलिस्ट का पालन करता है: "लॉगिन बटन पर क्लिक करें," "'पासवर्ड' टाइप करें," "चेक करें कि डैशबोर्ड दिखाई दे रहा है या नहीं।"
- यदि रोबट बटन पर क्लिक नहीं कर पाता या पेज क्रैश हो जाता है, तो एआई इस भाग में विफल हो जाता है। यह जांचता है कि कार्यक्षमता (functionality) काम कर रही है या नहीं।
- रेफरी B: "आर्ट क्रिटिक" (VLM जज)
- यह एक सुपर-स्मार्ट एआई है जो तैयार वेबसाइट को देखता है और उसकी तुलना मूल ड्राइंग से आमने-सामने करता है।
- यह पूछता है: "क्या बटन का रंग सही है? क्या फॉन्ट का आकार सही है? क्या यह ब्लूप्रिंट जैसा दिखता है?" यह दृश्य सुंदरता (visual beauty) की जांच करता है।
3. उन्होंने क्या पाया? (परिणाम)
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट एआई मॉडल्स का इस बेंचमार्क पर परीक्षण किया। यहाँ निर्णय है:
- "अच्छी खबर": एआई स्तर 1 में बहुत अच्छा हो रहा है। वे एक सिंगल वेबपेज की फोटो को बहुत अच्छी तरह कॉपी कर सकते हैं।
- "बुरी खबर": जैसे ही आप उन्हें स्तर 2 या स्तर 3 के लिए कहते हैं, वे लड़खड़ाने लगते हैं।
- "भूलने की समस्या" (The Amnesia Problem): जटिल साइटें बनाते समय, एआई अक्सर भूल जाता है कि उसने पाँच मिनट पहले क्या किया था। वह एक लॉगिन पेज बना सकता है लेकिन डेटाबेस से उसे जोड़ना भूल सकता है।
- "छोटी स्क्रीन का संघर्ष": एआई बड़े कंप्यूटर स्क्रीन के लिए वेबसाइट बनाने में बहुत अच्छा है लेकिन जब इसे मोबाइल की छोटी स्क्रीन पर अच्छा दिखने के लिए बनाना होता है, तो यह अक्सर गड़बड़ कर देता है।
- "जटिलता का अंतर": वेबसाइट जितनी अधिक जटिल होगी (जैसे कि कोई SaaS प्लेटफॉर्म या शॉपिंग साइट), एआई का प्रदर्शन उतना ही खराब होता जाएगा। उन्हें सभी चलते हुए हिस्सों को एक साथ काम करने में कठिनाई होती है।
4. यह क्यों मायने रखता है?
सोचिए कि Vision2Web एक एआई के लिए ड्राइवर लाइसेंस टेस्ट है।
इससे पहले, हम केवल यह परीक्षण करते थे कि क्या एआई कार पार्क कर सकता है (कोड का एक छोटा सा हिस्सा लिख सकता है)। अब, हम यह परीक्षण कर रहे हैं कि क्या वे देश भर में गाड़ी चला सकते हैं, ट्रैफिक का सामना कर सकते हैं और बिना दुर्घटना किए गंतव्य तक पहुँच सकते हैं (एक पूरी वेबसाइट बना सकते हैं)।
यह पेपर हमें बताता है कि हालांकि एआई एक शानदार प्रशिक्षु (apprentice) है, लेकिन वह अभी तक एक मास्टर आर्किटेक्ट नहीं है। इसे बड़ी तस्वीर की योजना बनाने और जब प्रोजेक्ट बहुत बड़ा हो जाए तो सभी विवरणों पर नज़र रखने के लिए मदद की आवश्यकता है। यह बेंचमार्क शोधकर्ताओं को यह समझने में मदद करता है कि एआई वास्तव में कहाँ विफल हो रहा है ताकि वे उसे बेहतर तरीके से सिखा सकें।
संक्षेप में: Vision2Web एआई के लिए अंतिम "मुझे दिखाओ, सिर्फ बताओ मत" वाला टेस्ट है, जो यह साबित करता है कि हालांकि वे एक सुंदर चित्र बना सकते हैं, लेकिन पूरा घर बनाना अभी भी एक निर्माणाधीन कार्य है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।