UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
यह शोध पत्र UI2App को प्रस्तुत करता है, जो केवल स्थिर UI स्क्रीनशॉट से निष्पादन योग्य इंटरैक्शन व्यवहारों को अनुमानित करने की विजन-लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, जो वर्तमान मॉडल्स की दृश्य पुनर्निर्माण क्षमताओं और जटिल, स्टेट-कोहेरेंट वेब एप्लिकेशन उत्पन्न करने की उनकी क्षमता के बीच एक महत्वपूर्ण अंतर को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "देखने" से "करने" तक
कल्पना कीजिए कि आप एक मास्टर शेफ हैं। आपके सामने मेज पर एक सुंदर, जटिल केक की फोटो रखी है।
- पुराना तरीका (टेक्स्ट-आधारित): आप शेफ से कहते हैं, "मेरे लिए एक ऐसा केक बनाओ जो इस फोटो जैसा दिखे, जिसमें तीन परतें हों, चॉकलेट का हो, और जिसके अंदर एक गुप्त बटन हो जिसे दबाने पर स्प्रिंकल्स (रंग-बिरंगी चीनी) बाहर निकलें।" शेफ को आपसे हर एक विवरण शब्दों में बताने की जरूरत होती है। अगर आप गुप्त बटन के बारे में बताना भूल गए, तो शेफ उसे नहीं बनाएगा।
- नया तरीका (इमेज-आधारित): आप बस शेफ को वह फोटो थमा देते हैं। शेफ उसे देखता है और केक बनाने की कोशिश करता है।
लंबे समय से, AI मॉडल (इस कहानी में "शेफ" की तरह) किसी फोटो को देखने और बिल्कुल वैसी ही दिखने वाली केक बनाने में बहुत माहिर हो गए हैं। वे रंगों, फ्रॉस्टिंग के घुमावों और आकार को पूरी तरह से मैच कर सकते हैं।
लेकिन समस्या यहाँ है: सिर्फ इसलिए कि केक असली दिखता है, इसका मतलब यह नहीं है कि वह काम भी करता है।
- क्या वह गुप्त बटन वास्तव में स्प्रिंकल्स बाहर निकालता है?
- यदि आप एक टुकड़ा लेते हैं, तो क्या अंदर का स्वाद चॉकलेट जैसा है, या यह सिर्फ एक खोखला खोल है?
- यदि आप एक परत हटाते हैं, तो क्या अन्य परतें जुड़ी रहती हैं?
UI2App पेपर कहता है: "हमें सिर्फ यह जांचना बंद करना होगा कि केक कैसा दिखता है। हमें यह जांचना होगा कि केक वास्तव में काम कैसे करता है।"
नया बेंचमार्क: UI2App
शोधकर्ताओं ने UI2App नामक एक नया टेस्ट बनाया। AI को लंबे लिखित निर्देशों के आधार पर वेबसाइट बनाने के लिए कहने के बजाय, उन्होंने AI को स्क्रीनशॉट (एक वेबसाइट की तस्वीरें) का एक ढेर दिया और कहा:
"एक काम करने वाली, क्लिक करने योग्य वेबसाइट बनाओ जो इन तस्वीरों की तरह व्यवहार करे, बिना हमें यह बताए कि बटन कैसे काम करते हैं।"
AI को तस्वीरों को देखकर ही उस "छिपी हुई जादुई शक्ति" (hidden magic) को समझना होगा। उदाहरण के लिए, यदि एक फोटो में शॉपिंग कार्ट में 1 आइटम दिखता है, और अगली फोटो में यह 2 आइटम दिखाता है, तो AI को यह समझना होगा: "आह, यहाँ कोई छिपा हुआ सिस्टम होना चाहिए जो याद रखता है कि मैंने क्या जोड़ा था!"
चार-बिंदु रिपोर्ट कार्ड
AI के काम को ग्रेड देने के लिए, शोधकर्ताओं ने केवल अंतिम उत्पाद को नहीं देखा। उन्होंने चार-भागों वाली चेकलिस्ट का उपयोग किया:
- क्या यह चल भी सकता है? (एग्जीक्यूटेबिलिटी/Executability): क्या कोड वास्तव में काम करता है, या यह तुरंत क्रैश हो जाता है? यह केक चखने से पहले यह जांचने जैसा है कि ओवन प्लग में लगा है या नहीं।
- क्या आप घूम सकते हैं? (नेविगेशन रीचेबिलिटी/Navigation Reachability): यदि वेबसाइट में "संपर्क करें" (Contact Us) पेज है, तो क्या आप वहां जाने के लिए लिंक पर क्लिक कर सकते हैं? या क्या लिंक टूटा हुआ है?
- क्या यह सही दिखता है? (विजुअल फिडेलिटी/Visual Fidelity): क्या वेबसाइट फोटो की तरह दिखती है? (यह परीक्षण करने का पुराना तरीका है, जिसमें अधिकांश AI अच्छे हैं)।
- क्या यह सही व्यवहार करता है? (इंटरेक्शन इन्फरेंस स्कोर - IIS): यह सबसे महत्वपूर्ण नया हिस्सा है। यदि आप "Add to Cart" पर क्लिक करते हैं, तो क्या संख्या बढ़ती है? यदि आप लॉग इन करते हैं, तो क्या पेज आपको याद रखता है? यह परीक्षण करता है कि क्या AI ने केवल दिखावट को समझा, या व्यवहार को समझा।
चौंकाने वाले परिणाम
शोधकर्ताओं ने उपलब्ध छह सबसे स्मार्ट AI मॉडल्स का परीक्षण किया। यहाँ उन्हें क्या पता चला:
- "दिखावे का जाल" (The "Look-Alike" Trap): वह AI मॉडल जो वेबसाइट को एकदम परफेक्ट दिखाने (Visual Fidelity) में सबसे अच्छा था, वह वास्तव में इसे चलाने (Interaction) में चौथा सबसे अच्छा था।
- उपमा: कल्पना कीजिए कि एक मॉडल ने मिट्टी से एक नकली कार बनाई। वह बिल्कुल एक फेरारी की तरह दिख रही थी (चमकदार, परफेक्ट शेप), लेकिन यदि आप इंजन चालू करने की कोशिश करते, तो कुछ भी नहीं होता। वह एक "जमी हुई बाहरी दिखावट" (frozen façade) थी।
- "काम करने वाला" जीतता है: वह मॉडल जो वेबसाइट को चलाने (कार्ट में आइटम जोड़ना, पासवर्ड याद रखना, पेज बदलना) में सबसे अच्छा था, वह पूरी तरह से एक अलग मॉडल था।
- "याददाश्त" की समस्या: सभी AI के लिए सबसे कठिन चीज़ थी क्रॉस-रूट स्टेट (Cross-Route State)।
- उपमा: कल्पना कीजिए कि आप एक वीडियो गेम में हैं। आप "फॉरेस्ट" लेवल में एक तलवार उठाते हैं। आप "कासल" लेवल में जाते हैं। एक स्मार्ट AI याद रखता है कि आपके पास अभी भी तलवार है। इस टेस्ट में मौजूद AI अक्सर भूल जाते थे। उन्होंने एक ऐसा "फॉरेस्ट" बनाया जहाँ आप तलवार उठा सकते थे, लेकिन जब आप "कासल" में जाते, तो तलवार गायब हो जाती थी, और गेम ऐसा व्यवहार करता जैसे आपने उसे कभी उठाया ही न हो।
- परिणाम: आधे मॉडल्स ने इस विशिष्ट कौशल पर शून्य स्कोर किया। वे अलग-अलग पेजों के बीच जानकारी को ट्रैक रखने में सक्षम नहीं थे।
यह क्यों मायने रखता है
पेपर निष्कर्ष निकालता है कि विजुअल फिडेलिटी (दिखावट) का अर्थ इंटेलिजेंस (बुद्धिमत्ता) नहीं है।
सिर्फ इसलिए कि एक AI एक बटन की परफेक्ट तस्वीर बना सकता है, इसका मतलब यह नहीं है कि वह जानता है कि उसे क्लिक करने पर क्या होगा। AI की वर्तमान पीढ़ी एक कलाकार (दिखावट की नकल करने वाला) बनने में तो बहुत अच्छी है, लेकिन एक इंजीनियर (लॉजिक या तर्क बनाने वाला) बनने के लिए अभी भी संघर्ष कर रही है।
UI2App बेंचमार्क एक नया टूल है जो AI को केवल "दिखावा" करने के बजाय वास्तव में "काम" करने के लिए मजबूर करता है। यह इस बात को उजागर करता है कि वर्तमान में AI के बीच सबसे बड़ा अंतर सुंदर चीजें बनाने का नहीं है; बल्कि उन अदृश्य नियमों को समझने का है जो एक वेबसाइट को जीवंत महसूस कराते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।