Looks Right, Works Right: A Project-Level Benchmark for Multi-Screen Mobile App Generation
यह शोध पत्र MobileForge को प्रस्तुत करता है, जो मल्टी-स्क्रीन मोबाइल ऐप जनरेशन के लिए पहला प्रोजेक्ट-स्तरीय बेंचमार्क है जो बिल्ड, नेविगेशन, विजुअल फिडेलिटी, मेंटेनेबिलिटी और एफिशिएंसी के माध्यम से मल्टीमॉडल LLMs का मूल्यांकन करता है, और यह प्रकट करता है कि हालांकि वर्तमान मॉडल ऐप्स को कंपाइल और नेविगेट कर सकते हैं, वे अभी भी विश्वसनीय इंटरैक्शन और कोड क्वालिटी के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आप एक कंप्यूटर को स्मार्टफोन से ली गई तस्वीरों से भरा एक फोल्डर दिखा सकते हैं, और वह तुरंत उस सटीक ऐप को बनाने के लिए आवश्यक पूरा कंप्यूटर प्रोग्राम लिख देगा। यह 'डिज़ाइन-टू-कोड' नामक एक क्षेत्र का वादा है, जहाँ आर्टिफिशियल इंटेलिजेंस विज़ुअल छवियों को उन कार्यात्मक निर्देशों में अनुवाद करने का प्रयास करता है जो सॉफ़्टवेयर को संचालित करते हैं। वर्षों से, शोधकर्ताओं ने इन प्रणालियों का परीक्षण उन्हें वेबपेज की एक एकल तस्वीर दिखाकर और उस एक स्क्रीन को फिर से बनाने के लिए कोड मांगकर किया है। हालाँकि इससे सरल, अलग-थलग पेजों के लिए प्रभावशाली परिणाम मिले हैं, लेकिन यह वास्तविक दुनिया के सॉफ़्टवेयर की जटिलता को समझने में विफल रहा है। एक वास्तविक मोबाइल एप्लिकेशन केवल एक छवि नहीं है; यह कई स्क्रीनों की एक जुड़ी हुई दुनिया है, ऐसे बटन जो आपको एक स्थान से दूसरे स्थान पर ले जाते हैं, और साझा डिज़ाइन तत्व जिन्हें पूरे अनुभव में सुसंगत रहना चाहिए। प्रश्न यह बना हुआ है: क्या एक आर्टिफिशियल इंटेलिजेंस एक वास्तविक ऐप के पूर्ण स्क्रीनशॉट के सेट को देख सकता है और एक काम करने वाला, बहु-पृष्ठ प्रोजेक्ट बना सकता है जिसे एक मानव टीम वास्तव में उपयोग कर सके?
शोधकर्ताओं की एक टीम ने 'मोबाइलफोर्ज' (MobileForge) नामक एक नए परीक्षण के साथ इस प्रश्न का उत्तर देने का लक्ष्य रखा है। मॉडल को एक एकल पेज बनाने के लिए कहने के बजाय, उन्होंने उनसे शुरू से पूरे एप्लिकेशन बनाने के लिए कहा। शोधकर्ताओं ने सोशल मीडिया से लेकर वित्त और नेविगेशन तक, लोगों द्वारा रोज़ाना उपयोग किए जाने वाले 29 वास्तविक, लोकप्रिय मोबाइल ऐप्स से स्क्रीनशॉट एकत्र किए। इन ऐप्स में कुल 309 अलग-अलग स्क्रीन शामिल थीं। इसके बाद उन्होंने उपलब्ध छह सबसे उन्नत आर्टिफिशियल इंटेलिजेंस मॉडल्स से इन छवियों को देखने और ऐप्स का पूर्ण सोर्स कोड जेनरेट करने के लिए कहा। परीक्षण को निष्पक्ष और कठोर बनाने के लिए, टीम ने एक विस्तृत मानचित्र बनाया कि स्क्रीन एक-दूसरे से कैसे जुड़नी चाहिए और सैकड़ों विशिष्ट परीक्षण लिखे ताकि यह जांचा जा सके कि परिणामी ऐप्स वास्तव में काम करते हैं या नहीं। उन्होंने न केवल यह जांचा कि क्या कोड को संकलित (compile) किया जा सकता है, बल्कि यह भी देखा कि क्या नेविगेशन बटन सही स्थानों पर ले जाते हैं, क्या विज़ुअल डिज़ाइन मूल तस्वीरों से मेल खाता है, और क्या कोड इतना साफ़ था कि बाद में अन्य इंजीनियर इसका रखरखाव कर सकें।
परिणामों ने एक स्पष्ट विभाजन को प्रकट किया कि ये मॉडल क्या कर सकते हैं और वे अभी भी क्या नहीं कर सकते। सकारात्मक पक्ष पर, प्रत्येक मॉडल एक ऐसा कोड बनाने में सक्षम था जिसे एक कार्यशील प्रोजेक्ट में बदला जा सके। सबसे मजबूत मॉडल यहाँ तक कि जेनरेट किए गए ऐप्स के माध्यम से नेविगेट करने और लगभग 92 प्रतिशत बार सही पेजों तक पहुँचने में भी सक्षम थे। हालाँकि, एक कार्यशील ऐप से एक पूर्ण ऐप तक की यात्रा अभी भी लंबी है। हालाँकि कोड चल सकता था, लेकिन विज़ुअल विवरण अक्सर मूल तस्वीरों से भटक जाते थे। मॉडल विभिन्न स्क्रीनों के बीच रंगों और लेआउट को सुसंगत बनाए रखने में संघर्ष करते थे, अक्सर हर पेज पर एक ही नेविगेशन बार को थोड़ा अलग तरीके से फिर से बनाते थे, बजाय इसके कि एक एकल साझा घटक का उपयोग करें। इस विसंगति का अर्थ था कि हालाँकि ऐप्स मूल के समान दिखते थे, लेकिन उनमें एक पेशेवर रूप से डिज़ाइन किए गए उत्पाद जैसा पॉलिश और एकीकृत अहसास नहीं था।
शायद सबसे आश्चर्यजनक खोज यह थी कि विज़ुअली सटीक होने का मतलब यह नहीं था कि कोड अच्छी तरह से लिखा गया था। जिस मॉडल ने सबसे अधिक विज़ुअली वफादार ऐप्स बनाए, उसने वास्तव में अन्य मॉडल्स की तुलना में दोगुना लंबा और दोगुना अव्यवस्थित कोड जेनरेट किया। इसने कई अप्रयुक्त भाग बनाए और सामान्य तत्वों का कुशलतापूर्वक पुन: उपयोग करने में विफल रहा। इसके विपरीत, एक अन्य मॉडल ने बहुत छोटा, स्वच्छ कोड बनाया जो मनुष्यों के लिए संपादित और बनाए रखना आसान था, भले ही उसका विज़ुअल आउटपुट थोड़ा कम सटीक था। यह सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस की वर्तमान पीढ़ी ने अभी तक एक ऐप के लुक और उसके अंतर्निहित कोड की इंजीनियरिंग गुणवत्ता के बीच संतुलन बनाना नहीं सीखा है। शोधकर्ताओं ने यह भी पाया कि मॉडल अक्सर अनुमानित तरीकों से विफल होते थे। कभी-कभी एक बटन स्क्रीन पर दिखाई देता था लेकिन क्लिक करने पर कुछ नहीं होता था; अन्य समय में, स्क्रीन लोड होती थी लेकिन पूरी तरह से खाली होती थी, जिससे उपयोगकर्ता वहीं फंस जाता था। ये विफलताएं यादृच्छिक गड़बड़ी (glitches) नहीं थीं, बल्कि एक विज़ुअल तत्व और उसके कार्य के बीच के संबंध को समझने में विशिष्ट विफलताएं थीं।
इस परीक्षण को संचालित करने के लिए, शोधकर्ताओं को सफलता को मापने के नए तरीके खोजने पड़े जो केवल विज़ुअल तुलना से परे थे। उन्होंने नेविगेशन का परीक्षण करने के लिए एक विधि विकसित की जिसमें कंप्यूटर को एक श्रृंखला में ऐप के माध्यम से घूमने देने के बजाय, प्रत्येक परीक्षण को एक विशिष्ट, निश्चित बिंदु से शुरू किया गया, जिससे एक गलती पूरे मूल्यांकन को खराब करने से बच गई। उन्होंने एक ऐसी प्रणाली भी बनाई जहाँ एक आर्टिफिशियल इंटेलिजेंस जज जेनरेट की गई स्क्रीनों की मूल तस्वीरों के विरुद्ध तुलना करता था, लेकिन इसमें एक सुरक्षा जांच भी शामिल थी ताकि यह सुनिश्चित हो सके कि जज वास्तव में ध्यान दे रहा है और केवल अनुमान नहीं लगा रहा है। इस कठोर दृष्टिकोण ने उन्हें उन सूक्ष्म अंतरों को देखने की अनुमति दी जो पुराने परीक्षणों से छूट जाते। अध्ययन यह निष्कर्ष निकालता है कि हालांकि आर्टिफिशियल इंटेलिजेंस ने चित्रों को कोड में बदलने में एक महत्वपूर्ण छलांग लगाई है, लेकिन यह अभी भी जटिल, बहु-स्क्रीन प्रोजेक्ट्स के लिए मानव डिजाइनरों और इंजीनियरों को बदलने के लिए तैयार नहीं है। तकनीक एक ऐप का कंकाल तो बना सकती है, लेकिन वह नेविगेशन की 'मसल मेमोरी' और डिज़ाइन निरंतरता के सूक्ष्म विवरणों के साथ संघर्ष करती है जो एक एप्लिकेशन को वास्तविक और विश्वसनीय महसूस कराते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।