Generative Visual Code Mobile World Models
यह शोध पत्र gWorld को पेश करता है, जो मोबाइल GUI वर्ल्ड मॉडल के लिए एक नया प्रतिमान (पैराडाइम) है जो अगले इंटरफ़ेस स्टेट को कच्चे पिक्सेल के बजाय निष्पादन योग्य वेब कोड के रूप में भविष्यवाणी करने के लिए एक एकल विजन-लैंग्वेज मॉडल का लाभ उठाता है, जिससे उच्च-निष्ठा वाला दृश्य रेंडरिंग और सटीक टेक्स्ट जनरेशन प्राप्त होता है और साथ ही यह सटीकता में बहुत बड़े मौजूदा मॉडलों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ पेपर "Generative Visual Code Mobile World Models" (जिसमें gWorld को पेश किया गया है) का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।
बड़ी समस्या: "धुंधला क्रिस्टल बॉल" (The Blurry Crystal Ball)
कल्प-ना कीजिए कि आप एक रोबोट को आपका स्मार्टफोन चलाना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, रोबोट को एक "क्रिस्टल बॉल" (एक वर्ल्ड मॉडल) की आवश्यकता होगी जो यह अनुमान लगा सके: "यदि मैं इस बटन को दबाता हूँ, तो अगली स्क्रीन कैसी दिखेगी?"
इस तरह की क्रिस्टल बॉल बनाने के मौजूदा प्रयासों में एक बड़ी खामी है:
- "केवल टेक्स्ट वाला" मॉडल (The "Text-Only" Model): कुछ मॉडल अगली स्क्रीन का वर्णन शब्दों में करने की कोशिश करते हैं (जैसे, "बटन नीला हो जाता है")। यह तेज़ है, लेकिन यह एक फिल्म को केवल उसकी स्क्रिप्ट पढ़कर समझाने जैसा है। इसमें आप सभी दृश्य विवरण खो देते हैं, जैसे सटीक फ़ॉन्ट, रंग की शेड, या लेआउट।
- "पिक्सेल-जेनरेटर" मॉडल (The "Pixel-Generator" Model): अन्य मॉडल अगली स्क्रीन को पिक्सेल-दर-पिक्सेल बनाने की कोशिश करते हैं, जैसे कोई कलाकार चित्र पेंट कर रहा हो। हालाँकि यह दिखने में सुंदर होता है, लेकिन ये मॉडल टेक्स्ट लिखने में बहुत खराब होते हैं। वे अक्सर अजीबोगरीब अक्षर, विकृत बटन, या अजीब लेआउट बना देते हैं। इसे ठीक करने के लिए, उन्हें अन्य AI टूल्स वाले एक विशाल, धीमे, बहु-चरणीय कारखाने की आवश्यकता होती है जो टेक्स्ट की जाँच करे और त्रुटियों को ठीक करे। यह एक पेंटर को काम पर रखने, फिर एक स्पेल-चेकर को, फिर एक आर्किटेक्ट को, और फिर एक एडिटर को नियुक्त करने जैसा है, सिर्फ एक बटन बनाने के लिए।
समाधान: "आर्किटेक्ट का ब्लूप्रिंट" (The Architect's Blueprint)
लेखक इस क्रिस्टल बॉल को बनाने का एक नया तरीका प्रस्तावित करते हैं। AI को चित्र बनाने (पिक्सेल) या उसका वर्णन (टेक्स्ट) करने के लिए कहने के बजाय, वे इसे वह कोड लिखने के लिए कहते हैं जो उस चित्र को बनाता है।
इसे इस तरह समझें:
- पुराना तरीका (पिक्सेल जेनरेटर): एक कलाकार से किसी वेबसाइट की सटीक प्रतिलिपि पेंट करने के लिए कहना। वे रंगों को सही कर सकते हैं, लेकिन टेक्स्ट शायद स्क्रिबल्स (लकीरों) जैसा दिख सकता है।
- नया तरीका (gWorld): एक मास्टर आर्किटेक्ट से उस वेबसाइट का ब्लूप्रिंट (HTML/CSS कोड) लिखने के लिए कहना।
चूँकि AI कोड लिख रहा है (जो कि संरचित और तार्किक है), वह जानता है कि बटन कहाँ रखना है, शब्द की स्पेलिंग कैसे करनी है, और लेआउट को कैसे व्यवस्थित करना है। जब इस कोड को "रेंडर" (ब्राउज़र में चलाया) किया जाता है, तो यह तुरंत अगली स्क्रीन की एक सटीक, स्पष्ट छवि बन जाती है।
gWorld क्या है?
gWorld उस नए AI सिस्टम का नाम है जिसे लेखकों ने बनाया है।
- यह एक "वर्ल्ड मॉडल" है: यह वर्तमान स्क्रीन और एक क्रिया (जैसे "यहाँ टैप करें") लेता है और अगली स्क्रीन का अनुमान लगाता है।
- यह "कोड" बोलता है: इमेज फ़ाइल आउटपुट करने के बजाय, यह वेब कोड (HTML/CSS) आउटपुट करता है।
- यह खुला और तेज़ है: लेखकों ने इस मॉडल के "वेट्स" (मस्तिष्क) को मुफ्त में जारी किया है। क्योंकि यह अन्य तरीकों के धीमे, जटिल कारखाने को छोड़ देता है, यह अविश्वसनीय रूप से तेज़ है—अगली स्क्रीन का अनुमान एक सेकंड से भी कम समय में लगा लेता है।
उन्होंने इसे कैसे सिखाया?
आप AI से ऐसी स्क्रीन के लिए कोड लिखने को नहीं कह सकते जिसे उसने पहले कभी नहीं देखा है। लेखकों को एक विशेष प्रशिक्षण कारखाना बनाना पड़ा:
- पुराने डेटा का पुनर्चक्रण (Recycling Old Data): उन्होंने मनुष्यों द्वारा फोन इस्तेमाल करने के मौजूदा रिकॉर्ड (टैप और स्वाइप के प्रक्षेपवक्र/trajectories) लिए।
- अनुवादक (The Translator): उन्होंने एक सुपर-स्मार्ट AI का उपयोग किया जो मानव क्रिया के "बाद" वाली तस्वीर को देखता है और उस तस्वीर को साफ, काम करने वाले कोड में बदल देता है।
- तर्क का चरण (The Reasoning Step): उन्होंने AI को "ज़ोर से सोचने" के लिए भी सिखाया। कोड लिखने से पहले, वह समझाता है कि स्क्रीन क्यों बदलेगी (जैसे, "उपयोगकर्ता ने 'Send' पर क्लिक किया, इसलिए ईमेल गायब हो जाना चाहिए और एक 'Sent' संदेश दिखाई देना चाहिए")।
परिणाम: यह क्यों मायने रखता है
लेखकों ने gWorld का परीक्षण 8 अन्य शीर्ष-स्तरीय AI मॉडलों के साथ किया (कुछ मॉडल 50 गुना बड़े और अधिक महंगे हैं)।
- सटीकता (Accuracy): gWorld अगली स्क्रीन का अनुमान लगाने में सबसे सटीक था। इसने टेक्स्ट को सही रखा और लेआउट को एकदम सटीक बनाया।
- दक्षता (Efficiency): इसने इन परिणामों को बहुत छोटे मॉडल आकार के साथ प्राप्त किया। यह एक कॉम्पैक्ट स्पोर्ट्स कार के एक विशाल ट्रक को रेस में हराने जैसा है।
- "पारेटो फ्रंटियर" (The Pareto Frontier): चार्ट में, gWorld ने एक नई "सर्वश्रेष्ठ संभव" रेखा बनाई। आप मॉडल को बहुत बड़ा बनाए बिना बेहतर सटीकता प्राप्त नहीं कर सकते, और gWorld अपने आकार के हिसाब से पहले से ही सर्वश्रेष्ठ है।
- वास्तविक दुनिया का परीक्षण: उन्होंने इसे उन ऐप्स और भाषाओं (जैसे कोरियाई) पर भी परखा जिन्हें उसने पहले कभी नहीं देखा था, और फिर भी इसने बहुत अच्छा प्रदर्शन किया।
ब्लूप्रिंट का "जादू"
पेपर एक प्रमुख अंतर्दृष्टि पर प्रकाश डालता है: मोबाइल स्क्रीन ज्यादातर संरचना और टेक्स्ट हैं, न कि जटिल फोटो।
हालाँकि कुछ स्क्रीनों में फोटो होते हैं (जैसे कैमरा व्यू), अधिकांश स्क्रीन लिस्ट, बटन और टेक्स्ट होती हैं। क्योंकि gWorld कोड लिखता है, वह स्क्रीन को एक संरचित दस्तावेज़ की तरह मानता है। इसका मतलब है कि यह कभी भी स्पेलिंग की गलती या लेआउट की त्रुटि नहीं करता है, जो "पिक्सेल-पेंटिंग" मॉडलों की सबसे बड़ी कमजोरी है।
सारांश
यह पेपर gWorld को पेश करता है, जो एक नए प्रकार का AI है जो भविष्यवाणी करता है कि उपयोगकर्ता के इंटरैक्ट करने के बाद फोन की स्क्रीन कैसे बदलेगी। अगली स्क्रीन को "पेंट" करने (जिससे धुंधला टेक्स्ट और त्रुटियां होती हैं) के बजाय, gWorld स्क्रीन बनाने के लिए कोड लिखता है। यह दृष्टिकोण तेज़, अधिक सटीक है, कम कंप्यूटिंग पावर की आवश्यकता होती है, और पूर्ण टेक्स्ट और लेआउट प्रदान करता है, जो हमारे फोन का उपयोग करने के लिए AI एजेंटों को सीखने का एक नया मानक स्थापित करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।