Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding
यह शोध पत्र प्रदर्शित करता है कि डिस्क्रीट डिफ्यूजन विजन-लैंग्वेज मॉडल, विशेष रूप से जब एक नवीन हाइब्रिड मास्किंग शेड्यूल और विस्तारित प्रशिक्षण डेटा के साथ अनुकूलित किए जाते हैं, वेब, डेस्कटॉप और मोबाइल इंटरफेस के लिए GUI ग्राउंडिंग कार्यों हेतु ऑटोरेग्रेसिव मॉडल्स के लिए एक आशाजनक और प्रतिस्पर्धी विकल्प के रूप में कार्य करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर या स्मार्टफोन का उपयोग करना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि रोबोट स्क्रीन को देखे, आपके निर्देश को पढ़े (जैसे " 'Submit' बटन पर क्लिक करें"), और फिर अपने हाथ की उंगली को स्क्रीन पर बिल्कुल सही जगह पर ले जाए ताकि वह वह काम कर सके।
यह शोध पत्र इस बारे में है कि कैसे एक नए प्रकार के "रोबोट मस्तिष्क" को यह काम करने के लिए प्रशिक्षित किया जाए, और यह वर्तमान में इस क्षेत्र में हावी रहने वाली रणनीतियों से बिल्कुल अलग तरीका आजमा रहा है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
1. पुराना तरीका बनाम नया तरीका
पुराना तरीका (Autoregressive Models):
वर्तमान शीर्ष प्रदर्शन करने वाले AI मॉडल को एक बहुत तेज़, सख्त टाइपिस्ट की तरह समझें। वे आपके निर्देश को पढ़ते हैं और उत्तर को एक बार में एक अक्षर करके, बाएं से दाएं टाइप करते हैं। वे अपने द्वारा अभी-अभी टाइप किए गए अक्षर को वापस नहीं बदल सकते जब तक कि वे फिर से शुरू न करें या जटिल तरकीबें न अपनाएं। वे बेहतरीन हैं, लेकिन वे रैखिक (linear) और कठोर हैं।
नया तरीका (Diffusion Models):
लेखक एक मूर्तिकार का परीक्षण कर रहे हैं। टाइप करने के बजाय, कल्पना करें कि AI मिट्टी के एक ऐसे ब्लॉक से शुरू करता है जो पूरी तरह से कीचड़ (रैंडम शोर/noise) से ढका हुआ है। उसे अभी तक उत्तर नहीं पता है।
- वह निर्देश और स्क्रीन को देखता है।
- वह धीरे-धीरे, कदम-दर-कदम, कीचड़ को पोंछता है और आकार को निखारता है।
- हर बार कीचड़ पोंछने के साथ, उत्तर अधिक स्पष्ट होता जाता है।
- यदि वह शुरुआत में कोई गलती करता है, तो वह बाद में उस हिस्से को "फिर से तराश" (re-sculpt) सकता है क्योंकि वह केवल पिछले लिखे गए अक्षर को नहीं देख रहा है, बल्कि पूरे चित्र को एक साथ देख रहा है।
शोध पत्र पूछता है: क्या यह "मूर्तिकार" (Diffusion Model), "टाइपिस्ट" (Autoregressive Model) की तरह ही स्क्रीन पर बटन और आइकन ढूंढना सीख सकता है?
2. समस्या: "बॉक्स" को खोजना
जब एक रोबोट को किसी बटन पर क्लिक करना होता है, तो वह केवल "क्लिक" नहीं कहता। उसे बटन के चारों ओर एक बॉक्स बनाना होता है: ऊपरी-बायां कोना (Top-Left Corner), निचला-दायां कोना (Bottom-Right Corner)।
- चुनौती: "ऊपरी-बायां" कोना और "निचला-दायां" कोना आपस में संबंधित हैं। यदि आप जानते हैं कि ऊपरी-बायां कहां है, तो निचला-दायां उसके सापेक्ष कहीं विशिष्ट स्थान पर होना चाहिए।
- गलती: मानक "मूर्तिकार" विधि प्रत्येक उत्तर के हिस्से को रैंडम शोर (noise) मानती है। यह ऊपरी-बायां कोना और निचरा-दायां कोना दोनों को एक ही समय में पोंछ सकती है, जिससे AI के लिए यह सीखना कठिन हो जाता है कि वे एक-दूसरे में कैसे फिट होते हैं।
3. समाधान: "हाइब्रिड मास्किंग" रणनीति
लेखकों ने महसूस किया कि मूर्तिकार को एक सटीक बॉक्स बनाना सिखाने के लिए, उन्हें दो-चरणीय प्रशिक्षण प्रक्रिया की आवश्यकता थी। वे इसे हाइब्रिड मास्किंग (Hybrid Masking) कहते हैं।
- चरण 1 (द एंकर): पहले, वे AI को एक्शन (जैसे, "क्लिक") और एंकर पॉइंट (ऊपरी-बायां कोना) का अनुमान लगाने देते हैं। वे इस हिस्से को रैंडम तरीके से "तराशने" (sculpt) देते हैं, ठीक पुराने तरीके की तरह। यह AI को एक शुरुआती बिंदु देता है।
- चरण 2 (द रिफाइनमेंट): एक बार जब AI के पास शुरुआती बिंदु आ जाता है, तो वे उसे केवल उस शुरुआती बिंदु के आधार पर बाकी के बॉक्स (निचला-दायां कोना) को समझने के लिए मजबूर करते हैं। वे बाकी के उत्तर को पूरी तरह से ढक देते हैं और कहते हैं, "ठीक है, अब जब आप जानते हैं कि ऊपरी-बायां कहां है, तो हमें बताएं कि निचला-दायां कहां है।"
उपमा:
कल्पना कीजिए कि आप एक कमरे के आकार का अनुमान लगाने की कोशिश कर रहे हैं।
- पुराना तरीका: आप एक ही बार में पूरे कमरे का अनुमान लगाते हैं, इस उम्मीद में कि आप कोनों को सही पकड़ लेंगे।
- हाइब्रिड तरीका: पहले, आप अनुमान लगाते हैं कि सामने का दरवाजा कहां है (एंकर)। फिर, आपको दरवाजे के आधार पर यह अनुमान लगाने के लिए मजबूर किया जाता है कि कमरा कितनी दूर तक जाता है। यह अंतिम अनुमान को बहुत अधिक सटीक बनाता है।
4. परिणाम: क्या यह काम करता है?
टीम ने इस नए "मूर्तिकार" का चार अलग-अलग प्रकार की स्क्रीनों पर परीक्षण किया: वेबसाइट्स, डेस्कटॉप कंप्यूटर और मोबाइल फोन।
- यह काम करता है: नया मॉडल बटन और आइकन को बहुत अच्छी तरह से ढूंढ सकता है, लगभग सर्वश्रेष्ठ "टाइपिस्ट" मॉडलों के बराबर।
- बढ़ावा (The Boost): अपनी "हाइब्रिड मास्किंग" (दो-चरणीय प्रक्रिया) का उपयोग करके, मॉडल सटीक जगह खोजने में काफी बेहतर हुआ। इसने अपनी सफलता दर में लगभग 6% का सुधार किया।
- समझौता (The Trade-off): मूर्तिकार (Sculpting) में टाइप करने की तुलना में थोड़ा अधिक समय लगता है। मॉडल थोड़ा धीमा (उच्च लेटेंसी) है क्योंकि इसे मिट्टी को साफ करने के लिए अधिक "पोंछने" (wipes) की आवश्यकता होती है। हालांकि, लेखकों ने एक ऐसा 'स्वीट स्पॉट' पाया जहाँ यह उपयोगी होने के लिए पर्याप्त तेज़ है।
- अधिक डेटा मदद करता है: जैसे एक छात्र अधिक किताबों के साथ बेहतर सीखता है, वैसे ही AI भी कई अलग-अलग प्रकार की स्क्रीनों (केवल एक वेबसाइट नहीं) से डेटा मिलने पर बहुत तेज़ और सटीक हो गया।
5. हमें इसकी परवाह क्यों करनी चाहिए?
यह एक बड़ी बात है क्योंकि यह साबित करता है कि AI एजेंट बनाने के लिए एक नया रास्ता मौजूद है।
- वर्तमान में, लगभग हर कोई "टाइपिस्ट" मॉडलों को तेज़ और स्मार्ट बनाने की कोशिश कर रहा है।
- यह शोध पत्र दिखाता है कि "मूर्तिकार" (Diffusion) दृष्टिकोण एक व्यवहार्य, शक्तिशाली विकल्प है।
- यह सुझाव देता है कि भविष्य में, हमारे AI सहायक केवल कमांड "टाइप" नहीं करेंगे, बल्कि दुनिया की अपनी समझ को "तराशेंगे" (sculpt), जिससे वे आपके फोन या कंप्यूटर को चलाने जैसे जटिल कार्यों में अधिक लचीले, द्विदिश (bidirectional) और सटीक हो सकेंगे।
संक्षेप में: लेखकों ने एक नए प्रकार के AI को लिया, उसे स्क्रीन तत्वों के चारों ओर बॉक्स बनाने के लिए एक विशेष दो-चरणीय ट्रिक सिखाई, और यह साबित किया कि वह एक रोबोट सहायक के रूप में वर्तमान लीडर्स के लगभग बराबर काम कर सकता है, जिससे स्मार्ट, विजुअल AI एजेंटों की एक नई पीढ़ी के द्वार खुल गए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।