SwipeGen: Bridging the Execution Gap in GUI Agents via Human-like Swipe Synthesis
यह शोध पत्र SwipeGen को पेश करता है, जो विविध मानव-समान स्वाइप इंटरैक्शन को संश्लेषित करने के लिए एक टूल है, और SwipeBench को, जो उन्हें मूल्यांकित करने के लिए एक बेंचमार्क है, ताकि वर्तमान GUI एजेंटों के प्रदर्शन को सीमित करने वाले कठोर स्वाइप निष्पादन की समस्या का समाधान किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका फ़ोन आपके बोले गए निर्देशों को समझ सके और आपके लिए आपके ऐप्स का संचालन कर सके, बटन दबा सके और टेक्स्ट टाइप कर सके, ठीक वैसे ही जैसे आप करते हैं। यह ग्राफिकल यूजर इंटरफेस एजेंट का वादा है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जिसे स्क्रीन के साथ उसी तरह बातचीत करने के लिए डिज़ाइन किया गया है जैसे इंसान करते हैं। वर्षों से, शोधकर्ताओं ने इन प्रणालियों को आइकन पहचानना, टेक्स्ट पढ़ना और विशिष्ट लक्ष्यों पर क्लिक करना सिखाया है। हालाँकि, एक महत्वपूर्ण कमी बनी हुई थी: जबकि ये एजेंट बढ़ती सटीकता के साथ पॉइंट और क्लिक कर सकते थे, वे सबसे आम जेस्चर—स्वाइप (swipe)—करने में बुरी तरह संघर्ष करते थे। चाहे न्यूज़ फीड को स्क्रॉल करना हो, वॉल्यूम स्लाइडर को एडजस्ट करना हो, या छिपे हुए मेनू विकल्पों को प्रकट करना हो, मशीन का डिजिटल हाथ अक्सर एक कठोर, यांत्रिक सटीकता के साथ चलता था जो स्क्रीन की प्रतिक्रिया को ट्रिगर करने में विफल रहता था। इस सीमा का अर्थ था कि सबसे स्मार्ट एजेंट भी अटक सकते थे, उन सरल कार्यों को पूरा करने में असमर्थ थे जिनमें मानवीय उंगली की तरल गति की आवश्यकता होती है।
फ़ुदान यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने एक मौलिक प्रश्न पूछकर इस विशिष्ट समस्या को हल करने का निर्णय लिया: मशीनें स्वाइप करने में क्यों विफल रहती हैं जबकि इंसानों के लिए यह इतना स्वाभाविक है? उन्होंने पाया कि समस्या बुद्धिमत्ता की कमी नहीं थी, बल्कि डेटा की कमी और स्वाइप कैसे काम करता है, इसकी गलत समझ थी। मौजूदा सिस्टम को सरल क्लिक वाले डेटासेट्स पर प्रशिक्षित किया गया था, जो हर इंटरैक्शन को स्क्रीन पर एक एकल बिंदु के रूप में देखते थे। लेकिन एक स्वाइप केवल एक बिंदु नहीं है; यह एक यात्रा है। इसमें एक शुरुआती स्थान, एक दिशा, एक दूरी और एक गति शामिल होती है। शोधकर्ताओं ने पाया कि वर्तमान एजेंट, एक एकल निर्देशांक (coordinate) का अनुमान लगाने की कोशिश करते हुए, अक्सर पूरी तरह से चूक जाते थे क्योंकि वे यह नहीं समझते थे कि स्वाइप की गति या सटीक शुरुआती बिंदु परिणाम को बदल सकता है। इसे ठीक करने के लिए, उन्होंने 'स्वाइपजेन' (SwipeGen) नामक एक नया टूल बनाया, जो एक स्वचालित सिस्टम है जिसे मशीनों को मानव-समान जेस्चर के हजारों उदाहरणों के माध्यम से स्वाइप करना सिखाने के लिए डिज़ाइन किया गया है।
प्रक्रिया की शुरुआत सिस्टम को मोबाइल ऐप्स को अपने आप एक्सप्लोर करने देने से हुई, ठीक वैसे ही जैसे एक उपयोगकर्ता करता है। इसने स्क्रीन्स के माध्यम से नेविगेट किया, उन क्षेत्रों की पहचान की जिन्हें स्क्रॉल किया जा सकता था, जैसे कि फोटो की सूचियाँ या आइकनों की पंक्तियाँ। एक बार जब इसने स्क्रॉल करने योग्य क्षेत्र ढूंढ लिया, तो सिस्टम ने केवल अनुमान नहीं लगाया; इसने व्यवस्थित रूप से स्वाइप करने के विभिन्न तरीकों का परीक्षण किया। इसने स्क्रीन के केंद्र से, किनारों से, ऊपर, नीचे, बाएँ या दाएँ, और विभिन्न गति से शुरू होने वाले स्वाइप का परीक्षण किया। महत्वपूर्ण रूप से, सिस्टम ने प्रत्येक प्रयास से पहले और बाद में स्क्रीन को देखा। यदि स्वाइप के कारण सामग्री हिल गई या बदल गई, तो सिस्टम ने इसे एक सफलता के रूप में रिकॉर्ड किया, जिसमें उस सटीक निर्देशांक, दिशा और अवधि को कैप्चर किया गया जिसने इसे काम करने में मदद की। यदि स्क्रीन ने कोई प्रतिक्रिया नहीं दी, तो उस प्रयास को खारिज कर दिया गया। प्रयास करने, देखने और रिकॉर्ड करने के इस चक्र ने टीम को सफल स्वाइप इंटरैक्शन का एक विशाल पुस्तकालय बनाने की अनुमति दी, जिसमें प्राकृतिक भाषा के विवरण भी शामिल थे जो बताते थे कि प्रत्येक जेस्चर ने क्या हासिल किया।
इस नए डेटा लाइब्रेरी के साथ, शोधकर्ताओं ने अपने आर्टिफिशियल इंटेलिजेंस मॉडल का एक नया संस्करण प्रशिक्षित किया, जिसे उन्होंने 'जीयूआईस्वाइपर' (GUISwiper) नाम दिया। उन्होंने मॉडल को न केवल बटन ढूंढना, बल्कि स्वाइप के भौतिक विज्ञान (physics) को समझना सिखाया। परिणाम आश्चर्यजनक थे। उन ऐप्स के एक नए सेट पर परीक्षण किए जाने पर जिन्हें मॉडल ने पहले कभी नहीं देखा था, GUISwiper पिछले अत्याधुनिक मॉडलों की तुलना में स्वाइप क्रियाओं को दोगुने से अधिक बेहतर तरीके से करने में सफल रहा। जहाँ पुराने मॉडल केवल लगभग एक चौथाई स्वाइप कार्यों को सही ढंग से पूरा कर पाते थे, वहीं नया मॉडल उनमें से 60 प्रतिशत से अधिक में सफल रहा। इससे भी महत्वपूर्ण बात यह है कि शोधकर्ताओं ने सिद्ध किया कि मशीन को स्वाइप करना सिखाने से वह अन्य कार्यों में खराब नहीं हुई। मॉडल बटन पहचानने और टेक्स्ट पढ़ने में उतना ही अच्छा बना रहा, जिससे पता चला कि वह स्क्रीन के लेआउट को समझने की अपनी क्षमता खोए बिना जटिल जेस्चर सीख सकता है।
अध्ययन ने यह भी रेखांकित किया कि इन एजेंटों के लिए सबसे बड़ी बाधा यह नहीं थी कि क्या करना है, बल्कि यह था कि कैसे करना है। शोधकर्ताओं ने पाया कि जब मॉडल विफल हुआ, तो इसका कारण आमतौर पर यह था कि उसने स्वाइप गलत जगह से शुरू किया था या स्क्रीन की प्रतिक्रिया को ट्रिगर करने के लिए बहुत धीरे चला था, न कि इसलिए कि उसने गलत दिशा चुनी थी। निष्पादन के विवरणों—सटीक शुरुआत, अंत और गति—पर ध्यान केंद्रित करके, उन्होंने मशीन के कठोर तर्क और मानव उपयोगकर्ता के सहज बोध के बीच के अंतर को पाट दिया। यह कार्य सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस के लिए वास्तव में डिजिटल दुनिया में महारत हासिल करने के लिए, इसे न केवल देखना, बल्कि उसी सूक्ष्मता और समय के साथ आगे बढ़ना सीखना होगा जिसके लिए इसे डिज़ाइन किया गया है। प्रभावी ढंग से स्वाइप करने की क्षमता अब केवल एक मामूली विशेषता नहीं है; यह किसी भी ऐसे एजेंट के लिए एक मौलिक आवश्यकता है जो हमारे स्क्रीन को मानव हाथ की सहजता के साथ नेविगेट करने की आशा करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।