MobileExplorer: Accelerating On-Device Inference for Mobile GUI Agents via Online Exploration
MobileExplorer एक नवीन फ्रेमवर्क है जो मॉडल के रीजनिंग समय का लाभ उठाकर UI तत्वों के समानांतर ऑनलाइन अन्वेषण (parallel online exploration) करने के लिए, मोबाइल GUI एजेंटों के लिए ऑन-डिवाइस इन्फरेंस को तेज़ करता है, जो उच्च कार्य सफलता दर को बनाए रखते हुए रीजनिंग स्टेप्स और लेटेंसी को कम करने के लिए प्रासंगिक संकेत (contextual hints) उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके फोन के अंदर एक बहुत ही बुद्धिमान, लेकिन थोड़ी धीमी, व्यक्तिगत सहायक (personal assistant) रहती है। इस सहायक का काम आपकी स्क्रीन को देखना, यह समझना कि आप क्या करना चाहते हैं (जैसे कि "एक टेक्स्ट भेजना" या "कोई रेसिपी ढूँढना") और फिर वह सब करने के लिए सही बटनों को दबाना है।
समस्या यह है कि यह सहायक एक "विज़न-लैंग्वेज मॉडल" (vision-language model) है। यह चित्रों और टेक्स्ट को समझने में अविश्वसनीय रूप से स्मार्ट है, लेकिन इसे सोचने में काफी समय लगता है। इसे एक ऐसे प्रतिभाशाली प्रोफेसर की तरह समझें जिसे एक एकल गणित की समस्या हल करने के लिए 30 सेकंड की आवश्यकता होती है। इस बीच, फोन के एक बटन को दबाने में केवल एक सेकंड का समय लगता है।
पुराने तरीके में, सहायक स्क्रीन को देखता, 30 सेकंड तक सोचता, और फिर अंत में एक बटन दबाता। उन 30 सेकंडों के दौरान, फोन बिना कुछ किए बस पड़ा रहता। यदि किसी कार्य में 20 टैप की आवश्यकता होती, तो यह बहुत लंबा इंतज़ार हो जाता।
पेश है "MobileExplorer"।
MobileExplorer के पीछे के शोधकर्ताओं ने महसूस किया कि वे उस "सोचने के समय" का उपयोग कुछ और करने के लिए कर सकते हैं। यह कैसे काम करता है, यहाँ कुछ सरल उपमाओं (analogies) का उपयोग किया गया है:
1. "इंतज़ार करते समय" की रणनीति (The "While You Wait" Strategy)
कल्पना कीजिए कि आप ओवन में पिज्जा पकने का इंतज़ार कर रहे हैं (30 सेकंड का सोचने का समय)। ओवन को घूरते हुए खड़े रहने के बजाय, आप उस समय का उपयोग जल्दी से फ्रिज चेक करने, ड्रिंक्स निकालने और मेज सजाने के लिए करते हैं। आप पिज्जा में देरी नहीं कर रहे हैं; आप बस अगले कदम के लिए तैयारी कर रहे हैं जबकि ओवन अपना काम कर रहा है।
MobileExplorer बिल्कुल यही करता है। जब AI अगले कदम के बारे में "सोच" रहा होता है, तो सिस्टम चुपचाप और तेज़ी से स्क्रीन पर कुछ अलग-अलग बटनों को दबाकर देखता है कि क्या होता है। यह एक गलियारे में कुछ दरवाजों को खटखटाने जैसा है यह देखने के लिए कि कौन से खुलते हैं, ताकि जानकारी जुटाई जा सके।
2. "स्मार्ट डिटेक्टिव" (The "Smart Detective" - Task Relevance)
सिस्टम केवल रैंडम बटन नहीं दबाता। ऐसा करने से अफरा-तफरी मच सकती है। इसके बजाय, यह एक ऐसे जासूस की तरह काम करता है जिसे लक्ष्य पता है।
- लक्ष्य: "मुझे एक मूवी ढूँढनी है।"
- क्रिया: सिस्टम स्क्रीन को देखता है और पूछता है, "कौन से बटन फिल्मों की ओर ले जा सकते हैं?" यह "कैलकुलेटर" या "वेदर" बटनों को अनदेखा करता है और "नेटफ्लिक्स" या "सर्च" बटनों पर ध्यान केंद्रित करता है।
- परिणाम: यह जल्दी से उन विशिष्ट क्षेत्रों की जांच करता है, देखता है कि कौन सी नई स्क्रीन दिखाई दे रही है, और एक छोटा सा नोट लिख लेता है: "ओह, 'मूवीज़' बटन से शैलियों (genres) की सूची खुलती है।"
3. "मैजिक अनडू" बटन (The "Magic Undo" Button - Two-Level Rollback)
यहाँ पेचीदा हिस्सा है: यदि आप बहुत अधिक इधर-उधर भटक जाते हैं, तो आप खो सकते हैं। हो सकता है कि आपने गलती से कोई ऐसा मेनू खोल दिया हो जिसे आप नहीं खोलना चाहते थे, और अब आप वापस मूल स्क्रीन पर नहीं पहुँच पा रहे हैं।
MobileExplorer के पास एक बहुत शक्तिशाली "अनडू" (Undo) सिस्टम है जिसमें दो स्तर हैं:
- स्तर 1 (त्वरित अनडू): यह जहाँ से शुरू किया था वहाँ वापस जाने के लिए "बैक" (Back) बटन को कुछ बार दबाने की कोशिश करता है। यह जाँचता है कि क्या स्क्रीन पहले जैसी ही दिख रही है (एक डिजिटल फिंगरप्रिंट का उपयोग करके जिसे "परसेप्चुअल हैश" कहा जाता है)।
- स्तर 2 (रीसेट बटन): यदि "बैक" बटन विफल हो जाता है (शायद किसी पॉप-अप ने रास्ता रोक दिया हो), तो यह घबराता नहीं है। यह तुरंत फोन की "होम" स्क्रीन पर वापस जाता है और फिर उन सटीक चरणों को दोबारा दोहराता है जो उसे मूल स्थान तक पहुँचाने के लिए लिए गए थे। यह ऐसा है जैसे कहना, "ठीक है, चलिए होम से फिर से शुरू करते हैं और उसी रास्ते पर फिर से चलते हैं, लेकिन इस बार मैं तेज़ रहूँगा।"
यह सुनिश्चित करता है कि "एक्सप्लोरेशन" (खोजबीन) मुख्य कार्य में बाधा न डाले। फोन हमेशा उसी स्थिति में वापस आ जाता है जिसमें वह एक्सप्लोरेशन शुरू होने से पहले था।
4. "चीट शीट" (The "Cheat Sheet" - Contextual Hints)
एक बार जब सिस्टम इस अतिरिक्त जानकारी को एकत्र कर लेता है (जैसे कि "मूवी लिस्ट 'एंटरटेनमेंट' टैब के अंतर्गत है"), तो वह इसे एक छोटे, आसानी से पढ़े जाने वाले नोट में संक्षेप में लिख देता है। वह यह नोट AI को उसके अंतिम निर्णय को पूरा करने से पहले सौंप देता है।
इसलिए, AI के अनुमान लगाने के बजाय, अब उसके पास एक चीट शीट होती है: "हे, मैंने पहले चेक किया था। मूवी लिस्ट यहीं है।" यह AI को सही चुनाव करने में मदद करता है, जिसका अर्थ है कि इसे कार्य पूरा करने के लिए कम कुल चरणों की आवश्यकता होती है।
परिणाम
शोधकर्ताओं ने वास्तविक फोन और वास्तविक ऐप्स पर इसका परीक्षण किया। उन्होंने पाया कि:
- यह तेज़ है: पूरी प्रक्रिया में लगभग 23% कम समय लगा क्योंकि AI को अब अनुमान लगाने की आवश्यकता नहीं थी।
- यह स्मार्ट है: AI कार्य को थोड़ा बेहतर तरीके से (5% तक अधिक) सही ढंग से कर पाया क्योंकि उसके पास अधिक जानकारी थी।
- यह निजी है: सब कुछ सीधे फोन पर होता है। कोई भी डेटा क्लाउड पर नहीं भेजा जाता है, इसलिए आपकी स्क्रीन की गतिविधि निजी रहती है।
संक्षेप में, MobileExplorer एक धीमे लेकिन स्मार्ट AI के "इंतज़ार के समय" को "उत्पादक समय" में बदल देता है, जिससे फोन इंटरफ़ेस को सुरक्षित और कुशलता से एक्सप्लोर कर पाता है ताकि AI आपके कार्यों को तेज़ी से पूरा कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।