Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents
Qwen-UI-Agent एक वास्तविक-दुनिया-केंद्रित फाउंडेशन GUI एजेंट है जो मोबाइल, कंप्यूटर, वेब और DeepSearch वातावरण को एक हाइब्रिड एक्शन स्पेस और एक AutoResearch-शैली के डेटा फ्लाईव्हील के साथ एकीकृत करता है ताकि मोबाइल बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके और व्यापक डिजिटल कार्यों में प्रतिस्पर्धी परिणाम दिए जा सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दोस्त है जो आपके डिजिटल संदर्भ को प्रोसेस कर सकता है और आपकी हर बात मान सकता है। लेकिन अभी, यह रोबोट एक ऐसे छात्र की तरह है जिसने केवल एक शांत, बिना किसी व्याकुलता वाले क्लासरूम में पढ़ाई की है। वह कागज पर गणित के सवाल हल करना जानता है, लेकिन अगर आप उसे एक असली, अस्त-व्यस्त रसोई में रख दें जहाँ चूल्हा चिपचिपा हो, कुत्ता भौंक रहा हो और दरवाजा अटक रहा हो, तो वह भ्रमित हो सकता है और टोस्ट गिरा सकता है। यह "GUI एजेंट्स" की वर्तमान स्थिति है—ऐसे कंप्यूटर प्रोग्राम जिन्हें स्क्रीन देखने और बटनों को क्लिक करने के लिए डिज़ाइन किया गया है जैसे कि इंसान करते हैं। वे सुरक्षित, सिम्युलेटेड वीडियो गेम में निर्देशों का पालन करने में बेहतरीन हैं, लेकिन वास्तविक फोन और कंप्यूटर की अराजक, अप्रत्याशित वास्तविकता का सामना करने पर वे अक्सर लड़खड़ा जाते हैं।
वैज्ञानिकों के सामने बड़ा सवाल यह है: हम इन डिजिटल सहायकों को कैसे सिखाएं कि वे "क्लासरूम के छात्र" बनना छोड़ दें और "वास्तविक दुनिया के विशेषज्ञ" बनें? हमें उन्हें केवल बटन क्लिक करना ही नहीं, बल्कि यह समझना भी सिखाना होगा कि एक पॉप-अप विज्ञापन उनके दृश्य को बाधित कर रहा है, उन्हें अपने फोन और लैपटॉप के बीच बिना अपना ध्यान भटकाए स्विच करना होगा, और यहाँ तक कि यह भी नोटिस करना होगा कि कब कुछ गलत हो रहा है (जैसे कि फ्लाइट कैंसिल होना) और आपके पूछने से पहले ही समाधान पेश करना होगा। यदि हम इस कोड को क्रैक कर लेते हैं, तो ये एजेंट्स परम सहायक बन सकते हैं, जो यात्रा बुक करने से लेकर आपके डिजिटल जीवन को व्यवस्थित करने तक सब कुछ संभाल लेंगे, जिससे तकनीक एक ऐसी चीज़ नहीं लगेगी जिससे आपको लड़ना पड़े, बल्कि एक ऐसे साथी की तरह लगेगी जो आपको वास्तव में समझता है।
Qwen-UI-Agent से मिलिए: वह रोबोट जिसने वास्तविक दुनिया में जीना सीखा
यहाँ आ रहा है Qwen-UI-Agent, एक नए प्रकार का डिजिटल सहायक जिसे अलीबाबा की MAI-UI टीम द्वारा विकसित किया गया है। इसे एक ऐसे रोबोट और एक ट्रेनिंग डमी के बीच के अंतर के रूप में सोचें जिसने वास्तव में रिंग में लड़ाई लड़ी है। जबकि अन्य एजेंट्स वीडियो गेम सिमुलेशन में परफेक्ट स्कोर पाने में व्यस्त थे, Qwen-UI-Agent को "जंगल" में भेजा गया था, जहाँ उसने 100 से अधिक वास्तविक भौतिक फोनों पर वास्तविक ऐप्स, वास्तविक इंटरनेट कनेक्शन और वास्तविक जीवन की बाधाओं के साथ नेविगेट करना सीखा।
टीम ने महसूस किया कि वास्तव में उपयोगी एजेंट बनाने के लिए, उन्हें केवल दिमाग को स्मार्ट बनाना ही नहीं था; उन्हें पूरे शरीर और उस वातावरण को बदलना था जिसमें वह रहता है। उन्होंने इसे कैसे किया, इसके जादू को समझाने के लिए कुछ मजेदार उपमाओं का उपयोग किया गया है:
1. "रियल-वर्ल्ड जिम" बनाम "वीडियो गेम"
अधिकांश AI एजेंट्स "सैंडबॉक्स" में प्रशिक्षण लेते हैं—डिजिटल कमरे जहाँ हर प्रयास के बाद सब कुछ पूरी तरह से रीसेट हो जाता है। यह एक ऐसे जिम में बास्केटबॉल खेलने जैसा है जहाँ बास्केट कभी हिलती नहीं और गेंद कभी गलत तरीके से नहीं उछलती। लेकिन वास्तविक जीवन अस्त-व्यस्त है। फोन में पॉप-अप विज्ञापन होते हैं, ऐप्स क्रैश होते हैं, और आपको एक ऐसा परमिशन अनुरोध मिल सकता जिसकी आपने उम्मीद नहीं की थी।
Qwen-UI-Agent को एक Real-Device Mobile Runtime में प्रशिक्षित किया गया था। एक विशाल गोदाम की कल्पना करें जिसमें 100 से अधिक वास्तविक भौतिक फोन हैं, जो बिल्कुल वैसे ही वास्तविक ऐप्स चला रहे हैं जैसे मैं और आप उपयोग करते हैं। सिस्टम इतना स्मार्ट है कि वह एक "बीमार" फोन (एक जो ठीक से काम नहीं कर रहा है) को पहचान सकता है और तुरंत कार्य को एक स्वस्थ फोन पर स्थानांतरित कर सकता है, ठीक वैसे ही जैसे एक कोच खेल के दौरान खिलाड़ियों को बदल देता है। इसने एजेंट को वीडियो गेम में परफेक्ट रास्तों को रटने के बजाय, अजीब पॉप-अप से लेकर नेटवर्क ग्लिच तक, वास्तविक दुनिया की अराजकता को संभालने के लिए सीखने में सक्षम बनाया।
2. "स्विस आर्मी नाइफ" एक्शन स्पेस
पहले, एजेंट्स ऐसे लोगों की तरह थे जो केवल अपने हाथों (क्लिक और टैप) का उपयोग कर सकते थे। यदि उन्हें कोई फ़ाइल स्थानांतरित करने या जटिल गणना चलाने की आवश्यकता होती थी, तो उन्हें घंटों तक मेनू के माध्यम से क्लिक करना पड़ता था। Qwen-UI-Agent को एक स्विस आर्मी नाइफ मिला।
इसने GUI क्रियाओं (क्लिक करना, टाइप करना, स्क्रॉल करना) को CLI क्रियाओं (कंप्यूटर विजार्ड की तरह टर्मिनल में कमांड टाइप करना) के साथ मिलाना सीख लिया।
- उपमा: कल्पना कीजिए कि आपको 100 फोटो व्यवस्थित करने की आवश्यकता है। एक सामान्य एजेंट "ओपन," "सेलेक्ट," "मूव," "रिपीट" को 100 बार क्लिक करेगा। Qwen-UI-Agent कह सकता है, "हे, मैं बस इन सभी फाइलों को एक साथ मूव करने के लिए एक कमांड टाइप करूँगा!" यह क्रियाओं को बैच (batch) में भी कर सकता है, जिसका अर्थ है कि यह एक बार में कदमों का एक पूरा क्रम प्लान कर सकता है, जैसे कि एक शतरंज खिलाड़ी एक समय में एक चाल चलने के बजाय तीन कदम आगे की सोचता है। इसने इसे अविश्वसनीय रूप से तेज़ और कुशल बना दिया।
3. "ऑटो-कोच" डेटा फ्लाईव्हील
आमतौर पर, रोबोट को सिखाने के लिए बहुत सारे मानव शिक्षकों को टेस्ट प्रश्न बनाने और उत्तरों को ग्रेड करने की आवश्यकता होती है। यह धीमा और उबाऊ है। Qwen-UI-Agent एक AutoResearch-style Data Flywheel का उपयोग करता है।
इसे एक रोबोट कोच के रूप में सोचें जो रोबोट को खेलते हुए देखता है, यह पहचानता है कि उसने कहाँ गलती की, और तुरंत उस गलती को ठीक करने के लिए एक नया, कठिन अभ्यास ड्रिल बनाता है। एजेंट स्वयं कार्यों को डिजाइन करने, अपनी गलतियों को खोजने और अगले प्रशिक्षण दौर की योजना बनाने में मदद करता है। यह एक स्व-सुधार लूप है जहाँ रोबोट खुद को सिखाकर बेहतर होता है, जिसमें मनुष्य केवल उच्च-स्तरीय मार्गदर्शन देने के लिए हस्तक्षेप करते हैं।
4. "प्रोएक्टिव बटलर" (सक्रिय नौकर)
अधिकांश रोबोट आपके कहने का इंतज़ार करते हैं, "हे, यह करो।" लेकिन Qwen-UI-Agent के पास एक Harness Layer है जो इसे प्रोएक्टिव होने की अनुमति देती है।
- उपमा: कल्पना कीजिए कि आपको एक नोटिफिकेशन मिलता है कि आपकी फ्लाइट कैंसिल हो गई है। एक सामान्य रोबोट आपके द्वारा नई फ्लाइट देखने के लिए कहने का इंतज़ार करेगा। Qwen-UI-Agent उस नोटिफिकेशन को पहचानता है, कार्रवाई योग्य घटना का अनुमान लगाता है, आपके कैलेंडर की जांच करता है, ट्रेन के शेड्यूल को देखता है, कीमतों की तुलना करता है, और आपके जागने से पहले ही आपके सामने एक पूर्ण रिकवरी प्लान प्रस्तुत करता है। यह केवल आदेशों की प्रतीक्षा नहीं करता; यह आपके डिजिटल संकेतों से कार्रवाई योग्य क्षणों की पहचान करता है और उचित अगले कदम प्रस्तावित करता है।
परिणाम: क्या यह काम आया?
टीम ने Qwen-UI-Agent को कुछ बहुत कठिन अरीनाओं में परखा, और परिणाम प्रभावशाली थे।
- वास्तविक फोन पर: एक बेंचमार्क जिसे MobileWorld-Real कहा जाता है, जो वास्तविक ऐप्स के साथ वास्तविक फोन का उपयोग करता है, उसमें Qwen-UI-Agent 92.2% बार सफल रहा। इसने सबसे अच्छे क्लोज्ड-सोर्स मॉडल्स (जैसे Opus 4.8 और GPT-5.6 Sol) को बड़े अंतर से पछाड़ दिया। एक अन्य टेस्ट AndroidDaily पर, इसने लगभग 97.5% का स्कोर हासिल किया।
- कंप्यूटर पर: जटिल कंप्यूटर कार्यों (OSWorld-Verified) पर परीक्षण किए जाने पर, इसने 79.5% प्राप्त किया, जो दूसरा स्थान रहा और कई अन्य शीर्ष मॉडल्स को पीछे छोड़ दिया। इसने लंबे, जटिल कार्यों को संभालने की क्षमता भी दिखाई, कठिन OSWorld-v2 बेंचमार्क पर 40.0% का पार्शियल-प्रोग्रेस स्कोर प्राप्त किया, जिसका अर्थ है कि यह कठिन कामों को पूरा खत्म करने के बजाय अधिकांश हिस्सा सफलतापूर्वक पूरा कर सकता है।
- वेब पर: इसने जटिल वेबसाइटों को नेविगेट करने के टेस्ट WebArena पर 73.6% और ScreenSpot-Pro पर 81.5% स्कोर किया, जो यह साबित करता है कि यह स्क्रीन पर बहुत छोटे या कठिन बटन को भी ढूंढ सकता है।
इसका क्या अर्थ है
पेपर सुझाव देता है कि वास्तव में उपयोगी AI एजेंट्स बनाने के लिए, हम केवल उनके दिमाग को बड़ा नहीं कर सकते; हमें यह बदलना होगा कि वे कैसे सीखते हैं और वे कहाँ अभ्यास करते हैं। वास्तविक उपकरणों पर प्रशिक्षण देकर, अलग-अलग तरीकों से कार्य करने (क्लिकिंग और कोडिंग) को मिलाकर, और एजेंट को स्वयं के प्रशिक्षण को डिजाइन करने में मदद करके, Qwen-UI-Agent ने दिखाया है कि "वीडियो गेम के रोबोट" और "वास्तविक जीवन में आपकी मदद करने वाले रोबोट" के बीच के अंतर को पाटना संभव है।
यह अभी तक कोई पूर्ण समाधान नहीं है—लेखक स्वीकार करते हैं कि सुरक्षा और पूरी तरह से स्वचालन (automation) के साथ अभी भी चुनौतियाँ हैं—लेकिन यह एक बहुत बड़ा कदम है। यह दिखाता है कि वास्तविक दुनिया के अभ्यास और स्मार्ट ट्रेनिंग लूप्स के सही मिश्रण के साथ, हमारे डिजिटल सहायक आखिरकार क्लासरूम छोड़कर वास्तविक दुनिया में शामिल होने के लिए तैयार हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।