Qwen-CUA: Native Computer Use for (almost) Everything
यह शोध पत्र Qwen-CUA को प्रस्तुत करता है, जो एक 397B मिक्स्चर-ऑफ-एक्सपर्ट्स बैकबोन पर निर्मित एक नेटिव कंप्यूटर-यूज़ एजेंट है, जो DOM ट्री पर निर्भर रहने के बजाय केवल स्क्रीनशॉट और इनपुट इवेंट्स के माध्यम से संचालित होता है, और बड़े पैमाने पर क्लाउड रोलआउट ट्रेनिंग, सत्यापन योग्य रिवॉर्ड ऑप्टिमाइज़ेशन और स्केलेबल आर्किटेक्चर के माध्यम से कंप्यूटर-यूज़ बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका कंप्यूटर केवल आपके बटन क्लिक करने का इंतज़ार नहीं करता, बल्कि वास्तव में यह देखता है कि आप क्या कर रहे हैं और आपके लिए उसे करना सीख जाता है। यह "AI एजेंट्स" का रोमांचक क्षितिज है, जो विज्ञान की एक ऐसी शाखा है जहाँ कंप्यूटरों को डिजिटल दुनिया में मनुष्यों की तरह कार्य करने के लिए सिखाया जाता है। लंबे समय तक, ये एजेंट उन प्रतिभाशाली छात्रों की तरह थे जो केवल पाठ्यपुस्तकों (कोड) को पढ़ सकते थे या सख्त निर्देश नियमावलियों (APIs) का पालन कर सकते थे। वे गणित और तर्क में बेहतरीन थे, लेकिन यदि आपने उनसे किसी अव्यवस्थित, पुराने ज़माने के प्रोग्राम या ऐसी वेबसाइट का उपयोग करने के लिए कहा जो हर बार रिफ्रेश करने पर बदल जाती है, तो वे खो जाते थे। वे स्क्रीन को उस तरह से "देख" नहीं सकते थे जैसे एक इंसान देखता है; उन्हें वेबसाइट की संरचना के विशेष ब्लूप्रिंट की आवश्यकता होती थी ताकि उन्हें पता चल सके कि बटन कहाँ हैं। लेकिन हमारा अधिकांश डिजिटल जीवन ऐसी स्क्रीनों पर बीतता है जिनमें वे ब्लूप्रिंट नहीं होते। यह शोध पत्र एक AI को एक सच्चा डिजिटल प्रशिक्षु (apprentice) बनने की चुनौती से निपटता है: एक ऐसा जो स्क्रीन को देखता है, समझता है कि क्या करना है, और बिल्कुल वैसे ही क्लिक या टाइप करता है जैसे एक व्यक्ति करेगा, बिना किसी विशेष शॉर्टकट या छिपे हुए मानचित्रों की आवश्यकता के।
इस शोध के पीछे की टीम ने Qwen-CUA पेश किया है, जो एक नए प्रकार का AI एजेंट है जिसे एक "नेटिव" कंप्यूटर उपयोगकर्ता के रूप में डिज़ाइन किया गया है। इसे एक रोबोट को कार चलाना सिखाने की तरह समझें। रोबोट को हर सड़क और ट्रैफिक लाइट का एक सटीक डिजिटल मानचित्र देने के बजाय (जो कई पुराने या जटिल सॉफ़्टवेयर कार्यक्रमों के लिए मौजूद नहीं होता), उन्होंने रोबोट को खिड़की से बाहर देखना, सड़क देखना और जो वह देखता है उसके आधार पर स्टीयरिंग व्हील घुमाना सिखाया। Qwen-CUA केवल कंप्यूटर स्क्रीन के स्क्रीनशॉट "देखता" है और केवल कीबोर्ड और माउस कमांड भेजकर "कार्य" करता है। यह कोड के नीचे झाँककर नहीं देखता या सॉफ़्टवेयर से मदद नहीं मांगता; यह बस देखता है और सीखता है।
इस रोबोट को वास्तविक जीवन के कार्यों को संभालने के लिए स्मार्ट बनाने के लिए, शोधकर्ताओं को एक विशाल प्रशिक्षण जिम बनाना पड़ा। उन्होंने लगभग 100,000 वर्चुअल CPUs (कल्पना कीजिए कि एक साथ काम करने वाले हजारों कंप्यूटरों का एक शहर) के साथ एक क्लाउड-आधारित बेड़े का निर्माण किया और AI के अभ्यास के लिए लगभग 40,000 अलग-अलग कार्य तैयार किए। ये कार्य फाइलों को व्यवस्थित करने जैसी सरल चीजों से लेकर पेशेवर सॉफ़्टवेयर में जटिल, बहु-चरणीय वर्कफ्लो तक विस्तृत थे। AI को केवल अंत में "अच्छा काम किया" या "फिर से प्रयास करें" नहीं मिला; सिस्टम को यह सत्यापित करने के लिए डिज़ाइन किया गया था कि कार्य वास्तव में सही ढंग से पूरा हुआ या नहीं, जिससे AI अपनी गलतियों से बार-बार सीख सके।
परिणाम प्रभावशाली हैं। आठ अलग-अलग बेंचमार्क पर परीक्षणों में, Qwen-CUA ने लगातार अपने पिछले संस्करण, Qwen3.7 को पछाड़ दिया, और यहाँ तक कि आज उपलब्ध कुछ सबसे शक्तिशाली, महंगी AI प्रणालियों के साथ भी डटकर मुकाबला किया। उदाहरण के लिए, OSWorld-Verified नामक एक परीक्षण पर, जो यह मापता है कि एक AI रोज़मर्रा के डेस्कटॉप कार्यों को कितनी अच्छी तरह संभाल सकता है, Qwen-CUA ने 86.2 का स्कोर प्राप्त किया, जबकि पिछले मॉडल ने 73.3 का स्कोर किया। जब उन्होंने इस क्षमता को Qwen-CUA-Max (एक ट्रिलियन से अधिक पैरामीटर्स वाला) नामक और भी बड़े मॉडल तक बढ़ाया, तो स्कोर बढ़कर 87.6 हो गया।
इस शोध पत्र की सबसे दिलचस्प बात यह है कि यह लंबे, जटिल कार्यों को कैसे संभालता है। कल्पना कीजिए कि आप एक नया अध्याय लिखते समय एक सप्ताह पहले पढ़े गए किसी कहानी को याद करने की कोशिश कर रहे हैं। AI को यह याद रखना था कि कई चरणों पहले स्क्रीन कैसी दिखती थी ताकि वह अपने कार्य में अपनी स्थिति जान सके। शोधकर्ताओं ने इसे हल करने के लिए AI को एक "विजुअल मेमोरी" दी जो पिछले 20 स्क्रीनशॉट्स को रखती है और पुराने स्क्रीनशॉट्स को एक सारांश में चतुराई से "फोल्ड" (समेकित) करती है, ताकि वह अभिभूत न हो जाए। इसने AI को लंबे वर्कफ्लो के दौरान बिना शुरुआत की कहानी को भूले, अपना संयम बनाए रखने की अनुमति दी।
शोध पत्र ने सुरक्षा पर भी ध्यान दिया। उन्होंने AI को "RedTeamCUA" के खिलाफ परखा, जो एक ऐसी चुनौती है जहाँ AI को स्क्रीन में छिपे नकली निर्देशों से ठगने की कोशिश की जाती है। नया मॉडल इन चालों को अनदेखा करने में बहुत बेहतर था, जिससे हमलों की सफलता दर 36.6% से घटकर 16.4% रह गई, जबकि वह अपने स्वयं के कार्य भी सफलतापूर्वक करता रहा।
अंत में, शोधकर्ताओं ने एक "हाइब्रिड" दृष्टिकोण का अन्वेषण किया। उन्होंने पाया कि यदि वे AI को अपने माउस और कीबोर्ड कौशल के साथ एक कमांड-लाइन टूल (जैसे फ़ाइल संचालन के लिए एक टेक्स्ट-आधारित जादू की छड़ी) का उपयोग करने देते हैं, तो यह कार्यों को तेज़ी से पूरा कर सकता है। हालाँकि, AI कभी-कभी गलत समय पर टूल्स बदल देता था, इसलिए हालांकि यह तेज़ था, लेकिन यह अभी भी पूरी तरह से सटीक नहीं था। लेखक सुझाव देते हैं कि विजुअल देखने और टेक्स्ट-आधारित कमांड के इस मिश्रण को और अधिक प्रशिक्षण के साथ, AI एजेंटों को वास्तव में कुशल बनाने की कुंजी बनाया जा सकता है।
संक्षेप में, यह शोध पत्र दिखाता है कि हमें AI को हमारे कंप्यूटरों से जोड़ने के लिए विशेष पुलों की आवश्यकता नहीं है। AI को केवल स्क्रीन को देखने और एक इंसान की तरह कार्य करने के लिए सिखाकर, हम ऐसे एजेंट बना सकते हैं जो नवीनतम ऐप्स से लेकर सबसे पुराने प्रोग्रामों तक, लगभग किसी भी सॉफ़्टवेयर से निपटने के लिए तैयार हैं, और यह सब वास्तविक दुनिया के व्यापक अभ्यास से सीखते हुए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।