UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

कंप्यूटर जटिल जानकारी को संभालने के लिए शक्तिशाली उपकरण बन गए हैं, फिर भी एक मशीन को बहु-चरणीय कार्यालय कार्य करने के लिए कहना अक्सर ऐसा लगता है जैसे किसी बच्चे को केवल गंतव्य का वर्णन करके कार चलाना सिखाने की कोशिश की जा रही हो। वर्षों से, शोधकर्ताओं ने ऐसे कृत्रिम बुद्धिमत्ता (AI) एजेंट बनाने का प्रयास किया है जो स्क्रीन को देख सकें, समझ सकें कि क्या करने की आवश्यकता है, और वहां तक पहुँचने के लिए सही बटनों पर क्लिक कर सकें। ये सिस्टम, जिन्हें GUI एजेंट कहा जाता है, ने प्रगति की है, लेकिन वे दो निरंतर समस्याओं से जूझते हैं। पहला, उनके पास उच्च गुणवत्ता वाले अभ्यास डेटा की कमी है जिससे वे उन सूक्ष्म, अनकहे नियमों को सीख सकें कि लोग वास्तव में सॉफ़्टवेयर का उपयोग कैसे करते हैं। दूसरा, वे अक्सर बहुत कठोर होते हैं; यदि कोई मनुष्य अस्पष्ट निर्देश देता है, तो मशीन भाग्य से एक बार सफल हो सकती है लेकिन अगली बार विफल हो सकती है क्योंकि वह स्क्रीन में छोटे बदलावों या उपयोगकर्ता की विशिष्ट आदतों के अनुकूल नहीं हो पाती है। लक्ष्य एक ऐसा डिजिटल कार्यकर्ता बनाना है जो न केवल एक स्क्रिप्ट का पालन करने के लिए पर्याप्त स्मार्ट हो, बल्कि वास्तविक डेस्कटॉप की अव्यवस्थित वास्तविकता को संभालने के लिए पर्याप्त विश्वसनीय भी हो।

टेनसेंट (Tencent) की एक टीम ने UI-Mate नामक एक नया सिस्टम पेश किया है जो इस तरह से इन मुद्दों का समाधान करता है कि एजेंट कैसे सीखता है और उसे सहायता कैसे प्राप्त होती है। केवल क्लिकों की सूची को याद करने के बजाय, इस सिस्टम को एक सिम्युलेटेड वातावरण में प्रशिक्षित किया जाता है जहाँ यह हजारों कार्यों का अभ्यास कर सकता है, जैसे स्प्रेडशीट को व्यवस्थित करना या ईमेल प्रबंधित करना, जबकि एक विशेष इंजन वास्तविक समय में इसके काम की जाँच करता है। यह प्रक्रिया सिस्टम को न केवल यह सीखने की अनुमति देती है कि अंतिम परिणाम कैसा दिखना चाहिए, बल्कि यह भी कि गलती होने पर सुधार कैसे किया जाए। शोधकर्ताओं ने पाया कि इस कठोर, क्लोज्ड-लूप तरीके से एजेंट को प्रशिक्षित करके, वे एक ऐसा मॉडल बना सके जो पिछले ओपन-सोर्स सिस्टमों की तुलना में काफी बेहतर प्रदर्शन करता है, यहाँ तक कि बहुत बड़े, प्रोप्राइटरी (मालिकाना) मॉडलों की क्षमताओं से मेल खाता है।

इस सुधार का मूल आधार एक ऐसी विधि है जिसे शोधकर्ता "एनवायरनमेंट-ग्राउंडेड ट्रेनिंग" (पर्यावरण-आधारित प्रशिक्षण) कहते हैं। कल्पना कीजिए कि एक छात्र खाना बनाना केवल रेसिपी पढ़कर नहीं, बल्कि वास्तव में रसोई में खड़े होकर, सब्जियां काटकर, और एक शिक्षक द्वारा तुरंत यह बताने से सीख रहा है कि यदि चाकू फिसल गया या गर्मी बहुत अधिक हो गई तो क्या होगा। इसी तरह, UI-Mate को एक डिजिटल वातावरण में प्रशिक्षित किया जाता है जहाँ इसके द्वारा किए गए प्रत्येक कार्य का परीक्षण एक वास्तविक, काम करने वाली कंप्यूटर स्क्रीन के विरुद्ध किया जाता है। यदि एजेंट फ़ाइल को गलत जगह सहेजने की कोशिश करता है, तो सिस्टम को तुरंत पता चल जाता है और उस विफलता को रिकॉर्ड कर लेता है। प्रयास करने, विफल होने और सुधार करने का यह चक्र विभिन्न अनुप्रयोगों में लाखों बार होता है, जिससे एजेंट सॉफ़्टवेयर कैसे व्यवहार करता है इसकी गहरी समझ विकसित कर पाता है। शोधकर्ताओं ने इन अभ्यास कार्यों की एक विशाल लाइब्रेरी बनाई, जिसमें साधारण फ़ाइल प्रबंधन से लेकर जटिल वर्कफ़्लो तक शामिल हैं जिनमें कैलेंडर, ईमेल क्लाइंट और प्रोजेक्ट मैनेजमेंट टूल के बीच सूचना स्थानांतरित करने की आवश्यकता होती है। इन कार्यों के प्रकारों को सावधानीपूर्वक संतुलित करके, उन्होंने यह सुनिश्चित किया कि एजेंट बिना भ्रमित हुए छोटे, सरल कार्यों और लंबे, जटिल अनुक्रमों दोनों को संभालना सीख सके।

हालाँकि, एक अच्छी तरह से प्रशिक्षित एजेंट भी संघर्ष कर सकता है जब कोई मनुष्य एक अस्पष्ट निर्देश देता है, जैसे "इस उम्मीदवार का प्रस्ताव प्रोसेस करें।" एजेंट को यह नहीं पता होगा कि कौन सी विशिष्ट फाइलें खोलनी हैं या किन सटीक बटनों पर क्लिक करना है क्योंकि निर्देश में आवश्यक विवरण की कमी है। इसे हल करने के लिए, शोधकर्ताओं ने एजेंट के लिए प्रदर्शन (demonstration) से सीखने का एक नया तरीका विकसित किया। एजेंट को माउस क्लिक के रिकॉर्ड किए गए अनुक्रम की अंधाधुंध नकल करने के लिए मजबूर करने के बजाय, सिस्टम प्रदर्शन को उप-कार्यों (subtasks) की एक लचीली योजना में तोड़ देता है। यह एक वीडियो को देखता है जिसमें एक मानव या एक अधिक शक्तिशाली AI समान काम पूरा कर रहा है, और लक्ष्यों को निकालता है: "प्रस्ताव खोजें," "वेतन सत्यापित करें," "ईमेल भेजें।" वास्तविक कार्य के दौरान, एजेंट इस योजना का उपयोग एक मार्गदर्शक के रूप में करता है, लेकिन फिर भी यह तय करने के लिए लाइव स्क्रीन को देखता है कि माउस कैसे चलाना है या टेक्स्ट कैसे टाइप करना है। इसका अर्थ है कि यदि स्क्रीन वीडियो की तुलना में थोड़ी अलग दिखती है, तो एजेंट फंसने के बजाय अपने कार्यों को समायोजित कर सकता है।

इन दृष्टिकोणों के परिणाम आश्चर्यजनक हैं। जब एक मानक कंप्यूटर-उपयोग चुनौतियों पर परीक्षण किया गया, तो नए सिस्टम ने, विशेष रूप से 27-बिलियन-पैरामीटर वाले संस्करण ने, 77.0 प्रतिशत की सफलता दर हासिल की, जिसने अन्य ओपन-सोर्स मॉडलों को पछाड़ दिया और उपलब्ध सर्वश्रेष्ठ क्लोज्ड-सोर्स सिस्टमों के बहुत करीब पहुँच गया। अधिक महत्वपूर्ण बात यह है कि शोधकर्ताओं ने OSWorkerBench नामक एक नया परीक्षण बनाया, जो दर्जनों विभिन्न अनुप्रयोगों में वास्तविक कार्यालय कार्य का अनुकरण करता है। इस परीक्षण पर, सिस्टम ने अपने बेस मॉडल की तुलना में प्रदर्शन में लगभग 18 प्रतिशत अंकों का सुधार किया। सबसे महत्वपूर्ण निष्कर्ष तब आया जब उन्होंने एजेंट के निर्देशों में एक एकल प्रदर्शन (demonmentation) जोड़ा। 33 लंबे, जटिल कार्यों के एक सेट के लिए, काम कैसे करना है इसका केवल एक उदाहरण प्रदान करने से एजेंट की सफलता दर 17.2 प्रतिशत से बढ़कर 35.4 प्रतिशत हो गई। यह दर्शाता है कि सिस्टम केवल उदाहरण को याद नहीं करता है; यह अंतर्निहित तर्क को समझता है और इसे नई स्थितियों में लागू कर सकता है, जिससे यह वास्तविक दुनिया के उपयोग के लिए बहुत अधिक विश्वसनीय हो जाता है।

शोधकर्ताओं ने यह भी पाया कि एजेंट की लंबे कार्यों को संभालने की क्षमता केवल कच्ची कंप्यूटिंग शक्ति के बारे में नहीं है। उन्होंने विभिन्न आकार के मॉडलों का परीक्षण किया और पाया कि जबकि बड़े मॉडल आम तौर पर बेहतर प्रदर्शन करते हैं, विशिष्ट प्रशिक्षण पद्धति आकार अकेले से अधिक मायने रखती है। उनके कठोर, एनवायरनमेंट-ग्राउंडेड दृष्टिकोण के साथ प्रशिक्षित एक छोटा मॉडल, एक बहुत बड़े मॉडल से बेहतर प्रदर्शन करता है जिसे समान प्रशिक्षण नहीं मिला था। यह सुझाव देता है कि एजेंट के मस्तिष्क को बड़ा बनाने के बजाय प्रशिक्षण डेटा की गुणवत्ता और फीडबैक लूप अधिक महत्वपूर्ण हैं। सिस्टम उन कार्यों को संभालने में भी सक्षम रहा जिनमें वर्कफ़्लो की शुरुआत से जानकारी को याद रखने और अंत में उसका उपयोग करने की आवश्यकता होती है, जो पिछले AI एजेंटों के लिए एक सामान्य विफलता बिंदु है।

यह सुनिश्चित करने के लिए कि ये परिणाम केवल एक इत्तेफाक नहीं थे, टीम ने 100 विशिष्ट कार्यालय कार्यों वाला एक बेंचमार्क बनाया, जो मानव संसाधन से लेकर बिक्री और इंजीनियरिंग तक विस्तृत है। उन्होंने बिना किसी मदद के इन कार्यों को पूरा करने की क्षमता पर सिस्टम का मूल्यांकन किया, और फिर एक प्रदर्शन के साथ फिर से किया। डेटा ने दिखाया कि दृश्य मार्गदर्शिका (visual guide) दिए जाने पर एजेंट ने अपने प्रदर्शन में लगातार सुधार किया, लेकिन वह इस पर निर्भर नहीं हुआ। यह निर्देश के आधार पर भी काम करने में सक्षम रहा, जिससे सिद्ध हुआ कि प्रदर्शन एक कठोर सेट के नियमों के बजाय एक सहायक मानचित्र के रूप में कार्य करता था। यह संतुलन व्यावहारिक तैनाती के लिए महत्वपूर्ण है, क्योंकि इसका अर्थ है कि सिस्टम का उपयोग उन स्थितियों में किया जा सकता है जहाँ कोई पूर्व उदाहरण मौजूद नहीं है, जबकि एक उदाहरण प्रदान करने पर भी यह तेजी से सीख सकता है।

इस कार्य के निहितार्थ केवल बेहतर टेस्ट स्कोर से परे हैं। यह प्रदर्शित करके कि एक एजेंट उच्च विश्वसनीयता के साथ जटिल, बहु-अनुप्रयोग वर्कफ़्लो को नेविगेट करना सीख सकता है, शोधकर्ताओं ने डिजिटल स्वचालन को रोजमर्रा के कार्यालय कार्य के लिए एक व्यावहारिक वास्तविकता बनाने की दिशा में एक महत्वपूर्ण कदम उठाया है। सिस्टम को हर क्लिक के लिए मानव के सूक्ष्म प्रबंधन की आवश्यकता नहीं होती है; इसके बजाय, यह एक उच्च-स्तरीय लक्ष्य ले सकता है और आवश्यक चरणों का पता लगा सकता है, और अप्रत्याशित स्क्रीन लेआउट या गायब जानकारी मिलने पर अपना रास्ता खुद सुधार सकता है। एक एकल प्रदर्शन से सीखने की क्षमता यह सुझाव देती है कि इन एजेंटों को अंततः महीनों के बजाय मिनटों में नई, विशिष्ट कंपनी प्रक्रियाओं को सिखाया जा सकता है।

अध्ययन यह भी रेखांकित करता है कि हम इन प्रणालियों का मूल्यांकन कैसे करते हैं यह कितना महत्वपूर्ण है। शोधकर्ताओं ने पाया कि केवल यह गिनना कि कार्य पूरा हुआ या नहीं, अक्सर इस तथ्य को छिपा देता है कि एक एजेंट अंतिम चरण में विफल होने से पहले महत्वपूर्ण प्रगति कर सकता है। आंशिक प्रगति (partial progress) को मापकर, वे देख सके कि एजेंट अक्सर एक जटिल कार्य के 80 प्रतिशत हिस्से को पूरा कर चुका था, भले ही वह समाप्त न हुआ हो। यह बारीकी समझने के लिए महत्वपूर्ण है कि आज तकनीक कहाँ खड़ी है और उसे कहाँ सुधार की आवश्यकता है। टीम ने पहचाना कि सबसे आम शेष विफलताएं कार्य के शुरुआती चरणों में नहीं, बल्कि अंतिम चरणों में थीं, जैसे कि पुष्टिकरण ईमेल भेजना भूल जाना या फॉर्म में एक विशिष्ट फ़ील्ड को छोड़ देना।

अंत में, यह कार्य अधिक सक्षम कंप्यूटर एजेंट बनाने के लिए एक स्पष्ट मार्ग प्रस्तुत करता है। यह दिखाता है कि कठोर, सिम्युलेटेड प्रशिक्षण और दृश्य उदाहरणों से सीखने की क्षमता का संयोजन एक ऐसा सिस्टम बनाता है जो शक्तिशाली और अनुकूलनीय दोनों है। शोधकर्ताओं ने अपने प्रशिक्षण डेटा और बेंचमार्क को समुदाय के लिए उपलब्ध कराया है, जिससे अन्य लोग इन निष्कर्षों पर निर्माण कर सकें। जैसे-जैसे ये सिस्टम विकसित होते रहेंगे, वे एक ऐसे भविष्य के करीब पहुँचते जा रहे हैं जहाँ कृत्रिम बुद्धिमत्ता उन नियमित, दोहराव वाले और जटिल डिजिटल कार्यों को संभाल सकेगी जो वर्तमान में मानव कार्यदिवस का बहुत सारा हिस्सा लेते हैं, जिससे लोग उन निर्णयों पर ध्यान केंद्रित करने के लिए स्वतंत्र हो सकेंगे जिनके लिए वास्तव में मानवीय निर्णय की आवश्यकता होती है।