Beyond Success and Failure: Length-Aware Contrastive Learning for GUI Agents
यह शोध पत्र LACL-GUI का प्रस्ताव करता है, जो एक लेंथ-अवेयर कॉन्ट्रास्टिव लर्निंग फ्रेमवर्क है जो मौजूदा विधियों के रिवॉर्ड-ग्रेडिएंट मिसअलाइनमेंट और आउटकम-लेवल सुपरविजन की सीमाओं को दूर करने के लिए फाइन-ग्रेंड ट्रेजेक्टरी-लेवल क्वालिटी सिग्नल्स को शामिल करके GUI एजेंट ट्रेनिंग को बेहतर बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल दुनिया में, कंप्यूटरों से अब केवल सरल कमांड का पालन करने के अलावा और भी बहुत कुछ करने की अपेक्षा की जा रही है; उनसे स्वायत्त सहायकों (autonomous assistants) के रूप में कार्य करने को कहा जा रहा है जो जटिल सॉफ़्टवेयर के माध्यम से नेविगेट कर सकें, सही बटन दबा सकें और फॉर्म भर सकें, ठीक वैसे ही जैसे एक इंसान करता है। ये डिजिटल कार्यकर्ता, जिन्हें GUI एजेंट कहा जाता है, उन्नत आर्टिफिशियल इंटेलिजेंस मॉडल्स पर निर्भर करते हैं जो कंप्यूटर स्क्रीन को देख सकते हैं और यह समझ सकते हैं कि उस पर क्या हो रहा है। वर्षों से, इन एजेंटों को सिखाने का सबसे प्रभावी तरीका 'रिनफोर्समेंट लर्निंग' (reinforcement learning) नामक एक विधि रहा है। इस प्रक्रिया में, एजेंट एक कार्य को पूरा करने का प्रयास करता है, अंत में एक सरल "हाँ" या "नहीं" का संकेत प्राप्त करता है जो यह बताता है कि वह सफल हुआ या विफल, और फिर वह दोबारा प्रयास करने के लिए अपने व्यवहार को समायोजित करता है। हालांकि, इस परीक्षण-और-त्रुटि (trial-and-error) दृष्टिकोण ने प्रभावशाली परिणाम दिए हैं, लेकिन शोधकर्ताओं ने उन अंतिम हाँ-या-ना जवाबों से कंप्यूटर के सीखने के तरीके में एक दोष खोजा है। मानक तरीके अक्सर इस बात को लेकर भ्रमित हो जाते हैं कि किन विशिष्ट कार्यों ने सफलता या विफलता की ओर ले जाने में मदद की, जिससे सीखने की प्रक्रिया अस्थिर या अक्षम हो जाती है। यह एक छात्र की तरह है जो एक लंबे अभ्यास के अंत में एक शिक्षक से जटिल कौशल सीखने की कोशिश कर रहा है, जो केवल यह कहता है कि "अच्छा काम किया" या "फिर से प्रयास करो", बिना यह बताए कि कौन से कदम सहायक थे और कौन से व्यर्थ।
हांगकांग, बीजिंग और एडमोंटन के शोधकर्ताओं की एक टीम ने इस समस्या को ठीक करने के लिए एक नया दृष्टिकोण विकसित किया है, जिसे 'लेंथ-अवेयर कॉन्ट्रास्टिव लर्निंग फॉर GUI एजेंट्स' (LACL-GUI) कहा जाता है। प्रत्येक सफल प्रयास को समान रूप से अच्छा और प्रत्येक असफल प्रयास को समान रूप से बुरा मानने के बजाय, उनकी विधि इस बात पर बारीकी से नज़र रखती है कि कार्य को कैसे किया गया था। उन्होंने महसूस किया कि सभी सफलताएं एक जैसी नहीं होतीं: एक एजेंट पाँच त्वरित, सटीक क्लिक में समस्या को हल कर सकता है, जबकि दूसरा बीस कदम ले सकता है, स्क्रीन पर इधर-उधर भटक सकता है और अंत में सही होने से पहले अनावश्यक गतिविधियाँ कर सकता है। इसी तरह, एक विफलता हमेशा पूर्ण आपदा नहीं होती; एक एजेंट पहले ही चरण में अटक सकता है, जबकि दूसरा अधिकांश रास्ते में सही पथ का पालन कर सकता है और अंत में एक एकल गलती कर सकता है। शोधकर्ताओं की नई प्रणाली एजेंट को छोटे, अधिक कुशल पथों को प्राथमिकता देने और यह पहचानने के लिए सिखाती है कि "निकट-चूक" (near-miss) वाली विफलताएं वास्तव में उन विफलताओं की तुलना में अधिक मूल्यवान सीखने के अवसर हैं जो तुरंत गलत हो गईं।
इसे प्राप्त करने के लिए, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो एक ही कार्य के विभिन्न प्रयासों की आमने-सामने तुलना करती है। जब एजेंट किसी कार्य को पूरा करने का प्रयास करता है, तो सिस्टम प्रयासों का एक समूह एकत्र करता है, जिनमें से कुछ सफल होते हैं और कुछ असफल। सफल प्रयासों के लिए, सिस्टम सबसे छोटे वाले की पहचान करता है और उसे एक संदर्भ (reference) के रूप में उपयोग करता है। फिर यह एजेंट को उस कुशल उदाहरण की तरह बनने के लिए धीरे से प्रोत्साहित करता है, उसे कम कदम उठाने के लिए पुरस्कृत करता है और अनावश्यक गतिविधियों के लिए दंडित करता है। असफल प्रयासों के लिए, सिस्टम यह देखता है कि एजेंट रास्ता भटकने से पहले कितनी दूर तक गया था। यदि एक एजेंट गलती करने से पहले लंबे समय तक सही पथ का पालन करता है, तो सिस्टम इसे एक "निकट-चूक" मानता है और इसे हल्का दंड देता है, यह पहचानते हुए कि उसने कुछ उपयोगी सीखा है। यदि एक एजेंट तुरंत ही पटरी से उतर जाता है, तो उसे कड़ा दंड मिलता है। यह पिछले तरीकों में उपयोग किए जाने वाले सरल पास-या-फेल ग्रेडिंग की तुलना में बहुत अधिक सूक्ष्म शिक्षण संकेत (learning signal) बनाता है। यह प्रणाली सफल प्रयासों का एक विशेष मेमोरी बैंक भी बनाए रखती है, जिससे यह नए विफलताओं की तुलना सफलता के अब तक देखे गए सर्वश्रेष्ठ उदाहरणों के साथ कर सकती है, जिससे यह सुनिश्चित होता है कि एजेंट के पास हमेशा एक स्पष्ट लक्ष्य बना रहे।
टीम ने इस नई विधि का परीक्षण एक व्यापक बेंचमार्क पर किया जिसे OSWorld कहा जाता है, जिसमें कंप्यूटर के वास्तविक कार्यों की एक विस्तृत श्रृंखला शामिल है, जैसे दस्तावेज़ संपादित करना, ईमेल प्रबंधित करना और इमेज एडिटिंग सॉफ़्टवेयर का उपयोग करना। उन्होंने अपने एजेंटों के बैकबोन के रूप में शक्तिशाली AI मॉडल्स का उपयोग किया और उन्हें सैकड़ों अलग-अलग कार्यों को हल करने के लिए प्रशिक्षित किया। परिणामों ने दिखाया कि नया तरीका पिछले सर्वोत्तम तकनीकों से लगातार बेहतर प्रदर्शन करता है। बड़े AI मॉडल्स पर, इस नए दृष्टिकोण ने सफलता दर में लगभग तीन प्रतिशत अंकों का सुधार किया, जो इस क्षेत्र में एक महत्वपूर्ण बढ़त है। इससे भी महत्वपूर्ण बात यह है कि इस नई विधि से प्रशिक्षित एजेंट न केवल अधिक बार सफल हुए; वे अधिक कुशल भी बन गए। जब वे सफल हुए, तो उन्होंने वहां तक पहुँचने के लिए कम कदम लिए, जिससे अनावश्यक क्रियाओं में कमी आई। जब वे विफल हुए, तो सिस्टम एक पूर्ण नुकसान और एक 'लगभग-जीत' के बीच अंतर करने में बेहतर था, जिससे एजेंट अधिक प्रभावी ढंग से अपनी गलतियों से सीख सका।
यह कार्य यह सुझाव देता है कि बेहतर डिजिटल सहायकों के निर्माण की कुंजी अंतिम परिणाम से परे देखने में निहित है। AI को केवल मंजिल के बजाय यात्रा की गुणवत्ता को समझने के लिए सिखाकर, शोधकर्ताओं ने इन एजेंटों के सीखने के लिए एक अधिक स्थिर और प्रभावी तरीका बनाया है। इस विधि के लिए यह आवश्यक नहीं है कि एजेंट के हर कदम पर कोई मानव शिक्षक निगरानी रखे; यह केवल प्रयासों की संरचना का उपयोग करके सीखने का मार्गदर्शन करता है। यह दृष्टिकोण भविष्य में अधिक विश्वसनीय और कुशल AI एजेंटों की ओर ले जा सकता है, जो जटिल डिजिटल कार्यों को सटीकता और मितव्ययिता के साथ संभालने में सक्षम होंगे, जिसे प्राप्त करना पहले कठिन था। निष्कर्ष बताते हैं कि भले ही सफलता और विफलता की द्विआधारी (binary) दुनिया में, गुणवत्ता और सूक्ष्मता का एक समृद्ध परिदृश्य मौजूद है, जिसे यदि ठीक से समझा जाए, तो मशीनों के सीखने के तरीके में नाटकीय रूप से सुधार किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।