Task-Adaptive Rubrics for GUI Reward Modeling
यह शोध पत्र AdaptRubric को प्रस्तुत करता है, जो एक coarse-to-fine फ्रेमवर्क है जो श्रेणी-स्तरीय पुनर्प्राप्ति (category-level retrieval) और इंस्टेंस-स्तरीय परिशोधन (instance-level refinement) के माध्यम से गतिशील रूप से कार्य-अनुकूलित निर्णय मानदंड (task-adaptive judging criteria) का निर्माण करके GUI रिवॉर्ड मॉडलिंग को बढ़ाता है, जिससे मौजूदा तरीकों की तुलना में रिवॉर्ड मूल्यांकन सटीकता और कार्य सफलता दर दोनों में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे कंप्यूटर प्रोग्राम की कल्पना करें जो एक स्क्रीन को देख सकता है, किसी इंसान के अनुरोध को समझ सकता है, और काम पूरा करने के लिए सही बटनों पर क्लिक कर सकता है। यह आधुनिक GUI एजेंट का वादा है, जो हमारे फोन और कंप्यूटर के जटिल इंटरफेस को नेविगेट करने में सक्षम एक डिजिटल कार्यकर्ता है। लेकिन इन एजेंटों को सीखने और सुधारने के लिए, उन्हें एक शिक्षक की आवश्यकता होती है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह शिक्षक एक रिवॉर्ड सिस्टम (पुरस्कार प्रणाली) है जो एजेंट के कार्यों को देखता है और यह तय करता है कि वह सफल रहा या विफल। यदि एजेंट सफलतापूर्वक एक टाइमर सेट करता है या ईमेल भेजता है, तो शिक्षक "अच्छा काम किया" का संकेत देता है। यदि एजेंट गलत बटन दबाता है या किसी सेटिंग को बिना बदले छोड़ देता है, तो शिक्षक को कहना चाहिए "फिर से प्रयास करें।" इस फीडबैक की गुणवत्ता ही सब कुछ है; एक शिक्षक जो बहुत अस्पष्ट या बहुत सख्त होगा, वह छात्र को भ्रमित कर देगा, जिससे वह सही तरीके से व्यवहार करना कभी नहीं सीख पाएगा।
लंबे समय तक, ये डिजिटल शिक्षक एक विशिष्ट समस्या से जूझते रहे हैं: वे अक्सर इस बात के सूक्ष्म विवरणों को चूक जाते हैं कि एक इंसान वास्तव में क्या मांग रहा था। वे देख सकते हैं कि स्क्रीन पर एक संख्या बदली गई है और मान सकते हैं कि कार्य पूरा हो गया है, भले ही गलत संख्या बदली गई हो, या वे टेक्स्ट के एक टुकड़े को कहाँ रखना है, इसके बारे में विशिष्ट निर्देश को अनदेखा कर सकते हैं। ताओ शियोंग और शेनग्यु झांग के नेतृत्व में शोधकर्ताओं ने महसूस किया कि इन एजेंटों के सफल होने के निर्णय लेने का तरीका बहुत कठोर था। वे या तो एक सामान्य चेकलिस्ट का उपयोग कर रहे थे जो हर कार्य पर लागू होती थी, या वे महत्व के बारे में कंप्यूटर के अपने अनुमान पर निर्भर थे। दोनों दृष्टिकोणों के कारण ऐसी गलतियाँ हुईं जहाँ कंप्यूटर ने सोचा कि वह सफल रहा है जबकि वास्तव में वह विफल हो गया था, या इसके विपरीत।
इसे हल करने के लिए, टीम ने ADAPTRUBRIC नामक एक नई विधि विकसित की। इसे हर एक कार्य के लिए एक कस्टम ग्रेडिंग रूब्रिक बनाने की दो-चरणीय प्रक्रिया के रूप में समझें। पहले, सिस्टम उपयोगकर्ता के अनुरोध को देखता है और यह पता लगाता है कि वह काम किस व्यापक श्रेणी में आता है, जैसे कि "संदेश भेजना," "सेटिंग बदलना," या "फाइल डिलीट करना।" इन श्रेणियों में से प्रत्येक के लिए, सिस्टम के पास पूर्व-लिखित नियमों का एक सेट होता है जो सामान्य गलतियों और मानक आवश्यकताओं को कवर करता है। यह "कोर्स" (broad) चरण है, जो एक ठोस आधार प्रदान करता है और यह सुनिश्चित करता है कि शिक्षक को कार्य की सामान्य सीमाओं का पता हो।
लेकिन सिस्टम यहीं नहीं रुकता है। दूसरे चरण में, "फाइन" (fine) चरण में, यह वर्तमान अनुरोध के विशिष्ट विवरणों को बारीकी से देखता है। यदि कोई उपयोगकर्ता ठीक पचास करने के लिए एक सेटिंग बदलने को कहता है, तो सिस्टम उस संख्या की जांच करने के लिए एक विशिष्ट नियम जोड़ देता है। यदि कोई उपयोगकर्ता किसी फाइल को एक विशिष्ट फोल्डर में ले जाने को कहता है, तो सिस्टम गंतव्य को सत्यापित करने के लिए एक नियम जोड़ देता है। यह शिक्षक को उस क्षण की अद्वितीय बाधाओं के अनुसार तुरंत ढलने की अनुमति देता है। शोधकर्ताओं ने विंडोज, मैकओएस, एंड्रॉइड और वेब सहित विभिन्न ऑपरेटिंग सिस्टमों में विविध कार्यों पर इस नए दृष्टिकोण का परीक्षण किया। उन्होंने पाया कि सामान्य श्रेणी के नियमों को विशिष्ट, कार्य-अनुकूल विवरणों के साथ जोड़कर, सिस्टम सफलता का निर्णय लेने में काफी बेहतर हो गया।
परिणाम स्पष्ट और मापने योग्य थे। 1,400 से अधिक विभिन्न कार्य प्रयासों के बेंचमार्क पर परीक्षण करने पर, नई विधि ने 86.7% बार सही ढंग से पहचाना कि कार्य सफलता थी या विफलता। यह पिछले तरीकों की तुलना में एक उल्लेखनीय सुधार था, जो अक्सर बड़े अंतर से चूक जाते थे। अधिक महत्वपूर्ण बात यह है कि शोधकर्ताओं ने इस स्मार्ट शिक्षक का उपयोग एक लाइव वातावरण में AI एजेंट को प्रशिक्षित करने के लिए किया। जब एजेंट ने ADAPTRUBRIC द्वारा प्रदान किए गए फीडबैक से सीखा, तो वह अपने आप कार्य पूरा करने में बहुत बेहतर हो गया, जिससे उसकी सफलता दर पुराने, कम सटीक रिवॉर्ड सिस्टम के साथ प्रशिक्षित होने की तुलना में 4.23 प्रतिशत अंक अधिक रही।
अध्ययन ने यह भी रेखांकित किया कि पुराने तरीके कहाँ विफल हुए। एक विशिष्ट उदाहरण में, एक उपयोगकर्ता ने एजेंट को एक डिजिटल नोट के बिल्कुल शीर्ष पर एक ग्रीटिंग जोड़ने के लिए कहा। एजेंट ने ग्रीटिंग जोड़ दी, लेकिन उसने इसे टेक्स्ट के नीचे रख दिया। पुराने शिक्षक, केवल यह देखते हुए कि टेक्स्ट दिखाई दे रहा है, इसे एक सफलता के रूप में चिह्नित करते थे। नया सिस्टम, हालांकि, यह पहचान गया कि निर्देश में विशेष रूप से मांग की गई थी कि टेक्स्ट ऊपर होना चाहिए, और उसने प्रयास को सही ढंग से विफलता के रूप में चिह्नित किया। "कुछ हुआ" और "सही चीज़ सही तरीके से हुई" के बीच अंतर करने की यह क्षमता ही वह अंतर है जो बदलाव लाता है। एक ऐसा निर्णय लेने वाला सिस्टम बनाकर जो सामान्य कार्यों को कवर करने के लिए पर्याप्त व्यापक और विशिष्ट विवरणों को पकड़ने के लिए पर्याप्त तेज है, शोधकर्ताओं ने AI एजेंटों के लिए अपनी गलतियों से सीखने और डिजिटल दुनिया में महारत हासिल करने का एक अधिक विश्वसनीय तरीका प्रदान किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।