🤖 AI

Reinforcement Learning for Computer-Use Agents with Autonomous Evaluation

यह शोध पत्र कंप्यूटर-उपयोग एजेंटों के लिए एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो शोर वाले रिवॉर्ड सिग्नल्स (noisy reward signals) उत्पन्न करने के लिए स्वायत्त विजन-लैंग्वेज मॉडल्स का लाभ उठाता है, जिन्हें फिर एक नॉइज़-अवेयर एस्टीमेटर के माध्यम से सुधारा जाता है ताकि विविध डेस्कटॉप वातावरणों में कार्य सफलता दरों को महत्वपूर्ण रूप से सुधारा जा सके।

मूल लेखक: Marta Sumyk, Oleksandr Kosovan

प्रकाशित 2026-06-24

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Marta Sumyk, Oleksandr Kosovan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर चलाना सिखा रहे हैं। आप चाहते हैं कि रोबोट एक स्प्रेडशीट खोले, एक विशिष्ट संख्या खोजे, और इसे बॉस को ईमेल करे। शोधकर्ता इसे कंप्यूटर-यूज़ एजेंट (CUA) कहते हैं।

बड़ी समस्या यह है: आप रोबोट को कैसे बताएंगे कि उसने अच्छा काम किया?

वीडियो गेम में, कंप्यूटर को तुरंत पता चल जाता है कि आप जीते या हारे। लेकिन एक वास्तविक डेस्कटॉप (जैसे Windows या macOS) पर, कोई "गेम ओवर" स्क्रीन नहीं होती है। रोबोट सही बटन पर क्लिक कर सकता है, लेकिन विंडो पॉप अप नहीं हो सकती, या वह गलत ईमेल पता टाइप कर सकता है। आमतौर पर, एक इंसान को स्क्रीन देखनी पड़ती है और कहना पड़ता है, "हाँ, यह काम कर गया," या "नहीं, फिर से कोशिश करो।" लेकिन आप हर एक प्रयास को देखने के लिए एक इंसान को काम पर नहीं रख सकते; यह बहुत धीमा और महंगा है।

समाधान: "रोबोट टीचर"

इस शोध पत्र के लेखकों ने एक चतुर तरीका प्रस्तावित किया है। एक इंसान के बजाय, उन्होंने एक सुपर-स्मार्ट AI (एक विजन-लैंग्वेज मॉडल) का उपयोग एक रोबोट टीचर के रूप में किया।

यह सिस्टम इस प्रकार काम करता है:

स्टूडेंट (छात्र): कंप्यूटर-यूज़ एजेंट कार्य करने का प्रयास करता है।
टीचर (शिक्षक): कार्य पूरा होने के बाद, रोबोट टीचर स्क्रीन के अंतिम स्क्रीनशॉट और मूल निर्देश को देखता है। इसके बाद वह एक सरल ग्रेड देता है: "पास" (1) या "फेल" (0)।
लूप: छात्र इस ग्रेड का उपयोग करके सीखता है और फिर से प्रयास करता है।

पेच: टीचर गलतियाँ करता है

समस्या यह है कि रोबोट टीचर एकदम सटीक नहीं है। कभी-कभी वह सोचता है कि एक असफल कार्य सफल था (फॉल्स पॉजिटिव), और कभी-कभी वह सोचता है कि एक सफल कार्य विफल रहा (फॉल्स नेगेटिव)।

यदि आप केवल अंधे होकर टीचर पर भरोसा करते हैं, तो रोबंत गलत सबक सीखता है।

उपमा: कल्पना कीजिए कि एक कोच गलती से तब ताली बजाता है और उत्साह दिखाता है जब खिलाड़ी गेंद को गलत गोल में किक मार देता है। खिलाड़ी सोचता है, "बहुत बढ़िया!" और वह ऐसा ही करता रहता है। अंततः, खिलाड़ी गलत गोल में स्कोर करने में बहुत माहिर हो जाता है।

जादुई समाधान: "नॉइज़-करेक्टेड" स्कोर

इस शोध पत्र का मुख्य योगदान एक गणितीय "करेक्शन फ़िल्टर" है।

शोधकर्ताओं ने महसूस किया कि वे यह माप सकते हैं कि टीचर कितनी बार गलतियाँ करता है। उन्होंने एक टेस्ट सेट चलाया जहाँ वे वास्तविक उत्तर जानते थे और तुलना की कि टीचर ने क्या कहा। उन्होंने गणना की:

टीचर कितनी बार "पास" कहता है जब उसे "फेल" कहना चाहिए था?
टीचर कितनी बार "फेल" कहता है जब उसे "पास" कहना चाहिए था?

इन नंबरों का उपयोग करके, उन्होंने रोबोट को ग्रेड देने से पहले टीचर के ग्रेड को साफ (clean up) करने के लिए एक फॉर्मूला बनाया।

उपमा: यदि टीचर के बारे में ज्ञात है कि वह 20% अधिक उदार है, तो सिस्टम स्वचालित रूप से हर "पास" ग्रेड से थोड़ी सी "उदारता" घटा देता है इससे पहले कि रोबोट उसे देखे। यह सुनिश्चित करता है कि रोबोट टीचर के पक्षपात से नहीं, बल्कि सच्चाई से सीखता है।

क्या हुआ?

उन्होंने तीन अलग-अलग कंप्यूटर सिस्टम पर इसका परीक्षण किया: macOS, Windows और Linux।

बिना सुधार के: रोबोट ने थोड़ा सीखा, लेकिन वह अस्थिर था और कभी-कभी सामान्य कार्यों में खराब प्रदर्शन करने लगा क्योंकि वह टीचर की गलतियों से भ्रमित हो रहा था।
सुधार के साथ: रोबोट में काफी सुधार हुआ। औसतन, इसकी सफलता दर बिना सुधार के शुरू करने की तुलना में 12.6% बढ़ गई, और बिना सुधारा गया टीचर इस्तेमाल करने की तुलना में 5.1% बेहतर थी।

निचोड़

यह शोध पत्र सिद्ध करता है कि आप एक रोबोट को कंप्यूटर चलाने के लिए प्रशिक्षित कर सकते हैं बिना किसी इंसान के हर हरकत को देखे। आपको बस दूसरे AI का उपयोग काम को ग्रेड करने के लिए करना है, बशर्ते आप उस दूसरे AI की गलतियों के लिए गणितीय रूप से सुधार करें।

यह संभव बनाता है कि आप रोबोट को भारी मात्रा में डेटा पर प्रशिक्षित कर सकें, जिससे वे विभिन्न ऑपरेटिंग सिस्टम पर वास्तविक दुनिया के कंप्यूटर कार्यों को संभालने में बहुत बेहतर हो जाते हैं।

तकनीकी सारांश: स्वायत्त मूल्यांकन के साथ कंप्यूटर-उपयोग एजेंटों के लिए सुदृढीकरण शिक्षण (Reinforcement Learning)

समस्या विवरण

कंप्यूटर-उपयोग एजेंटों (CUAs) को प्राकृतिक भाषा निर्देशों के आधार पर ग्राफिकल यूजर इंटरफेस (GUIs) को स्वायत्त रूप से संचालित करने के लिए डिज़ाइन किया गया है। जबकि हालिया आर्किटेक्चर ने विभिन्न अनुप्रयोगों और ऑपरेटिंग सिस्टमों में सामान्यीकरण करने की क्षमता दिखाई है, वे अनियंत्रित, वास्तविक दुनिया के परिवेश में अविश्वसनीय बने हुए हैं। अत्याधुनिक एजेंट OSWorld बेंचमार्क पर ~60% और macOSWorld पर ~40% की सफलता दर ही प्राप्त करते हैं।

CUAs के लिए प्रभावी सुदृढीकरण शिक्षण (RL) फाइन-ट्यूनिंग को रोकने वाला एक प्राथमिक अवरोध स्केलेबल, मशीन-पठनीय रिवॉर्ड सिग्नल (reward signals) का अभाव है। रोबोटिक्स सिमुलेटर या गेम वातावरण के विपरीत, जहाँ सफलता के मानदंड स्पष्ट होते हैं, डेस्कटॉप कार्यों के उद्देश्य अक्सर निहित (implicit), विजुअल रूप से आधारित और असंरचित होते हैं। मौजूदा समाधान नाजुक, कार्य-विशिष्ट ह्यूरिस्टिक्स (जैसे DOM चेक) या महंगी मैन्युअल एनोटेशन पर निर्भर करते हैं, जिनमें से कोई भी विविध अनुप्रयोगों और ऑपरेटिंग सिस्टमों में स्केल नहीं हो सकता। इसके अलावा, हालांकि विजन-लैंग्वेज मॉडल्स (VLMs) स्वायत्त मूल्यांकन के लिए एक संभावित विकल्प प्रदान करते हैं, लेकिन उनके आउटपुट दोषपूर्ण होते हैं, जिनमें फाल्स पॉजिटिव (false positives) और फाल्स नेगेटिव (false negatives) शामिल होते हैं। शोर युक्त (noisy) आउटपुट को रिवॉर्ड सिग्नल के रूप में सीधे उपयोग करने से पूर्वाग्रह (bias) उत्पन्न होता है और पॉलिसी ऑप्टिमाइज़ेशन अस्थिर हो जाता है।

कार्यप्रणाली (Methodology)

लेखक CUAs के लिए RL लूप में स्वायत्त VLM-आधारित इवैल्यूएटर्स को एकीकृत करने के लिए एक सिद्धांत-आधारित ढांचे का प्रस्ताव करते हैं। मुख्य नवाचार इवैल्यूएटर को 'ग्राउंड ट्रुथ' के स्रोत के रूप में नहीं, बल्कि एक शोर युक्त बाइनरी रिवॉर्ड चैनल के रूप में मानना है, और एक सांख्यिकीय रूप से सुदृढ़, शोर-सुधारित रिवॉर्ड एस्टीमेटर (estimator) प्राप्त करना है।

1. स्वायत्त मूल्यांकन सेटअप

इवैल्यूएटर: एक विजन-लैंग्वेज मॉडल (Qwen2-VL-7B) का ज़ीरो-शॉट सेटिंग में उपयोग किया जाता है। यह अंतिम GUI स्क्रीनशॉट और मूल प्राकृतिक भाषा निर्देश प्राप्त करता है, और कार्य पूरा होने का संकेत देने वाला एक बाइनरी सिग्नल $\tilde{r}_i \in \{0, 1\}$ आउटपुट करता है।
शोर लक्षण वर्णन (Noise Characterization): इवैल्यूएटर की कमियों को कंडीशनल एरर रेट्स के माध्यम से मॉडल किया गया है:
- $e_+$ : फाल्स नेगेटिव दर ( $P(\tilde{r}=0 | r^*=1)$ )।
- $e_-$ : फाल्स पॉजिटिव दर ( $P(\tilde{r}=1 | r^*=0)$ )।
पृथक्करणीयता (Separability): ढांचा एक पृथक्करणीयता स्थिरांक $D = 1 - e_+ - e_- > 0$ मानता है, जो यह सुनिश्चित करता है कि इवैल्यूएटर रैंडम गेसिंग से अधिक सूचनात्मक फीडबैक प्रदान करता है।

2. शोर-सुधारित रिवॉर्ड एस्टीमेटर (Noise-Corrected Reward Estimator)

चूंकि वास्तविक रिवॉर्ड $r^*$ अवलोकित नहीं है, इसलिए लेखक एक एस्टीमेटर $\hat{r}$ प्राप्त करते हैं जो एसिम्प्टोटिकली अनबायस्ड (asymptotically unbiased) है।

सैद्धांतिक व्युत्पत्ति: $E[\tilde{r} | r^*] = e_- + D \cdot r^*$ के संबंध के आधार पर, वास्तविक रिवॉर्ड का अनुमान इस प्रकार लगाया जाता है:
$\hat{r} = \frac{\tilde{r} - e_-}{D}$
व्यावहारिक कार्यान्वयन: व्यवहार में, एरर रेट्स अज्ञात होते हैं। लेखक एक होल्ड-आउट कैलिब्रेशन डेटासेट (जो ट्रेनिंग सेट से अलग है) से $\hat{e}_+$ और $\hat{e}_-$ का अनुमान लगाते हैं। प्लग-इन एस्टीमेटर है:
$\hat{r}^\sharp = \frac{\tilde{r} - \hat{e}_-}{\hat{D}}$
जहाँ $\hat{D} = 1 - \hat{e}_+ - \hat{e}_-$ है। यह एस्टीमेटर इवैल्यूएटर के फाल्स पॉजिटिव और फाल्स नेगेटिव द्वारा उत्पन्न बायस को ठीक करता है।

3. पॉलिसी ऑप्टिमाइज़ेशन

यह ढांचा प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करता है।

रिवॉर्ड स्ट्रक्चर: रिवॉर्ड केवल टर्मिनल (terminal-only) होते हैं, जिन्हें एपिसोड के अंत ( $T$ ) में परिभाषित किया जाता है।
उद्देश्य: एजेंट अपेक्षित रिटर्न $J(\theta) = E[\gamma^T \hat{r}_i]$ को अधिकतम करता है, जहाँ $\hat{r}_i$ एक शोर-सुधारित रिवॉर्ड है।
एडवांटेज एस्टीमेशन: टर्मिनल सुधारा गया रिवॉर्ड ट्रेजेक्टरी में पीछे की ओर प्रसारित किया जाता है ताकि एडवांटेज एस्टीमेट्स की गणना की जा सके, जिससे फीडबैक सिग्नल में शोर के बावजूद स्थिर पॉलिसी अपडेट संभव हो सके।

4. प्रयोगात्मक सेटअप

डेटासेट्स: macOS, Windows और Linux पर 42 अनुप्रयोगों पर 7,560 कार्यों का एक सिंथेटिक डेटासेट बनाया गया। इसके अतिरिक्त, OmniAct, GUI-World और GUIDE से कार्य विवरणों को शामिल किया गया।
बेंचमार्क्स: मूल्यांकन macOSWorld, Windows Agent Arena और OSWorld पर किया गया।
बेसलाइन्स: अध्ययन ज़ीरो-शॉट बेसलाइन्स की तुलना PPO फाइन-ट्यूनिंग से करता है, जिसमें निम्नलिखित शामिल हैं:
1. रॉ इवैल्यूएटर रिवॉर्ड ( $\tilde{r}$ )।
2. सुधारा गया रिवॉर्ड एस्टीमेटर ( $\hat{r}$ )।
3. यूनिफाइड (क्रॉस-OS) बनाम प्रति-OS मॉडल पैरामीट्राइजेशन।

मुख्य परिणाम

प्रयोगों से पता चलता है कि इवैल्यूएटर शोर को स्पष्ट रूप से मॉडल करने और सुधारने से रॉ इवैल्यूएटर सिग्नल्स का उपयोग करने की तुलना में एजेंट के प्रदर्शन में महत्वपूर्ण सुधार होता है।

प्रदर्शन लाभ: शोर-सुधारित रिवॉर्ड एस्टीमेटर और प्रति-OS फाइन-ट्यूनिंग ने सभी बेंचमार्क पर उच्चतम सफलता दर प्राप्त की:
- macOSWorld: 0.084 (ज़ीरो-शॉट) से बढ़कर 0.203 हुआ।
- Windows Agent Arena: 0.331 से बढ़कर 0.442 हुआ।
- OSWorld: 0.283 से बढ़कर 0.432 हुआ।
रॉ रिवॉर्ड्स के साथ तुलना: रॉ इवैल्यूएटर रिवॉर्ड्स का उपयोग करने से मध्यम सुधार हुआ, लेकिन यह लगातार सुधारा गया एस्टीमेटर द्वारा पीछे छोड़ दिया गया। कुछ मामलों में (जैसे, यूनिफाइड मॉडल्स के साथ OSWorld), रॉ रिवॉर्ड्स ने ज़ीरो-शॉट बेसलाइन की तुलना में प्रदर्शन में गिरावट दर्ज की, जो अनकलेक्टेड शोर से उत्पन्न बायस को उजागर करता है।
सामान्यीकरण (Generalization): सुधारा गया रिवॉर्ड उपयोग करने वाले प्रति-OS मॉडल्स ने यूनिफाइड क्रॉस-OS मॉडल्स की तुलना में बेहतर सामान्यीकरण प्रदर्शित किया, जो सुझाव देता है कि OS-विशिष्ट इंटरफ़ेस कन्वेंशन मजबूत लर्निंग के लिए महत्वपूर्ण हैं।
सुधार का परिमाण: सुधारा गया दृष्टिकोण ज़ीरो-शॉट प्रदर्शन पर औसतन 12.6 प्रतिशत अंक और रॉ इवैल्यूएटर फाइन-ट्यूनिंग पर 5.1 प्रतिशत अंक की सफलता दर में सुधार करता है।

महत्व और दावे

पेपर का दावा है कि स्वायत्त मूल्यांकन GUI वातावरण में RL के लिए एक व्यावहारिक, स्केलेबल रिवॉर्ड सिग्नल के रूप में काम कर सकता है, बशर्ते कि इवैल्यूएटर के अंतर्निहित शोर को स्पष्ट रूप से मॉडल और सुधारा जाए।

स्केलेबिलिटी: यह ढांचा मैन्युअल सफलता लेबल या कार्य-विशिष्ट ह्यूरिस्टिक्स की आवश्यकता को समाप्त करता है, जिससे विविध ऑपरेटिंग सिस्टमों में बड़े पैमाने पर इंटरैक्शन डेटा पर RL फाइन-ट्यूनिंग संभव हो जाती है।
मजबूती (Robustness): एक एसिम्प्टोटिकली अनबायस्ड रिवॉर्ड एस्टीमेटर को व्युत्पन्न करके, यह विधि अपूर्ण फीडबैक की उपस्थिति में पॉलिसी ऑप्टिमाइज़ेशन को स्थिर करती है, जो CUA विकास के केंद्रीय अवरोध को संबोधित करती है।
व्यावहारिकता: सुधार तंत्र (correction mechanism) रॉ रिवॉर्ड्स के लिए एक "ड्रॉप-इन रिप्लेसमेंट" है, जिसके लिए PPO जैसे मानक पॉलिसी-ग्रेडिएंट मेथड्स में किसी मौलिक परिवर्तन की आवश्यकता नहीं होती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि नॉन-स्टेशनरी एरर रेट्स और स्पार्स रिवॉर्ड्स के संबंध में चुनौतियां बनी हुई हैं, फिर भी यह दृष्टिकोण सामान्य डेस्कटॉप एजेंटों के लिए व्यावहारिक RL पाइपलाइनों की दिशा में एक महत्वपूर्ण कदम है जो मानव पर्यवेक्षण के बिना इंटरैक्शन से सीखते हैं।