SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL
ScaleCUA एक एकीकृत ढांचा है जो VeriGen द्वारा सत्यापन योग्य कार्य संश्लेषण (verifiable task synthesis), Frontier Sampling द्वारा अनुकूलित नमूना आवंटन (optimized sample allocation) और Visual Context Segmentation द्वारा त्वरित प्रशिक्षण के माध्यम से डेटा की कमी और प्रशिक्षण अक्षमता को संबोधित करते हुए ओपन-सोर्स कंप्यूटर उपयोग एजेंटों को अत्याधुनिक प्रदर्शन तक उन्नत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बिल्कुल इंसान की तरह कंप्यूटर का उपयोग करना सिखाने की कोशिश कर रहे हैं। रोबोट को स्क्रीन देखनी होगी, बटन क्लिक करने होंगे, टर्मिनल में टाइप करना होगा, और यह समझना होगा कि सॉफ्टवेयर कैसे इंस्टॉल किया जाए या फाइलों को कैसे व्यवस्थित किया जाए। यह कंप्यूटर यूज़ एजेंट्स (CUAs) की दुनिया है।
लंबे समय तक, इन रोबोट्स को सिखाना एक ऐसे नए वीडियो गेम को सीखने जैसा था जिसमें कोई स्कोरबोर्ड नहीं था। आप खेल तो सकते हैं, लेकिन आपको तब तक पता नहीं चलता कि आप वास्तव में जीते हैं या नहीं, जब तक कि कोई इंसान पूरे खेल को देखता नहीं और कहता है, "अच्छा काम किया!" या "फिर से कोशिश करो!" यह सीखना बहुत धीमा और महंगा बना देता है क्योंकि आप एक साथ हजारों गेम नहीं चला सकते यदि आपको हर एक के लिए मानव द्वारा ग्रेडिंग की आवश्यकता हो।
यहाँ आता है SCALECUA, जो एक नए, सुपर-चार्ज्ड, स्व-सुधारने वाले ट्रेनिंग कैंप की तरह काम करता है। यह दो बड़ी समस्याओं को हल करता है: ऐसे अभ्यास कार्यों को ढूंढना जिनका एक स्पष्ट "जीत" की स्थिति (win condition) हो, और प्रशिक्षण प्रक्रिया को इतना तेज़ बनाना कि वह वास्तव में काम कर सके।
स्कोरबोर्ड की समस्या: VERIGEN का आगमन
पहली बाधा यह थी कि अधिकांश कंप्यूटर कार्यों में कोई अंतर्निहित "गेम ओवर, आप जीत गए" का संकेत नहीं होता है। इसे ठीक करने के लिए, शोधकर्ताओं ने VERIGEN बनाया।
VERIGEN को वर्चुअल कंप्यूटरों (डॉकर कंटेनरों) के एक विशाल, अनंत प्लेग्राउंड में काम करने वाली तीन रोबोट कोचों की एक टीम के रूप में समझें।
- प्रपोजर (Proposer): यह एक कार्य का सुझाव देता है, जैसे "अपने कंप्यूटर के लिए यह विशिष्ट थीम इंस्टॉल करें।"
- जज्डर (Judger): यह जाँचता है कि क्या निर्देश तर्कसंगत हैं और क्या "जीतने की स्थिति" तार्किक है।
- चेकर (Checker): यह वास्तव में वर्चुअल कंप्यूटर में उस कार्य को करने की कोशिश करता है ताकि यह देखा जा सके कि क्या यह संभव है और क्या "जीतने की स्थिति" वास्तव में सक्रिय होती है।
यदि कार्य इनमें से किसी भी जांच में विफल रहता है, तो उसे बाहर कर दिया जाता है। यदि यह पास हो जाता है, तो यह एक सत्यापित प्रशिक्षण कार्य बन जाता है। सबसे अच्छी बात क्या है? यह कोचों की टीम समानांतर (parallel) में काम करती है। वे एक साथ 100+ कोचों को चला सकते हैं, जो एक साथ 100+ वर्चुअल कंप्यूटरों के साथ इंटरैक्ट करते हैं।
परिणाम? उन्होंने 24,000 से अधिक सत्यापित कार्य और प्रशिक्षण के लिए लगभग 3,000 उच्च-गुणवत्ता वाले कार्य उत्पन्न किए। यह पिछले तरीकों की तुलना में एक बड़ी छलांग है, जो अक्सर छोटी, मैन्युअल रूप से लिखी गई सूचियों पर निर्भर करते थे।
प्रशिक्षण रणनीति: फ्रंटियर सैंपलिंग (Frontier Sampling)
एक बार जब आपके पास कार्यों का पहाड़ आ जाता है, तो आप यह कैसे चुनते हैं कि किन पर अभ्यास करना है? एक सामान्य गलती कार्यों को यादृच्छिक (randomly) रूप से चुनना है। लेकिन कल्पना कीजिए कि आप साइकिल चलाना सीख रहे हैं:
- यदि आप ऐसा कार्य चुनते हैं जो बहुत आसान है (समतल जमीन पर चलाना), तो आप कुछ नहीं सीखते।
- यदि आप ऐसा कार्य चुनते हैं जो बहुत कठिन है (खड़ी ढलान से नीचे उतरना), तो आप दुर्घटनाग्रस्त हो जाते हैं और हतोत्साहित हो जाते हैं।
- सही जगह "लर्निंग फ्रंटियर" (सीखने की सीमा) है—वे कार्य जिन्हें आप अभी-अभी समझना शुरू कर रहे हैं।
SCALECUA फ्रंटियर सैंपलिंग नामक एक स्मार्ट रणनीति का उपयोग करता है। यह हर एक कार्य पर रोबोट के प्रदर्शन का एक रनिंग स्कोर रखता है। फिर यह अपना अभ्यास समय उन कार्यों पर केंद्रित करता है जहाँ रोबोट सफलता दर के लगभग 50% के आसपास मंडरा रहा होता है। यह सुनिश्चित करता है कि रोबोट असंभव चुनौतियों में फंसने या आसान कार्यों से ऊब जाने के बजाय हमेशा अपनी सीमाओं को आगे बढ़ाता रहे।
स्पीड ट्रिक: विजुअल कॉन्टेक्स्ट सेगमेंटेशन (Visual Context Segmentation)
यहाँ पेचीदा हिस्सा यह है: कंप्यूटर कार्यों में लंबा समय लग सकता है। एक एकल कार्य में 47 चरण हो सकते हैं (जैसे कि पेपर में दिया गया उदाहरण जहाँ रोबोट एक थीम इंस्टॉल करता है)। यदि आप चरण 1 से लेकर चरण 47 तक के हर एक स्क्रीनशॉट को याद रखने की कोशिश करते हैं, तो आपका मस्तिष्क (या कंप्यूटर की मेमोरी) अभिभूत हो जाता है, और आपका प्रशिक्षण बहुत धीमा हो जाता है।
शोधकर्ताओं ने इसे विजुअल कॉन्टेक्स सेगमेंटेशन के साथ हल किया। कल्पना कीजिए कि आप एक लंबी कहानी पढ़ रहे हैं, लेकिन पूरी किताब को खुला रखने के बजाय, आप केवल अंतिम कुछ पृष्ठों को अपने डेस्क पर दृश्यमान रखते हैं। आप पहले के पृष्ठों के कथानक को सारांश के रूप में याद रखते हैं, लेकिन अगला निर्णय लेने के लिए आप केवल हाल के पृष्ठों को देखते हैं।
यह तकनीक सबसे हालिया स्क्रीनशॉट (लगभग 5 से 8 चित्र) के "स्लाइडिंग विंडो" को बनाए रखती है, जबकि पुराने चित्रों को टेक्स्ट के रूप में सारांशित करती है। यह रोबोट की मेमोरी को ताज़ा और तेज़ रखता है। पेपर में पाया गया कि इसने पुराने तरीके (एक साथ हर कदम को याद करने के तरीके) की तुलना में प्रशिक्षण प्रक्रिया को 2.83 गुना तेज़ बना दिया, बिना रोबोट को समस्या को हल करने से भटकाए।
परिणाम: क्या यह काम आया?
टीम ने Qwen3.5-9B (एक 9-बिलियन पैरामीटर विजन-लैंग्वेज मॉडल) नामक मॉडल पर इस नई प्रणाली का परीक्षण किया।
- OSWorld (सामान्य डेस्कटॉप कार्यों के लिए एक बेंचमार्क) पर, रोबोट ने 68.7% की सफलता दर हासिल की।
- ScienceBoard (जटिल वैज्ञानिक सॉफ़्टवेयर के लिए एक बेंचमार्क) पर, इसने 54.0% को छुआ।
ये संख्याएँ महत्वपूर्ण हैं। पेपर नोट करता है कि इस 9-बिलियन-पैरामीटर मॉडल ने चार गुना बड़े (जैसे कि 32-बिलियन-पैरामीटर EvoCUA) ओपन-सोर्स मॉडल्स को भी मात दे दी। इसने कुछ प्रोप्राइटरी मॉडल्स को भी पीछे छोड़ दिया, जो बताता है कि रोबोट के दिमाग के आकार जितना ही प्रशिक्षण की विधि भी मायने रखती है।
यह क्या नहीं करता
यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है।
- यह अभी सभी कंप्यूटरों के लिए जादू की छड़ी नहीं है। परीक्षण Ubuntu-आधारित डेस्कटॉप (लिनक्स कंप्यूटर का एक विशिष्ट प्रकार) पर किए गए थे। लेखक स्वीकार करते हैं कि उन्होंने अभी तक Windows या macOS पर इसका परीक्षण नहीं किया है, इसलिए हमें नहीं पता कि क्या यह वहां काम करता है।
- इसकी एक समय सीमा है। प्रशिक्षण एपिसोड को 50 इंटरैक्शन टर्न तक सीमित किया गया था। हालांकि यह अधिकांश कार्यों को कवर करता है, लेखक सुझाव देते हैं कि सैकड़ों चरणों वाले अत्यंत लंबे, जटिल वर्कफ़्लो के लिए यह पर्याप्त नहीं हो सकता है।
- यह कोई हल की गई समस्या नहीं है। पेपर इसे एक नए फ्रेमवर्क के रूप में प्रस्तुत करता है जो ओपन-सोर्स एजेंट्स के बीच "स्टेट-ऑफ-द-आर्ट" स्थापित करता है, लेकिन यह स्वीकार करता है कि अन्य सिस्टम और स्केल पर सामान्यीकरण (generalization) अभी भी भविष्य का कार्य है।
संक्षेप में, SCALECUA अपने स्वयं के अभ्यास परीक्षण उत्पन्न करके, "बिल्कुल सही" कठिनाई स्तर पर ध्यान केंद्रित करके, और तेज़ रहने के लिए अतीत को पर्याप्त रूप से याद रखकर, कंप्यूटरों का उपयोग करने के लिए रोबोट को सिखाने की एक चतुर रेसिपी है। यह दिखाता है कि सही प्रशिक्षण उपकरणों के साथ, एक छोटा रोबोट दिमाग भी बहुत बड़े दिमागों को पछाड़ सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।