Scaling Agents for Computer Use
यह शोध पत्र बिहेवियर जज (BJudge) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो व्यवहार वृत्तांतों (behavior narratives) का उपयोग करके कई निष्पादन रोलआउट्स का मूल्यांकन और चयन करके कंप्यूटर-उपयोग एजेंटों की विश्वसनीयता में सुधार करता है, जिससे OSWorld पर मानव-स्तर की क्षमताओं से भी बेहतर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर स्क्रीन देखकर आपके कपड़े धोने, रात का खाना बनाने और आपके बिलों का भुगतान करने के लिए सिखाने की कोशिश कर रहे हैं। "कंप्यूटर-यूज़ एजेंट्स" (CUAs) को यही करना है। वे ऐसे AI प्रोग्राम हैं जो इंसानों की तरह बटन क्लिक कर सकते हैं, टेक्स्ट टाइप कर सकते हैं और सॉफ़्टवेयर का उपयोग कर सकते हैं।
हालाँकि, एक बड़ी समस्या है: ये रोबोट बहुत नाजुक हैं। यदि वे शुरुआत में एक छोटी सी गलती करते हैं—जैसे गलत विंडो पर क्लिक करना या कोई पॉप-अप मिस कर देना—तो वह गलती बर्फ के गोले (स्नोबॉल) की तरह बढ़ती जाती है। जब तक वे 50वें स्टेप तक पहुँचते हैं, वे पूरी तरह से भटक चुके होते हैं। यह हवादार कमरे में ताश के पत्तों का घर बनाने की तरह है; एक छोटी सी हलचल भी पूरे ढांचे को बिगाड़ देती है।
पुराना तरीका: "एक बार में एक" (One and Done)
पहले, शोधकर्ताओं ने रोबोट को एक ही चाल चलने से पहले "ज़्यादा गहराई से सोचने" के लिए कहकर इसे ठीक करने की कोशिश की थी। वे AI से अगले क्लिक के लिए पाँच अलग-अलग विचार उत्पन्न करने और उनमें से सबसे अच्छा चुनने के लिए कहते थे। लेकिन यह एक अकेले व्यक्ति से किराने की दुकान तक जाने के पाँच अलग-अलग रास्ते सोचने के लिए कहने और फिर सबसे अच्छे को चुनने जैसा है। यदि वह व्यक्ति पहले चौराहे पर ही भ्रमित हो जाता है, तो पूरी यात्रा विफल हो जाती है।
नया विचार: "द रेस" (चौड़ा स्केलिंग - Wide Scaling)
इस पेपर के लेखक एक अलग रणनीति प्रस्तावित करते हैं जिसे वाइड स्केलिंग कहा जाता है। एक अकेले रोबोट पर भरोसा करने के बजाय, वे एक ही कार्य को करने के लिए एक साथ दस अलग-अलग रोबोटों को भेजते हैं।
इसे दस धावकों वाली एक दौड़ की तरह समझें। भले ही धावक नंबर 3 लड़खड़ा जाए और धावक नंबर 7 रास्ता भटक जाए, शायद धावक नंबर 5 कोई शॉर्टकट ढूंढ ले और जीत जाए। लक्ष्य यह है कि दस अलग-अलग प्रयास समानांतर (parallel) रूप में चलें और फिर विजेता को चुना जाए।
बाधा: आप विजेता को कैसे चुनेंगे?
यहाँ पेचीदा बात यह है: आपको कैसे पता चलेगा कि दस में से कौन सा रोबोट वास्तव में सफल हुआ?
- समस्या: दस घंटों के वीडियो देखना कि एक रोबोट किसी कार्य को करने की कोशिश कर रहा है, बहुत थका देने वाला है। वीडियो का अधिकांश हिस्सा उबाऊ या अप्रासंगिक होता है (जैसे रोबोट का खाली स्क्रीन को घूरते रहना)। इसके अलावा, कई कार्यों को पूरा करने के एक से अधिक सही तरीके हो सकते हैं। एक साधारण स्क्रिप्ट केवल कच्चे स्क्रीन रिकॉर्डिंग को देखकर यह नहीं बता सकती कि रोबक सफल हुआ या विफल।
- उपमा: कल्पना कीजिए कि आप शेफ्स की कुकिंग प्रतियोगिता को दस 3-घंटे की फिल्में देखकर जज कर रहे हैं। आप थक जाएंगे और महत्वपूर्ण क्षणों को मिस कर देंगे। आपको क्रियाओं का सारांश निकालने के तरीके की आवश्यकता है।
समाधान: "बिहेवियर जज" (BJudge)
लेखक एक नया सिस्टम पेश करते हैं जिसे बिहेवियर जज (BJudge) कहा जाता है। यह इस प्रकार काम करता है:
- द रेस: वे एक साथ दस बार अलग-अलग AI मॉडल के साथ कार्य चलाते हैं।
- अनुवादक (बिहेवियर नैरेटिव जनरेटर): जज को स्क्रीन का कच्चा वीडियो दिखाने के बजाय, यह सिस्टम एक अनुवादक की तरह काम करता है। यह प्रत्येक रोबोट के प्रयास को देखता है और जो हुआ उसकी एक छोटी, स्पष्ट कहानी (नैरेटिव) लिखता है।
- बजाय इसके कि: "रोबोट ने माउस को पिक्सेल 400, 200 पर ले गया, क्लिक किया, स्क्रीन रिफ्रेश हुई, एक नई विंडो खुली..."
- यह लिखता है: "रोबोट ने 'सेव' पर क्लिक किया, और दस्तावेज़ सफलतापूर्वक फोल्डर में सेव हो गया।"
- यह शोर (noise) को हटा देता है और केवल कारण और प्रभाव पर ध्यान केंद्रित करता है: "मैंने X किया, और Y हुआ।"
- जज (तुलनात्मक मूल्यांकनकर्ता): अब, दस घंटों का वीडियो देखने के बजाय, जज दस छोटी कहानियाँ पढ़ता है। वह उन्हें आमने-सामने की तुलना करता है। "कहानी A कहती है कि फ़ाइल सेव हो गई। कहानी B कहती है कि फ़ाइल डिलीट हो गई। कहानी A जीतती है।"
परिणाम
जब उन्होंने इसे OSWorld (वास्तविक दुनिया के कंप्यूटर कार्यों का एक संग्रह) नामक बेंचमार्क पर टेस्ट किया:
- पुराना सर्वश्रेष्ठ: पिछले सबसे अच्छे तरीके ने लगभग 63.4% कार्य सही किए।
- मानव स्तर: इंसान लगभग 72.36% सही करते हैं।
- नया तरीका (BJudge): उनके सिस्टम ने 72.6% हासिल किया।
उन्होंने न केवल पिछले रोबोट्स को हराया, बल्कि इंसानों को भी पीछे छोड़ दिया।
यह क्यों मायने रखता है
यह पेपर दिखाता है कि AI एजेंटों को विश्वसनीय बनाने की कुंजी केवल उन्हें व्यक्तिगत रूप से स्मार्ट बनाना नहीं है; बल्कि उन्हें एक साथ चलाना और सबसे अच्छे परिणाम को चुनने के लिए एक स्मार्ट सिस्टम होना है।
उन्होंने विभिन्न ऑपरेटिंग सिस्टम (Windows और Android) पर भी इसका परीक्षण किया और पाया कि यह वहां भी अच्छी तरह काम करता है, जिससे यह साबित होता है कि यह "रेस और जज" की रणनीति कंप्यूटर का उपयोग करने वाले AI को अधिक मजबूत बनाने का एक सार्वभौमिक तरीका है।
संक्षेप में: AI कंप्यूटरों की "नाजुक" प्रकृति को ठीक करने के लिए, केवल एक आदर्श रोबोट न बनाएं। दस बनाएं, उन्हें दौड़ने दें, उनके अव्यवस्थित प्रयासों को सरल कहानियों में अनुवाद करें, और एक स्मार्ट जज को विजेता चुनने दें। इस सरल बदलाव ने उन्हें जटिल डिजिटल कार्यों पर मानव प्रदर्शन से आगे निकलने में मदद की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।