Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation
ACuRL एक स्वायत्त पाठ्यक्रम सुदृढीकरण शिक्षण (curriculum reinforcement learning) ढांचा है जो कंप्यूटर-उपयोग एजेंटों को एक कार्य जनरेटर के माध्यम से अनुकूलित प्रशिक्षण कार्यों को संश्लेषित करने और विश्वसनीय फीडबैक के लिए एक मजबूत स्वचालित मूल्यांकनकर्ता का उपयोग करके, बिना मानव एनोटेशन के विविध डिजिटल वातावरणों में निरंतर अनुकूलित होने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने डिजिटल जीवन को प्रबंधित करने में मदद करने के लिए एक अत्यधिक कुशल व्यक्तिगत सहायक (personal assistant) को काम पर रखा है—कोई ऐसा व्यक्ति जो एक्सेल (Excel) का उपयोग कर सके, ईमेल भेज सके और जटिल वैज्ञानिक सॉफ़्टवेयर को चला सके।
शुरुआत में, यह सहायक सामान्य कार्यों में बहुत अच्छा है, लेकिन जैसे ही आप उन्हें अपने काम के लिए उपयोग किया जाने वाला कोई विशिष्ट, विशेष सॉफ़्टवेयर (जैसे कि खगोल विज्ञान का कोई विशेष उपकरण या कंपनी का कोई विशिष्ट स्प्रेडशीट) सौंपते हैं, वे ठिठक जाते हैं। उन्हें नहीं पता कि बटन कहाँ हैं, वे उस विशिष्ट ऐप के "तर्क" (logic) को नहीं समझते हैं, और यदि आप सॉफ़्टवेयर को अपडेट करते हैं, तो वे अचानक वह सब कुछ भूल जाते हैं जो उन्होंने अभी सीखा था।
यह शोध पत्र ACuRL पेश करता है, जो उस सहायक को एक ऐसा "मस्तिष्क" देने का तरीका है जो बिना आपके सिखाए, किसी भी नए सॉफ़्टवेयर के अनुकूल खुद को स्वचालित रूप से ढाल सकता है और सीख सकता है।
यह कैसे काम करता है, इसे तीन सरल भागों में विभाजित किया गया है:
1. "जिज्ञासा" चरण (वातावरण अन्वेषण - Environment Exploration)
इसके बजाय कि आप सहायक को कोई मैनुअल दें, शोधकर्ताओं ने सहायक को पहले नए सॉफ़्टवेयर के साथ "खेलने" की अनुमति दी।
उपमा: कल्पना कीजिए कि एक छोटे बच्चे को एक नए खेल के मैदान में छोड़ दिया गया है। वे कोई नक्शा नहीं पढ़ते; वे इधर-उधर दौड़ते हैं, झूलों को छूते हैं, स्लाइड पर चढ़ते हैं, और देखते हैं कि बटन दबाने पर क्या होता है। "खेलकर," सहायक सीखता है, "ठीक है, यह एक स्प्रेडशीट ऐप है, और इस आइकन पर क्लिक करने से एक मेनू खुलता है।" इससे नए वातावरण के बारे में "सामान्य समझ" (common sense) का आधार बनता है।
2. "स्मार्ट शिक्षक" (पाठ्यक्रम शिक्षण - Curriculum Learning)
एक बार जब सहायक सीखना शुरू कर देता है, तो उन्हें एक शिक्षक की आवश्यकता होती है। लेकिन इस प्रणाली में, शिक्षक एक AI है जो एक अनुकूलित वर्कआउट प्लान (पाठ्यक्रम) बनाता है जो सहायक के मजबूत होने के साथ-साथ विकसित होता रहता है।
उपमा: इसे एक ऐसे वीडियो गेम की तरह सोचें जो वास्तविक समय में अपनी कठिनाई को समायोजित करता है।
- यदि कार्य बहुत आसान है: तो शिक्षक उन्हें एक "बॉस लेवल" कार्य देता है (जैसे, "केवल एक चार्ट न बनाएं; तीन अलग-अलग डेटा सेट के साथ एक जटिल, बहु-रंगीन चार्ट बनाएं" )।
- यदि कार्य बहुत कठिन है: तो शिक्षक उन्हें "मिनी-गेम्स" में तोड़ देता है (जैसे, "पूरा चार्ट बनाने से पहले, बस 'इन्सर्ट' बटन पर क्लिक करने का अभ्यास करें" )।
- यदि कार्य मध्यम है: तो शिक्षक विविधता प्रदान करता है (जैसे, "आप दस्तावेज़ को संपादित करना जानते हैं; अब इसे एक अलग प्रकार की फ़ाइल के साथ करने का प्रयास करें" )।
यह सुनिश्चित करता है कि सहायक हमेशा चुनौती महसूस करे लेकिन कभी भी अभिभूत (overwhelmed) न हो, जिससे उन्हें निराशा न हो और वे हार न मान लें।
3. "सख्त न्यायाधीश" (CUAJudge)
कई AI प्रशिक्षण विधियों में, "शिक्षक" थोड़ा आलसी होता है—वे बस अंतिम परिणाम देखते हैं और कहते हैं "अच्छा काम किया" या "बुरा काम किया।" लेकिन कंप्यूटर कार्यों के साथ, इतना पर्याप्त नहीं है। यदि आप एक सहायक को "फ़ॉन्ट को नीला करने" के लिए कहते हैं, और वे इसे लाल कर देते हैं, तो वे केवल असफल नहीं हुए; उन्होंने गलत काम किया।
उपमा: एक कुकिंग कॉम्पिटिशन के जज की कल्पना करें। एक आलसी जज केवल अंतिम व्यंजन को चखता है और कहता है, "यह नमकीन है।" एक CUAJudge एक मास्टर शेफ है जो पूरी प्रक्रिया को देखता है। वे जांच करते हैं: "क्या आपने सही नमक का उपयोग किया? क्या आपने प्याज को सही ढंग से काटा? क्या आपने वास्तव में चूल्हा चालू किया?"
CUAJudge "पहले" और "बाद" के स्क्रीनशॉट और हर क्लिक के इतिहास को देखता है ताकि यह सुनिश्चित किया जा सके कि सहायक ने केवल भाग्यवश सफलता प्राप्त नहीं की, बल्कि वास्तव में निर्देशों का पूरी तरह से पालन किया।
यह क्यों मायने रखता है?
शोधकर्ताओं ने पाया कि यह तरीका अविश्वसनीय रूप से कुशल है। भले ही सहायक नए, जटिल सॉफ़्टवेयर सीख रहा हो, वे अपने पुराने उपकरणों का उपयोग करना नहीं भूलते हैं (इसे कैटास्ट्रोफिक फॉरगेटिंग कहा जाता है)।
यह एक ऐसे छात्र की तरह है जो कैलकुलस सीखता है लेकिन अचानक बुनियादी जोड़ (addition) करना नहीं भूल जाता। क्योंकि सहायक का मस्तिष्क बहुत ही "स्पार्स" (sparse) और लक्षित तरीके से अपडेट होता है, वे अपने पुराने कौशल को भी तेज रखते हैं और अपने टूलकिट में लगातार नए कौशल जोड़ते रहते हैं।
संक्षेप में: ACuRL एक "सामान्यज्ञ" (generalist) AI को एक "विशेषज्ञ" (specialist) में बदल देता है जो पूरी तरह से अपने दम पर किसी भी डिजिटल टूल में महारत हासिल कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।