Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning
यह शोधपत्र कैलिब्रेटेड पार्शियल रीसेट्स (CPR) को प्रस्तुत करता है, जो एक ऐसा ऑप्टिमाइज़र है जो कम उपयोगिता वाले न्यूरॉन्स को आवधिक और चयनात्मक रूप से उनके इनिशियलाइज़ेशन की ओर खींचकर निरंतर सुदृढीकरण शिक्षण (continual reinforcement learning) में पॉलिसी कोलैप्स को रोकता है, जिससे शिखर प्रदर्शन से समझौता किए बिना प्लास्टिसिटी बनाए रखी जा सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चलना, दौड़ना या वीडियो गेम खेलना सिखा रहे हैं। आप इसे केवल एक बार नहीं सिखाते और उम्मीद नहीं करते कि यह हमेशा के लिए याद रखेगा; बल्कि आप इसे एक ऐसी दुनिया में झोंक देते हैं जो लगातार बदलती रहती है। शायद फर्श फिसलन भरा हो जाए, या खेल के नियम बदल जाएं, या रोबate को पुराने कौशल में महारत हासिल करने के बाद एक पूरी तरह से नया कौशल सीखना पड़े। यह "कंटीन्यूअल लर्निंग" (निरंतर सीखने) की दुनिया है। समस्या यह है कि जैसे-जैसे ये डिजिटल मस्तिष्क (न्यूरल नेटवर्क) अधिक और अधिक सीखते हैं, वे "अटकने" लगते हैं। उनके मस्तिष्क के कुछ हिस्से पूरी तरह से काम करना बंद कर देते हैं, जो उन सुप्त न्यूरॉन्स की तरह हो जाते हैं जो कभी सक्रिय नहीं होते, जबकि अन्य हिस्से इतने कठोर हो जाते हैं कि वे नई स्थितियों के अनुकूल नहीं हो पाते। यह एक ऐसे छात्र की तरह है जिसने पाठ्यपुस्तक को इतनी अच्छी तरह से रट लिया है कि यदि संख्याएँ बदल दी जाएँ तो वह एक भी समस्या हल नहीं कर सकता। यदि कोई रोबोट अनुकूलन करने की यह क्षमता खो देता है, तो वह अचानक चलना भूल सकता है, या इससे भी बुरा, गलत निर्णयों के एक अराजक चक्र में टकराकर नष्ट हो सकता है। वैज्ञानिक समय-समय पर रोबोट के मस्तिष्क को "रीसेट" करके इसे ठीक करने की कोशिश कर रहे हैं, लेकिन इसे करने के पुराने तरीके थोड़े कठोर थे, जो अक्सर रोबोट के वर्तमान कौशल को तोड़ देते थे जब वह नए कौशल सीखने की कोशिश कर रहा होता था।
यह शोध पत्र इस समस्या को हल करने के लिए एक चतुर नई तकनीक पेश करता है जिसे कैलिब्रेटेड पार्शियल रीसेट्स (CPR) कहा जाता है। एक न्यूरल नेटवर्क को श्रमिकों की एक विशाल टीम के रूप में सोचें, जहाँ प्रत्येक कार्यकर्ता (न्यूरॉन) रोबोट के निर्णय लेने के एक छोटे से हिस्से के लिए जिम्मेदार है। समय के साथ, कुछ कार्यकर्ता कुछ भी उपयोगी काम करना बंद कर देते हैं; वे "सुप्त" या "सोते हुए" हो जाते हैं। उन्हें ठीक करने का पुराना तरीका उन्हें पूरी तरह से नौकरी से निकाल देना और शून्य से नए कर्मचारियों को काम पर रखना था। लेकिन उन सभी को एक साथ निकालना व्यस्त डिनर सर्विस के बीच में एक व्यस्त रसोई में आधे कर्मचारियों को निकालने जैसा है—इससे अराजकता पैदा होती है और भोजन (रोबोट का प्रदर्शन) खराब हो जाता है।
इस शोध पत्र के लेखक एक अधिक सौम्य, स्मार्ट दृष्टिकोण का सुझाव देते हैं। सुप्त श्रमिकों को पूरी तरह से नौकरी से निकालने के बजाय, CPR उन्हें उनकी मूल, ताज़ा स्थिति की ओर वापस लाने के लिए एक हल्का सा "धक्का" (नज) देता है। लेकिन यहाँ जादू यह है: वह धक्का कितना बड़ा होगा, यह इस बात पर निर्भर करता है कि कार्यकर्ता कितना बेकार है। यदि कोई कार्यकर्ता बहुत कम कुछ कर रहा है, तो उसे जगाने के लिए एक बड़ा धक्का दिया जाता है। यदि कोई कार्यकर्ता अभी भी बहुत अच्छा काम कर रहा है, तो उसे एक छोटा सा, मुश्किल से दिखाई देने वाला स्पर्श मिलता है। इस तरह, रोबमा रोबोट अपने सर्वश्रेष्ठ कौशल को बरकरार रखता है जबकि धीरे-धीरे उन हिस्सों को तरोताजा करता है जो पुराने पड़ रहे हैं।
शोधकर्ताओं ने कुछ बहुत कठिन वातावरणों में इस विचार का परीक्षण किया। उन्होंने रोबोटों को सूखने से लेकर अत्यधिक फिसलन भरी सतहों तक बदलते रहने वाले परिवेश में दौड़ने के लिए प्रशिक्षित किया, जो एक चौंका देने वाले 40 करोड़ चरणों (steps) तक चला। इन परीक्षणों में, पुराने तरीके (जैसे कि मानक "बाइनरी रीसेट" जो श्रमिकों को पूरी तरह से हटा देता है) अक्सर रोबोटों को ढहने और पूरी तरह से चलना भूल जाने के कारण विफल हो जाते थे। हालाँकि, CPR पद्धति ने रोबोटों को पूरे समय सुचारू रूप से दौड़ते रहने में मदद की। यह एकमात्र तरीका था जिसमें सभी 15 अलग-अलग परीक्षणों में एक भी "पॉलिसी कोलैप्स" (पूर्ण विफलता) नहीं हुआ।
यह शोध पत्र यह भी दिखाता है कि यह विधि अन्य चुनौतीपूर्ण वीडियो गेम जैसे वातावरणों में भी अच्छी तरह से काम करती है, जिससे रोबोट पुराने को भूले बिना नए कार्य सीख पाते हैं। लेखकों ने पाया कि जिस तरह से वे "सुप्त" श्रमिकों को धक्का देते हैं (एक सेटिंग जिसे वे कहते हैं), उसे ट्यून करके वे रोबोट को स्थिर रखने और उसे तेजी से सीखने में मदद करने के बीच संतुलन बना सकते हैं। उन्होंने पाया कि एक मध्यम धक्का सबसे अच्छा काम करता है, जो रोबोट को बिखरने से रोकता है और फिर भी उसे अनुकूलित होने की अनुमति देता है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि "सब-कुछ-या-कुछ-नहीं" वाले रीसेट बटन के बजाय, हमें अपने AI के मस्तिष्क के लिए एक "डिमर स्विच" का उपयोग करना चाहिए। यह सावधानीपूर्वक कैलिब्रेट करके कि हम नेटवर्क के प्रत्येक हिस्से को कितना तरोताजा करते हैं, यह देखते हुए कि वह कितना उपयोगी है, हम AI एजेंटों को बिना क्रैश हुए या विफल हुए हमेशा के लिए सीखने में सक्षम बना सकते हैं। करोड़ों चरणों में मापे गए परिणाम बताते हैं कि यह दृष्टिकोण एक ऐसा तरीका है जो वास्तव में ऐसे रोबोट और AI बनाने के लिए आशाजनक है जो वास्तव में अपने पूरे जीवनकाल में सीख और अनुकूलित हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।