Expert Behavior Prior Reinforcement Learning
यह शोध पत्र एक्सपर्ट बिहेवियर प्रायर (EBP) एल्गोरिदम का प्रस्ताव करता है, जो ऑनलाइन रिप्ले बफ़र्स से सीधे उच्च-मूल्य वाले विशेषज्ञ नीति प्रायर (expert policy priors) उत्पन्न करने के लिए एक Q-निर्देशित कंडीशनल वेरिएशनल ऑटोएनकोडर का उपयोग करता है, जिससे ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) में बेहतर नमूना दक्षता और स्थिर अभिसरण प्राप्त करने के लिए स्थिर ऑफलाइन डेटासेट की सीमाओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक रोबोट चलना सीख रहा है। वह किसी मैनुअल या शिक्षक के साथ शुरुआत नहीं करता है; वह लड़खड़ाकर, गिरकर और फिर से प्रयास करके शुरुआत करता है। हर बार जब वह हिलता है, तो उसे एक संकेत मिलता है: सीधे खड़े रहने के लिए एक पुरस्कार, गिरने के लिए एक दंड। यह ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) का सार है, एक ऐसी विधि जहाँ एक कृत्रिम एजेंट वास्तविक समय में दुनिया के साथ बातचीत करके सीखता है। लक्ष्य उन गतिविधियों के क्रम की खोज करना है जो उच्चतम कुल पुरस्कार की ओर ले जाता है। हालाँकि, यह प्रक्रिया कुख्यात रूप से धीमी और अपव्ययी है। एजेंट अक्सर बेकार या खतरनाक कार्यों को खोजने में लाखों प्रयास बर्बाद कर देता है क्योंकि उसके पास इस बात का कोई मानचित्र नहीं होता कि क्या काम करता है। इसे तेज करने के लिए, शोधकर्ताओं ने एक अलग दृष्टिकोण अपनाया है: अपने स्वयं के प्रशिक्षण को शुरू करने से पहले एजेंट को पिछले सफलताओं के एक पुस्तकालय से परिचित कराना, जिसे 'एक्सपर्ट डेमोंस्ट्रेशन' (विशेषज्ञ प्रदर्शन) के रूप में जाना जाता है। इसे 'बिहेवियर प्रायर रिइन्फोर्समेंट लर्निंग' कहा जाता है। विचार यह है कि इन पूर्व-रिकॉर्ड किए गए उदाहरणों का अध्ययन करके, एजेंट सीखने के शुरुआती, अनाड़ी चरणों को छोड़ सकता है और सीधे अच्छे व्यवहार को परिष्कृत करने की ओर बढ़ सकता है। फिर भी, एक महत्वपूर्ण समस्या बनी हुई है। सफलता के ये पुस्तकालय स्थिर हैं; वे अतीत के निश्चित स्नैपशॉट हैं। यदि डेटा अपूर्ण, अधूरा या पर्याप्त विविध नहीं है, तो एजेंट उन सीमाओं से सीखने में फंस जाता है, और उसे दिए गए उदाहरणों की गुणवत्ता से आगे बढ़ने में असमर्थ रहता है।
एक टीम के शोधकर्ताओं ने इस बाधा को हल करने के लिए एक नया तरीका प्रस्तावित किया है, जो एक स्थिर पुस्तकालय के विचार से हटकर एक गतिशील, स्व-सुधार करने वाले मार्गदर्शक की ओर बढ़ता है। उन्होंने 'एक्सपर्ट बिहेवियर प्रायर' नामक एक एल्गोरिदम विकसित किया, जो किसी पूर्व-संग्रहित पूर्ण चालों के डेटासेट पर निर्भर नहीं करता है। इसके बजाय, यह सीखते समय अपना स्वयं का मार्गदर्शक बनाता है। यह प्रणाली एक ऐसे छात्र की तरह काम करती है जो, कौशल का अभ्यास करते समय, अपने हालिया प्रयासों की लगातार समीक्षा करता है ताकि सर्वश्रेष्ठ की पहचान की जा सके और भविष्य के कार्यों को आकार देने के लिए उनका उपयोग किया जा सके। शोधकर्ताओं ने एक जेनेरेटिव मॉडल विकसित किया, जो एक प्रकार का कृत्रिम बुद्धिमत्ता है जो नया डेटा बनाने में सक्षम है, जो एजेंट के अपने ऑनलाइन अनुभव से सीधे सीखता है। जैसे ही रोबोट नई चीजें आजमाता है और परिणामों को मेमोरी बफर में संग्रहीत करता है, यह मॉडल डेटा का विश्लेषण करता है ताकि उन कार्यों को खोजा जा सके जो सर्वोत्तम परिणामों की ओर ले गए। इसके बाद यह 'ऑन द फ्लाई' उच्च गुणवत्ता वाले "एक्सपर्ट" कार्य उत्पन्न करता है, जिससे उत्कृष्टता का एक नया, विकसित मानक बनता है जिसका एजेंट अनुसरण कर सकता है। यह एजेंट को पुराने, ऑफलाइन डेटा की सीमाओं से बंधे रहने के बजाय अपने स्वयं के वर्तमान प्रदर्शन के सर्वश्रेष्ठ से सीखने की अनुमति देता है।
इस नई पद्धति के मूल में तीन-भागों वाली एक प्रक्रिया शामिल है जो सीखने को स्थिर करने और दक्षता में सुधार करने के लिए मिलकर काम करती है। सबसे पहले, प्रणाली एक 'वैल्यू एस्टिमेटर' (मूल्य अनुमानक) का उपयोग करती है, जो एक घटक है कि स्थिति कितनी अच्छी है, ताकि जेनेरेटिव मॉडल को निर्देशित किया जा सके। यह सुनिश्चित करता है कि मॉडल ऐसे कार्य उत्पन्न करना सीखता है जो न केवल सामान्य हों, बल्कि वास्तव में मूल्यवान भी हों। दूसरा, प्रणाली उत्पन्न विकल्पों के समूह में से एकल सर्वश्रेष्ठ कार्य का चयन करती है ताकि एजेंट के 'पॉलिसी नेटवर्क' के लिए एक लक्ष्य के रूप la रूप में कार्य किया जा सके। यह एक स्थिर लंगर के रूप में कार्य करता है, जो एजेंट के व्यवहार को सिद्ध सफलता की ओर खींचता है। तीसरा, और शायद सबसे महत्वपूर्ण, प्रणाली में एक सुधार तंत्र (correction mechanism) शामिल है जो पुरस्कारों को अधिकतम करने की प्रेरणा और इन विशेषज्ञ उदाहरणों का पालन करने की आवश्यकता के बीच संतुलन बनाता है। इस संतुलन के बिना, एजेंट बहुत साहसी होने और बहुत सुरक्षित होने के बीच झूल सकता है। यह सुधार सुनिश्चित करता है कि विशेषज्ञ उदाहरणों से मार्गदर्शन और नए पुरस्कारों को खोजने की प्रेरणा सामंजस्य में काम करें, जिससे सीखने की प्रक्रिया अस्थिर न हो।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण कई चुनौतीपूर्ण वातावरणों में किया, जिसमें रोबोटिक नियंत्रण कार्य शामिल हैं जहाँ एजेंटों को संतुलन बनाना, चलना या दौड़ना होता है, और औद्योगिक सिमुलेशन जिनमें सटीक हेरफेर की आवश्यकता होती है। उन्होंने अपने नए एल्गोरिदम की तुलना कई अत्याधुनिक विधियों के साथ की, जिसमें केवल प्रयास और त्रुटि (trial and error) पर निर्भर मानक शिक्षण एल्गोरिदम और अन्य विधियाँ शामिल हैं जो स्थिर विशेषज्ञ डेटा का उपयोग करती हैं। परिणामों ने दिखाया कि नया दृष्टिकोण लगातार तेजी से सीखा और उच्च स्तर का प्रदर्शन प्राप्त किया। कई मामलों में, गतिशील मार्गदर्शक का उपयोग करने वाले एजेंट ने प्रारंभिक प्रशिक्षण चरणों (200K टाइमस्टेप्स) में प्रदर्शन में 50% से अधिक की वृद्धि हासिल की और बाद के चरणों में मानक विधियों की तुलना में लगभग 20% से 26% का महत्वपूर्ण सुधार बनाए रखा। यह प्रणाली विशेष रूप से तब मजबूत साबित हुई जब फीडबैक सिग्नल शोर युक्त या अपूर्ण थे, जो वास्तविक दुनिया के अनुप्रयोगों में एक सामान्य समस्या है जहाँ सेंसर अविश्वसनीय हो सकते हैं। यहाँ तक कि जब रिवॉर्ड सिग्नल यादृच्छिक शोर से विकृत थे, तब भी एल्गोरिदम ने अपनी स्थिरता बनाए रखी और सुधार करना जारी रखा, जिससे उच्च शोर की स्थितियों में केवल 6% की मामूली गिरावट देखी गई, जबकि अन्य विधियाँ अक्सर विफल हो जाती हैं या अभिसरण (converge) करने में असमर्थ रहती हैं।
अध्ययन का एक प्रमुख निष्कर्ष यह है कि मार्गदर्शक की मात्रा से अधिक उसकी गुणवत्ता मायने रखती है। शोधकर्ताओं ने पाया कि अपने स्वयं के 'रीप्ले बफर' से उच्च-मूल्य वाले कार्यों को सीधे उत्पन्न करके, वे बिना किसी विशाल, पूर्व-मौजूद पूर्ण मानव प्रदर्शन के डेटासेट के एक बेहतर शिक्षण संकेत बना सकते हैं। यह सुझाव देता है कि एजेंट को बाहर से किसी विशेषज्ञ द्वारा सिखाने की आवश्यकता नहीं है; वह अपने स्वयं की सफलताओं के इतिहास का सावधानीपूर्वक विश्लेषण करके अपने स्वयं के आंतरिक विशेषज्ञ को विकसित कर सकता है। अध्ययन ने यह भी प्रकट किया कि इस मार्गदर्शन का समय अत्यंत महत्वपूर्ण है। जैसे-जैसे एजेंट अधिक कुशल होता जाता है, विशेषज्ञ मार्गदर्शक का प्रभाव धीरे-धीरे कम हो जाता है, जिससे एजेंट को केवल मार्गदर्शक की नकल करने के बजाय अपनी अनूठी रणनीति को परिष्कृत करने की अनुमति मिलती है। यह अनुकूलन योग्य क्षय (adaptive decay) सुनिश्चित करता है कि एजेंट अंततः अपने स्वयं के नियमों पर कार्य को सिद्ध कर सके।
इस कार्य के निहितार्थ केवल तेज़ प्रशिक्षण समय से कहीं अधिक हैं। यह प्रदर्शित करके कि एक एजेंट ऑनलाइन बातचीत से अपना स्वयं का उच्च-गुणवत्ता वाला मार्गदर्शन उत्पन्न कर सकता है, यह शोध जटिल, वास्तविक दुनिया के परिदृश्यों में अधिक कुशल और स्थिर शिक्षण की ओर एक मार्ग प्रदान करता है। यह सुझाव देता है कि रोबोटिक्स में कृत्रिम बुद्धिमत्ता का भविष्य मानव प्रदर्शन के अंतहीन पुस्तकालयों को एकत्र करने पर नहीं, बल्कि ऐसे सिस्टम बनाने पर निर्भर हो सकता है जो आत्म-चिंतन और आत्म-सुधार करने में सक्षम हों। शोधकर्ता स्वीकार करते हैं कि हालांकि उनकी विधि महत्वपूर्ण संभावना दिखाती है, फिर भी कुछ प्रश्नों के उत्तर मिलना बाकी है, विशेष रूप से यह कि उन वातावरणों को कैसे संभाला जाए जहाँ खेल के नियम लगातार बदलते रहते हैं। हालाँकि, उनके सिमुलेशन से प्राप्त साक्ष्य यह स्पष्ट संकेत देते हैं कि हम मशीनों को सीखने के तरीके को सिखाने की समस्या के प्रति अपने दृष्टिकोण को कैसे बदल सकते हैं। एजेंट के अपने अनुभव को एक जीवित, सांस लेते हुए शिक्षक में बदलकर, उन्होंने सीखने की प्रक्रिया को न केवल तेज़, बल्कि अधिक विश्वसनीय और वास्तविक दुनिया की अराजकता के प्रति लचीला बनाने का एक तरीका खोज लिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।