Adaptive Multi-Horizon Reinforcement Learning
यह शोध पत्र एक अनुकूलनशील मल्टी-होराइजन सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) विधि प्रस्तावित करता है जो निश्चित छूट कारकों (डिस्काउंट फैक्टर्स) की सीमाओं को दूर करने के लिए गतिशील रूप से टेम्पोरल होराइजन्स का चयन और संयोजन करता है, जिससे जटिल, परिवर्तनशील वातावरण और निरंतर शिक्षण परिदृश्यों में पैरामीटर दक्षता और अनुकूलन क्षमता में वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। अच्छे निर्णय लेने के लिए, रोबोट को यह जानने की आवश्यकता है कि उसे वर्तमान की तुलना में भविष्य की कितनी परवाह करनी चाहिए। कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से सुदृढीकरण लर्निंग (Reinforcement Learning) नामक एक क्षेत्र में (जहाँ एजेंट परीक्षण और त्रुटि के माध्यम से सीखते हैं), इस संतुलन को आमतौर पर एक एकल, अपरिवर्तनीय सेटिंग द्वारा नियंत्रित किया जाता है जिसे "डिस्काउंट फैक्टर" (discount factor) कहा जाता है। इसे एक निश्चित रंग वाले चश्मे की तरह समझें: यदि रंग बहुत गहरा है, तो रोबोट केवल अपनी नाक के सामने की चीज़ों को देखता है और कुछ कदम दूर हो रही किसी भी चीज़ को अनदेखा कर देता है। यदि रंग बहुत हल्का है, तो रोबोट दूर की संभावनाओं से इतना विचलित हो जाता है कि वह अपने सामने आने वाली तत्काल बाधा से बचना भूल जाता है। लंबे समय तक, वैज्ञानिकों ने माना कि पूरी सीखने की प्रक्रिया के लिए एक निश्चित सेटिंग ही पर्याप्त है। लेकिन यदि आप देखें कि मनुष्य और जानवर कैसे सोचते हैं, तो वे बहुत अधिक समझदार लगते हैं। वे तत्काल खतरों पर ध्यान केंद्रित करने के लिए ज़ूम इन कर सकते हैं या एक लंबी यात्रा की योजना बनाने के लिए ज़ूम आउट कर सकते हैं, जो स्थिति के आधार पर अपने मानसिक "चश्मे" को बदल सकते हैं। यह शोध पत्र एक सरल लेकिन शक्तिशाली प्रश्न पूछता है: क्या हम एक ऐसा रोबोट बना सकते हैं जो केवल एक जोड़ी चश्मे में फंसे रहने के बजाय, चलते-फिरते अपने स्वयं के चश्मे बदल सके?
शोधकर्ता, मानूश सामिए, डोइना प्रेकप और पॉल मासैट, एक नई विधि प्रस्तावित करते हैं जिसे "एडेप्टिव मल्टी-होराइजन रिइन्फोर्समेंट लर्निंग" (Adaptive Multi-Horizon Reinforcement Learning) कहा जाता है। रोबोट को भविष्य को देखने का केवल एक तरीका चुनने के लिए मजबूर करने के बजाय, वे इसे अलग-अलग "विज़न सेटिंग्स" (या नियोजन क्षितिज/planning horizons) का एक पूरा टूलबॉक्स एक साथ देते हैं। विशेषज्ञ सलाहकारों की एक टीम की कल्पना करें, जहाँ एक सलाहकार अगले पाँच मिनट के प्रति जुनूनी है, दूसरा अगले एक घंटे के बारे में सोच रहा है, और तीसरा अगले एक दिन के लिए योजना बना रहा है। रोबोट का मस्तिष्क फिर एक स्मार्ट मैनेजर की तरह कार्य करता है, जो इन सभी सलाहकारों को सुनता है लेकिन उस सलाहकार पर अधिक ध्यान देता जिसकी सलाह वर्तमान स्थिति के लिए सबसे अधिक तर्कसंगत हो। यदि रोबोट एक ऐसी भूलभुलैया में है जहाँ पुरस्कार दूर-दूर बिखरे हुए हैं, तो वह दीर्घकालिक योजनाकार की बात अधिक सुनता है। यदि वह एक ऐसे जाल में है जहाँ उसे तेज़ी से कार्य करने की आवश्यकता है, तो वह अल्पकालिक योजनाकार की बात अधिक सुनता है।
यह शोध पत्र कुछ अलग-अलग वीडियो गेम जैसे वातावरणों में इस विचार का परीक्षण करता है। सबसे पहले, उन्होंने दिखाया कि सरल पहेलियों में, भविष्य को देखने का "सर्वश्रेष्ठ" तरीका लेआउट के आधार पर बदल जाता है। कभी छोटा दृश्य सबसे अच्छा होता है; कभी लंबा दृश्य सबसे अच्छा होता है। फिर, उन्होंने देखा कि पुरस्कार कितने "स्पार्स" (sparse) थे—अर्थात, अच्छी चीज़ों को ढूँढना कितना कठिन था। उन्होंने पाया कि जब पुरस्कार दूर-दूर तक फैले हुए थे, तो सफलता के लिए रोबमाट को एक लंबे दृश्य की आवश्यकता थी। जब पुरस्कार बार-बार और पास मिलते थे, तो एक छोटे दृश्य ने बेहतर काम किया। इससे सिद्ध हुआ कि एक एकल, निश्चित सेटिंग हर काम के लिए एकदम सही नहीं हो सकती।
अंत में, उन्होंने अपने नए "मल्टी-एडवाइजर" सिस्टम को एक निरंतर सीखने (continual learning) के परिदृश्य में परखा, जहाँ रोबोट को एक के बाद एक तीन अलग-अलग कार्यों के बीच स्विच करना था। परिणाम उत्साहजनक थे। सिस्टम ने न केवल प्रत्येक कार्य को सीखा; इसने स्वचालित रूप से यह भी पता लगा लिया कि प्रत्येक नए चैलेंज के लिए किस "विज़न सेटिंग" पर भरोसा करना है। जब कार्य बिखरी हुई वस्तुओं को इकट्ठा करने से बदलकर एक विशिष्ट लक्ष्य तक पहुँचने में बदल गया, तो रोबोट के आंतरिक मैनेजर ने अपने सलाहकारों पर ध्यान केंद्रित करना बदल दिया। अंतिम, सबसे जटिल कार्य में, रोबोट ने एक बड़ी, समय-सीमित पुरस्कार को पकड़ने और फिर छोटी पुरस्कारों को इकट्ठा करने में सफलतापूर्वक महारत हासिल की, एक ऐसा कार्य जिसमें एकल, निश्चित सेटिंग वाले रोबोट अक्सर विफल हो जाते हैं। लेखक सुझाव देते हैं कि यह दृष्टिकोण सीखने को अधिक कुशल और अनुकूल बनाता है, ठीक वैसे ही जैसे जैविक मस्तिष्क वास्तविक, परिवर्तनशील दुनिया को संभालते हैं। हालाँकि शोध पत्र में उल्लेख किया गया है कि परिणाम सिमुलेशन में मापे गए थे और रैंडम शुरुआती स्थितियों के आधार पर कुछ भिन्नता दिखाई दी, लेकिन मूल विचार कायम है: एक एजेंट को विभिन्न समय परिप्रेक्ष्यों को लचीले ढंग से संयोजित करने की क्षमता देना निर्णय लेने में सुधार करने का एक शक्तिशाली तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।