Representation Learning Enables Scalable Multitask Deep Reinforcement Learning
यह शोध पत्र तर्क देता है कि मॉडल-आधारित योजना (model-based planning) के बजाय प्रतिनिधित्व शिक्षण (representation learning), स्केलेबल मल्टीटास्क सुदृढीकरण शिक्षण (multicast reinforcement learning) का प्राथमिक चालक है, जो प्रस्तावित MR.Q एल्गोरिदम का प्रदर्शन करता है—जो एक मॉडल-मुक्त एक्टर-क्रिटिक फ्रेमवर्क में प्रेडिक्टिव रिप्रेजेंटेशन को उच्च-क्षमता वाले वैल्यू फंक्शन एप्रोक्सिमेशन के साथ जोड़ता है—जो विविध निरंतर नियंत्रण कार्यों (continuous control tasks) में जटिल वर्ल्ड-मॉडल बेसलाइनों से बेहतर प्रदर्शन करता है और साथ ही कंप्यूटेशनल ओवरहेड को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कई अलग-अलग काम करना सिखाने की कोशिश कर रहे हैं: चलना, कप उठाना, वीडियो गेम खेलना और पहेलियाँ सुलझाना। अतीत में, रोबोट को ये कौशल सिखाने का सबसे अच्छा तरीका उसे दुनिया का एक "मानसिक मानचित्र" (mental map) देना था। रोबोट पहले यह सीखता कि भौतिकी (physics) कैसे काम करती है (जैसे, "यदि मैं इसे धक्का दूँ, तो यह गिर जाएगा"), अपने दिमाग में एक सिमुलेशन बनाता है, और फिर वास्तव में काम करने से पहले समस्या को हल करने के विभिन्न तरीकों की "कल्पना" करता है। यह एक शतरंज खिलाड़ी की तरह है जो मोहरे को छूने से पहले दस चालों की कल्पना करता है।
यह शोध पत्र तर्क देता है कि यह "मानसिक मानचित्र और कल्पना" वाला दृष्टिकोण वास्तव में बहुत जटिल और अक्षम है। इसके बजाय, एक साथ कई चीजें करने के लिए रोबोट को सिखाने का रहस्य बेहतर योजना बनाना नहीं है; बल्कि बेहतर स्मृति (memory) और अवलोकन (observation) कौशल है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. पुराना तरीका: "कल्पना" करने वाला रोबोट
हाल के उन्नत रोबोट (जैसे कि Newt नाम का रोबोट) एक "वर्ल्ड मॉडल" बनाकर सीखने की कोशिश करते हैं। वे लगातार भविष्यवाणी करने की कोशिश करते हैं कि आगे क्या होगा।
- उपमा: एक छात्र की कल्पना करें जो स्कूल के हर विषय को सीखने की कोशिश कर रहा है। "कल्पना" करने वाला छात्र अपना 90% समय इस बात के बारें में दिवास्वप्न (daydreaming) देखने में बिताता है कि ब्रह्मांड कैसे काम करता है और अपने दिमाग में परीक्षण परिदृश्यों का सिमुलेशन बनाता है। वे केवल 10% समय वास्तव में परीक्षा देने में बिताते हैं।
- समस्या: हालांकि दिवास्वप्न देखना मददगार होता है, लेकिन इसमें बहुत अधिक ऊर्जा (कंप्यूटिंग पावर) और समय लगता है। साथ ही, यदि दिवास्वप्न थोड़ा सा भी गलत हो जाए, तो छात्र भ्रमित हो जाता है और सिमुलेशन को ठीक करने में समय बर्बाद करता है।
2. नया तरीका: "सुपर-ऑब्जर्वर" रोबोट (MR.Q)
लेखक एक सरल रोबोट प्रस्तावित करते हैं जिसे MR.Q कहा जाता है। यह रोबोट भविष्य का अनुमान लगाने या आगे की योजना बनाने की कोशिश नहीं करता है। इसके बजाय, यह पूरी तरह से रिप्रेजेंटेशन लर्निंग (Representation Learning) पर ध्यान केंद्रित करता है।
- उपमा: यह एक ऐसा छात्र है जो दिवास्वप्न नहीं देखता। इसके बजाय, वह नोट्स लेने में अविश्वसनीय रूप से कुशल है। जब वह एक नई समस्या देखता है, तो वह तुरंत पैटर्न को पहचान लेता है क्योंकि उसने स्थिति के "सार" (essence) को समझना सीख लिया है। उसे भविष्य का सिमुलेशन करने की आवश्यकता नहीं है; वह वर्तमान की स्पष्ट और व्यवस्थित समझ के आधार पर बस यह जानता है कि क्या करना है।
- सीक्रेट सॉस: रोबोट को एक विशेष "होमवर्क" असाइनमेंट के साथ प्रशिक्षित किया जाता है। उसे यह भविष्यवाणी करनी होती है कि आगे क्या होगा (जैसे कि "यदि मैं बाईं ओर मुड़ता हूँ, तो मुझे एक दीवार दिखाई देगी"), लेकिन वह उस भविष्यवाणी का उपयोग वास्तव में कोई कदम उठाने के लिए कभी नहीं करता है। वह उस भविष्यवाणी का उपयोग केवल अपने "नोट्स" (दुनिया के प्रति उसकी आंतरिक समझ/रिप्रेजेंटेशन) को और अधिक सटीक बनाने के लिए करता है।
3. बड़ी खोज: दिवास्वप्न से अधिक महत्वपूर्ण हैं नोट्स
शोधकर्ताओं ने दर्जनों विभिन्न कार्यों (चलना, दौड़ना, वस्तुओं का संचालन करना) में अपने "सुपर-ऑब्जर्वर" रोबोट का "कल्पना" करने वाले रोबोट के विरुद्ध परीक्षण किया।
- परिणाम: "सुपर-ऑब्जर्वर" (MR.Q) ने "कल्पना" करने वाले रोबोट की तुलना में तेजी से सीखा, कम कंप्यूटर पावर का उपयोग किया, और समान रूप से (या बेहतर) प्रदर्शन किया।
- निष्कर्ष: "कल्पना" करने वाला रोबोट वास्तव में अपनी योजना बनाने की क्षमता के कारण अच्छा प्रदर्शन नहीं कर रहा था, बल्कि इसलिए अच्छा कर रहा था क्योंकि उसके दिवास्वप्न ने उसे बेहतर नोट्स लेने के लिए मजबूर किया था। "सुपर-ऑब्जर्वर" ने बिना ऊर्जा बर्बाद किए सीधे तौर पर वे ही उच्च-गुणवत्ता वाले नोट्स लिए।
4. बड़ा होना बेहतर है (केवल तभी जब आपके पास अच्छे नोट्स हों)
आमतौर पर, AI में, यदि आप रोबोट का दिमाग (पैरामीटर्स) बड़ा करते हैं, तो वह अधिक स्मार्ट हो जाता है। लेकिन इस शोध ने एक पेच (catch) पाया:
- अच्छे नोट्स के बिना: यदि आप एक ऐसे रोबोट को बड़ा दिमाग देते हैं जो कच्चे डेटा (raw data) को बिना व्यवस्थित किए केवल देखता है, तो दिमाग भ्रमित हो जाता है। यह एक विशाल पुस्तकालय देने जैसा है जो किसी ऐसे व्यक्ति को दिया गया है जो पढ़ नहीं सकता; अतिरिक्त स्थान मदद नहीं करता।
- अच्छे नोट्स के साथ: यदि रोब的に "सुपर-ऑब्जर्वर" प्रशिक्षण (अनुमानित शिक्षण) के साथ है, तो दिमाग को बड़ा करना चमत्कार कर सकता है। अतिरिक्त मस्तिष्क शक्ति का उपयोग वास्तव में अधिक जटिल पैटर्न को समझने के लिए किया जाता है।
5. वास्तविक दुनिया की दक्षता
चूंकि "सुपर-ऑब्जर्वर" भविष्य का सिमुलेशन करने में समय बर्बाद नहीं करता है, इसलिए यह वास्तविक समय में बहुत तेज़ है।
- उपमा: "कल्पना" करने वाला रोबोट एक ऐसे शेफ की तरह है जो हर सामग्री को चखता है, अपने दिमाग में रेसिपी का सिमुलेशन करता है, और फिर खाना पकाता है। "सुपर-ऑब्जर्वर" एक ऐसे शेफ की तरह है जिसने स्वाद के प्रोफाइल को इतनी अच्छी तरह से याद कर लिया है कि वह तुरंत सही व्यंजन बना सकता है। दोनों एक शानदार भोजन बना सकते हैं, लेकिन दूसरा शेफ इसे बहुत तेज़ी से और कम गैस खर्च करके मेज पर ला सकता है।
सारांश
यह शोध पत्र दावा करता है कि सुदृढीकरण सीखने (Reinforcement Learning - कई कार्यों को सिखाने) को स्केल करने के लिए, हमें आगे की योजना बनाने वाले जटिल "वर्ल्ड मॉडल्स" की आवश्यकता नहीं है। हमें बस AI को भविष्य के बारे में दुनिया को बेहतर ढंग से समझने के माध्यम से सिखाने की आवश्यकता है। AI कैसे जानकारी को देखता है और व्यवस्थित करता है, इस पर ध्यान केंद्रित करके, हम योजना बनाने की भारी कंप्यूटेशनल लागत के बिना स्मार्ट, तेज़ और अधिक कुशल एजेंट बना सकते हैं।
संक्षेप में: रोबोट को भविष्य के बारे में दिवास्वप्न देखना न सिखाएं; उसे वर्तमान के बारे में बेहतर नोट्स लेना सिखाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।