Direct Advantage Estimation for Scalable and Sample-efficient Deep Reinforcement Learning
यह शोध पत्र डायरेक्ट एडवांटेज एस्टिमेशन (DAE) को आंशिक रूप से अवलोकन योग्य (partially observable) वातावरणों तक विस्तारित करता है और डिस्क्रीट लेटेंट डायनेमिक्स मॉडल्स को पेश करके इसके कम्प्यूटेशनल ओवरहेड को कम करता है, जिससे स्केलेबल और सैंपल-एफिशिएंट डीप रिइन्फोर्समेंट लर्निंग सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। कंप्यूटर विज्ञान के सिद्धांत की एक आदर्श दुनिया में, रोबोट गेम बोर्ड को हर समय पूरी तरह से स्पष्ट रूप से देख पाता है। उसे पता होता है कि हर दुश्मन कहाँ है, उनका स्वास्थ्य कितना है, और क्या होगा यदि वह बाएँ या दाएँ कूदता है। इसे "पूर्णतः दृश्यमान" (fully observable) दुनिया कहा जाता है।
हालाँकि, वास्तविक दुनिया में (और कई जटिल वीडियो गेम में), रोबत्व अक्सर आँखों पर पट्टी बांधे रहता है। वह केवल अपने सामने एक छोटी सी खिड़की देख सकता है। उसे नहीं पता कि दीवार के पीछे क्या है, या उसके पीछे से कोई दुश्मन चुपके से आ रहा है या नहीं। इसे आंशिक रूप से दृश्यमान (Partially Observable) दुनिया कहा जाता है।
यह शोध पत्र इन "आँखों पर पट्टी बंधे" रोबोटों को तेज़ी से और समझदारी से सीखना सिखाने का एक नया तरीका पेश करता है। यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "अंधा" छात्र
रोबोट सिखाने के पिछले तरीके (विशेष रूप से एक विधि जिसे डायरेक्ट एडवांटेज एस्टीमेशन या DAE कहा जाता है) एक ऐसे छात्र को पढ़ाने जैसे थे जो पूरे क्लासरूम को देख सकता था। यदि आप उसी विधि का उपयोग उस छात्र पर करने की कोशिश करते जो कमरे के केवल एक छोटे से कोने को देख सकता है, तो छात्र भ्रमित हो जाएगा और बहुत धीरे सीखेगा।
साथ भी, पुराने तरीके के लिए शिक्षक को पूरी दुनिया का एक विशाल, सटीक मानचित्र बनाने की आवश्यकता होती थी ताकि यह अनुमान लगाया जा सके कि आगे क्या होगा। एक उच्च-परिभाषा (high-definition) वाले वीडियो गेम स्क्रीन के लिए एक रोबोट को यह मानचित्र बनाने के लिए कहना, एक फिल्म के हर एक पिक्सेल को हाथ से बनाने की कोशिश करने जैसा है—इसमें बहुत अधिक कंप्यूटिंग शक्ति और समय लगता है।
2. समाधान: सिखाने का एक नया तरीका
लेखकों ने इन दो समस्याओं को एक चतुर दो-चरणीय दृष्टिकोण के साथ ठीक किया है:
चरण A: "अंधे" छात्र को सिखाना (POMDPs)
उन्होंने गणित को इस तरह अपडेट किया कि रोबोट को पूरी दुनिया देखने की आवश्यकता नहीं है। "दुनिया की स्थिति क्या है?" (जिसे रोबोट नहीं जान सकता) पूछने के बजाय, वे पूछते हैं, "मैंने जो देखा और जो किया उसका इतिहास क्या है?"
- उपमा: कल्पना कीजिए कि आप शतरंज का एक खेल खेल रहे हैं जहाँ आप केवल अपने मोहरों को देख सकते हैं। आप यह नहीं जान सकते कि आपके प्रतिद्वंद्वी के मोहरे वास्तव में कहाँ हैं, लेकिन आप यह याद रख सकते हैं कि आप दोनों ने पिछले 10 चालें क्या चली थीं। उस इतिहास को देखकर, आप अंदाजा लगा सकते हैं कि क्या हो रहा है। नया तरीका रोबोट को अदृश्य वर्तमान को देखने के बजाय अपने "अतीत की स्मृति" पर भरोसा करना सिखाता है।
चरण B: "फोटोग्राफर" के बजाय "स्केच आर्टिस्ट"
पुराना तरीका भविष्य की भविष्यवाणी करने के लिए अगली घटना की एक हाई-डेफिनिशन फोटो लेने की कोशिश करता था। यह धीमा और महंगा है।
नया तरीका एक डिस्क्रीट लेटेंट डायनेमिक्स मॉडल (Discrete Latent Dynamics Model) का उपयोग करता है।
- उपमा: अगली दृश्य की एक पूर्ण, हाई-डेफिनिशन फोटो बनाने के बजाय, रोबोट यह सीखता है कि क्या होगा उसका एक सरल स्केच या एक स्टिक-फिगर डायग्राम कैसे बनाया जाए।
- वह जानता है कि केवल कुछ ही संभावित परिणाम हैं (जैसे, "दुश्मन बाएँ कूद सकता है," "दुश्मन दाएँ कूद सकता है," या "कुछ नहीं होता")।
- वह इन संभावनाओं को "परिदृश्यों" (scenarios) की एक छोटी, सरल सूची (जैसे कि एक बहुविकल्पीय प्रश्नोत्तरी) में समूहित करता है।
- हाई-डेफिनिशन फोटो के बजाय इन सरल स्केच और परिदृश्यों के साथ काम करके, रोबोट बहुत तेज़ी से सीखता है और कम कंप्यूटर शक्ति का उपयोग करता है।
3. परिणाम: तेज़ और स्मार्ट
शोधकर्ताओं ने 47 अलग-अलग अटाari (Atari) वीडियो गेम (जैसे Pong, Breakout, और Space Invaders) पर इस नई विधि का परीक्षण किया।
- "सुपर लर्नर": उनका रोबोट इन खेलों को मौजूदा सर्वश्रेष्ठ रोबोटों के समान ही अच्छी तरह से सीख गया, लेकिन उसे वहां तक पहुँचने के लिए केवल 10% डेटा (अभ्यास समय) की आवश्यकता थी।
- स्केलेबिलिटी (Scalability): उन्होंने दिखाया कि यदि आप रोबोट का "दिमाग" बड़ा करते हैं (अधिक न्यूरॉन्स जोड़ते हैं), तो वह बिना खराब हुए खेलों में बेहतर होता जाता है। यह महत्वपूर्ण है क्योंकि आमतौर पर AI को बड़ा बनाने से वह अस्थिर या प्रशिक्षित करने में कठिन हो जाता है।
- "अंधा" होने का लाभ: उन्होंने सिद्ध किया कि मेमोरी-आधारित दृष्टिकोण (जैसे LSTM, जो अनुक्रमों को याद रखने वाला एक प्रकार का मस्तिष्क है) का उपयोग करना, केवल कुछ वीडियो फ्रेम को एक के ऊपर एक रखने (जिसे "फ्रेम-स्टैकिंग" नामक एक सामान्य ट्रिक कहा जाता है) की तुलना में बहुत बेहतर काम करता है। उन खेलों में जहाँ किसी वस्तु की गति का अनुमान लगाने के लिए आपको यह जानना आवश्यक है कि वह कहाँ जा रही है, "मेमोरी" वाला रोबोट इसे समझ गया, जबकि "फ्रेम-स्टैकिंग" वाला रोबोट भ्रमित हो गया।
सारांश
इस शोध पत्र को रोबोट की सीखने की शैली को अपग्रेड करने के रूप में सोचें।
- पुरानी शैली: "मुझे पूरी दुनिया को पूरी तरह से देखने की आवश्यकता है, और मुझे सीखने के लिए भविष्य के हर एक विवरण का अनुकरण करने की आवश्यकता है।" (धीमा, महंगा, और अंधेरे में विफल)।
- नई शैली: "मैं अपने पिछले अनुभवों को याद रखूँगा, और मैं कुछ संभावित परिदृश्यों का उपयोग करके भविष्य के बारे में सरल, त्वरित अनुमान लगाऊँगा।" (तेज़, कुशल, और तब भी काम करता है जब रोबोट आँखों पर पट्टी बांधे हो)।
परिणामस्वरूप, एक ऐसा रोबोट मिलता है जो अविश्वसनीय दक्षता के साथ वीडियो गेम सीखता है, और पिछले तरीकों की तुलना में बहुत कम अभ्यास समय का उपयोग करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।