Learning the Supports for Categorical Critic in Reinforcement Learning
यह शोध पत्र एक नवीन एक्टर-क्रिटिक सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) दृष्टिकोण प्रस्तावित करता है जो गॉसियन हिस्टोग्राम लॉस के लिए सपोर्ट बाउंड्स को गतिशील रूप से सीखता है, जिससे पूर्व-निर्धारित अंतराल की आवश्यकता समाप्त हो जाती है और साथ ही एक कड़ा सैद्धांतिक त्रुटि बाउंड प्रदान करने के साथ-साथ निरंतर नियंत्रण कार्यों पर मौजूदा विधियों के तुलनीय या बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चलना, दौड़ना या संतुलन बनाना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, रोबोट को एक "स्कोरकार्ड" (जिसे वैल्यू फंक्शन कहा जाता है) की आवश्यकता होती है जो यह अनुमान लगा सके कि भविष्य में कोई विशेष चाल कितनी अच्छी होगी।
पारंपरिक रूप से, रोबट इस स्कोर की गणना एक एकल संख्या के रूप में करते हैं, जैसे कि एक सटीक तापमान रीडिंग (उदाहरण के लिए, "यह चाल 42.5 अंक के बराबर है")। हालांकि, भविष्य अनिश्चित और अव्यवस्थित होता है। एक चाल 40 अंक की हो सकती है, या किस्मत के आधार पर 80 अंक की भी हो सकती है।
समस्या: "फिक्स्ड बॉक्स" का जाल (The "Fixed Box" Trap)
अनिश्चितता को संभालने के लिए, कुछ उन्नत रोबोट एक विधि का उपयोग करते हैं जिसे डिस्ट्रीब्यूशनल आरएल (Distributional RL) कहा जाता है। एक संख्या का अनुमान लगाने के बजाय, वे संभावनाओं की एक पूरी श्रृंखला का अनुमान लगाते हैं।
यह शोध पत्र एक विशिष्ट तकनीक के बारे में चर्चा करता है जिसे HL-Gauss कहा जाता है। कल्पना कीजिए कि आपके पास एक लंबा, खाली स्केल (एक "सपोर्ट इंटरवल") है जिसका उपयोग आप इन स्कोर को मापने के लिए करते हैं। आप इस स्केल को 128 छोटे बक्सों (बिन्स) में विभाजित करते हैं। रोबोट यह सीखना शुरू करता है कि, "इस बात की 10% संभावना है कि स्कोर बॉक्स 1 में गिरेगा, 20% संभावना बॉक्स 2 में है," इत्यादि।
चुनौती: पुराने तरीके में, आपको रोबोट के सीखना शुरू करने से पहले ही स्केल की लंबाई पहले से चुननी पड़ती थी।
- यदि स्केल बहुत छोटा है: रोबोट के भविष्य के स्कोर स्केल के अंत से बाहर निकल सकते हैं। रोबोट वह जानकारी खो देता है, जैसे कि 1-फुट के स्केल से 10-फुट लंबे डंडे को मापने की कोशिश करना। वह कट (ट्रंकेट) जाता है, और रोबट गलत सबक सीखता है।
- यदि स्केल बहुत लंबा है: 10-फुट के डंडे को मापने के लिए, आप 1 मील लंबा स्केल इस्तेमाल कर सकते हैं। लेकिन यदि आपके पास उस मील को कवर करने के लिए केवल 128 बॉक्स हैं, तो प्रत्येक बॉक्स बहुत बड़ा हो जाएगा। रोबोट यह अंतर नहीं कर पाएगा कि स्कोर 50 है या 51, क्योंकि दोनों एक ही विशाल बॉक्स में गिर जाएंगे। "रेज़ोल्यूशन" (विभेदन) बहुत धुंधला हो जाएगा।
बड़ी समस्या यह है कि वास्तविक जीवन में, हमें नहीं पता कि स्केल कितना लंबा होना चाहिए। जैसे-जैसे रोबोट सीखता है, उसके कौशल बदलते हैं, इसलिए संभावित स्कोर की रेंज भी बदल जाती है। एक नौसिखिए के लिए जो स्केल उपयोगी है, वह एक विशेषज्ञ के लिए बेकार हो सकता है।
समाधान: "स्मार्ट, स्ट्रेची रूलर" (DySEL)
लेखक एक नया एल्गोरिदम प्रस्तावित करते हैं जिसे DySEL (डायनेमिक सपोर्ट एंडपॉइंट लर्निंग) कहा जाता है। एक निश्चित स्केल के बजाय, वे रोबोट को एक लचीला (स्ट्रेची), खुद को एडजस्ट करने वाला स्केल देते हैं।
यह कैसे काम करता है, इसके लिए एक सरल उदाहरण देखते हैं:
कल्पना कीजिए कि रोबोट रेत के ढेर (संभावित भविष्य के स्कोर) को एक बाल्टी (स्केल) में फिट करने की कोशिश कर रहा है।
- लक्ष्य: रोबोट चाहता है कि बाल्टी जितनी हो सके उतनी छोटी हो ताकि रेत कसकर भरी रहे (उच्च रेज़ोल्यूशन), लेकिन यह इतनी बड़ी भी होनी चाहिए कि बिना बाहर गिरे सारी रेत को संभाल सके।
- द्वंद्व:
- यदि बाल्टी बहुत छोटी है, तो रेत बाहर गिर जाएगी (ट्रंकेशन एरर)।
- यदि बाल्टी बहुत बड़ी है, तो रेत बहुत पतली फैली हुई होगी (लो रेज़ोल्यूशन)।
- खेल: लेखकों ने रोबोट के मस्तिष्क के भीतर एक "तग-ऑफ-वार" (min-max गेम) सेट किया है:
- खिलाड़ी A (ऑप्टिमाइज़र): माप को सटीक बनाने के लिए बाल्टी को सिकोड़ने की कोशिश करता है।
- खिलाड़ी B (एनफोर्सर): एक सुरक्षा गार्ड की तरह काम करता है। यदि खिलाड़ी A बाल्टी को बहुत अधिक सिकोड़ देता है और रेत बाहर गिरने लगती है, तो खिलाड़ी B "रुको!" चिल्लाता है और बाल्टी को इतना फैलाने के लिए मजबूर करता है कि वह गिरने वाली रेत को पकड़ सके।
यह खींचतान रोबोट को सीखने के हर चरण में स्केल का सही आकार स्वचालित रूप से खोजने की अनुमति देती है। यदि रोबोट अभी शुरुआत कर रहा है और स्कोर कम हैं, तो बाल्टी छोटी रहती है। जैसे-जैसे रोबोट बेहतर होता जाता है और स्कोर बहुत बड़े होते जाते हैं, बाल्टी उन्हें समाहित करने के लिए खिंच जाती है, और यह सब बिना किसी मानव प्रोग्रामर द्वारा आकार का अनुमान लगाए होता है।
उन्होंने क्या पाया?
शोधकर्ताओं ने विभिन्न रोबोट कार्यों पर इस "स्ट्रेची रूलर" का परीक्षण किया, जैसे कि एक आभासी चीता (virtual cheetah) को दौड़ना या एक ह्युमनॉइड (मानव जैसा रोबोट) को चलाना।
- यह काम करता है: स्ट्रेची रूलर वाला रोबोट अधिकांश कार्यों पर निश्चित स्केल वाले सर्वश्रेष्ठ रोबोटों के समान प्रदर्शन करता है।
- यह कठिन मामलों में चमकता है: बहुत कठिन कार्यों (जैसे "ह्युमनॉइड" चलने वाले कार्यों) पर, स्ट्रेची रूलर वास्तव में बेहतर प्रदर्शन करता है। ऐसा इसलिए है क्योंकि इन कार्यों में स्कोर की रेंज बहुत अनिश्चित और व्यापक होती है, जिसे एक निश्चित स्केल ठीक से नहीं संभाल पाता।
- कोई अनुमान नहीं: सबसे बड़ी जीत यह है कि अब इंसानों को हर नए रोबोट के लिए सही स्केल का आकार अनुमान लगाने में समय बर्बाद करने की आवश्यकता नहीं है। रोबोट इसे अपने आप समझ लेता है।
संक्षेप में
यह शोध पत्र एक तरीका पेश करता है जिससे AI अपने भविष्य के पुरस्कारों की "रेंज" का अनुमान लगाना बंद कर सके और रेंज को खुद सीखना शुरू कर सके। रेंज को "टाइट रखने" और "सभी डेटा को पकड़ने" के बीच एक संतुलन बनाकर, रोबोट अधिक कुशलता से सीखता है और उन त्रुटियों से बचता है जो एक बहुत छोटे या बहुत धुंधले स्केल के कारण होती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।