Revisiting Mixture Policies in Entropy-Regularized Actor-Critic
यह शोध पत्र मिश्रण नीतियों (mixture policies) में मानक लाइकलीहुड-रेश्यो विधियों की उच्च विचरण (high variance) की समस्या को दूर करने के लिए एक मार्जिनलाइज्ड रीपैरामीट्राइजेशन (MRP) एस्टिमेटर का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि यह दृष्टिकोण मिश्रण नीतियों को निरंतर एक्शन सुदृढीकरण लर्निंग (continuous action reinforcement learning) कार्यों में गॉसियन नीतियों के प्रदर्शन के बराबर या उससे बेहतर बनाने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चलना सिखा रहे हैं, या किसी वीडियो गेम के पात्र को पहेली सुलझाना सिखा रहे हैं। ऐसा करने के लिए, रोबोट को एक "मस्तिष्क" (जिसे पॉलिसी कहा जाता है) की आवश्यकता होती है जो यह तय करे कि उसे आगे क्या कदम उठाना है।
लंबे समय तक, ऐसा मस्तिष्क बनाने का सबसे लोकप्रिय तरीका इसे एक सबसे अच्छा अनुमान लगाने के लिए बनाना था। इसे एक मौसम पूर्वानुमानकर्ता की तरह समझें जो हमेशा कहता है, "तापमान 72 डिग्री रहेगा।" यह सरल है और अधिकांश समय अच्छा काम करता है। AI की दुनिया में, इसे गौसियन पॉलिसी (Gaussian policy) कहा जाता है।
हालाँकि, कभी-कभी दुनिया बहुत उलझी हुई होती है। शायद सबसे अच्छा कदम केवल एक चीज़ नहीं है; शायद जीतने के दो या तीन पूरी तरह से अलग तरीके हो सकते हैं, और रोबte को किसी भी स्थिति के लिए तैयार रहने की आवश्यकता है। एक एकल अनुमान (single guess) इसे कैप्चर नहीं कर सकता। यहीं पर मिश्रण नीतियां (Mixture Policies) काम आती हैं।
समस्या: वह "स्विस आर्मी नाइफ" जो बहुत भारी था
इस शोध पत्र के लेखकों ने पूछा: क्यों न हम रोबोट को एक सिंगल-टूल ब्रेन के बजाय एक "स्विस आर्मी नाइफ" वाला मस्तिष्क दें? एक स्विस आर्मी नाइफ (एक मिश्रण नीति) में कई उपकरण (मोड्स) होते हैं जिनके बीच वह स्विच कर सकता है। यह अधिक लचीला है और जटिल स्थितियों को बेहतर ढंग से संभाल सकता है।
लेकिन यहाँ एक पेंच है: हालांकि यह सिद्धांत में बहुत अच्छा लगता है, लेकिन व्यवहार में कोई इसका उपयोग नहीं कर रहा था। क्यों? क्योंकि इस स्विस आर्मी नाइफ को सिखाने के लिए गणित टूटा हुआ था। इन रोबोटों को सिखाने का मानक तरीका (जिसे लाइकलीहुड-रेशियो/Likelihood-Ratio कहा जाता है) ऐसा था जैसे किसी नई भाषा को रैंडम अंदाज़े लगाकर सीखने की कोशिश करना और उम्मीद करना कि आप सही हो जाएँगे। यह धीमा था, शोर भरा था, और अक्सर रोबोट के क्रैश होने का कारण बनता था।
प्रसिद्ध एल्गोरिदम SAC (सॉफ्ट एक्टर-क्रिटिक), जो रोबोट सिखाने के लिए स्वर्ण मानक (gold standard) है, को इस स्विस आर्मी नाइफ को छोड़कर वापस सिंगल-टूल ब्रेन की ओर लौटना पड़ा क्योंकि जटिल वाले के लिए गणित ठीक से काम नहीं कर रहा था।
समाधान: "मार्जिनलाइज्ड रीपैरामीट्राइजेशन" (MRP) ट्रिक
लेखकों ने मार्जिनलाइज्ड रीपैरामीट्राइजेशन (MRP) नामक एक नया गणितीय चमत्कार (trick) ईजाद किया।
यहाँ एक उपमा (analogy) दी गई है:
- पुराना तरीका (Likelihood-Ratio): कल्पना कीजिए कि आप कोहरे से भरे पहाड़ों के बीच सबसे ऊँची चोटी खोजने की कोशिश कर रहे हैं। पुराना तरीका एक मानचित्र पर तीर फेंकने जैसा है, यह देखने जैसा है कि वह कहाँ गिरता है, और फिर चिल्लाना, "ठीक है, मैं अपना बेस कैंप वहीं बनाऊँगा!" लेकिन क्योंकि मानचित्र धुंधला (शोर भरा) है, आप अक्सर गलत चिल्लाते हैं, और आपका बेस कैंप बेतहाशा इधर-उधर कूदता रहता है।
- नया तरीका (MRP): नया तरीका एक सुपर-सटीक GPS होने जैसा है। अंदाज़ा लगाने के बजाय, यह गणना करता है कि रोबोट द्वारा लिए जा सकने वाले प्रत्येक संभावित मार्ग के लिए सटीक रास्ता क्या होगा, उन सभी का औसत निकालता है, और फिर एक सुचारू, स्पष्ट निर्देश देता है। यह "शोर" और बेतहाशा उछाल को हटा देता है।
यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह नया GPS तरीका बहुत अधिक स्थिर है और रोबोट के क्रैश होने की संभावना कम है।
उन्होंने क्या पाया
शोधकर्ताओं ने इस नई पद्धति का विभिन्न प्रकार के कार्यों पर परीक्षण किया, साधारण वीडियो गेम भौतिकी (जैसे एक पोल को संतुलित करना) से लेकर जटिल रोबोटिक भुजाओं (जैसे बास्केटबॉल उठाना या खिलौना असेंबल करना) तक।
- यह बस उतना ही अच्छा है (आमतौर पर): अधिकांश मानक, अच्छी तरह से डिज़ाइन किए गए वीडियो गेम वातावरण में, नया "स्विस आर्मी नाइफ" मस्तिष्क पुराने "सिंगल टूल" मस्तिष्क के समान ही अच्छा प्रदर्शन करता है। इसने कुछ भी खराब नहीं किया।
- यह अंधेरे में बेहतर है: असली जादू उन वातावरणों में हुआ जहाँ पुरस्कार "अनशेप्ड" (unshaped) थे। कल्पना कीजिए कि एक रोबोट पहाड़ चढ़ने की कोशिश कर रहा है, लेकिन उसे "अच्छा काम किया" का संकेत केवल तभी मिलता है जब वह बिल्कुल शीर्ष पर पहुँच जाता है। रास्ते में कोई संकेत नहीं मिलते।
- पुराना मस्तिष्क (सिंगल टूल) एक घाटी में फंस जाएगा, यह सोचकर कि यही वह सर्वश्रेष्ठ है जो वह कर सकता है।
- नया मस्तिष्क (स्विस आर्मी नाइफ) एक साथ विभिन्न रास्तों की खोज करता रहा। क्योंकि यह एक साथ कई "विचारों" को रख सकता था, इसलिए यह छिपी हुई चोटी को खोजने में बहुत बेहतर था।
- यह "एन्ट्रॉपी" को बेहतर ढंग से संभालता है: AI में, "एन्ट्रॉपी" एक फैंसी शब्द है जिसका अर्थ है "रैंडमनेस" या "एक्सप्लोरेशन" (खोज)। शोध पत्र दिखाता है कि यदि आप रोबोट को बहुत रैंडम (अधिक एक्सप्लोर करने के लिए) होने के लिए मजबूर करते हैं, तो पुराना मस्तिष्क अक्सर टूट जाता है और सीखना बंद कर देता है। नया मस्तिष्क स्थिर रहता है और अराजक होने के बावजूद भी सीखता रहता है।
मुख्य निष्कर्ष
यह शोध पत्र एक जटिल विचार (मिश्रण नीतियां) को लेता है जो सैद्धांतिक रूप से शानदार था लेकिन व्यावहारिक रूप से बेकार था, इसके गणित को ठीक करता है ताकि यह सुचारू रूप से काम कर सके, और यह दिखाता है कि यह एक विश्वसनीय उपकरण है।
- क्या यह कोई जादुई समाधान (magic bullet) है? नहीं, यह रोबोट को हर स्थिति में सुपरह्यूमन नहीं बनाता है।
- क्या यह उपयोगी है? हाँ। यह AI को एक अधिक लचीला मस्तिष्क देता है जो आसान कार्यों में पुराने मस्तिष्क जितना ही अच्छा है, लेकिन उन कठिन समस्याओं को खोजने और हल करने में काफी बेहतर है जहाँ सफलता का रास्ता स्पष्ट नहीं है।
उन्होंने सफलतापूर्वक एक "सैद्धांतिक जिज्ञासा" को एक व्यावहारिक उपकरण में बदल दिया है जिसे इंजीनियर वास्तव में स्मार्ट, अधिक मजबूत रोबोट बनाने के लिए उपयोग कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।