Gaussian Process Aggregation for Root-Parallel Monte Carlo Tree Search with Continuous Actions
यह शोध पत्र निरंतर एक्शन स्पेस (continuous action spaces) में रूट-पैरेलल मोंटे कार्लो ट्री सर्च के लिए एक गॉसियन प्रोसेस-आधारित एकत्रीकरण विधि प्रस्तावित करता है, जो अनुमान समय में मामूली वृद्धि के साथ ही अनट्राइड (untried) एक्शन्स के मूल्यों का प्रभावी ढंग से अनुमान लगाकर छह डोमेन में मौजूदा रणनीतियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं, लेकिन उसे कोई नक्शा देने के बजाय, आप उसे लाखों छोटे-छोटे अनुमान लगाने देते हैं। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) की दुनिया है, जहाँ एक एजेंट 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से सीखता है, और लक्ष्य तक पहुँचने का सबसे अच्छा रास्ता खोजने की कोशिश करता है। इसके लिए सबसे स्मार्ट टूल्स में से एक है जिसे मोंटे कार्लो ट्री सर्च (MCTS) कहा जाता है। MCTS को एक बहुत ही व्यवस्थित 'दिनों में सपने देखने वाले' (daydreamer) के रूप में सोचें: यह अपने दिमाग में हजारों संभावित भविष्यों का अनुकरण (simulate) करता है, और उस रास्ते को चुनता है जो सबसे अधिक आशाजनक दिखता है। लेकिन यहाँ एक पेंच है: यदि रोबोट को लाखों अलग-अलग कोणों या गति से चुनाव करना है (एक "कंटीन्यूअस" एक्शन स्पेस), तो वह हर एक चीज़ की जाँच नहीं कर सकता। उसे अनुमान लगाना ही होगा।
इन अनुमानों को तेज़ बनाने के लिए, वैज्ञानिक अक्सर पैरेलल कंप्यूटिंग (parallel computing) का उपयोग करते हैं, जो ऐसा है जैसे आठ अलग-अलग दोस्तों को काम पर रखना, जिनमें से प्रत्येक अपना खुद का सपनों का सेट एक साथ चला रहा हो। बड़ा सवाल यह है कि जब वे आठों दोस्त अपना काम पूरा कर लेते हैं, तो आप एक ही सबसे अच्छे कदम को चुनने के लिए उनके सुझावों को कैसे मिलाते हैं? यदि आप केवल उस दोस्त को चुनते हैं जिसने सबसे अधिक अनुमान लगाए, तो आप एक ऐसे प्रतिभाशाली विचार को खो सकते हैं जो केवल कुछ ही चीज़ों को आज़माने वाले दोस्त ने दिया हो। यदि आप केवल उच्चतम स्कोर वाले दोस्त को चुनते हैं, तो आप एक बार भाग्यशाली हो सकते हैं लेकिन अगली बार असफल हो सकते हैं। यह शोध पत्र इस पेचीदा समस्या पर काम करता है कि जब विकल्प अंतहीन और तरल हों (जैसे "बाएँ" या "दाएँ" जैसी सरल सूची के बजाय), तो इन विभिन्न सूचनाओं के प्रवाह को कैसे मिलाया जाए।
समस्या: बहुत सारे दोस्त, पर समय कम
कल्पना कीजिए कि आप आठ दोस्तों के समूह के साथ एक रोड ट्रिप की योजना बना रहे हैं। आप सभी एक ही घर (रूट स्टेट) से शुरू करते हैं और आप में से प्रत्येक पड़ोस को एक्सप्लोर करने के लिए अलग दिशा में निकल जाता है। आपके पास एक सख्त समय सीमा है—शायद आगे कहाँ जाना है यह तय करने के लिए केवल 10 मिनट।
अतीत में, जब विकल्प सरल थे (जैसे "बाएँ मुड़ें" या "दाएँ मुड़ें"), तो समूह बस वोट देता था। जिस दिशा को सबसे अधिक वोट मिलते हैं, वही जीतती है। लेकिन क्या होगा यदि आपके विकल्प 'कंटीन्यूअस' (निरंतर) हों? क्या होगा यदि आप स्टीयरिंग व्हील को किसी भी कोण पर, 0 से 360 डिग्री तक घुमा सकें? अब, यह असंभव है कि हर कोई बिल्कुल उसी कोण पर वोट दे क्योंकि आप सभी ने थोड़े अलग रास्ते चुने हैं।
कुछ पिछले तरीकों ने इसे इस तरह हल करने की कोशिश की कि, "ठीक है, चलिए उनमें से एक द्वारा चुने गए सबसे अच्छे कोण को ही चुन लेते हैं।" अन्य लोगों ने यह कहने की कोशिश की, "आइए उन कोणों को देखें जो हमने आजमाए हैं और अनुमान लगाएं कि उनके आस-पास के कोण भी अच्छे हो सकते हैं।" लेकिन इन तरीकों में एक दोष था: वे केवल उन्हीं विशिष्ट कोणों को देखने तक सीमित थे जिन्हें उन्होंने पहले ही आज़माया था। वे एक नया, आदर्श कोण कल्पित नहीं कर सके जो अभी तक किसी ने सोचा भी न हो। यह एक कैंपफायर (अलाव) सेट करने के लिए सबसे अच्छी जगह खोजने जैसा है, जहाँ आप केवल उन जगहों को देख रहे हैं जहाँ आपके दोस्तों ने पहले ही बैठा है, भले ही आदर्श स्थान उस घास के बीच में हो जहाँ कोई नहीं बैठा था।
नया विचार: जादुई क्रिस्टल बॉल (गौसियन प्रोसेस)
इस शोध पत्र के लेखक, जुनलिन जिआओ (Junlin Xiao) और उनकी टीम ने दोस्तों की रिपोर्ट को मिलाने का एक चतुर नया तरीका निकाला है। वे अपने तरीके को GPR2P (Gaussian Process Regression for Root-Parallel MCTS) कहते हैं।
केवल आजमाए गए और परीक्षित कदमों की सूची से सबसे अच्छा कोण चुनने के बजाय, GPR2P एक जादुई क्रिस्टल बॉल की तरह काम करता है। यह आठ दोस्तों के सभी डेटा को लेता है—वे कोण जो उन्होंने आजमाए और उनका प्रदर्शन कैसा रहा—और पूरे पड़ोस का एक सहज, अदृश्य मानचित्र (map) बनाता है। यह मानचित्र केवल उन स्थानों को नहीं दिखाता जहाँ उन्होंने यात्रा की; यह पूर्वानुमान लगाता है कि यदि उन्होंने बीच के कोणों को आज़माया होता तो क्या होता।
इसे बिंदुओं को जोड़ने (connecting the dots) के रूप में सोचें। यदि आपके दोस्त ने पहिया 10 डिग्री घुमाया और वह ठीक था, और दूसरे दोस्त ने 20 डिग्री घुमाया और वह बहुत बढ़िया था, तो एक साधारण वोट शायद 20 को चुन लेगा। लेकिन GPR2P उस वक्र (curve) को देखता है और कहता है, "हे, 10 और 20 डिग्री के बीच की रेखा बताती है कि 15 डिग्री वास्तव में परफेक्ट स्पॉट हो सकता है, भले ही किसी ने इसे आज़माया न हो!" यह अंतराल को भरने के लिए गौसियन प्रोसेस रिग्रेशन (Gaussian Process Regression) नामक एक सांख्यिकीय उपकरण का उपयोग करता है, जिससे सबसे अच्छे संभावित कदमों की एक निरंतर तस्वीर बनती है।
उन्होंने क्या पाया: स्मार्ट अनुमान, न कि केवल अधिक अनुमान
टीम ने इस विचार का परीक्षण छह अलग-अलग वीडियो-गेम जैसे संसारों में किया, जिसमें चंद्रमा पर अंतरिक्ष यान को उतारने से लेकर एक पहाड़ी पर कार चलाने तक शामिल है। उन्होंने अपने "क्रिस्टल बॉल" तरीके की तुलना पुराने वोटिंग तरीकों और "बेस्ट ट्राईड एंगल" वाले तरीकों से की।
यहाँ उनकी खोजें दी गई हैं:
- क्रिस्टल बॉल की जीत: लगभग हर परीक्षण में, GPR2P ने अन्य तरीकों की तुलना में बेहतर रास्ते खोजे। इसने लगातार ऐसे एक्शन चुने जो उच्च स्कोर या तेज़ पूर्णता की ओर ले गए।
- यह केवल गति के बारे में नहीं है: उन्होंने यह जांचा कि क्या यह तरीका इसलिए जीत रहा है क्योंकि यह सोचने में अधिक समय लेता है। उन्होंने पाया कि भले ही GPR2P को अपना पूर्वानुमान लगाने में थोड़ा अधिक समय (प्रति स्टेप कुछ मिलीसेकंड अधिक) लगा, लेकिन प्रदर्शन में सुधार इस समय के लायक था। भले ही उन्होंने पुराने तरीकों को अधिक अनुमान लगाने के लिए वह अतिरिक्त समय दिया, फिर भी GPR2P शीर्ष पर रहा।
- "अनट्राइड" (बिना आज़माया गया) का लाभ: उनकी सफलता का एक प्रमुख हिस्सा यह था कि GPR2P वास्तव में एक ऐसा कोण चुन सकता था जिसे किसी ने आज़माया नहीं था। कुछ कठिन वातावरणों में, जैसे कि एक संकीकर गलियारा जहाँ सही चाल बहुत विशिष्ट होती है, पुराने तरीके फंस गए क्योंकि वे अपनी सीमित सूची में सटीक सही कोण नहीं खोज सके। हालाँकि, GPR2P उस गैप के बीच में "देख" सकता था और सही कोण चुन सकता था।
- पेंडुलम का मोड़: एक अपवाद था। एक कार्य में जिसमें एक झूलता हुआ पेंडुलम शामिल था, जैसे-जैसे समूह के पास सोचने का समय बढ़ा, GPR2P का लाभ कम होता गया। यह पता चला कि एक बार जब दोस्तों ने एक जटिल "स्विंग-एंड-स्विंग" रणनीति को समझने के लिए पर्याप्त समय लगा लिया, तो सरल वोटिंग तरीकों ने बराबरी कर ली। यह सुझाव देता है कि जबकि क्रिस्टल बॉल छिपे हुए रत्नों को जल्दी खोजने के लिए महान है, यह हर समस्या को तुरंत हल करने वाला जादुई डंडा नहीं है।
निष्कर्ष
यह शोध पत्र दिखाता है कि जब आपके पास एक समस्या पर समानांतर (parallel) रूप से काम करने वाली योजनाकारों की एक टीम है, तो आपको केवल समूह के विजेता को ही नहीं चुनना चाहिए। इसके बजाय, आपको उनके अनुभवों को मिलाने और नई संभावनाओं की कल्पना करने के लिए एक स्मार्ट सांख्यिकीय मॉडल का उपयोग करना चाहिए।
लेखकों ने पाया कि जटिल, निरंतर दुनिया में निर्णय लेने के लिए GPR2P एक अधिक विश्वसनीय तरीका है। यह केवल डेटा को एकत्रित नहीं करता; यह समस्या के आकार को समझता है। हालांकि इसके लिए अपना "मानचित्र" बनाने के लिए थोड़ी अतिरिक्त कंप्यूटिंग शक्ति की आवश्यकता होती है, लेकिन परिणाम बताते हैं कि बेहतर समाधान खोजने के लिए यह एक छोटा सा मूल्य है। यह शोध पत्र यह दावा नहीं करता कि इसने सब कुछ हल कर दिया है—अभी भी सीमाएँ हैं, विशेष रूप से बहुत अराजक या अप्रत्याशित वातावरण में—लेकिन यह रोबोट और एआई को अपनी चालें चलाने की योजना बनाने में एक महत्वपूर्ण प्रगति प्रदान करता है जब दुनिया उन्हें चुनने के लिए सरल विकल्पों की सूची नहीं देती।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।