A Generative Adversarial Network for Goal Oriented Subgoal Training Exploration and Rewards
यह शोध पत्र GANGSTER को पेश करता है, जो एक जनरेटिव एडवरसैरियल नेटवर्क फ्रेमवर्क है जो जटिल निरंतर-नियंत्रण (continuous-control) वातावरणों में सैंपल दक्षता, स्थिरता और अंतिम प्रदर्शन में महत्वपूर्ण सुधार करने के लिए संरचित उपलक्ष्यों (structured subgoals) को प्रशिक्षित करके TD3 और SAC जैसे ऑफ-पॉलिसी सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम को उन्नत करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक निरंतर बनी रहने वाली पहेली है जिसे 'एक्सप्लोरेशन प्रॉब्लम' (अन्वेषण समस्या) के रूप में जाना जाता है। कल्पना कीजिए कि आप एक रोबोट को कमरे के आर-पार चलना सिखा रहे हैं। यदि रोबोट केवल यादृच्छिक (रैंडम) गतिविधियों का प्रयास करता है, तो वह अंततः अपने पैरों को चलाने का सही तरीका खोज सकता है, लेकिन इसमें उसे लाखों प्रयास लग सकते हैं, या शायद वह इसे कभी समझ ही न पाए। यह विशेष रूप से तब सच होता है जब रोबोट को पूरे कमरे को सफलतापूर्वक पार करने के बाद ही इनाम मिलता है, बजाय इसके कि उसे हर सही कदम के लिए एक छोटा सा संकेत मिले। यह देरी मशीन के लिए यह समझना अविश्वसनीय रूप से कठिन बना देती है कि किन विशिष्ट कार्यों ने सफलता दिलाई। वर्षों तक, शोधकर्ताओं ने बड़े कार्यों को छोटे, मध्यवर्ती लक्ष्यों में तोड़कर इसे हल करने का प्रयास किया है, जिसे 'हाइरार्किकल लर्निंग' (श्रेणीबद्ध शिक्षण) कहा जाता है। हालाँकि, इन विधियों के लिए अक्सर मनुष्यों को यह मैन्युअल रूप से परिभाषित करने की आवश्यकता होती है कि वे छोटे लक्ष्य क्या होने चाहिए, जो रोबोट की नई या जटिल स्थितियों के अनुकूल होने की क्षमता को सीमित करता है।
बिंगमटन यूनिवर्सिटी के शोधकर्ताओं ने इस चुनौती से निपटने का एक नया तरीका प्रस्तावित किया है, जो मशीन को बिना किसी मानवीय निर्देश के अपने स्वयं के मध्यवर्ती लक्ष्य खोजने की अनुमति देता है। उन्होंने एक प्रणाली विकसित की जिसे GANGSTER कहा जाता है, जिसका अर्थ है 'जेनरेटिव एडवरसेरियल नेटवर्क फॉर गोल ओरिएंटेड सबगोल ट्रेनिंग, एक्सप्लोरेशन एंड रिवार्ड्स'। इसका मूल विचार एक प्रकार के आर्टिफिशियल इंटेलिजेंस का उपयोग करना है जो रोबoret के लिए उपयोगी "वेपॉइंट्स" (मार्ग चिह्न) उत्पन्न करने के लिए खुद के विरुद्ध प्रतिस्पर्धा करके सीखता है। यादृच्छिक अनुमान लगाने के बजाय, सिस्टम विशिष्ट अवस्थाओं (states) का प्रस्ताव करना सीखता है—जैसे रोबोट के पैरों की एक विशेष स्थिति—जिसके सफल होने की संभावना अधिक हो, जो रोबोट के वर्तमान स्थान से पहुँचने योग्य हो, और जो सीखने की प्रक्रिया को ताज़ा रखने के लिए पिछले प्रयासों से पर्याप्त रूप से भिन्न हो। शोधकर्ताओं ने इस प्रणाली का परीक्षण चीता, चींटी और वॉकर जैसे आभासी जीवों वाले जटिल सिम्युलेटेड वातावरण में किया, जिससे पता चला कि इसने मशीनों को तेजी से और अधिक विश्वसनीय रूप से सीखने में मदद की, विशेष रूप से सबसे कठिन कार्यों में।
शोधकर्ताओं ने अपने सिस्टम को मौजूदा, शक्तिशाली लर्निंग एल्गोरिदम के साथ काम करने के लिए बनाया है, बिना उनके मौलिक संचालन को बदले। इस लर्निंग एल्गोरिदम को एक ऐसे छात्र के रूप में सोचें जो एक कठिन गणित की समस्या को हल करने की कोशिश कर रहा है, और नए सिस्टम को एक ट्यूटर (शिक्षक) के रूप में देखें जो एक सहायक मध्यवर्ती चरण का सुझाव देता है। छात्र अभी भी काम करता है और नियम सीखता है, लेकिन ट्यूटर एक आशाजनक पथ की ओर इशारा करता है। इस मामले में, "ट्यूटर" एक जेनरेटिव मॉडल है जिसे उम्मीदवार उप-लक्ष्यों (subgoals) को बनाने के लिए प्रशिक्षित किया गया है। जब रोबoret एक नया प्रयास शुरू करता है, तो मॉडल संभावित लक्ष्यों की एक सूची बनाता है। फिर यह लक्ष्यों को तीन मानदंडों के आधार पर स्कोर करता है: यदि रोबोट उन तक पहुँच जाता है तो परिणाम कितना अच्छा होगा, रोबोट के लिए वर्तमान स्थिति से वहाँ पहुँचना कितना आसान है, और विविधता सुनिश्चित करने के लिए लक्ष्य दूसरों से कितना अलग है। सिस्टम सबसे अच्छे लक्ष्य को चुनता है और रोबोट को उसके करीब पहुँचने के लिए एक छोटा, तत्काल इनाम देता है, जिससे एक लंबी, भ्रमित करने वाली यात्रा को प्रबंधनीय चरणों की एक श्रृंखला में बदल दिया जाता है।
यह देखने के लिए कि क्या वास्तव में यह दृष्टिकोण काम करता है, टीम ने मुजोको (MuJoCo) नामक मानक रोबोटिक सिमुलेशन के एक समूह का उपयोग करके व्यापक प्रयोग किए। ये वातावरण सरल कार्यों, जैसे पेंडुलम को संतुलित करना, से लेकर अत्यधिक जटिल कार्यों, जैसे कि एक आभासी चींटी को नियंत्रित करना जिसके आठ पैरों को आगे बढ़ने के लिए अपनी गतिविधियों में समन्वय करना पड़ता है, तक विस्तृत हैं। शोधकर्ताओं ने अपने GANGSTER-संवर्धित रोबोट्स की तुलना मानक रोबोट्स से की जो बिना इस अतिरिक्त मार्गदर्शन के सीख रहे थे। परिणामों ने एक स्पष्ट पैटर्न दिखाया: वातावरण जितना अधिक जटिल होता, नया सिस्टम उतना ही अधिक मदद करता। सरल कार्यों में, मानक रोबोट ठीक प्रदर्शन करते थे, और नए सिस्टम को बहुत कम लाभ मिला। हालाँकि, उच्च-जटिलता वाले वातावरण में, अंतर नाटकीय था। उदाहरण के लिए, 'Ant-v5' वातावरण में, GANGSTER सिस्टम ने कार्य को हल करने में लगने वाले समय को लगभग 31 प्रतिशत कम कर दिया और मानक पद्धति की तुलना में अंतिम प्रदर्शन में 53 प्रतिशत की वृद्धि की। एक अन्य परीक्षण में, एक आभासी चीते के साथ, सिस्टम ने समाधान की निरंतरता को 99 प्रतिशत से अधिक में सुधार दिया, जिसका अर्थ है कि एक बार कार्य सीखने के बाद रोबोट शायद ही कभी विफल हुआ।
अध्ययन ने यह भी खुलासा किया कि सिस्टम की सफलता इस बात पर बहुत निर्भर करती थी कि मध्यवर्ती लक्ष्यों को कैसे चुना गया। शोधकर्ताओं ने तीन मानदंडों—अच्छाई (goodness), पहुँच योग्यता (reachability), और विविधता (variety)—के बीच विभिन्न वेटेज (भार) का परीक्षण किया और पाया कि "अच्छाई" के लक्ष्य को प्राथमिकता देना सबसे महत्वपूर्ण कारक था। वे लक्ष्य जो उच्च भविष्य के इनाम का वादा करते थे, मार्गदर्शन के लिए सबसे प्रभावी थे। हालाँकि, अन्य दो कारक स्थिरता के लिए आवश्यक थे; यह जाँच किए बिना कि क्या कोई लक्ष्य सुलभ है, रोबोट असंभव लक्ष्यों की ओर अग्रसर होगा, और विविधता सुनिश्चित किए बिना, रोबोट एक ही चीज़ को बार-बार करने में फंस जाएगा। सिस्टम लचीला साबित हुआ, जो दो अलग-अलग प्रकार के लर्निंग एल्गोरिदम के साथ अच्छी तरह से काम करता है, और इसके लाभ कठिन कार्यों के साथ बढ़ते गए। यह सुझाव देता है कि जैसे-जैसे आर्टिफिशियल इंटेलिजेंस का सामना अधिक जटिल वास्तविक दुनिया की चुनौतियों से होता है, उपयोगी मध्यवर्ती लक्ष्यों को स्वचालित रूप से उत्पन्न करने और प्राथमिकता देने वाला तंत्र अधिक कुशल और विश्वसनीय सीखने की कुंजी हो सकता है।
हालाँकि सिस्टम ने सिमुलेशन में बहुत बड़ी संभावना दिखाई, शोधकर्ता इसकी सीमाओं को लेकर भी सावधान थे। इन अतिरिक्त लक्ष्यों को उत्पन्न करने और उनका मूल्यांकन करने की प्रक्रिया के लिए अतिरिक्त कंप्यूटिंग शक्ति की आवश्यकता होती है, जिससे प्रशिक्षण प्रक्रिया मानक विधियों की तुलना में धीमी हो जाती है। सरल वातावरण में जहाँ रोबोट अपने आप जल्दी सीख सकता है, यह अतिरिक्त लागत लाभ के लायक नहीं है। इसके अलावा, वर्तमान परीक्षण केवल एक सिम्युलेटेड डिजिटल दुनिया में आयोजित किए गए थे। शोधकर्ता स्वीकार करते हैं कि इसे वास्तविक दुनिया के रोबोटों पर लागू करने के लिए सेंसर शोर (sensor noise) और सुरक्षा बाधाओं जैसे मुद्दों को संबोधित करने की आवश्यकता होगी जो कंप्यूटर सिमुलेशन में मौजूद नहीं होते हैं। इन चेतावनियों के बावजूद, यह कार्य मशीनों को जटिल वातावरण को अपने आप एक्सप्लोर करने के तरीके सिखाने की दिशा में एक महत्वपूर्ण कदम प्रदर्शित करता है। कठिन समस्याओं को प्राप्त करने योग्य चरणों में तोड़ने का एक संरचित तरीका प्रदान करके, GANGSTER फ्रेमवर्क अधिक सक्षम आर्टिफिशियल इंटेलिजेंस सिस्टम के लिए एक व्यावहारिक मार्ग प्रदान करता है जो वास्तविक दुनिया की अव्यवस्थित, लंबी-अवधि की चुनौतियों का सामना कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।