Learning the Right Abstraction: Neural Reduced Dynamics for Complex Robot Control
यह शोध पत्र एक न्यूरल रिड्यूस्ड डायनेमिक्स (NRD) फ्रेमवर्क प्रस्तुत करता है जो उच्च-थ्रूपुट सुदृढीकरण शिक्षण (reinforcement learning) को सक्षम करने के लिए नियंत्रण-प्रासंगिक अवस्था अमूर्तता (control-relevant state abstractions) सीखता है, जो उच्च-निष्ठा वाले सिम्युलेटरों की तुलना में चार आदेशों (orders of magnitude) अधिक तेज़ी से मॉडल को सफलतापूर्वक प्रशिक्षित करता है और प्रदर्शन में गिरावट के बिना विविध भूभागों पर जटिल रोबोटिक कार्यों के लिए प्रभावी रूप से स्थानांतरित होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वास्तविक दुनिया में चलने वाले रोबोटों के सामने एक मौलिक समस्या होती है: उनकी गति का भौतिक विज्ञान (फिजिक्स) अविश्वसनीय रूप से जटिल है। जब कोई वाहन नरम मिट्टी पर चलता है, तो जमीन धंसती और खिसकती है; जब एक रोबोटिक हाथ हिलता है, तो उसके जोड़ गुरुत्वाकर्षण और उसके अपने वजन के साथ परस्पर क्रिया करते हैं। इन बलों को समझने के लिए, इंजीनियर उच्च-सटीकता वाले सिमुलेटर (high-fidelity simulators) का उपयोग करते हैं—ऐसे कंप्यूटर प्रोग्राम जो आभासी प्रयोगशालाओं की तरह कार्य करते हैं। ये प्रोग्राम घर्षण, विरूपण (deformation) और संपर्क के हर विवरण की गणना करते हैं, जिससे वास्तविक हार्डवेयर को छूने से पहले ही रोबोट के व्यवहार का परीक्षण करने के लिए एक यथार्थवादी वातावरण मिलता है। हालांकि, इस वास्तविकता की एक भारी कीमत चुकानी पड़ती है। इन विस्तृत सिमुलेशन को चलाना इतना धीमा है कि एक कंप्यूटर को रोबोट के जीवन के कुछ सेकंड सिम्युलेट करने में घंटों लग सकते हैं। यह गति आधुनिक शिक्षण विधियों का उपयोग करके रोबोट को नए कौशल सिखाना लगभग असंभव बना देती है, जिन्हें यह समझने के लिए लाखों अभ्यास प्रयासों की आवश्यकता होती है कि क्या काम करता है और क्या नहीं।
इसे हल करने के लिए, शोधकर्ताओं ने लंबे समय से "सीखे गए" (learned) मॉडल बनाने की कोशिश की है—सरलीकृत कंप्यूटर प्रोग्राम जो सिमुलेटर के व्यवहार की नकल करते हैं लेकिन बहुत तेजी से चलते हैं। चुनौती हमेशा सरलीकरण के सही स्तर को खोजने की रही है। यदि मॉडल बहुत सरल है, तो यह उस महत्वपूर्ण भौतिकी को छोड़ देता है जिसकी रोबोट को जीवित रहने के लिए आवश्यकता होती है, जैसे कि टायर कीचड़ पर कैसे फिसलता है। यदि यह बहुत जटिल है, तो यह उपयोगी होने के लिए बहुत धीमा बना रहता है। केंद्रीय प्रश्न केवल यह नहीं है कि मॉडल को तेज़ कैसे बनाया जाए, बल्कि यह है कि अनावश्यक विवरणों को कैसे हटाया जाए जबकि उन विशिष्ट भौतिक सत्यों को बनाए रखा जाए जिन पर एक कंट्रोलर वास्तव में निर्भर करता है।
विस्कॉन्सिन-मैडिसन विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या के समाधान के लिए एक नया दृष्टिकोण विकसित किया है, जिसमें उन्होंने एक ढांचा तैयार किया है जिसे वे 'न्यूरल रिड्यूस्ड डायनेमिक्स' (neural reduced dynamics) कहते हैं। उनका कार्य यह प्रदर्शित करता है कि सफलता की कुंजी केवल डेटा को संकुचित करना नहीं है, बल्कि सावधानीपूर्वक यह चुनना है कि कौन से भौतिक चर (variables) रखने हैं और किन को त्यागना है, जो रोबोट द्वारा किए जाने वाले विशिष्ट कार्य पर आधारित हो। एक जटिल मशीन के हर एक विवरण को सीखने के बजाय, उनकी विधि मॉडल को केवल उन विशिष्ट गतिविधियों और बलों पर ध्यान केंद्रित करना सिखाती है जो एक दिए गए काम के लिए महत्वपूर्ण हैं, जबकि बाकी को ज्ञात गणितीय नियमों का उपयोग करके गणना किया जाता है। यह मॉडल को मूल सिमुलेटर की तुलना में हजारों गुना तेजी से चलने की अनुमति देता है, फिर भी यह एक ऐसा रोबोट कंट्रोलर बनाता है जो धीमे, यथार्थवादी वातावरण में परीक्षण किए जाने पर पूरी तरह से काम करता है।
शोधकर्ताओं ने इस विचार का परीक्षण दो बहुत अलग रोबोटिक प्रणालियों पर किया। पहला एक सैन्य-शैली का पहिये वाला वाहन था, जो हमवी (Humvee) के समान है, जिसे तीन प्रकार के भूभागों में चलने के लिए डिज़ाइन किया गया था: समतल कठोर जमीन, ऊबड़-खाबड़ कठोर जमीन, और नरम, विरूपित मिट्टी। दूसरा सिस्टम एक ट्रैक वाला वाहन था, जैसे कि एक टैंक, जिसके सामने एक रोबोटिक आर्म (हाथ) लगा हुआ है। शोधकर्ताओं को पहिये वाले वाहन को एक पथ का सटीक रूप से अनुसरण करने के लिए और ट्रैक वाले वाहन को अपने ट्रैक्स और अपने हाथ दोनों के साथ विशिष्ट लक्ष्यों तक पहुँचने के लिए सिखाने की आवश्यकता थी। दोनों मामलों में, उच्च-सटीकता वाला सिमुलेटर सीधे रोबोट को प्रशिक्षित करने के लिए बहुत धीमा था।
इस अंतर को पाटने के लिए, टीम ने पहले धीमे सिमुलेटर से डेटा एकत्र किया, जिसमें रोबोट को विभिन्न युद्धाभ्यास (maneuvers) के माध्यम से चलाया गया। फिर उन्होंने इस डेटा का उपयोग एक विशेष न्यूरल नेटवर्क को प्रशिक्षित करने के लिए किया। मुख्य नवाचार यह था कि उन्होंने इस नेटवर्क के लिए इनपुट को कैसे डिजाइन किया। उन्होंने नेटवर्क को रोबोट की पूरी स्थिति (state) नहीं दी। इसके बजाय, उन्होंने इसे एक "रिड्यूस्ड" स्टेट दी—संख्याओं का एक छोटा सेट जिसने केवल आवश्यक भौतिकी को पकड़ा। पहिये वाले वाहन के लिए, इसमें शरीर की गति, उसका झुकाव और प्रत्येक टायर पर दबाव शामिल था, जो मॉडल को यह बताता है कि टायर कितना फिसल रहा है। ट्रैक वाले वाहन के लिए, मॉडल को केवल ट्रैक्स की गति और टर्न के कोण को जानने की आवश्यकता थी। रोबोगी आर्म के लिए, मॉडल ने केवल जोड़ों (joints) की स्थिति और गति पर ध्यान केंद्रित किया।
महत्वपूर्ण रूप से, शोधकर्ताओं ने मॉडल से सब कुछ सीखने के लिए नहीं कहा। उन्होंने मॉडल को उन हिस्सों को सीखने दिया जो भविष्यवाणी करने में कठिन थे, जैसे कि टायर नरम मिट्टी के साथ कैसे परस्पर क्रिया करते हैं या जोड़ कैसे त्वरित (accelerate) होते हैं। उन चीजों के लिए जिन्हें मानक गणित का उपयोग करके सटीक रूप से गणना किया जा सकता है, जैसे कि मानचित्र पर रोबोट की समग्र स्थिति या आर्म के सिरे का सटीक स्थान, उन्होंने मॉडल द्वारा भविष्यवाणी करने के बाद उन मूल्यों की गणना करने के लिए सरल सूत्रों का उपयोग किया। इस अलगाव ने मॉडल को छोटा और तेज़ रहने दिया जबकि वह सटीक भी बना रहा। उन्होंने मॉडल में एक सरल "कॉन्टेक्स्ट" (context) सिग्नल भी जोड़ा, जो उसे बताता था कि जमीन कठोर है या नरम, ताकि वह बिना ज़मीन के प्रकार का अनुमान लगाए अपनी भविष्यवाणियों को समायोजित कर सके।
एक बार मॉडल प्रशिक्षित हो जाने के बाद, शोधकर्ताओं ने इसे 'फ्रीज' कर दिया, जिसका अर्थ है कि उन्होंने इसकी आंतरिक सेटिंग्स को बदलना बंद कर दिया, और इसका उपयोग रोबट की नियंत्रण नीति (control policy) को प्रशिक्षित करने के लिए एक वातावरण के रूप में किया। उन्होंने एक ही ग्राफिक्स कार्ड पर इस तेज़ मॉडल की हजारों प्रतियां समानांतर (in parallel) में चलाईं। इस सेटअप ने रोबोट को कुछ ही मिनटों में लाखों बार अभ्यास करने की अनुमति दी। नियंत्रण नीति पूरी तरह से इसी तेज़, सरलीकृत दुनिया के भीतर सीखी गई।
असली परीक्षा तब हुई जब शोधकर्ताओं ने उस नीति को ली जिसे तेज़ मॉडल में प्रशिक्षित किया गया था और उसे वापस धीमे, उच्च-सटीकता वाले सिमुलेटर में ले गए। वे यह देखना चाहते थे कि क्या रोबोट अभी भी काम करेगा जब सरलीकृत धारणाओं को हटा दिया जाएगा और भौतिकी की पूर्ण जटिलता को बहाल कर दिया जाएगा। परिणाम आश्चर्यजनक थे। पहिये वाले वाहन को, जिसे समतल और नरम मिट्टी के मिश्रण पर प्रशिक्षित किया गया था, तीनों भूभागों में से तीनों पर चलने में सक्षम पाया गया, जिसमें एक ऊबड़-खाबड़ सतह भी शामिल थी जिसे उसने पहले कभी नहीं देखा था। इसने विशेष रूप से केवल एक प्रकार के भूभाग पर प्रशिक्षित रोबोटों की तुलना में बेहतर प्रदर्शन किया, जिससे पता चला कि सीखे गए मॉडल ने केवल विशिष्ट रास्तों को याद करने के बजाय ड्राइविंग के सामान्य नियमों को पकड़ लिया था।
ट्रैक वाले वाहन और उसके हाथ ने भी सफलता प्राप्त की। वाहन के लिए प्रशिक्षित नीति अपने प्रत्येक 100 लक्ष्य स्थानों तक पहुँचने में सक्षम थी, जिसमें त्रुटि का मार्जिन एक मीटर के तीन-चौथाई से भी कम था। आर्म के लिए, जिसे अंतरिक्ष में विशिष्ट बिंदुओं तक पहुँचने के लिए प्रशिक्षित किया गया था, ने 100 में से 97 लक्ष्यों तक पाँच सेंटीमीटर से कम की त्रुटि के साथ सफलतापूर्वक पहुँच प्राप्त की। सबसे महत्वपूर्ण बात यह है कि आर्म कभी भी ज़मीन या वाहन से नहीं टकराया, और इसने कभी भी अपनी स्वयं की जोड़ों की सीमाओं का उल्लंघन नहीं किया, भले ही उसने अपने प्रशिक्षण के दौरान कभी भी पूर्ण, जटिल सिमुलेटर को नहीं देखा था।
दोनों दृष्टिकोणों के बीच गति का अंतर अत्यधिक था। उच्च-सटीकता वाला सिमुलेटर इतना धीमा था कि प्रशिक्षण के लिए अव्यवहारिक था। इसके विपरीत, न्यूरल रिड्यूस्ड डायनेमिक्स मॉडल विशिष्ट कार्य के आधार पर लगभग 10,000 से 58,000 गुना तेज़ चले। इस गति वृद्धि ने रोबोट के व्यवहार पर विचार-विमर्श (iterate) करना त्वरित रूप से संभव बना दिया, जिससे शोधकर्ताओं को प्रशिक्षण प्रक्रिया को परिष्कृत करने की अनुमति मिली जब तक कि रोबोट अपने कार्यों को विश्वसनीय रूप से करना न सीख ले।
अध्ययन यह निष्कर्ष निकालता है कि रोबोट लर्निंग को तेज़ करने का सबसे प्रभावी तरीका एक सामान्य, सरलीकृत दुनिया बनाना नहीं है, बल्कि एक ऐसा मॉडल बनाना है जो कार्य के विशिष्ट भौतिकी के अनुकूल हो। यह देखते हुए कि कंट्रोलर को वास्तव में किन चरों की आवश्यकता होती है और बाकी को ज्ञात गणित के साथ गणना किया जाता है, एक ऐसा लर्निंग एनवायरनमेंट बनाना संभव है जो वास्तविक दुनिया के परिणाम देने के लिए तेज़ और सटीक दोनों हो। शोधकर्ता इस बात पर जोर देते हैं कि हालांकि उनकी सफलता सिमुलेशन में प्रदर्शित की गई थी, लेकिन यह विधि विस्तृत भौतिकी गणनाओं की धीमी गति से बंधे बिना जटिल रोबोटों को प्रशिक्षित करने के लिए एक स्पष्ट मार्ग प्रदान करती है। यह कार्य सुझाव देता है कि रोबोट लर्निंग का भविष्य इस बात में निहित है कि एक मॉडल को क्या सीखना चाहिए और वह क्या आसानी से गणना कर सकता है, इसके बीच सही संतुलन कैसे बनाया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।