Training slow silicon neurons to control extremely fast robots with spiking reinforcement learning
यह शोध पत्र प्रदर्शित करता है कि एक मिश्रित-सिग्नल न्यूरोमॉर्फिक प्रोसेसर पर चलने वाला एक कॉम्पैक्ट स्पाइकिंग न्यूरल नेटवर्क, सुदृढीकरण सीखने (रिनफोर्समेंट लर्निंग) के माध्यम से एक एयर हॉकी रोबोट को वास्तविक समय में नियंत्रित करने के लिए प्रशिक्षित किया जा सकता है, जो सह-डिज़ाइन किए गए एल्गोरिदम और हार्डवेयर के माध्यम से मस्तिष्क-प्रेरित हार्डवेयर को तेज़ गति वाले रोबोटिक नियंत्रण के साथ सफलतापूर्वक जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही धीमी, ऊर्जा-कुशल कंप्यूटर बुद्धि (brain) को एक रोबोटिक हाथ के साथ एयर हॉकी का तेज़ खेल खेलने के लिए सिखाने की कोशिश कर रहे हैं। वास्तव में यह शोध पत्र यही वर्णन करता है।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, जिसे सरल अवधारणाओं में विभाजित किया गया है:
चुनौती: एक धीमा दिमाग बनाम एक तेज़ खेल
एयर हॉकी पलक झपकते ही निर्णय लेने वाला खेल है। पक्क (puck) टेबल पर 1.5 मीटर प्रति सेकंड की गति से उड़ता है। जीतने के लिए, आपको यह अनुमान लगाने की आवश्यकता है कि वह कहाँ जाएगा और अपने मैलेट (mallet) को तुरंत हिलाने की आवश्यकता है।
आमतौर पर, शक्तिशाली कंप्यूटर (जैसे आपके फोन या लैपटॉप में होते हैं) इसमें बहुत अच्छे होते हैं, लेकिन वे पेट्रोल की भारी खपत करने वाली स्पोर्ट्स कारों की तरह होते हैं: वे तेज़ तो होते हैं लेकिन बहुत अधिक ऊर्जा जलाते हैं। शोधकर्ताओं ने एक अलग प्रकार की "बुद्धि" का उपयोग करना चाहा—जो हमारे अपने मस्तिष्क के काम करने के तरीके से प्रेरित हो। इन्हें न्यूरोमॉर्फिक चिप्स (neuromorphic chips) कहा जाता है। इन्हें अल्ट्रा-एफिशिएंट इलेक्ट्रिक स्कूटर के रूप में सोचें: वे बहुत कम बिजली का उपयोग करते हैं और जानकारी को एक अनूठे तरीके से प्रोसेस करते हैं, जिसमें बिजली के निरंतर भारी प्रवाह के बजाय छोटी-छोटी विद्युत चिंगारियों (जिन्हें स्पाइक्स कहा जाता है) का उपयोग किया जाता है।
बड़ी समस्या क्या है? ये "स्कूटर दिमाग" स्वाभाविक रूप से "स्पोर्ट्स कार" कंप्यूटरों की तुलना में धीमे और कम सटीक होते हैं। शोधकर्ताओं ने पूछा: क्या एक धीमा, ऊर्जा-कुशल दिमाग, वास्तविक समय (real-time) में एक तेज़ रोबोट को नियंत्रित करना सीख सकता है?
समाधान: एक "रिजर्वायर" और एक "कोच"
इसे हल करने के लिए, उन्होंने तीन मुख्य भागों वाला एक सिस्टम बनाया:
- अनुवादक (इनपुट): रोबोट के सेंसर पक्क की स्थिति और गति को देखते हैं। चूंकि चिप एक अलग भाषा बोलती है (स्पाइक्स), इसलिए एक कंप्यूटर इस डेटा को विद्युत चिंगारियों के एक तीव्र क्रम में अनुवादित करता है।
- "रिजर्वायर" (छिपा हुआ दिमाग): यह चिप का मुख्य हिस्सा है। कल्पना करें कि एक कटोरा है जो 1,020 नन्हे, हिलते हुए मोतियों (न्यूरॉन्स) से भरा है जो रैंडम धागों से जुड़े हुए हैं। जब "अनुवादक" कटोरे में एक चिंगारी भेजता है, तो मोती एक जटिल पैटर्न में इधर-उधर उछलने लगते हैं। यह "रिजर्वायर" विशेष है क्योंकि इसे यह सीखने की ज़रूरत नहीं है कि कैसे उछलना है; इसके रैंडम कनेक्शन पहले से ही खेल की टाइमिंग और लय (rhythm) को पकड़ने के लिए एकदम सही हैं। यह एक ड्रम सेट की तरह है जो गाना सुनने मात्र से ही उसकी बीट को स्वाभाविक रूप से समझ जाता है।
- कोच (रीडआउट): केवल यही हिस्सा है जो वास्तव में सीखता है। यह रिजर्वायर में उछलते हुए मोतियों को देखता है और निर्णय लेता है, "ठीक है, इस पैटर्न के आधार पर, मुझे रोबोटिक हाथ को बाएं या दाएं हिलाना चाहिए।"
उन्होंने इसे कैसे सिखाया: प्रयास और त्रुटि (Trial and Error)
उन्होंने रोबोट को नियम नहीं सिखाए। इसके बजाय, उन्होंने रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) का उपयोग किया, जो एक कुत्ते को प्रशिक्षित करने जैसा है।
- पुरस्कार (Reward): यदि रोबोट पक्क को मारता है और उसे आगे भेजता है, तो "कोच" को एक ट्रीट (सकारात्मक स्कोर) मिलता है। यदि वह चूक जाता है या बहुत अधिक समय लेता है, तो उसे एक छोटा दंड मिलता है।
- सीखने का नियम (e-prop): यही असली जादू है। कोच को यह समझने के लिए कि क्या गलत हुआ, पूरे खेल को शुरू से अंत तक देखने की आवश्यकता नहीं है (जिसमें बहुत समय लगता है), बल्कि यह एक स्थानीय नियम का उपयोग करता है। यह केवल उस चीज़ को देखता है जो अभी हुई है और अपने कनेक्शनों को थोड़ा सा समायोजित करता है। यह गिरने के बाद अपने गिरने के वीडियो का विश्लेषण करने के बजाय, हर सेकंड संतुलन के छोटे सुधार करके साइकिल चलाना सीखने जैसा है।
परिणाम: "खिलौने" से "वास्तविक जीवन" तक
इस तकनीक के साथ पिछले प्रयोग सरल वीडियो गेम (जैसे पोंग) तक सीमित थे जहाँ नियम आसान थे और दुनिया छोटी थी। इस शोध पत्र ने उस तकनीक को लिया और उसे एक वास्तविक, भौतिक रोबोट में डाल दिया।
- सेटअप: एक वास्तविक आकार की एयर हॉकी टेबल (लगभग 2 मीटर लंबी) पर एक रोबोटिक हाथ।
- गति: रोबोट को हर सेकंड 50 बार निर्णय लेना था।
- परिणाम: लगभग 1,500 से 2,000 गेम (एपिसोड) के बाद, सिस्टम ने 96% से 98% बार जीतने के लिए महारत हासिल कर ली, भले ही पक्क को अलग-अलग गति और अलग-अलग जगहों से फेंका गया हो।
यह क्यों महत्वपूर्ण है
यह शोध पत्र दिखाता है कि एक तेज़ रोबोट को नियंत्रित करने के लिए आपको एक विशाल, अत्यधिक शक्ति खपत करने वाले सुपरकंप्यूटर की आवश्यकता नहीं है। आप केवल 1,020 न्यूरॉन्स वाली एक छोटी, कम शक्ति वाली चिप का उपयोग कर सकते हैं (जो मानव मस्तिष्क के अरबों न्यूरॉन्स की तुलना में बहुत कम है) और एक जटिल, तेज़-तर्रार भौतिक कार्य में महारत हासिल कर सकते हैं।
उन्होंने साबित किया कि यदि आप सिस्टम को सही ढंग से डिज़ाइन करते हैं, तो "धीमे" सिलिकॉन न्यूरॉन्स "तेज़" रोबोटों के साथ तालमेल बिठा सकते हैं। यह दिखाने जैसा है कि एक छोटा, कुशल इलेक्ट्रिक स्कूटर वास्तव में एक स्पोर्ट्स कार को हरा सकता है, यदि ड्राइवर को पता हो कि मोड़ पर हैंडल कैसे संभालना है।
संक्षेप में: उन्होंने एक छोटी, ऊर्जा-कुशल, चिंगारी-आधारित कंप्यूटर बुद्धि को एक रोबोटिक हाथ के साथ एयर हॉकी खेलने के लिए सिखाया, जिससे यह सिद्ध हुआ कि मस्तिष्क से प्रेरित हार्डवेयर बिना किसी विशाल पावर प्लांट की आवश्यकता के वास्तविक दुनिया के उच्च-गति वाले कार्यों को संभाल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।