Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing

आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनों को अपने परिवेश के अनुकूल बनाने और सीखने के लिए प्रेरित करने का एक निरंतर प्रयास किया जाता है, ठीक वैसे ही जैसे एक बच्चा चलना सीखता है या एक पक्षी उड़ना सीखता है। यह क्षेत्र, जिसे सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) कहा जाता है, कंप्यूटर प्रोग्रामों को अच्छे विकल्पों के लिए पुरस्कृत करके और बुरे विकल्पों के लिए दंडित करके निर्णय लेना सिखाता है। वर्षों से, ये सिस्टम वीडियो गेम खेलने से लेकर रोबोट को नियंत्रित करने तक, जटिल समस्याओं को हल करने में अविश्वसनीय रूप से कुशल होते गए हैं। हालाँकि, इन स्मार्ट प्रोग्रामों को चलाने वाला हार्डवेयर अक्सर भारी होता है और बहुत अधिक बिजली की खपत करता है, ठीक वैसे ही जैसे एक शक्तिशाली डेस्कटॉप कंप्यूटर पर कोई भारी वीडियो गेम चल रहा हो। वैज्ञानिक अब मानव मस्तिष्क से प्रेरित एक अलग प्रकार के कंप्यूटर आर्किटेक्चर की ओर देख रहे हैं, जिसे न्यूरोमॉर्फिक हार्डवेयर कहा जाता है। ये विशेष चिप्स बहुत अधिक ऊर्जा-कुशल और सूचना प्रसंस्करण में तेज़ होने के लिए डिज़ाइन किए गए हैं, लेकिन वे हमारे रोज़मर्रा के कंप्यूटरों की तुलना में मौलिक रूप से अलग तरीके से काम करते हैं। चुनौती यह figuring out करना रही है कि कैसे उन जटिल, उच्च-प्रदर्शन वाले एल्गोरिदम को, जो मानक कंप्यूटरों पर अच्छी तरह काम करते हैं, इस तरह अनुवादित किया जाए कि वे अपनी सीखने की क्षमता खोए बिना इन मस्तिष्क-समान चिप्स पर चल सकें।

शोधकर्ताओं की एक टीम ने इस विशिष्ट पहेली को सुलझाने के लिए विशेष हार्डवेयर पर प्रयास करने से पहले ही एक मानक कंप्यूटर पर एक नया दृष्टिकोण परीक्षण करके इसे हल करने का प्रयास किया। उन्होंने 'कंटीन्यूअस कंट्रोल' नामक एक कठिन प्रकार के कार्य पर ध्यान केंद्रित किया, जहाँ एक मशीन को संतुलित रहने या आगे बढ़ने के लिए सुचारू, निरंतर समायोजन करने होते हैं, जो एक रोबोट के कमरे में बिना गिरे चलने की कोशिश करने के समान है। शोधकर्ताओं ने एक नया सिस्टम बनाया जिसे उन्होंने SANSAC कहा, जिसका अर्थ है स्पाइकिंग एक्टर नेटवर्क सॉफ्ट एक्टर क्रिटिक (Spiking Actor Network Soft Actor Critic)। यह समझने के लिए कि इसमें क्या विशेष है, यह जानना सहायक है कि मानक आर्टिफिशियल इंटेलिजेंस नेटवर्क ऐसे न्यूरॉन्स का उपयोग करते हैं जो एक निरंतर संकेत भेजते हैं, जबकि नया सिस्टम "स्पाइकिंग" न्यूरॉन्स का उपयोग करता है। ये स्पाइकिंग न्यूरॉन्स जैविक कोशिकाओं की तरह होते हैं; वे तब तक शांत रहते हैं जब तक कि उन्हें एक एकल, तीव्र विद्युत स्पंदन, या "स्पाइक" भेजने के लिए पर्याप्त इनपुट प्राप्त नहीं होता, और फिर वे फिर से शांत हो जाते हैं। यह विधि उस सॉफ्टवेयर को बनाने की कुंजी है जो अंततः ऊर्जा-कुशल न्यूरोमॉर्फिक चिप्स पर चल सके। टीम यह देखना चाहती थी कि अपने सीखने वाले रोबोट के मानक मस्तिष्क को इस स्पाइकिंग संस्करण से बदलने से उसके प्रदर्शन को नुकसान पहुँचेगा, या क्या वह उतनी ही अच्छी तरह सीख सकता है।

उत्तर खोजने के लिए, शोधकर्ताओं ने दोनों पारंपरिक सिस्टम और अपने नए स्पाइकिंग सिस्टम को 'बायपेडल वॉकर' (Bipedal Walker) नामक एक सिम्युलेटेड वातावरण में एक कठोर परीक्षण के माध्यम से डाला। इस सिमुलेशन में, एक दो-टांगों वाले रोबट को बिना गिरे आगे चलना सीखना होता है। टीम ने दोनों वर्ज़न के सॉफ्टवेयर को 1,200 प्रयासों, या एपिसोड्स तक प्रशिक्षित किया ताकि यह देखा जा सके कि वे कितनी तेज़ी और प्रभावशीलता से चलना सीख सकते हैं। उन्होंने विभिन्न आकारों की आंतरिक मेमोरी के साथ दोनों प्रणालियों का परीक्षण किया, जो बहुत छोटे से लेकर काफी बड़े तक थे, ताकि यह सुनिश्चित किया जा सके कि परिणाम विभिन्न स्थितियों में भी कायम रहें। परिणाम आश्चर्यजनक रूप से उत्साहजनक थे। नए स्पाइकिंग सिस्टम ने पारंपरिक सिस्टम के समान ही अच्छी तरह से चलना सीखा। सबसे चुनौतीपूर्ण परीक्षणों में, दोनों प्रणालियों ने लगभग 70 से 80 प्रतिशत की सफलता दर हासिल की, जिसका अर्थ है कि वे अधिकांश समय चलने के कार्य को सफलतापूर्वक पूरा कर सकते थे। शोधकर्ताओं ने पाया कि दोनों प्रणालियों के प्रदर्शन में कोई महत्वपूर्ण सांख्यिकीय अंतर नहीं था, जिससे यह सिद्ध हुआ कि स्पाइकिंग दृष्टिकोण दक्षता के लिए बुद्धिमत्ता का त्याग नहीं करता है।

हालाँकि, परीक्षण के दौरान एक स्पष्ट ट्रेड-ऑफ (समझौता) देखा गया। जबकि स्पाइकिंग सिस्टम ने समान रूप से अच्छा प्रदर्शन किया, इसे मानक कंप्यूटर पर प्रशिक्षित करने में काफी अधिक समय लगा। शोधकर्ताओं ने नोट किया कि स्पाइकिंग संस्करण को पारंपरिक संस्करण की तुलना में समान संख्या में प्रशिक्षण एपिसोड पूरा करने के लिए लगभग दोगुना समय लगा। ऐसा इसलिए हुआ क्योंकि मानक कंप्यूटर सूचना को एक सीधी रेखा में संसाधित करने के लिए बना है, जबकि स्पाइकिंग सिस्टम समय और अनुक्रमों (सीक्वेंस) पर निर्भर करता है जो ऐसे हार्डवेयर पर सिम्युलेट करना कठिन है। शोधकर्ताओं ने समझाया कि यह धीमापन गलत प्रकार की मशीन पर सिमुलेशन चलाने का एक आर्टिफैक्ट (परिणाम) है; वास्तविक न्यूरोमॉर्फिक चिप्स पर, जो इस उद्देश्य के लिए डिज़ाइन किए गए हैं, यह सिस्टम संभवतः बहुत तेज़ी से चलेगा क्योंकि वे इन स्पाइक्स को समानांतर (पैरेलल) में प्रोसेस करते हैं, ठीक वैसे ही जैसे एक वास्तविक मस्तिष्क करता है। शोधकर्ताओं ने मानक कंप्यूटर पर ऊर्जा खपत को नहीं मापा क्योंकि डेटा असंगत था, लेकिन लक्ष्य यह सिद्ध करना था कि एल्गोरिदम काम करता है, इससे पहले कि इसे उस हार्डवेयर पर ले जाया जाए जहाँ यह वास्तव में चमकेगा।

अध्ययन ने यह भी देखा कि जब सिस्टम को छोटा बनाया जाता है, यानी कम आंतरिक कनेक्शनों के साथ, तो क्या होता है। जैसा कि अपेक्षित था, दोनों सिस्टम संघर्ष करते दिखे जब नेटवर्क इतना छोटा था कि वह कार्य की जटिलता को संभाल न सके, जिससे सफलता दर गिरकर केवल 10 प्रतिशत रह गई। लेकिन मध्यम रेंज के आकारों में, स्पाइकिंग सिस्टम प्रतिस्पर्धी बना रहा, जिससे पता चला कि यह सीमित संसाधनों के बावजूद जटिल सीखने को संभालने के लिए पर्याप्त मजबूत है। शोधकर्ताओं ने निष्कर्ष निकाला कि उनका कार्य न्यूरोमॉर्फिक आर्टिफिशियल इंटेलिजेंस के भविष्य के लिए एक ठोस आधार प्रदान करता है। उन्होंने प्रदर्शित किया कि यह संभव है कि ऐसे सीखने वाले एल्गोरिदम डिज़ाइन किए जाएं जो इन नए, ऊर्जा-कुशल चिप्स के लिए तैयार हों, बिना प्रदर्शन में गिरावट स्वीकार किए। हालांकि आगे का रास्ता अभी भी भौतिक न्यूरोमॉर्फिक हार्डवेयर पर परीक्षण की मांग करता है ताकि ऊर्जा लाभ की पुष्टि की जा सके, यह पेपर पुष्टि करता है कि सॉफ्टवेयर लॉजिक स्वयं सुदृढ़ है। निष्कर्ष बताते हैं कि कुशल, मस्तिष्क-समान कंप्यूटिंग का भविष्य केवल एक सैद्धांतिक सपना नहीं है, बल्कि एक व्यावहारिक वास्तविकता है जिसे आज बनाया जा सकता है, बशर्ते हम अपने वर्तमान कंप्यूटरों पर प्रशिक्षण समाप्त होने के लिए थोड़ा अधिक प्रतीक्षा करने को तैयार हों।