Hardware-Aware On-Chip Learning with a Scalable Single-Transistor-based Neuromorphic Platform

आधुनिक कंप्यूटर अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन वे बहुत अधिक ऊर्जा के भूखे भी हैं। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस अधिक जटिल होता जा रहा है, इसे चलाने के लिए आवश्यक ऊर्जा एक बाधा बन गई है, विशेष रूप से उन उपकरणों के लिए जिन्हें छोटी बैटरी पर लंबे समय तक चलना होता है, जैसे कि रोबोट या जंगलों में लगे सेंसर। इसे हल करने के लिए, वैज्ञानिकों ने कंप्यूटिंग के बारे में सोचने के एक अलग तरीके की ओर रुख किया है, जो मानव मस्तिष्क की नकल करता है। एक पारंपरिक कैलकुलेटर की तरह सूचना को एक स्थिर, निरंतर प्रवाह में संसाधित करने के बजाय, ये "न्यूरोमॉर्फिक" (neuromorphic) सिस्टम सूचना के छोटे, असिंक्रोनस स्पाइक्स (spikes) का उपयोग करते हैं। यह तरीका बहुत अधिक कुशल है क्योंकि सिस्टम केवल तभी काम करता है जब कुछ नया संसाधित करने के लिए उपलब्ध हो। हालाँकि, इन मस्तिष्क-समान मशीनों को चलते समय नए कार्य सिखाना एक बड़ी बाधा रही है। अधिकांश डिजाइनों में, एक न्यूरॉन की आंतरिक अवस्था—उसने अभी क्या प्राप्त किया है उसकी "याद"—हार्डवेयर के भीतर छिपी होती है, जिससे सिस्टम के लिए अपने स्वयं के कनेक्शनों को समायोजित करना और गलतियों से सीखना लगभग असंभव हो जाता है, क्योंकि इसके लिए महंगे, ऊर्जा की खपत करने वाले बाहरी सेंसरों की आवश्यकता होती है।

सियोल नेशनल यूनिवर्सिटी और कोरिया इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने अब एक ऐसा तरीका प्रदर्शित किया है जिससे इन सिस्टमों को बिना कभी न्यूरॉन्स के अंदर झाँके सिखाया जा सकता है। उन्होंने एक नए प्रकार का चिप बनाया है जहाँ सीखने की प्रक्रिया केवल उन संकेतों पर निर्भर करती है जो पहले से ही सतह पर दिखाई दे रहे हैं: घटकों के बीच बहने वाली विद्युत धारा और स्पाइक्स का समय। हार्डवेयर और लर्निंग सॉफ्टवेयर को एक साथ काम करने के लिए डिज़ाइन करके, उन्होंने एक ऐसा सिस्टम बनाया है जो चिप पर ही सीख सकता है, जिसमें एक एकल ट्रांजिस्टर एक सिनैप्स (synapse), एक न्यूरॉन और एक लर्निंग सिग्नल जनरेटर के रूप में एक साथ कार्य करता है। यह दृष्टिकोण न्यूरॉन के छिपे हुए आंतरिक वोल्टेज को पढ़ने की आवश्यकता को समाप्त करता है, जो पहले एक जटिल और ऊर्जा-खपत करने वाले सर्किट की मांग करता था। परिणाम स्वरूप, एक एकीकृत प्लेटफॉर्म प्राप्त हुआ है जो न केवल छोटा और सरल है, बल्कि निरंतर सीखने में भी सक्षम है, जो पहले सीखी गई चीजों को याद रखते हुए नई जानकारी के अनुकूल हो सकता है।

इस सफलता का मूल आधार यह है कि शोधकर्ताओं ने "स्टेट एक्सेस" (state access) की समस्या को कैसे हल किया। एक पारंपरिक कृत्रिम मस्तिष्क में, एक न्यूरॉन को सही समय पर फायर करने के लिए सिखाने हेतु कंप्यूटर को यह जानने की आवश्यकता होती है कि किसी दिए गए क्षण में उसके भीतर कितना विद्युत आवेश (charge) मौजूद है। भौतिक हार्डवेयर में, यह आवेश डिवाइस के भीतर फंसा होता है, और इसे मापने के लिए जटिल, ऊर्जा-गहन सर्किटों की आवश्यकता होती है जो कम-शक्ति वाले सिस्टम बनाने के उद्देश्य को ही विफल कर देते हैं। शोधकर्ताओं ने महसूस किया कि उन्हें इस छिपे हुए आवेश को मापने की आवश्यकता नहीं है यदि वे न्यूरॉन में बहने वाली करंट (current) को एक प्रॉक्सी के रूप में उपयोग कर सकें। उन्होंने "करंट-बेस्ड सरोगेट ग्रेडिएंट" (current-based surrogate gradient) नामक एक विधि विकसित की। यह पूछने के बजाय कि "न्यूरॉन की बैटरी कितनी भरी है?", सिस्टम पूछता है "अभी कितनी करंट बह रही है?" यदि करंट एक विशिष्ट, स्वस्थ सीमा के भीतर है, तो सिस्टम जानता है कि न्यूरॉन सही ढंग से सीख रहा है। यदि करंट बहुत अधिक या बहुत कम है, तो वह जानता है कि समायोजन की आवश्यकता है। यह चिप को केवल उन डेटा का उपयोग करके अपने स्वयं के लर्निंग सिग्नल उत्पन्न करने की अनुमति देता है जो न्यूरॉन्स के बीच के कनेक्शन बिंदुओं पर स्वाभाविक रूप से उपलब्ध होते हैं।

इसे वास्तविक दुनिया में काम करने योग्य बनाने के लिए, टीम ने एक मानक विनिर्माण प्रक्रिया का उपयोग करते हुए, लेकिन एक चतुर मोड़ के साथ, एक विशेष चिप बनाई। उन्होंने एक ही प्रकार के ट्रांजिस्टर का उपयोग किया जो कॉन्फ़िगरेशन के आधार पर तीन अलग-अलग कार्य कर सकता था। इन ट्रांजिस्टरों के एक समूह ने सिनैप्स के रूप में कार्य किया, जो स्मृति की शक्ति को संग्रहीत करने वाले कनेक्शन हैं। एक अन्य समूह ने न्यूरॉन्स के रूप में कार्य किया, जो विद्युत आवेश को तब तक संचित करते हैं जब तक कि वे एक थ्रेशोल्ड तक पहुँच जाते हैं और स्पाइक छोड़ते हैं। तीसरा समूह लर्निंग मैकेनिज्म के रूप में कार्य करता है, जो करंट पर नज़र रखता है और यह तय करता है कि सुधार संकेत कब भेजना है। चूंकि तीनों घटक एक ही बुनियादी निर्माण खंड से बने हैं, इसलिए उन्हें एक ही चिप पर सघनता से पैक किया जा सकता है। शोधकर्ताओं ने दिखाया कि ये ट्रांजिस्टर विश्वसनीय रूप से विभिन्न स्तरों के वेट (weight) को स्टोर कर सकते हैं, इनकमिंग सिग्नल्स को समय के साथ एकीकृत कर सकते हैं, और जैविक न्यूरॉन्स की नकल करते हुए स्पाइक्स फायर कर सकते हैं। महत्वपूर्ण रूप से, लर्निंग घटक केवल करंट को देखकर यह पता लगा सकता था कि सिस्टम सही ढंग से काम कर रहा है या गलत तरीके से, बिना न्यूरॉन के छिपे हुए आंतरिक वोल्टेज तक पहुँचे।

टीम ने व्यापक कंप्यूटर सिमुलेशन के माध्यम से इस सिस्टम का परीक्षण किया, जिसमें उनके भौतिक चिप्स के वास्तविक मापे गए व्यवहार का उपयोग किया गया था। उन्होंने नेटवर्क को हस्तलिखित अंकों को पहचानने से लेकर जटिल वस्तुओं को पहचानने और इवेंट-बेस्ड कैमरों से वीडियो स्ट्रीम की व्याख्या करने तक, विभिन्न कार्यों पर प्रशिक्षित किया। इन परीक्षणों में, नया तरीका पारंपरिक लर्निंग विधियों के समान ही प्रभावी रहा जो आंतरिक अवस्थाओं तक पूर्ण पहुंच पर निर्भर करती हैं। सिस्टम ने पहले से सीखी गई चीज़ों को भूलने के बिना, नई श्रेणियों की वस्तुओं को सीखने की क्षमता प्रदर्शित की, जिसे "कंटीन्यूअल लर्निंग" (continual learning) कहा जाता है। यह एक महत्वपूर्ण उपलब्धि है क्योंकि इन सिस्टमों को चिप पर सिखाने के पिछले कई प्रयास "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) का शिकार हुए थे, जहाँ कुछ नया सीखने से पुरानी यादें मिट जाती थीं। अपने नए लर्निंग सिग्नल्स का उपयोग करके, शोधकर्ताओं ने दिखाया कि सिस्टम अपनी पिछली जानकारी को बनाए रखते हुए नई जानकारी के अनुकूल हो सकता है, भले ही हार्डवेयर स्वयं अपूर्ण और शोर युक्त (noisy) हो।

ऊर्जा दक्षता के निहितार्थ काफी बड़े हैं। शोधकर्ताओं ने अनुमान लगाया कि उनके एनालॉग, स्पाइक-आधारित दृष्टिकोण का उपयोग करके, एक इन्फरेंस (inference)—यानी नए डेटा के आधार पर निर्णय लेना—चलाने के लिए आवश्यक ऊर्जा को पूरी तरह से डिजिटल सिस्टम की तुलना में 60 प्रतिशत से अधिक कम किया जा सकता है। कुछ विशिष्ट कॉन्फ़िगरेशन में, बचत और भी अधिक थी, जो 85 प्रतिशत से ऊपर पहुँच गई। ऐसा इसलिए है क्योंकि यह सिस्टम एनालॉग सिग्नल्स को डिजिटल नंबरों में और फिर वापस बदलने की भारी ऊर्जा लागत से बचता है, और यह केवल तभी बिजली की खपत करता है जब वास्तव में एक स्पाइक होता है। हालांकि चिप को सिखाने की प्रक्रिया में शुरू में कुछ उच्च-वोल्टेज पल्स की आवश्यकता होती है जो ऊर्जा की खपत करते हैं, शोधकर्ताओं ने उल्लेख किया कि यह लागत एक बार की सेटअप या दुर्लभ घटना है, जबकि दैनिक संचालन के दौरान ऊर्जा की बचत निरंतर और महत्वपूर्ण है।

यह कार्य यह दावा नहीं करता है कि इसने आर्टिफिशियल इंटेलिजेंस की हर समस्या को हल कर लिया है, न ही यह सुझाव देता है कि ये चिप्स कल आपके स्मार्टफोन के प्रोसेसर को बदलने के लिए तैयार हैं। शोधकर्ता इस बात पर जोर देने में सावधानी बरतते हैं कि हालांकि लर्निंग सिग्नल्स अच्छी तरह से काम करते हैं, लेकिन एक पूर्ण, एकीकृत लर्निंग सिस्टम की वास्तविक ऊर्जा लागत का अभी तक वास्तविक उपकरण में मापन नहीं किया गया है। इन चिप्स को प्रबंधित करने के लिए आवश्यक कंट्रोल सर्किट को एकीकृत करने और निर्माण को स्केल करने में अभी भी चुनौतियाँ हैं। हालाँकि, यह अध्ययन एक स्पष्ट 'प्रूफ ऑफ कॉन्सेप्ट' प्रदान करता है कि एक ऐसा मस्तिष्क-समान कंप्यूटर बनाना संभव है जो अपने स्वयं के आंतरिक विचारों को देखे बिना अपने आप सीख सकता है। हार्डवेयर को लर्निंग एल्गोरिदम की भाषा बोलने के लिए डिज़ाइन करके, टीम ने अनुकूल, ऊर्जा-कुशल मशीनों की ओर एक मार्ग खोल दिया है जो वास्तविक दुनिया में विकसित हो सकती हैं और सीख सकती हैं, ठीक वैसे ही जैसे वे जैविक मस्तिष्क जिनका वे अनुकरण करने के लिए डिज़ाइन किए गए हैं।