Scalable Training of Continuous-Time Spiking Neural Networks with Differentiable Spike-Time Discretization

कल्पना कीजिए कि आप एक सुपर-फास्ट, सुपर-एफिशिएंट रोबोट दिमाग को तस्वीरें पहचानना सिखाने की कोशिश कर रहे हैं। यह कोई सामान्य दिमाग नहीं है जो सूचनाओं को एक स्थिर प्रवाह (वीडियो की तरह) में प्रोसेस करता है; यह एक "स्पाइकिंग" (spiking) दिमाग है। इसे एक कमरे में बैठे लोगों की तरह समझें जो मेज पर कोड के लिए थपथपाकर एक गुप्त संदेश भेजने की कोशिश कर रहे हैं। इस रोबोट दिमाग में, जानकारी इस बात से नहीं जानी जाती कि थपथपाहट कितनी तेज है, बल्कि इस बात से कि थपथपाहट का सटीक क्षण क्या है। इसे "टेम्पोरल कोडिंग" (temporal coding) कहा जाता है। यह अविश्वसनीय रूप से ऊर्जा-कुशल है क्योंकि रोबोट केवल तभी "सोचता" है जब कोई थपथपाहट होती है, जो इसे बैटरी से चलने वाले उपकरणों के लिए एकदम सही बनाता है। हालांकि, एक समस्या है: इस रोबोट को सिखाना एक दुस्वप्न है। क्योंकि रोबोट हर एक थपथपाहट के सटीक समय के प्रति प्रतिक्रिया करता है, इसलिए इसके प्रदर्शन को सुधारने के लिए आवश्यक गणित इतना भारी है कि यह कंप्यूटरों को क्रैश कर देता है। यह हर एक बारिश की बूंद के गिरने के सटीक पथ की गणना करने की कोशिश करने जैसा है ताकि वह एक विशिष्ट लक्ष्य पर गिर सके; कंप्यूटर पहला बूंद भी पूरा होने से पहले ही अपनी मेमोरी खत्म कर देता है।

यह समस्या उन शोधकर्ताओं की टीम द्वारा हल की गई है जो इन "कंटीन्यूअस-टाइम" (continuous-time) स्पाइकिंग न्यूरल नेटवर्क (SNNs) को बिना अपने ग्राफिक्स कार्ड को पिघलाए प्रशिक्षित करना चाहते थे। उन्होंने एक चतुर तकनीक पेश की जिसे "डिफरेंशिएबल स्पाइक-टाइम डिस्क्रीटाइज़ेशन" (Differentiable Spike-Time Discretization - DSTD) कहा जाता है। पिछले न्यूरॉन्स की परतों से आने वाली हर एक अव्यवस्थित और अनियमित थपथपाहट को ट्रैक करने के बजाय, DSTD उन थपथपाहटों को समय के एक व्यवस्थित और निश्चित ग्रिड (grid) पर फिट कर देता है। कल्पना कीजिए कि हर एक बारिश की बूंद को गिनने के बजाय, आप बस यह देखते हैं कि क्या 1-सेकंड, 2-सेकंड या 3-सेकंड के निशान पर बारिश हुई थी। यह गणित को बहुत अधिक सरल बना देता है। शोधकर्ताओं ने इसमें एक "ट्रैफिक पुलिस" सिस्टम भी जोड़ा जो प्रकृति के अपने सिग्नल चेन (जिसे सिनफायर चेन कहा जाता है) से प्रेरित है, ताकि यह सुनिश्चित हो सके कि न्यूरॉन्स एक व्यवस्थित लहर में काम करें, न कि फंस जाएं या बेतरतीब ढंग से फायर करें। इन दोनों विचारों को जोड़कर, वे एक 20-परत वाले गहरे नेटवर्क को एक सिंगल कंप्यूटर चिप पर प्रशिक्षित करने में सफल रहे, जो पहले असंभव था। उन्होंने पाया कि इस विधि ने पुराने, सटीक तरीके की तुलना में 100 गुना तक कम मेमोरी का उपयोग किया और यह 20 गुना अधिक तेज़ था, जबकि रोबोट का दिमाग उतना ही स्मार्ट बना रहा।

रोबोट दिमाग का मेमोरी संकट

यह समझने के लिए कि यह नई विधि कितनी बड़ी बात है, हमें पहले यह देखना होगा कि ये स्पाइकिंग दिमाग कैसे काम करते हैं। एक मानक आर्टिफिशियल न्यूरल नेटवर्क (जिसका उपयोग आपके फोन के फेस अनलॉक में होता है) में सूचना पाइपों के माध्यम से बहते पानी की तरह लगातार बदलती रहती है। लेकिन एक स्पाइकिंग न्यूरल नेटवर्क (SNN) में, सूचना असतत घटनाओं (discrete events)—यानी स्पाइक्स (spikes) के रूप में होती है। यह बिजली के चमत्कारों की एक श्रृंखला की तरह है। दिमाग इन स्पाइक्स के समय को समायोजित करके सीखता है।

यह विशेष प्रकार का दिमाग जिस पर यह पेपर ध्यान केंद्रित करता है, वह "लीकी इंटीग्रेट-एंड-फायर" (Leaky Integrate-and-Fire - LIF) न्यूरॉन है। आप इस न्यूरॉन को एक लीकी बाल्टी (leaky bucket) के रूप में सोच सकते हैं। पानी (इनपुट सिग्नल) अंदर आता है, जिससे पानी का स्तर (मेम्ब्रेन पोटेंशियल) बढ़ता है। यदि पानी का स्तर एक विशिष्ट रेखा (थ्रेशोल्ड) तक पहुँच जाता है, तो बाल्टी "स्पाइक" करती है—वह अपना पानी खाली कर देती है और अगले न्यूरॉन को संकेत भेजती है। "कंटीन्यूअस-टाइम" SNNs में, यह वास्तविक समय में होता है, निश्चित चरणों में नहीं। बाल्टी के छलकने का सटीक क्षण उस हर एक बूंद के सटीक समय पर निर्भर करता है जो उससे पहले उसमें गिरी थी।

समस्या तब आती है जब आप इन निरंतर-समय वाली बाल्टियों का उपयोग करके एक गहरा नेटवर्क (जिसमें कई परतें हों) प्रशिक्षित करने की कोशिश करते हैं। नेटवर्क को सिखाने के लिए, आपको यह गणना करने की आवश्यकता होती है कि एक एकल इनपुट बूंद का अंतिम आउटपुट पर क्या प्रभाव पड़ता है। पुराने "सटीक" तरीके में, कंप्यूटर को हर उस संभावित क्षण का हिसाब रखना पड़ता है जब एक स्पाइक हो सकता था। यदि पिछली परत में 1,000 न्यूरॉन्स हैं, और वे सभी अलग-अलग समय पर फायर करते हैं, तो कंप्यूटर को अगले न्यूरॉन के फायर करने के लिए 1,000 अलग-अलग "उम्मीदवार" क्षणों की गणना करनी होगी। जैसे-जैसे नेटवर्क गहरा और चौड़ा होता जाता है, उम्मीदवारों की संख्या विस्फोट की तरह बढ़ती है। यह एक पिनबॉल मशीन के हजारों बंपर्स के माध्यम से एक गेंद द्वारा लिए जा सकने वाले हर संभव पथ को याद रखने की कोशिश करने जैसा है। कंप्यूटर की मेमोरी तुरंत भर जाती है, और प्रशिक्षण रुक जाता है।

जादुई ग्रिड: डिफरेंशिएबल स्पाइक-टाइम डिस्क्रीटाइज़ेशन (DSTD)

लेखकों का समाधान एक विधि है जिसे वे डिफरेंशिएबल स्पाइक-टाइम डिस्क्रीटाइज़ेशन, या DSTD कहते हैं। कल्पना कीजिए कि आप अपने किसी मित्र को एक अराजक जैज़ सोलो (jazz solo) का वर्णन करने की कोशिश कर रहे हैं। पुराना तरीका यह है कि हर एक नोट किस मिलीसेकंड पर बजाया गया, उसे लिख दिया जाए। यह सटीक है, लेकिन शीट म्यूजिक मीलों लंबा और जल्दी पढ़ने में असंभव है।

DSTD ऐसा कहने जैसा है, "मान लीजिए कि नोट्स हर बीट की शुरुआत पर हुए थे।" पिछली परत से आने वाले हर स्पाइक के सटीक, अनियमित समय को ट्रैक करने के बजाय, DSTD उन्हें समय के बिंदुओं के एक निश्चित ग्रिड पर मैप करता है। यदि एक स्पाइक 0.12 सेकंड पर होता है और अगला 0.14 सेकंड पर, लेकिन आपके ग्रिड में बिंदु 0.10 और 0.20 पर हैं, तो DSTD यह पता लगाता है कि गणित को काम करने के लिए उन ग्रिड बिंदुओं को कितना "भार" (weight) देना है।

मेमोरी के लिए यह एक गेम-चेंजर है। पुराने तरीके में, आवश्यक मेमोरी इनपुट स्पाइक्स की संख्या के साथ बढ़ती थी (जो हजारों हो सकती थी)। DSTD के साथ, मेमोरी केवल ग्रिड पॉइंट्स की संख्या के साथ बढ़ती है (जिसे शोधकर्ताओं ने छोटा, लगभग 10 से 40 के बीच रखा)। उन्होंने दिखाया कि इस ग्रिड का उपयोग करके, वे प्रशिक्षण के लिए आवश्यक मेमोरी को 100 गुना तक कम कर सकते हैं। यह हर एक बारिश की बूंद का वीडियो स्टोर करने के बजाय केवल एक मौसम रिपोर्ट स्टोर करने जैसा है जो कहती है "दोपहर 1 बजे से 2 बजे के बीच भारी बारिश हुई।" आप थोड़ा सा विवरण खो देते हैं, लेकिन पूरे तूफान को एक साधारण लैपटॉप पर प्रोसेस करने की क्षमता प्राप्त कर लेते हैं।

महत्वपूर्ण रूप से, शोधकर्ताओं ने सिद्ध किया कि यह ग्रिड दिमाग को "मूर्ख" नहीं बनाता है। इस सरलीकृत ग्रिड के साथ भी, नेटवर्क उच्च सटीकता के साथ छवियों को पहचानने में सक्षम था। अपने परीक्षणों में, उन्होंने CIFAR-10 डेटासेट (हवाई जहाज और कारों जैसी 10 प्रकार की वस्तुओं का संग्रह) पर 9-परत वाला नेटवर्क और Fashion-MNIST (कपड़ों की छवियों) पर 20-परत वाला नेटवर्क प्रशिक्षित किया। दोनों एक सिंगल GPU (एक मानक कंप्यूटर चिप) पर चले, जबकि पुराने तरीकों के लिए कंप्यूटरों के एक विशाल क्लस्टर की आवश्यकता होती या वे पूरी तरह विफल हो जाते।

ट्रैफिक पुलिस: सिनफायर-चेन डायनेमिक्स

एक और समस्या थी जिसे शोधकर्ताओं को हल करना था: "डेड न्यूरॉन्स" (dead neurons)। गहरे नेटवर्क में, कभी-कभी एक न्यूरॉन बस फायर ही नहीं करता। यदि वह फायर नहीं करता, तो वह संकेत नहीं भेजता, और सीखने की प्रक्रिया उस नेटवर्क के उस हिस्से से होकर रुक जाती है। यह एक शहर में सड़क अवरोध (roadblock) जैसा है; यदि एक चौराहा बंद है, तो कोई भी अगले मोहल्ले तक नहीं पहुँच सकता।

इसे ठीक करने के लिए, टीम ने "सिनफायर चेन्स" (synfire chains) से प्रेरित एक अवधारणा पेश की, जो जैविक मस्तिष्क में देखी जाने वाली एक पैटर्न है जहाँ न्यूरॉन्स का समूह एक सिंक्रोनाइज्ड लहर में फायर करता है। उन्होंने प्रशिक्षण प्रक्रिया में एक "टेम्पोरल पेनल्टी" (temporal penalty) जोड़ी। इसे एक सख्त ट्रैफिक पुलिस की तरह समझें जो नेटवर्क की प्रत्येक परत को बताती है, "आपको अपने संकेत 1:00 और 1:10 के बीच फायर करने ही होंगे।" यदि कोई न्यूरॉन बहुत जल्दी या बहुत देर से फायर करने की कोशिश करता है, तो ट्रैफिक पुलिस उसे "जुर्माना" (गणित में दंड) देती है, जिससे वह सही विंडो के भीतर फायर करने के लिए मजबूर होता है।

यह दो चीजें करता है। पहला, यह न्यूरॉन्स को फायर करने के लिए मजबूर करता है, जिससे "डेड न्यूरॉन" की समस्या समाप्त हो जाती है। दूसरा, यह एक पाइपलाइन बनाता है। चूंकि प्रत्येक परत की अपनी विशिष्ट समय विंडो होती है, इसलिए नेटवर्क वर्तमान इमेज को प्रोसेस करना पूरा करने से पहले ही अगली इमेज को प्रोसेस करना शुरू कर सकता है। यह एक असेंबली लाइन की तरह है जहाँ दूसरा कर्मचारी पहले कार के पहले काम के पूरा होने से पहले ही दूसरी कार पर काम शुरू कर देता है। यह "पाइपलाइन" ऑपरेशन नेटवर्क को डेटा को बहुत तेज़ी से प्रोसेस करने की अनुमति देता है, जिससे नेटवर्क के गहरा होने पर भी उच्च गति बनी रहती है।

परिणाम: गति, मेमोरी और गहराई

शोधकर्ताओं ने अपने नए "सिन-एसएनएन" (Syn-SNN) का पुराने तरीकों के मुकाबले परीक्षण किया। परिणाम नाटकीय थे।

• मेमोरी: घने (dense) नेटवर्क में, पीक मेमोरी उपयोग 100 गुना तक गिर गया। इसका मतलब है कि एक नेटवर्क जिसे प्रशिक्षित करने के लिए पहले सुपरकंप्यूटर की आवश्यकता थी, अब एक सिंगल GPU पर फिट हो सकता है।
• गति: प्रशिक्षण समय 20 गुना तक कम हो गया। जो काम करने में दिनों लग जाते थे, वह अब घंटों में किया जा सकता है।
• गहराई: उन्होंने Fashion-MNIST पर 92.33% सटीकता के साथ एक 20-परत वाला नेटवर्क सफलतापूर्वक प्रशिक्षित किया। यह एक बड़ी उपलब्धि है, क्योंकि मेमोरी की बाधाओं के कारण निरंतर-समय वाले SNN को कुछ परतों से अधिक गहरा प्रशिक्षित करना पहले लगभग असंभव माना जाता था।

पेपर ने ट्रेड-ऑफ (trade-offs) का भी अन्वेषण किया। उन्होंने पाया कि यदि फायरिंग के लिए समय विंडो बहुत सख्त थी, तो नेटवर्क तेज़ तो हो गया लेकिन उसकी सटीकता कम हो गई। यदि विंडो बहुत चौड़ी थी, तो सटीकता बढ़ गई, लेकिन गति का लाभ कम हो गया। उन्होंने "मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन" नामक एक विधि का उपयोग करके सबसे सटीक संतुलन (sweet spot) खोजा, जिससे यह सिद्ध हुआ कि सिस्टम विभिन्न जरूरतों के लिए अनुकूलित करने हेतु लचीला है।

यह क्यों महत्वपूर्ण है

यह कार्य निरंतर-समय वाले स्पाइकिंग नेटवर्क की सैद्धांतिक सुंदरता और उन्हें प्रशिक्षित करने की व्यावहारिक वास्तविकता के बीच के अंतर को पाटता है। वर्षों से, वैज्ञानिक जानते थे कि ये नेटवर्क मानव मस्तिष्क की नकल करने और कम शक्ति वाले हार्डवेयर पर चलने के लिए सबसे कुशल तरीका हैं, लेकिन वे उन्हें उपयोगी पैमाने पर प्रशिक्षित नहीं कर पा रहे थे। DSTD और सिनफायर-चेन रेगुलाइजेशन को पेश करके, लेखकों ने दिखाया है कि मानक हार्डवेयर पर गहरे, निरंतर-समय वाले नेटवर्क को प्रशिक्षित करना संभव है।

इसका मतलब यह नहीं है कि समस्या पूरी तरह से हल हो गई है। लेखक बताते हैं कि ये नेटवर्क इतने अच्छी तरह से क्यों सीखते हैं, इसकी सैद्धांतिक समझ अभी भी विकसित हो रही है, और सही सेटिंग्स (hyperparameters) खोजने के लिए अभी भी बहुत प्रयोग और त्रुटि (trial and error) की आवश्यकता है। हालाँकि, उन्होंने एक शक्तिशाली नया उपकरण प्रदान किया है। एक अराजक, मेमोरी-खपत वाली समस्या को एक प्रबंधनीय, ग्रिड-आधारित समस्या में बदलकर, उन्होंने बहुत बड़े, अधिक कुशल और अधिक मस्तिष्क जैसे AI सिस्टम बनाने का मार्ग प्रशस्त किया है जो एक दिन छोटे, बैटरी से चलने वाले उपकरणों पर चल सकते हैं।