💻 computer science

Energy-Efficient Implementation of Spiking Recurrent Cells on FPGA

यह शोध पत्र स्पाइकिंग रिकरेंट सेल (SRC) न्यूरॉन्स के लिए एक FPGA एक्सेलेरेटर प्रस्तुत करता है जो महंगी गणनाओं को समाप्त करने के लिए गणितीय सरलीकरणों को नियोजित करके जैविक सुसंगतता और हार्डवेयर दक्षता के बीच एक संतुलन प्राप्त करता है, जो MNIST डेटासेट पर प्रतिस्पर्धी सटीकता (96.31% तक) और महत्वपूर्ण ऊर्जा बचत (0.45 mJ प्रति अंक तक) प्रदर्शित करता है।

मूल लेखक: Pascal Harmeling, Florent De Geeter, Guillaume Drion

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pascal Harmeling, Florent De Geeter, Guillaume Drion

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को हाथ से लिखे गए नंबरों को पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि बैंक चेक पर लिखे अंक। आमतौर पर, कंप्यूटर इसे "आर्टिफिशियल न्यूरल नेटवर्क्स" (ANNs) का उपयोग करके करते हैं, जो एक विशाल, हमेशा चालू रहने वाली फैक्ट्री की तरह होते हैं। वे 24/7 चलते रहते हैं, हर एक डेटा की लगातार जांच करते हैं, तब भी जब वहां कुछ महत्वपूर्ण देखने के लिए न हो। यह शक्तिशाली तो है, लेकिन यह बहुत अधिक बिजली खर्च करता है, जैसे कि स्टेडियम में केवल एक व्यक्ति को चलते हुए देखने के लिए स्टेडियम की सभी लाइटें चालू छोड़ देना।

"स्पाइकिंग" विकल्प
प्रकृति के पास एक बेहतर तरीका है। हमारे मस्तिष्क निरंतर बिजली पर काम नहीं करते; वे "स्पाइक्स" (spikes) पर काम करते हैं। एक न्यूरॉन को एक पटाखे की तरह समझें। यह तब तक शांत बैठा रहता है जब तक कि इसे पर्याप्त "शोर" (इनपुट) न मिले, और फिर यह फूटता है (एक स्पाइक छोड़ता है)। फूटने के बीच के समय में, यह शांत रहता है। यह "इवेंट-ड्रिवन" (घटना-आधारित) दृष्टिकोण अविश्वसनीय रूप से ऊर्जा-कुशल है क्योंकि मस्तिष्क केवल तभी शक्ति का उपयोग करता है जब वास्तव में कुछ होता है।

वैज्ञानिक ऐसे कंप्यूटर चिप्स बनाने की कोशिश कर रहे हैं जो इस तरह के "स्पाइकिंग न्यूरल नेटवर्क" (SNN) की तरह काम करें। हालाँकि, इसमें एक पेच है:

बहुत सरल: कुछ मॉडल एक बुनियादी लाइट स्विच (ऑन/ऑफ) की तरह होते हैं। वे कंप्यूटर चिप्स पर बनाना आसान है लेकिन वे वास्तविक मस्तिष्क के सूक्ष्म विवरणों को मिस कर देते हैं।
बहुत जटिल: अन्य मॉडल मस्तिष्क की पूरी तरह से नकल करने की कोशिश करते हैं, लेकिन वे इतने जटिल होते हैं कि उन्हें चिप पर बनाना एक लेगो (LEGO) से फेरारी इंजन बनाने जैसा है—इसमें बहुत अधिक जगह और शक्ति लगती है।

पेपर का समाधान: "SRC" न्यूरॉन
यह पेपर एक मध्यम मार्ग वाला समाधान पेश करता है जिसे स्पाइकिंग रिकरेंट सेल (SRC) कहा जाता है। SRC को एक "स्मार्ट पटाखे" की तरह समझें। यह केवल एक साधारण स्विच नहीं है, लेकिन यह एक पूर्ण विकसित फेरारी इंजन भी नहीं है। यह एक वास्तविक मस्तिष्क कोशिका के जटिल, लयबद्ध व्यवहार को पकड़ता है लेकिन इसे एक विशिष्ट प्रकार के कंप्यूटर चिप जिसे FPGA (फील्ड-प्रोग्रामेबल गेट एरे) कहा जाता है, पर कुशलतापूर्वक बनाया जाने के लिए डिज़ाइन किया गया है। आप FPGA को इलेक्ट्रॉनिक्स के लिए एक "लेगो बोर्ड" के रूप में देख सकते हैं जिसे आप तुरंत अलग-अलग काम करने के लिए पुन: प्रोग्राम कर सकते हैं।

उन्होंने इसे कुशल कैसे बनाया
इस "स्मार्ट पटाखे" को चिप पर बनाना मुश्किल है क्योंकि चिप्स जटिल गणित से नफरत करते हैं। इन न्यूरॉन्स के लिए मूल गणित में फैंसी फंक्शन्स (जैसे tanh और exp) शामिल हैं जो ऐसे हैं जैसे केवल जोड़ करने वाले कैलकुलेटर का उपयोग करके इंद्रधनुष के सटीक वक्र (curve) की गणना करना।

लेखकों ने चालाकी भरे शॉर्टकट का एक सेट निकाला:

फैंसी गणित को छोड़ना: जटिल वक्रों की गणना करने के बजाय, उन्होंने उन्हें सरल, सीधी रेखा वाले अनुमानों (approximations) से बदल दिया। यह कुछ सीधे बिंदुओं को जोड़कर एक चिकना वक्र बनाने जैसा है; यह दिखने में लगभग एक जैसा ही है लेकिन इसे बनाना बहुत तेज़ है।
डेसिमल्स (दशमलव) का कोई उपयोग नहीं: कंप्यूटर फ्लोटिंग-पॉइंट नंबरों (डेसिमल्स) से नफरत करते हैं क्योंकि वे बहुत अधिक जगह लेते हैं। टीम ने सब कुछ 1,000 से बढ़ा दिया और पूर्णांकों (integers) का उपयोग किया। यह एक कमरे को मीटर के बजाय मिलीमीटर में मापने जैसा है ताकि डेसिमल्स से बचा जा सके, फिर अंत में बस 1,000 से विभाजित करना याद रखें।
"स्विच" ट्रिक: गणित का एक हिस्सा एक जटिल फॉर्मूला था जो यह तय करता था कि न्यूरॉन "तेज़" है या "धीमा"। लेखकों ने महसूस किया कि यह फॉर्मूला केवल एक फैंसी तरीका था यह कहने का कि, "यदि इनपुट X से ऊपर है, तो तेज़ रहें; अन्यथा, धीमे रहें।" उन्होंने जटिल फॉर्मूले को एक साधारण "If/Then" स्विच से बदल दिया, जिसे चिप के लिए बनाना बहुत सस्ता है।

प्रयोग
उन्होंने इस सिस्टम को Artix-7 नामक चिप पर बनाया और इसे MNIST डेटासेट (हाथ से लिखे गए अंकों का एक मानक संग्रह) का उपयोग करके टेस्ट किया।

सेटअप: उन्होंने चिप को एक स्थिर इमेज नहीं दी। इसके बजाय, उन्होंने इमेज को एक "स्पाइकिंग ट्रेस" (Spiking Trace) में बदल दिया—220 फ्रेम की एक छोटी फिल्म जहाँ पिक्सेल मोर्स कोड की तरह चालू और बंद होते हैं।
परिणाम: चिप ने 96.31% सटीकता के साथ अंकों को पहचाना। यह उत्कृष्ट है और बहुत अधिक जटिल प्रणालियों के तुलनीय है।

ऊर्जा का ट्रेड-ऑफ
असली जादू तब हुआ जब उन्होंने और भी अधिक ऊर्जा बचाने के लिए सिस्टम को ट्यून करना शुरू किया:

छोटी फिल्में: उन्होंने महसूस किया कि उन्हें एक नंबर पहचानने के लिए पूरी 220-फ्रेम की फिल्म की आवश्यकता नहीं है। उन्होंने इसे घटाकर केवल 44 फ्रेम कर दिया। चिप तेज़ हो गई और कम ऊर्जा का उपयोग किया, हालांकि सटीकता थोड़ी कम हो गई (लगभग 92.9%)।
छोटे वेट्स (Weights): एक न्यूरल नेटवर्क में, "वेट्स" न्यूरॉन्स के बीच के कनेक्शन की ताकत होते हैं। आमतौर पर, इन्हें उच्च सटीकता (जैसे 9 बिट्स) के साथ स्टोर किया जाता है। लेखकों ने दिखाया कि वे इन्हें केवल 4 बिट्स तक सिकोड़ सकते हैं (जैसे एक हाई-डेफिनिशन फोटो को पिक्सेलेटेड स्केच में बदलना)। इसने बहुत सारी मेमोरी और पावर बचाई।
स्वीट स्पॉट: 44 फ्रेम की छोटी फिल्म और छोटे वेट्स (4 बिट्स) को मिलाकर, उन्होंने केवल 0.45 मिलीजूल ऊर्जा प्रति अंक का उपयोग करते हुए 92.89% सटीकता प्राप्त की। इसे समझने के लिए, यह मानक कंप्यूटर तरीकों द्वारा उपयोग की जाने वाली ऊर्जा का एक बहुत छोटा हिस्सा है।

यह क्यों मायने रखता है
यह पेपर प्रदर्शित करता है कि आपको "जैविक रूप से सटीक" और "ऊर्जा कुशल" के बीच चुनाव करने की आवश्यकता नहीं है। SRC मॉडल और इन चालाक गणितीय शॉर्टकट्स का उपयोग करके, उन्होंने एक ऐसा सिस्टम बनाया जो:

मस्तिष्क की तरह सोचता है (स्पाइक्स और निरंतर गतिशीलता का उपयोग करके)।
एक मशीन की तरह चलता है (सरल, तेज़ गणित का उपयोग करके)।
पारंपरिक तरीकों की तुलना में भारी मात्रा में बिजली बचाता है।

उन्होंने यह भी दिखाया कि यह सिस्टम मजबूत है। भले ही उन्होंने गणित को सरल बनाया हो या डेटा की गुणवत्ता को कम किया हो, "स्मार्ट फायरक्रैकर" न्यूरॉन्स ने अच्छी तरह से काम करना जारी रखा, जिससे साबित होता है कि यह दृष्टिकोण भविष्य के, बैटरी-अनुकूल AI उपकरणों के निर्माण के लिए एक मजबूत उम्मीदवार है।

तकनीकी सारांश: FPGA पर स्पाइकिंग रिकरेंट सेल्स का ऊर्जा-कुशल कार्यान्वयन

समस्या विवरण
स्पाइकिंग न्यूरल नेटवर्क (SNNs) पारंपरिक आर्टिफिशियल न्यूरल नेटवर्क (ANNs) की तुलना में कम-शक्ति वाले विकल्प के रूप में एक आशाजनक विकल्प प्रदान करते हैं, क्योंकि वे स्पार्स (sparse), इवेंट-ड्रिवन कंप्यूटेशन का लाभ उठाते हैं। हालाँकि, जैविक संभाव्यता (biological plausibility) और हार्डवेयर दक्षता के बीच एक महत्वपूर्ण ट्रेड-ऑफ मौजूद है। जैविक रूप से सटीक मॉडल अक्सर फील्ड-प्रोग्रामेबल गेट एरेज़ (FPGAs) के लिए बहुत अधिक गणनात्मक रूप से महंगे होते हैं, जबकि लीकी इंटीग्रेट-एंड-फायर (LIF) या इंटीग्रेट-एंड-फायर (IF) जैसे मानक सरलीकृत मॉडल हार्डवेयर व्यवहार्यता प्राप्त करने के लिए जटिल न्यूरोनल डायनेमिक्स, जैसे कि रिफ्रैक्टरी पीरियड और निरंतर अवस्था विकास (continuous state evolution) का त्याग करते हैं। इसके अलावा, मौजूदा FPGA कार्यान्वयन अक्सर ऑनलाइन लर्निंग या विशिष्ट आर्किटेक्चर पर निर्भर करते हैं जो लचीलेपन को सीमित करते हैं। चुनौती एक ऐसा न्यूरॉन मॉडल लागू करने की है जो LIF/IF मॉडलों की तुलना में समृद्ध डायनेमिक्स को बनाए रखता है, जबकि संसाधन-बाधित FPGA हार्डवेयर के साथ संगत भी बना रहता है।

कार्यप्रणाली
लेखक स्पाइकिंग रिकरेंट सेल (SRC) न्यूरॉन्स का उपयोग करते हुए एक SNN के लिए एक FPGA एक्सेलेरेटर प्रस्तावित करते हैं। SRCs को रिकरेंट न्यूरल नेटवर्क (RNN) आर्किटेक्चर से लिया गया है और वे अपने डायनेमिक्स में सीधे स्पाइकिंग व्यवहार को एकीकृत करते हैं, जिससे LIF मॉडलों में सामान्य रूप से पाए जाने वाले स्पष्ट रीसेट तंत्र (reset mechanism) की आवश्यकता समाप्त हो जाती है।

कुशल FPGA कार्यान्वयन को सक्षम करने के लिए, लेखकों ने मूल SRC समीकरणों में सुधार की एक श्रृंखला पेश की:

फिक्स्ड-पॉइंट अंकगणित: सभी वेरिएबल्स और पैरामीटर्स को 1,000 के कारक द्वारा स्केल किया गया और पूर्णांकों (11-बिट प्रतिनिधित्व) में परिवर्तित किया गया, जिससे महंगे फ्लोटिंग-पॉइंट ऑपरेशन्स समाप्त हो गए।
ऑपरेटर सरलीकरण: हाइपरबोलिक टेंगेंट (tanh) फंक्शन को 0.75 के ढलान वाले एक पीसवाइज लीनियर एप्रोक्सिमेशन (Stanh) से बदल दिया गया। स्थिरांकों (जैसे, 0.75) के साथ गुणा को बिट-शिफ्ट ऑपरेशन्स का उपयोग करके लागू किया गया।
थ्रेशोल्डिंग नॉन-लीनैरिटीज़: रिफ्रैक्टरी स्विच वेरिएबल $z_s[t]$ की गणना के लिए उपयोग किए जाने वाले जटिल एक्सपोनेंशियल फंक्शन को एक सरल थ्रेशोल्ड नियम द्वारा प्रतिस्थापित किया गया। यदि मेम्ब्रेन पोटेंशियल $V_{th}$ से अधिक हो जाता है, तो $z_s[t]$ एक "डीप" (deep) अवस्था में स्विच हो जाता है; अन्यथा, यह "हाइपरबोलिक" (hyperbolic) अवस्था में रहता है।
पैरामीटर एडजस्टमेंट: $r_s$ को शिफ्ट-आधारित गुणा की अनुमति देने के लिए -7 से -8 में समायोजित किया गया, और ऑपरेशन्स को मर्ज करने के लिए स्पष्ट पैरामीटर्स को फैक्टर-आउट किया गया।

इस प्रणाली को 100 MHz क्लॉक स्पीड पर AMD Xilinx Artix-7 XC7A200T FPGA पर VHDL में लागू किया गया था। आर्किटेक्चर में चार परतें शामिल हैं: एक इनपुट इंटरफेस, एक पूर्णतः जुड़ा हुआ (fully connected) SRC लेयर (100 न्यूरॉन्स), एक IR (इंटीग्रेट-एंड-रीसेट) इंटीग्रेटर लेयर (10 न्यूरॉन्स), और एक कंपैरेटर आउटपुट। वेट मैट्रिसेस (weight matrices) की गणना ऑफलाइन Julia का उपयोग करके की गई थी और उन्हें बिना किसी संशोधन के सीधे LUT-रजिस्टर्स में संग्रहीत किया गया था, जिससे मॉडल की मजबूती का परीक्षण किया गया।

प्रमुख योगदान

हार्डवेयर-अनुकूलित SRC मॉडल: यह पेपर एक नया सेट प्रस्तुत करता है जो जटिल SRC मॉडल को फ्लोटिंग-पॉइंट यूनिट्स या महंगे यूनरी ऑपरेटर्स के बिना FPGA पर चलाने की अनुमति देता है, जबकि निरंतर न्यूरोनल डायनेमिक्स को बनाए रखता है।
मजबूती का सत्यापन (Robustness Validation): अध्ययन दर्शाता है कि मूल, गैर-सरलीकृत SRC मॉडल (Julia में) पर प्रशिक्षित वेट्स को न्यूनतम सटीकता हानि के साथ सीधे सरलीकृत FPGA कार्यान्वयन में स्थानांतरित किया जा सकता है, जो क्वांटाइजेशन और समीकरण सरलीकरण के प्रति मॉडल की मजबूती की पुष्टि करता है।
ऊर्जा-सटीकता ट्रेड-ऑफ विश्लेषण: यह कार्य स्पाइकिंग ट्रेस की लंबाई को कम करने और सिनैप्टिक वेट्स को क्वांटाइज करने (4 बिट तक) के प्रभाव का स्पाइकिंग ट्रेस की लंबाई और ऊर्जा खपत एवं पहचान सटीकता पर व्यवस्थित रूप से अध्ययन करता है।
मॉड्यूलर आर्किटेक्चर: सिंक्रोनाइज़ेशन के लिए एक "बाइंडर" (Binder) मॉड्यूल और समानांतर प्रसंस्करण के लिए "नेटवर्कलेवल" (NetWorkLevel) मॉड्यूल का उपयोग करते हुए एक लेयर्ड, सिंक्रोनस आर्किटेक्चर प्रस्तावित किया गया है, जो पुनर्गठन और स्केलेबिलिटी की सुविधा प्रदान करता है।

प्रायोगिक परिणाम
सिस्टम का मूल्यांकन MNIST डेटासेट का उपयोग करके किया गया, जिसे स्पाइकिंग ट्रेसेस (बाइनरी छवियों के अनुक्रमों) में परिवर्तित किया गया था।

बेसलाइन प्रदर्शन: 220-इमेज स्पाइकिंग ट्रेस और 9-बिट वेट्स के साथ, FPGA कार्यान्वयन ने 1.7424 ms प्रति डिजिट के प्रोसेसिंग समय के साथ 96.31% सटीकता प्राप्त की। इसने Julia में सरलीकृत "स्यूडो-VHDL" (PsV) सिमुलेशन की सटीकता से मेल खाया।
ऊर्जा दक्षता: स्पाइकिंग ट्रेस की लंबाई को 55 इमेज तक कम करने और वेट्स को 5 बिट तक क्वांटाइज करने पर, सिस्टम ने 0.55 mJ प्रति डिजिट पर 93.32% सटीकता प्राप्त की। 44 इमेज और 4-बिट वेट्स तक और अधिक कमी करने पर 0.45 mJ प्रति डिजिट पर 92.89% सटीकता प्राप्त हुई।
संसाधन उपयोग: वेट बिट-विड्थ को 9 से 4 बिट तक कम करने से प्रति SRC न्यूरॉन LUT उपयोग में 5-6% की कमी आई। SRC गणनाओं के लिए DSP48 यूनिट्स के उपयोग और परतों के भीतर पूर्ण समानांतरकरण (parallelization) ने कम प्रोसेसिंग समय में योगदान दिया।
तुलना: अन्य FPGA-आधारित SNN कार्यान्वयनों (जैसे, Carpegna et al., Han et al.) की तुलना में, SRC दृष्टिकोण ने विशेष रूप से छोटे स्पाइकिंग ट्रेसेस के लिए काफी कम ऊर्जा खपत के साथ प्रतिस्पर्धी सटीकता प्रदर्शित की। लेखक नोट करते हैं कि अन्य कार्यों की तुलना में प्रशिक्षण और परीक्षण सटीकता के बीच का अंतर (1.1%) कम है, जिसका श्रेय SRC मॉडल की मजबूती को दिया जाता है।

महत्व और दावे
पेपर का दावा है कि SRC-आधारित SNNs मानक LIF/IR मॉडलों की तुलना में समृद्ध न्यूरोनल डायनेमिक्स को बनाए रखते हुए प्रतिस्पर्धी प्रदर्शन के साथ कम ऊर्जा खपत प्रदान कर सकते हैं। लेखक इस बात पर जोर देते हैं कि प्रस्तावित सरलीकरण जैविक संभाव्यता और हार्डवेयर लागत के बीच एक ट्रेड-ऑफ की अनुमति देते हैं, जिससे SRCs ऊर्जा-कुशल SNN एक्सेलेरेटर्स के लिए मजबूत उम्मीदवार बन जाते हैं।

यह कार्य रेखांकित करता है कि $z_{hyp}^s$ पैरामीटर को बढ़ाने से सटीकता को महत्वपूर्ण रूप से कम किए बिना स्पाइक जनरेशन फ्रीक्वेंसी को लगभग तीन गुना तक कम किया जा सकता है, जो स्पार्स एक्टिविटी रिजीम्स में इवेंट-ड्रिवन शेड्यूलिंग के लिए सुझाव देता है। लेखक निष्कर्ष निकालते हैं कि गणितीय सरलीकरण, वेट क्वांटाइजेशन और ट्रेस लंबाई में कमी का संयोजन जटिल SNNs को संसाधन-बाधित हार्डवेयर पर तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है, हालांकि वे विनम्रतापूर्वक नोट करते हैं कि बड़े नेटवर्क के लिए अनुकूलित इवेंट-ड्रिवन शेड्यूलिंग और स्वचालन की खोज के लिए भविष्य के कार्य की आवश्यकता है।

तकनीकी सारांश: FPGA पर स्पाइकिंग रिकरेंट सेल्स का ऊर्जा-कुशल कार्यान्वयन

इसी तरह के और पेपर