Spiking Neural Network inference on FPGAs with hls4ml
यह शोध पत्र hls4ml टूलकिट का एक विस्तार प्रस्तुत करता है जो हाइडलबर्ग स्पाइकिंग डिजिट्स (Heidelberg Spiking Digits) डेटासेट पर प्रदर्शित निम्न-विलंबता वास्तविक समय अनुमान (low-latency real-time inference) को सक्षम करते हुए, FPGAs पर PyTorch-प्रशिक्षित स्पाइकिंग न्यूरल नेटवर्क्स के क्लॉक-ड्रिवन परिनियोजन (clock-driven deployment) को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: एक डिजिटल मस्तिष्क को "बोलने" के बजाय "थूकना" सिखाना
कल्पना कीजिए कि आपके पास एक पारंपरिक कंप्यूटर मस्तिष्क (एक आर्टिफिशियल न्यूरल नेटवर्क) है जो संख्याओं की एक निरंतर, सुचारू धारा में बात करता है, जैसे रेडियो पर एक लगातार गाना बज रहा हो। अब, एक अलग तरह के मस्तिष्क (एक स्पाइकिंग न्यूरल नेटवर्क या SNN) की कल्पना करें जो अंधेरे कमरे में लोगों की भीड़ की तरह संवाद करता है। वे बात करने के बजाय, केवल तभी आवाज़ (एक "स्पाइक") करते हैं जब कुछ विशिष्ट होता है। आवाज़ों के बीच, वे शांत रहते हैं।
यह "स्पाइकिंग" तरीका समय-आधारित जानकारी (जैसे ऑडियो या सेंसर डेटा) को प्रोसेस करने के लिए बहुत अच्छा है क्योंकि यह स्वाभाविक रूप से कुशल है: यदि कुछ भी दिलचस्प नहीं हो रहा है, तो मस्तिष्क शांत रहता है और बहुत कम ऊर्जा का उपयोग करता है।
समस्या:
आमतौर पर, इन "स्पाइकिंग" मस्तिष्कों को विशेष, कस्टम-निर्मित हार्डवेयर (जैसे एक कस्टम-मेड वाद्य यंत्र) के लिए डिज़ाइन किया जाता है जो अपने स्वयं के अद्वितीय नियमों पर चलता है। हालाँकि, कई वास्तविक दुनिया के वैज्ञानिक उपकरण (जैसे कण डिटेक्टर या मेडिकल स्कैनर) पहले से ही FPGA नामक मानक, शक्तिशाली चिप्स का उपयोग करते हैं। ये चिप्स "लेगो सेट्स" की तरह हैं जिन्हें इंजीनियर रीप्रोग्राम कर सकते हैं, लेकिन वे "स्मूथ रेडियो" शैली की कंप्यूटिंग के लिए उपयोग किए जाते हैं, न कि "स्पाइकी क्राउड" (स्पाइकी भीड़) वाली शैली के लिए।
समाधान:
बैरी डिल्लन, इस शोध पत्र के लेखक, ने एक पुल बनाया है। उन्होंने एक लोकप्रिय टूल hls4ml (जो एक अनुवादक के रूप में कार्य करता है) को अपडेट किया है ताकि यह अब पायथन में प्रशिक्षित एक "स्पाइकिंग" मस्तिष्क को ले सके और उसे ऐसे निर्देशों में बदल सके जिन्हें एक मानक FPGA समझ सके और चला सके।
यह कैसे काम करता है: फैक्ट्री असेंबली लाइन
इसे एक मानक चिप पर चलाने के लिए, लेखक को "स्पाइकिंग" मस्तिष्क के व्यवहार को बदलना पड़ा।
क्लॉक-ड्रिवन फैक्ट्री (घड़ी द्वारा संचालित फैक्ट्री):
- सामान्य स्पाइकिंग मस्तिष्क: एक अराजक भीड़ की तरह काम करता है। यदि कोई चिल्लाता है, तो पूरा कमरा तुरंत प्रतिक्रिया देता है। यह एसिंक्रोनस (बिना किसी निर्धारित शेड्यूल के) है।
- यह नया FPGA मस्तिष्क: एक फैक्ट्री असेंबली लाइन की तरह काम करता है। हर सेकंड, एक घंटी बजती है (क्लॉक)। घंटी बजने पर, प्रत्येक कार्यकर्ता अपने नोट्स की जाँच करता है, अपनी स्थिति (स्टेट) को अपडेट करता है, और अगला पैकेज अगले व्यक्ति को सौंप देता है। भले ही किसी ने न चिल्लाया हो, लाइन फिर भी चलती है।
- क्यों? क्योंकि मानक FPGA एक सख्त क्लॉक पर चलने के लिए बने होते हैं। लेखक ने स्पाइकिंग मस्तिष्क को इस क्लॉक के साथ तालमेल बिठाकर चलाया ताकि यह मौजूदा फैक्ट्री वर्कफ़्लो में फिट हो सके।
न्यूरॉन की "याददाश्त" (मेमोरी):
- एक सामान्य कंप्यूटर में, एक न्यूरॉन एक कैलकुलेटर की तरह होता है: आप इसे संख्याएँ देते हैं, यह आपको उत्तर देता है, और फिर सब कुछ भूल जाता है।
- इस स्पाइकिंग मस्तिष्क में, न्यूरॉन एक लीक होने वाली बाल्टी की तरह है।
- जब एक "स्पाइक" (पानी) आता है, तो बाल्टी भर जाती है।
- यदि बाल्टी बहुत अधिक भर जाती है (एक थ्रेशोल्ड तक पहुँच जाती है), तो यह पानी की एक बाल्टी खाली कर देती है (एक स्पाइक फायर करती है) और रीसेट हो जाती है।
- लेकिन भले ही यह फायर न करे, पानी का स्तर (आंतरिक स्थिति) अगले क्षण के लिए वहीं रहता है।
- लेखक का टूल FPGA चिप के अंदर इस "पानी के स्तर" का हिसाब रखता है ताकि मस्तिष्क कुछ सेकंड पहले क्या हुआ था, उसे याद रख सके।
"रीडआउट" (निर्णय लेने वाला):
- डेटा के एक टुकड़े (जैसे बोले गए अंक का 1.4-सेकंड का ऑडियो क्लिप) को प्रोसेस करने के बाद, इसे एक निर्णय लेने की आवश्यकता होती है।
- इसने निर्णय लेने के दो तरीके परीक्षण किए:
- स्पाइक काउंट: यह गिनना कि अंतिम न्यूरॉन्स ने कितनी बार चिल्लाया।
- मेम्ब्रेन रीडआउट: यह देखना कि अंतिम बाल्टियाँ कितनी भरी हुई हैं, भले ही उन्होंने चिल्लाया न हो।
- परिणाम: बाल्टियों के "भरने" (मेम्ब्रेन रीडआउट) की जाँच करना, केवल चिल्लाने की गिनती करने की तुलना में अधिक सटीक साबित हुआ।
प्रयोग: मस्तिष्क को अंक पहचानना सिखाना
लेखक ने इस नए सिस्टम का परीक्षण SHD (Heidelberg Spiking Digits) नामक डेटासेट का उपयोग करके किया।
- कार्य: कंप्यूटर अंग्रेजी और जर्मन में लोगों द्वारा बोले गए नंबरों (0–9) की रिकॉर्डिंग सुनता है।
- इनपुट: ऑडियो को "स्पाइक्स" (ध्वनि के मोर्स कोड की तरह) की एक धारा में बदल दिया जाता है।
- सेटअप: उन्होंने एक छोटा, सरल मस्तिष्क बनाया जिसमें 64 न्यूरॉन्स की एक छिपी हुई परत (हिडन लेयर) थी।
- प्रशिक्षण: उन्होंने एक मानक पायथन लाइब्रेरी (snnTorch) का उपयोग करके मस्तिष्क को प्रशिक्षित किया और फिर क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT) नामक तकनीक का उपयोग किया। QAT को ऐसे समझें जैसे मस्तिष्क को एक ऐसे रूलर के साथ गणित करना सिखाना जिसमें सूक्ष्म मिलीमीटर के निशान के बजाय केवल बड़े निशान हों। यह मस्तिष्क को FPGA पर चलने के लिए तैयार करता है, जो जगह बचाने के लिए सरल गणित को प्राथमिकता देता है।
परिणाम: तेज़, सटीक और कुशल
शोध पत्र कुछ प्रभावशाली आंकड़े प्रस्तुत करता है:
- गति: FPGA एक 1.4-सेकंड के ऑडियो क्लिप को लगभग 34 माइक्रोसेकंड में प्रोसेस कर सकता है। यह अविश्वसनीय रूप से तेज़ है—इंसानी आँख के झपकने से भी तेज़।
- सटीकता: यहाँ तक कि जब उन्होंने चिप पर फिट होने के लिए गणित को सरल बनाया (लोअर प्रिसिजन का उपयोग किया), तब भी मस्तिष्क ने टेस्ट सेट पर लगभग 74% सटीकता प्राप्त की (अंकों को पहचानना)। यह जटिल, उच्च-परिशुद्धता वाले संस्करण की सटीकता के बहुत करीब है।
- संसाधन बचत: लोअर प्रिसिजन (सरल गणित) का उपयोग करके, उन्होंने चिप पर बहुत सारी जगह बचाई। यह एक सूटकेस पैक करने जैसा है: यदि आप अपने कपड़ों को कसकर रोल करते हैं (लोअर प्रिसिजन), तो आप समान मात्रा में सामान एक छोटे बैग में भी फिट कर सकते हैं।
- फिडेलिटी (विश्वसनीयता): चिप का व्यवहार कंप्यूटर सिमुलेशन के साथ लगभग पूरी तरह से मेल खा गया (98% से अधिक सहमति), जिससे सिद्ध होता है कि अनुवाद टूल सही ढंग से काम करता है।
इसका क्या अर्थ है (और क्या नहीं है)
- यह क्या करता है: यह सिद्ध करता है कि आप पायथन में प्रशिक्षित एक आधुनिक, "स्पाइकिंग" AI मॉडल को बिना किसी कस्टम, विदेशी चिप के निर्माण के, मानक वैज्ञानिक हार्डवेयर (FPGAs) पर तैनात कर सकते हैं। यह इन कुशल, समय-संवेदनशील मस्तिष्कों को वास्तविक समय के वैज्ञानिक उपकरणों में उपयोग करने का द्वार खोलता है।
- यह क्या नहीं करता (अभी तक):
- यह डेटा के विरल (स्पार्स) होने के कारण अपने आप बिजली की बचत नहीं करता है। क्योंकि चिप एक सख्त क्लॉक पर चलती है, यह गणित करना जारी रखती है भले ही न्यूरॉन्स शांत हों। लेखक बताते हैं कि भविष्य के अपडेट में "गेट्स" जोड़े जा सकते हैं जो कुछ न होने पर गणित को रोक दें, जिससे बिजली की बचत होगी, लेकिन यह अभी इस पेपर में नहीं है।
- यह वर्तमान में केवल एक विशिष्ट प्रकार के स्पाइकिंग न्यूरॉन (Leaky Integrate-and-Fire या LIF) का समर्थन करता है।
- यह निश्चित समय अंतराल (जैसे 1.4-सेकंड का क्लिप) के लिए डिज़ाइन किया गया है, अभी अनंत, परिवर्तनशील-लंबाई वाली धाराओं के लिए नहीं।
संक्षेप में, लेखक ने एक ऐसा अनुवादक बनाया है जो "स्पाइकी", समय-संवेदनशील AI मस्तिष्क को मानक, क्लॉक-ड्रिवन कंप्यूटर चिप्स पर चलाने की अनुमति देता है। उन्होंने अंक-पहचानने के कार्य का उपयोग करके इसका परीक्षण किया, और यह तेज़ और सटीक रहा, जिससे यह सिद्ध हुआ कि इस प्रकार के AI को आज वास्तविक दुनिया के वैज्ञानिक उपकरणों में तैनात किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।