🤖 machine learning

The Sparsity Ceiling: Where Spiking Networks Can and Cannot Trade Activity for Energy

यह शोधपत्र यह प्रदर्शित करता है कि स्पाइकिंग न्यूरल नेटवर्क के ऊर्जा दक्षता लाभ मौलिक रूप से केवल आर्किटेक्चर के बजाय कार्य-विशिष्ट सूचना आवश्यकताओं द्वारा सीमित हैं, जो यह प्रकट करता है कि जहाँ फीड-फॉरवर्ड धारणा और अटेंशन-आधारित मॉडल अत्यधिक स्पर्सिटी (विरलता) प्राप्त कर सकते हैं, वहीं रिकरेंट नेटवर्क को अवस्था बनाए रखने के लिए एक उच्च फायरिंग-रेट फ्लोर (फायरिंग-दर की न्यूनतम सीमा) का सामना करना पड़ता है, जिससे मेमोरी लोड और कार्य की कठिनाई द्वारा निर्धारित एक "स्पर्सिटी सीलिंग" (विरलता की ऊपरी सीमा) परिभाषित होती है।

मूल लेखक: Zeyu Wang

प्रकाशित 2026-07-30

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zeyu Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

द स्पार्क एंड द साइलेंस: ब्रेन चिप्स की एक कहानी

कल्पना कीजिए कि आप एक ऐसा सुपर-एफिशिएंट कंप्यूटर बनाने की कोशिश कर रहे हैं जो एक मानक लैपटॉप के बजाय मानव मस्तिष्क की तरह काम करता है। इस क्षेत्र को न्यूरोमॉर्फिक कंप्यूटिंग कहा जाता है। इसका मुख्य विचार सरल है: एक कैलकुलेटर की तरह लगातार नंबरों को प्रोसेस करने के बजाय, ये "ब्रेन चिप्स" केवल तभी काम करते हैं जब कुछ दिलचस्प होता है। वे सूचना भेजने के लिए स्पाइक्स (या "स्पाइकिंग न्यूरल नेटवर्क") नामक छोटे विद्युत झटकों का उपयोग करते हैं। एक मानक कंप्यूटर को एक ऐसे बल्ब के रूप में सोचें जो हमेशा चालू रहता है, और जब कोई देख भी नहीं रहा होता तब भी ऊर्जा से गूंजता रहता है। इसके विपरीत, एक स्पाइकिंग नेटवर्क एक गलियारे में लगे मोशन-सेंसर लाइट की तरह है—जब तक कोई पास से न गुजरे, यह अंधेरा और शांत रहता है, और फिर अचानक चमक उठता है। क्योंकि यह अपना अधिकांश समय कुछ न करने में बिताता है, वैज्ञानिकों को उम्मीद थी कि ये चिप्स अविश्वसनीय रूप से ऊर्जा बचाने वाले होंगे, जो छोटी बैटरी पर जटिल AI चलाने के लिए एकदम सही होंगे।

लेकिन इसमें एक पेंच है। हालांकि हम जानते हैं कि ये चिप्स शांत रहने पर ऊर्जा बचाते हैं, हमें हमेशा यह नहीं पता होता कि वे वास्तव में कब शांत रह सकते हैं। क्या वे हमेशा आलसी रह सकते हैं, या कुछ ऐसे काम हैं जहाँ उन्हें पूरी तरह जागते रहने के लिए मजबूर किया जाता है? यह शोध पत्र एक बहुत ही विशिष्ट प्रश्न पूछता है: क्या स्पाइकिंग नेटवर्क का ऊर्जा-बचत वाला जादू स्वयं चिप की एक विशेषता है, या यह पूरी तरह से उस काम पर निर्भर करता है जो चिप कर रही है? लेखकों ने "स्पैरसिटी सीलिंग" (sparsity ceiling) को खोजने की कोशिश की—वह बिंदु जहाँ आप नेटवर्क को सोचने की क्षमता खोए बिना और अधिक शांत नहीं बना सकते।

द ग्रेट साइलेंस टेस्ट: जहाँ स्पाइकिंग नेटवर्क शोर को कम कर सकते हैं—और नहीं भी कर सकते

शोधकर्ताओं ने उत्तर खोजने के लिए एक निष्पक्ष मुकाबला तैयार किया। उन्होंने एक ही पहेली को हल करने के लिए डिजिटल न्यूरॉन्स की दो समान टीमें बनाईं। एकमात्र अंतर उनकी आंतरिक वायरिंग में था: एक टीम ने मानक, निरंतर न्यूरॉन्स (एक चिकनी नदी की तरह) का उपयोग किया, और दूसरी ने स्पाइकिंग न्यूरॉन्स (पानी की बूंदों की एक श्रृंखला की तरह) का उपयोग किया। उन्होंने स्पाइकिंग टीम को बेतहाशा नहीं छोड़ा; उन्होंने एक विशेष "ट्रैफिक पुलिस" का उपयोग किया ताकि स्पाइकिंग न्यूरॉन्स को विशिष्ट दरों पर फायर करने के लिए मजबूर किया जा सके, जिससे उन्हें यथासंभव शांत रहने के लिए प्रेरित किया जा सके। उन्होंने पूछा: हम कितने शांत हो सकते हैं इससे पहले कि टीम गलतियाँ करना शुरू कर दे?

आसान काम: दुनिया को देखना

सबसे पहले, उन्होंने टीमों को एक सरल विजुअल टास्क दिया: कपड़ों की तस्वीरें देखना और अनुमान लगाना कि वे क्या हैं। यह एक "फीड-फॉरवर्ड" काम की तरह है, जहाँ सूचना एक दिशा में बहती है, जैसे स्लाइड से नीचे गिरता पानी।

परिणाम: स्पाइकिंग टीम आलसी होने में सुपरस्टार साबित हुई। शोधकर्ताओं ने उन्हें केवल 5% समय फायर करने के लिए मजबूर किया। टीम ने एक भी कदम पीछे नहीं हटाया; उन्हें व्यस्त, नॉन-स्पाइकिंग टीम जितनी ही सटीकता मिली।
सीख: सरल धारणा (perception) कार्यों के लिए, स्पाइकिंग नेटवर्क वास्तव में गतिविधि के बदले ऊर्जा का व्यापार कर सकते हैं। वे लगभग शांत रहकर भी पूरी तरह देख सकते हैं।

कठिन काम: कहानी को याद रखना

इसके बाद, उन्होंने टीमों को एक बहुत कठिन काम दिया: एक कहानी को एक बार में एक अक्षर करके पढ़ना और अगले अक्षर की भविष्यवाणी करना। इसके लिए रिकरेंस (recurrence) की आवश्यकता होती है, जिसका अर्थ है कि नेटवर्क को यह समझने के लिए कि आगे क्या होगा, उसे जो अभी पढ़ा है उसकी स्मृति बनाए रखनी होगी। यह किसी से बात करते समय फोन नंबर याद रखने जैसा है; आप नंबर को बस धुंधला होकर मिटने नहीं दे सकते।

परिणाम: शोधकर्ताओं ने स्पाइकिंग टीम को शांत रहने के लिए मजबूर करने की कोशिश की, जिसका लक्ष्य 10% फायरिंग रेट था। लेकिन नेटवर्क एक कठोर दीवार से टकरा गया। उन्होंने कितनी भी कोशिश की, फायरिंग रेट 50% से नीचे गिरने से इनकार कर गया। न्यूरॉन्स को सक्रिय रहने, गूंजते रहने के लिए मजबूर किया गया, ताकि वे स्मृति को जीवित रख सकें।
सीख: जिन कार्यों के लिए समय के साथ सूचना को बनाए रखने की आवश्यकता होती है, उनके लिए "स्पैरसिटी सीलिंग" वास्तविक है। नेटवर्क सूचना को खोए बिना स्पार्स (sparse) नहीं हो सकता।

"मेमोरी वॉल" का लूपहोल

लेखकों ने फिर एक तीसरी टीम का परीक्षण किया: एक स्पाइकिंग ट्रांसफार्मर। यह एक आधुनिक AI आर्किटेक्चर है जो "अटेंशन" (सभी पिछले शब्दों को एक साथ देखना) का उपयोग करता है बजाय एक एकल मेमोरी लूप के।

परिणाम: यह टीम एक अलग कहानी थी। यह गुणवत्ता खोए बिना 2% फायरिंग तक स्पारसिफाई (sparsify) हो सकती थी।
कैच: हालांकि इसने कंप्यूटिंग पर ऊर्जा बचाई, लेकिन इसने एक अलग कीमत चुकाई। फायरिंग फ्लोर से बचने के लिए, इसे अपनी मेमोरी में भारी मात्रा में डेटा (की-वैल्यू कैश) स्टोर करना पड़ा। इसने "फायरिंग फ्लोर" (न्यूरॉन्स जो बजना बंद नहीं होते) के बदले "मेमोरी वॉल" (डेटा की एक विशाल मात्रा जिसे स्टोर करने की आवश्यकता है) का सौदा किया। छोटे न्यूरोमॉर्फिक चिप्स पर, यह विशाल मेमोरी स्टोरेज अक्सर ऊर्जा बचत के समान ही महंगा होता है।

खेल का नियम: यह लोड के बारे में है, चिप के बारे नहीं

यह शोध पत्र सिद्ध करता है कि सीमा स्पाइकिंग तकनीक की अपनी खामी नहीं है; यह सूचना का एक नियम है। लेखकों ने एक गणितीय नियम (एक "फायरिंग-फ्लोर बाउंड") विकसित किया जो सटीक रूप से भविष्यवाणी करता है कि एक नेटवर्क को कितना सक्रिय रहना चाहिए, जो इस बात पर निर्भर करता है कि उसे कितनी सूचना को संभालना है।

लोड मायने रखता है: यदि कार्य में लंबी सूची को याद रखना आवश्यक है (उच्च मेमोरी लोड), तो न्यूरॉन्स को उस सूची को विशिष्ट बनाए रखने के लिए अधिक बार फायर करना होगा। पेपर ने दिखाया कि जैसे-जैसे मेमोरी लोड बढ़ा (4 प्रतीकों से 8 तक), सटीक रहने के लिए आवश्यक न्यूनतम फायरिंग दर 4% से बढ़कर 8% हो गई।
कठिनाई मायने रखती है: बिना मेमोरी के भी, यदि कार्य बहुत कठिन है (जैसे 10 के बजाय 160 अलग-अलग प्रकार की वस्तुओं के बीच अंतर करना), तो फायरिंग दर बढ़ जाएगी। नेटवर्क को कठिन चीजों के बीच अंतर करने के लिए अधिक "शोर" (noise) की आवश्यकता होती है।
इनपुट फ्लोर: पेपर ने एक छिपा हुआ जाल भी पाया। भले ही नेटवर्क का मस्तिष्क शांत हो, यदि आप इसे एक "डेंस" वीडियो स्ट्रीम (जैसे सामान्य कैमरा फ्रेम) देते हैं, बजाय एक स्पार्स इवेंट स्ट्रीम (जैसे मोशन सेंसर) के, तो इनपुट लेयर को सारा भारी काम करना पड़ता है। यह "इनपुट फ्लोर" सभी ऊर्जा बचत को खत्म कर सकता है, जिससे कुल ऊर्जा कमी मानक कंप्यूटरों के बराबर (1.0x) ही रह जाती है।

निचोड़

पेपर निष्कर्ष निकालता है कि यह नारा कि "स्पाइकिंग न्यूरल नेटवर्क ऊर्जा बचाते हैं" केवल आधा सच है। यह एक टास्क-कंडीशनल क्लेम (कार्य-आधारित दावा) है।

जहाँ वे जीतते हैं: सरल, इवेंट-ड्रिवन धारणा कार्यों पर (जैसे बिल्ली को पकड़ने वाला मोशन सेंसर), वे अविश्वसनीय रूप से स्पार्स और कुशल हो सकते हैं।
जहाँ वे संघर्ष करते हैं: जटिल अनुक्रम (sequence) कार्यों पर (जैसे कहानी लिखना), वे एक कठोर सीमा से टकराते हैं। या तो उन्हें सक्रिय रहने के लिए मजबूर किया जाता है (रिकरेंट नेटवर्क) या उन्हें भारी मात्रा में मेमोरी जमा करने के लिए मजबूर किया जाता है (अटेंशन नेटवर्क)।

लेखकों को ऐसी जादुई चीज़ नहीं मिली जो स्पाइकिंग नेटवर्क को हर चीज़ के लिए कुशल बना दे। इसके बजाय, उन्हें एक मानचित्र मिला: एक स्पष्ट, मापने योग्य नियम जो हमें ठीक से बताता है कि न्यूरोमॉर्फिक हार्डवेयर कहाँ लाभ देता है और कहाँ वह विफल होता है। ऊर्जा का लाभ चिप का गुण नहीं है; यह काम (job) का गुण है।

तकनीकी सारांश: स्पर्सिटी सीलिंग (Sparsity Ceiling)

समस्या विवरण (Problem Statement)

स्पाइकिंग न्यूरल नेटवर्क (SNNs) को पारंपरिक डीप लर्निंग के एक ऊर्जा-कुशल विकल्प के रूप में व्यापक रूप से प्रचारित किया जाता है, जो इस आधार पर कि स्पार्स (sparse), इवेंट-ड्रिवन गतिविधि, डेंस मल्टीप्लाई-एक्युमुलेट (MAC) ऑपरेशन्स के स्थान पर सस्ते एक्युमुलेट (AC) ऑपरेशन्स का उपयोग करती है। हालांकि, मौजूदा साहित्य अक्सर ऊर्जा बचत की रिपोर्ट उस फायरिंग रेट के आधार पर करता है जो किसी विशिष्ट कार्य अनुकूलन (task optimization) से स्वाभाविक रूप से प्राप्त होता है, बिना एक कारण चर (causal variable) को अलग किए: प्राप्य स्पर्सिटी (attainable sparsity)।

यह शोध पत्र एक संकीर्ण, परीक्षण योग्य प्रश्न पूछता है: जब एक नेटवर्क आर्किटेक्चर को स्थिर रखा जाता है और केवल न्यूरॉन मॉडल को बदला जाता है (कंटीन्यूअस बनाम स्पाइकिंग), तो कार्य की गुणवत्ता बिगड़ने से पहले गतिविधि को कितना कम किया जा सकता है? लेखक तर्क देते हैं कि स्पर्सिटी का "ऊर्जा लाभांश" (energy dividend) SNNs का अंतर्निहित गुण नहीं है, बल्कि यह कार्य संरचना (task structure) का गुण है।

कार्यप्रणाली (Methodology)

लेखक आर्किटेक्चरल अंतरों से स्पाइकिंग डायनेमिक्स के प्रभावों को अलग करने के लिए एक मैच्ड-आर्किटेक्चर प्रोटोकॉल (matched-architecture protocol) का उपयोग करते हैं:

नियंत्रित तुलना (Controlled Comparison): प्रत्येक कार्य के लिए, वे एक ही आर्किटेक्चर के दो वेरिएंट्स का उपयोग करते हैं: एक पारंपरिक कंटीन्यूअस यूनिट (ReLU या tanh) का उपयोग करने वाला और दूसरा लीकी-इंटीग्रेट-एंड-फायर (LIF) स्पाइकिंग यूनिट का उपयोग करने वाला। सभी वेट्स (weights), डेप्थ, एम्बेडिंग्स और रीडआउट्स समान रहते हैं।
टू-साइडेड टारगेट-रेट प्रोब (Two-Sided Target-Rate Probe): आकस्मिक स्पर्सिटी पर निर्भर रहने के बजाय, लेखक एक रेगुलराइज़र ( $L_{reg}$ ) पेश करते हैं जो एक विशिष्ट लक्षित फायरिंग रेट ( $\rho^*$ ) से विचलन को दोनों दिशाओं में दंडित (penalize) करता है। यह उन्हें "प्राप्य स्पर्सिटी" के फ्लोर (floor) को प्रोब करने की अनुमति देता—वह न्यूनतम फायरिंग रेट जिसे कोई कार्य सटीकता हानि के बिना बनाए रख सकता है।
एनर्जी प्रॉक्सी (Energy Proxy): ऊर्जा का अनुमान 45 nm प्रोसेस डेटा (MAC = 4.6 pJ, AC = 0.9 pJ) का उपयोग करके लगाया जाता है। कंटीन्यूअस सिग्नल द्वारा संचालित डेंस ट्रांसफॉर्म्स को MACs के रूप में गिना जाता है, जबकि स्पाइक-ड्रिवन ट्रांसफॉर्म्स को मापे गए प्री-सिनैप्टिक फायरिंग और टाइमस्टेप्स के आधार पर स्केल किए गए ACs के रूप में गिना जाता है।
कार्य (Tasks): अध्ययन में फीड-फॉरवर्ड परसेप्शन (FashionMNIST), रिकरेंट सीक्वेंस मॉडलिंग (WikiText-103 कैरेक्टर-लेवल), सिंथेटिक मेमोरी टास्क (copy task), और एक स्पाइकिंग ट्रांसफार्मर शामिल हैं।

मुख्य योगदान (Key Contributions)

1. स्पर्सिटी सीलिंग (The Sparsity Ceiling)

पेपर कार्य आर्किटेक्चर पर निर्भर स्पर्सिटी की एक मौलिक सीमा की पहचान करता है:

फीड-फॉरवर्ड परसेप्शन: स्पर्सिटी आसानी से उपलब्ध है। लेखक सफलतापूर्वक हिडन फायरिंग रेट को बिना सटीकता हानि के 5% तक ले जाने में सफल रहे।
रिकरेंट सीक्वेंस मॉडलिंग: स्पर्सिटी संरचनात्मक रूप से अनुपलब्ध है। एक रिकरेंट लैंग्वेज मॉडल में 10% फायरिंग को लक्षित करने के प्रयास विफल रहे, जहाँ फायरिंग रेट 50–63% के पास बना रहा। रिकरेंट स्टेट को समय के साथ सूचना ले जाने के लिए सक्रिय रहना आवश्यक है।
स्पाइकिंग ट्रांसफॉर्मर्स: रिकरेंट मॉडल्स के विपरीत, ट्रांसफॉर्मर्स स्वतंत्र रूप से स्पर्सिफाई कर सकते हैं (2% तक नीचे), क्योंकि वे इतिहास को एक फिक्स्ड-विड्थ स्टेट में कंप्रेस करने से बचते हैं। हालांकि, वे फायरिंग फ्लोर के बदले एक मेमोरी वॉल (memory wall) का सामना करते हैं, जो पूर्ण की-वैल्यू (key–value) कैश ( $O(\text{context})$ ) को स्टोर करता है।

2. इंफॉर्मेशन-थ्योरेटिक फायरिंग-फ्लोर बाउंड (Information-Theoretic Firing-Floor Bound)

लेखक सूचना सिद्धांत (information theory) से प्राप्त एक सैद्धांतिक सीमा के साथ इस सीलिंग को औपचारिक रूप देते हैं। एक स्पाइकिंग रिकरेंट नेटवर्क के लिए, जिसमें $H$ हिडन यूनिट्स $M$ मेमोरी कंटेंट के बीच अंतर करने के लिए बाइनरी स्पाइक्स के माध्यम से संचार करती हैं:
$\rho \ge H_b^{-1}\left(\frac{\log_2 M}{H}\right)$
जहाँ $\rho$ फायरिंग रेट है और $H_b$ बाइनरी एंट्रॉपी फंक्शन है।

निहितार्थ (Implication): न्यूनतम फायरिंग रेट ( $\rho_{min}$ ) मेमोरी लोड ( $\log_2 M$ ) के साथ सख्ती से बढ़ता है और स्टेट विड्थ ( $H$ ) के साथ घटता है।
"मेमोरी-ओनली" दृष्टिकोण का खंडन: यह बाउंड किसी भी रिप्रेजेंटेशनल लोड के स्रोत पर लागू होता है। प्रयोगों से पता चलता है कि मेमोरीलेस फीड-फॉरवर्ड कार्यों में भी, फायरिंग फ्लोर कार्य की कठिनाई (क्लासेज की संख्या $C$ ) के साथ बढ़ता है, जो पुष्टि करता है कि केवल टेम्पोरल मेमोरी ही नहीं, बल्कि रिप्रेजेंटेशनल लोड भी फ्लोर को निर्धारित करता है।

3. इनपुट फ्लोर (The Input Floor)

भले ही हिडन लेयर्स को सफलतापूर्वक स्पर्सिफाई कर दिया गया हो, इनपुट लेयर कुल ऑपरेशन रिडक्शन को कैप (cap) कर सकता है। डेंस फ्रेम-रिप्ले इनपुट्स के साथ प्रयोगों में, इनपुट लेयर ने सिनैप्टिक ऑपरेशन बजट का 61% उपभोग किया, जिससे ANN के बराबर से अधिक ऑपरेशन रिडक्शन संभव नहीं हो पाया। यह ट्रू न्यूरोमॉर्फिक एफिशिएंसी के लिए नेटिव इवेंट-ड्रिवन इनपुट (जो स्वाभाविक रूप से स्पार्स है) को एक आवश्यक शर्त के रूप में अलग करता है।

प्रयोगात्मक परिणाम (Experimental Results)

परसेप्शन (FashionMNIST): स्पाइकिंग नेटवर्क ने अनरेगुलराइज्ड SNN के समान सटीकता के साथ फायरिंग को 5% तक कम कर दिया। इसके विपरीत, वन-साइडेड L1 रेगुलराइजेशन ने नेटवर्क को साइलेंट स्टेट में धकेल दिया।
रिकरेंट लैंग्वेज मॉडलिंग (WikiText-103): 10% फायरिंग को लक्षित करने से गतिविधि 63% से घटकर केवल 50% रह गई। क्वालिटी गैप (बिट्स पर कैरेक्टर) महत्वपूर्ण था, और GPU पर ट्रेनिंग ~6 गुणा धीमी थी।
सिंथेटिक कॉपी टास्क: एक विशिष्ट फायरिंग थ्रेशोल्ड के नीचे सटीकता गिर गई जो मेमोरी लोड ( $N$ ) के साथ बढ़ता है। $N=8$ के लिए, सटीकता को ~8% फायरिंग की आवश्यकता थी; $N=4$ के लिए, इसे ~4% की आवश्यकता थी। इसने बाउंड की भविष्यवाणी की पुष्टि की कि मेमोरी लोड के साथ फ्लोर बढ़ता है।
डिफिकल्टी स्केलिंग: एक मेमोरीलेस क्लासिफिकेशन टास्क में, क्लासेज की संख्या ( $C$ ) को 10 से 160 करने से फायरिंग फ्लोर 9.5% से बढ़कर 26% हो गया, जो दर्शाता है कि टेम्पोरल मेमोरी के बावजूद रिप्रेजेंटेशनल लोड ही फ्लोर को संचालित करता है।
स्पाइकिंग ट्रांसफार्मर: बिना किसी गिरावट के फायरिंग रेट 14 गुणा (0.27 से 0.02) कम हो गया, जो पुष्टि करता है कि सीलिंग रिकरेंट कंप्रेशन के प्रति विशिष्ट है, न कि सामान्य सीक्वेंस मॉडलिंग के प्रति।

महत्व और दावे (Significance and Claims)

यह पेपर "SNNs ऊर्जा बचाते हैं" के दावे को एक टास्क-कंडीशनल स्टेटमेंट के रूप में फिर से परिभाषित करता है जिसके पास एक ठोस, मापने योग्य नियम है।

जहाँ न्यूरोमॉर्फिक जीतता है: स्पार्स, इवेंट-ड्रिवन परसेप्शन टास्क में कम रिप्रेजेंटेशनल लोड के साथ। यहाँ, फायरिंग फ्लोर कम है, और नेटिव इवेंट सेंसर्स के साथ, इनपुट फ्लोर समाप्त हो जाता है।
जहाँ न्यूरोमॉर्फिक संघर्ष करता है: सीक्वेंस मॉडलिंग में।
- रिकरेंट मॉडल्स एक फायरिंग फ्लोर (~50%) से टकराते हैं क्योंकि उन्हें एक फिक्स्ड-विड्थ स्पाइक स्टेट में इतिहास को कंप्रेस करना होता है जो सक्रिय रहना चाहिए।
- अटेंशन-बेस्ड मॉडल्स फायरिंग फ्लोर से तो बच जाते हैं लेकिन एक मेमोरी वॉल (पूरा KV कैश स्टोर करना) से टकराते हैं, जो न्यूरोमॉर्फिक हार्डवेयर के ऑन-चिप मेमोरी बाधाओं के साथ टकराता है।
निष्कर्ष: कोई भी आर्किटेक्चर न्यूरोमॉर्फिक हार्डवेयर पर लागत से बच नहीं सकता है; वे बस अलग-अलग एक्सिस (एक्टिविटी बनाम मेमोरी) पर भुगतान करते हैं। पेपर निष्कर्ष निकालता है कि रिकरेंट SNNs में उच्च फायरिंग रेट ऊर्जा दक्षता के लाभों को मिटा देते हैं, और वर्तमान "स्पाइकिंग LLM" परिणाम मुख्य रूप से GPU क्लस्टर्स या विजन टास्क पर आधारित हैं, न कि सामान्य सीक्वेंस मॉडलिंग पर।

लेखक इस बात पर जोर देते हैं कि उनके निष्कर्ष नियंत्रित प्रोब्स और सैद्धांतिक बाउंड्स पर आधारित हैं, और वे रेट-कोडेड डेटा के उपयोग और डायरेक्ट हार्डवेयर मेजरमेंट के बजाय प्रोसेस-नोड एनर्जी एस्टीमेट्स पर निर्भरता जैसी सीमाओं को नोट करते हैं।