🤖 AI

Neural Dynamics Self-Attention for Spiking Transformers

यह शोध पत्र LRF-Dyn को प्रस्तुत करता है, जो एक नवीन स्पाइकिंग सेल्फ-अटेंशन तंत्र है जो स्थानीयकृत रिसेप्टिव फील्ड्स और मेम्ब्रेन-पोटेंशियल डायनेमिक्स का लाभ उठाकर स्पाइकिंग ट्रांसफॉर्मर्स में आर्टिफिशियल न्यूरल नेटवर्क्स के साथ प्रदर्शन के अंतर को पाटने और मेमोरी ओवरहेड को महत्वपूर्ण रूप से कम करने के लिए एक साथ कार्य करता है।

मूल लेखक: Dehao Zhang, Fukai Guo, Shuai Wang, Jingya Wang, Jieyuan Zhang, Yimeng Shan, Malu Zhang, Yang Yang, Haizhou Li

प्रकाशित 2026-03-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dehao Zhang, Fukai Guo, Shuai Wang, Jingya Wang, Jieyuan Zhang, Yimeng Shan, Malu Zhang, Yang Yang, Haizhou Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "Neural Dynamics Self-Attention for Spiking Transformers" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: "स्मार्ट लेकिन अनाड़ी" रोबोट

कल्पना कीजिए कि आप एक ऐसा रोबोट बना रहे हैं जिसे दुनिया को देखने और निर्णय लेने की आवश्यकता है, और वह भी एक बहुत छोटी बैटरी (जैसे स्मार्टवॉच या ड्रोन) पर चलते हुए।

पुराना तरीका (Artificial Neural Networks): ये उन सुपर-स्मार्ट रोबोट्स की तरह हैं जो हाई डेफिनेशन में सोचते हैं। वे बिल्लियों या कारों को पहचानने में बेहतरीन हैं, लेकिन वे ऊर्जा के भूखे (energy hogs) हैं। वे बहुत अधिक ऊर्जा खर्च करते हैं क्योंकि वे लगातार भारी गणनाएँ करते रहते हैं, भले ही उन्हें उनकी आवश्यकता न हो।
नया तरीका (Spiking Neural Networks - SNNs): ये जैविक रोबोटों (biological robots) की तरह हैं। वे केवल तभी "सोचते" हैं (एक सिग्नल भेजते हैं) जब कुछ दिलचस्प होता है। यदि कुछ भी हिल नहीं रहा है, तो वे शांत रहते हैं। यह उन्हें अविश्वसनीय रूप से ऊर्जा-कुशल बनाता है।
समस्या: हालांकि SNNs ऊर्जा बचाते हैं, लेकिन जटिल कार्यों (जैसे विजन ट्रांसफॉर्मर—जो आधुनिक इमेज रिकग्निशन को शक्ति देते हैं) के मामले में वे वर्तमान में पुराने रोबोट्स जितने स्मार्ट नहीं हैं। वे मेमोरी के मामले में भी अनाड़े हैं, उन्हें काम करने के लिए बहुत अधिक स्टोरेज स्पेस की आवश्यकता होती है, जो इस उद्देश्य को ही खत्म कर देता है कि उन्हें छोटे उपकरणों पर लगाया जाए।

यह पेपर इन दो समस्याओं को ठीक करने के लिए एक नया तरीका पेश करता है जिसे LRF-Dyn कहा जाता है: SNNs को स्मार्ट बनाना और कम मेमोरी-हंग्री बनाना।

दो मुख्य समस्याएँ

लेखकों ने दो विशिष्ट कारणों की पहचान की है जिनकी वजह से ये "जैविक रोबोट" संघर्ष करते हैं:

1. "वैश्विक दृष्टि" बनाम "स्थानीय नज़र" (The "Global Gaze" vs. The "Local Glance")

यह अभी कैसे काम करता है: कल्पना कीजिए कि आप एक सड़क की फोटो देख रहे हैं। एक मानक AI (VSA) पूरी फोटो को देखता है, लेकिन इसमें एक विशेष "स्पॉटलाइट" होती है जो स्वाभाविक रूप से उन लोगों पर ध्यान केंद्रित करती है जो एक-दूसरे के पास खड़े हैं। यह समझता है कि व्यक्ति का हाथ उसके हाथ से जुड़ा हुआ है क्योंकि वे पास-पास हैं।
SNN की खामी: वर्तमान स्पाइकिंग AI (SSA) चकराती आँखों (dizzy eyes) वाले व्यक्ति की तरह है। यह पूरी फोटो को देखता है लेकिन हर एक पिक्सेल को उतना ही महत्वपूर्ण मानता है जैसे कि वह बराबर हो, चाहे दूरी कुछ भी हो। इसे यह एहसास नहीं होता कि व्यक्ति का हाथ उसके हाथ के ठीक बगल में है। इसमें "स्थानीय फोकस" की कमी है।
परिणाम: रोबोट महत्वपूर्ण विवरणों को मिस कर देता है क्योंकि वह हर चीज़ को एक ही तीव्रता के साथ देख रहा है।

2. "नोटबुक" की समस्या (The "Notebook" Problem)

कैसे काम करता है: फोटो को समझने के लिए, AI नोट्स की एक विशाल सूची लिखता है: "पिक्सेल A पिक्सेल B से संबंधित है," "पिक्सेल A पिक्सेल C से संबंधित है," आदि। एक उच्च-रिज़ॉल्यूशन वाली इमेज के लिए, यह नोटबुक विशाल हो जाती है।
SNN की खामी: भले ही SNNs को कुशल होना चाहिए, फिर भी उन्हें गणित करने के लिए अपनी मेमोरी में यह विशाल नोटबुक साथ लेकर चलने की आवश्यकता होती है। यह छोटे डिवाइस पर उपलब्ध सारा स्टोरेज स्पेस खा जाता है, जिससे उन्हें छोटे चिप पर चलाना असंभव हो जाता है।

समाधान: LRF-Dyn

लेखकों ने दो-चरणीय समाधान प्रस्तावित किया है जो इस बात से प्रेरित है कि हमारी आँखों और मस्तिष्क में वास्तविक जैविक न्यूरॉन्स कैसे काम करते हैं।

चरण 1: रोबोट को "लोकल रिसेप्टिव फील्ड्स" (LRF) देना

उपमा: कल्पना कीजिए कि आप एक भीड़भाड़ वाली पार्टी में हैं।
- पुराना SNN: आप कमरे में मौजूद सभी लोगों को एक साथ चिल्लाकर बुलाते हैं, ताकि हर बातचीत को सुन सकें। यह अराजक है और आप महत्वपूर्ण फुसफुसाहटों को मिस कर देते हैं।
- नया LRF: आप नॉइज़-कैंसलिंग हेडफ़ोन पहन लेते हैं जो केवल आपको उन लोगों को सुनने देते हैं जो आपके 3 फीट के दायरे में खड़े हैं। आप अपने तत्काल घेरे पर तीव्रता से ध्यान केंद्रित करते हैं।
उन्होंने क्या किया: उन्होंने AI में एक "लोकल फोकस" मॉड्यूल जोड़ा। अब, जब रोबलेट किसी छवि को देखता है, तो वह स्वचालित रूप से उन पिक्सेल को अधिक महत्व देता है जो एक-दूसरे के करीब हैं। यह नकल करता है कि हमारी आँखें स्वाभाविक रूप से पास के विवरणों पर कैसे ध्यान केंद्रित करती हैं, जिससे रोबोट आकृतियों और वस्तुओं को पहचानने में बहुत स्मार्ट हो जाता है।

चरण 2: "डायनेमिक मेमोरी" का कमाल (The "Dynamic Memory" Trick - Dyn)

उपमा:
- पुराना SNN: किसी बातचीत को याद रखने के लिए, आप हर एक शब्द को नोटबुक में लिखते हैं। दिन के अंत तक, नोटबुक बहुत बड़ी हो जाती है।
- नया LRF-Dyn: सब कुछ लिखने के बजाय, आप एक मानसिक ट्रिक का उपयोग करते हैं। आप एक ऐसे न्यूरॉन की कल्पना करते हैं जो एक लीकी बकेट (टपकती बाल्टी) की तरह काम करता है।
  - जब कोई सिग्नल आता है, तो आप बाल्टी में पानी (सूचना) डालते हैं।
  - यदि बाल्टी भर जाती है, तो वह "छलकती" (स्पाइक फायर करती) है और रीसेट हो जाती है।
  - यदि कोई बात नहीं करता है, तो पानी धीरे-धीरे लीक (क्षय/decay) हो जाता है।
उन्होंने क्या किया: उन्होंने विशाल "नोटबुक" के रिश्तों को लिखने की आवश्यकता को इस "लीकी बकेट" प्रणाली से बदल दिया। AI संबंधों की गणना ऑन-द-फ्लाई (तुरंत) बाल्टी के भौतिक विज्ञान (चार्ज, फायर, रीसेट) का उपयोग करके करता है।
परिणाम: अब आपको नोट्स की विशाल सूची को स्टोर करने की आवश्यकता नहीं है। मेमोरी की आवश्यकता नाटकीय रूप से गिर जाती है, लेकिन रोबोट अभी भी संदर्भ (context) को पूरी तरह से समझता है।

परिणाम

इन दोनों विचारों को मिलाकर, लेखकों ने LRF-Dyn बनाया:

स्मार्ट: रोबोट अब स्थानीय विवरणों (जैसे मानव आँख) पर ध्यान केंद्रित करता है, इसलिए यह वस्तुओं को बेहतर ढंग से पहचानता है।
हल्का: इसे विशाल नोटबुक ले जाने की आवश्यकता नहीं है, इसलिए यह बहुत कम मेमोरी का उपयोग करता है।
कुशल: यह "सुपर-स्मार्ट रोबोट" के प्रदर्शन के साथ आखिरकार मेल खाते हुए, "जैविक रोबोट" के कम-शक्ति वाले लाभों को बनाए रखता है।

संक्षेप में: उन्होंने ऊर्जा-कुशल AI को दुनिया को देखने का तरीका सिखाया (जो पास है उस पर ध्यान केंद्रित करना) और चीजों को याद रखने का तरीका सिखाया (स्थिर सूचियों के बजाय गतिशील, लीकी सिग्नल्स का उपयोग करना जैसा कि हमारा मस्तिष्क करता है)। यह भविष्य में छोटे, बैटरी से चलने वाले उपकरणों पर शक्तिशाली AI चलाना संभव बनाता है।

यहाँ पेपर "Neural Dynamics Self-Attention for Spiking Transformers" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्पाइकिंग न्यूरल नेटवर्क (SNNs) को ट्रांसफॉर्मर आर्किटेक्चर के साथ एकीकृत करना ऊर्जा-कुशल एज विजन (edge vision) की ओर एक आशाजनक मार्ग प्रदान करता है। हालाँकि, मौजूदा स्पाइकिंग ट्रांसफॉर्मर्स के सामने दो महत्वपूर्ण सीमाएँ हैं जो संसाधन-सीमित उपकरणों पर उनकी तैनाती में बाधा डालती हैं:

प्रदर्शन अंतराल (सीमित स्थानीय मॉडलिंग - Limited Local Modeling): विजन ट्रांसफॉर्मर (ViT) का उपयोग करने वाले आर्टिफिशियल न्यूरल नेटवर्क (ANNs) के विपरीत, जो स्थानीयकृत, स्पार्स अटेंशन वितरण बनाने के लिए सॉफ्टमैक्स-आधारित सेल्फ-अटेंशन (VSA) का उपयोग करते हैं, स्पाइकिंग सेल्फ-अटेंशन (SSA) इवेंट-ड्रिवन विशेषताओं को बनाए रखने के लिए सॉफ्टमैक्स ऑपरेशन को छोड़ देता है। सैद्धांतिक विश्लेषण और अनुभवजन्य साक्ष्य बताते हैं कि सॉफ्टमैक्स के बिना, SSA लगभग एक समान (uniform) अटेंशन वितरण उत्पन्न करता है। लोकेलिटी बायस (Locality Bias) की यह कमी मॉडल को स्थानिक रूप से आसन्न टोकन (spatially adjacent tokens) पर प्रभावी ढंग से ध्यान केंद्रित करने से रोकती है, जिससे ANNs की तुलना में प्रदर्शन का एक महत्वपूर्ण अंतर पैदा होता है।
उच्च मेमोरी ओवरहेड (High Memory Overhead): मानक SSA तंत्र इन्फरेंस के दौरान बड़े अटेंशन मैट्रिसेस (जैसे, $Q \times K^T$ या $K \times V$ ) के स्पष्ट भंडारण की आवश्यकता होती है। अनुक्रम लंबाई $N$ और फीचर डायमेंशन $d$ के लिए, यह पर्याप्त मेमोरी लागत (अक्सर $O(Nd^2)$ या $d^2$ इंटरमीडिएट मैट्रिसेस के भंडारण की आवश्यकता) उत्पन्न करता है, जो SNNs के लो-मेमोरी लक्ष्य के विरुद्ध है और न्यूरोमॉर्फिक चिप्स पर तैनाती को सीमित करता है।

2. कार्यप्रणाली: LRF-Dyn

लेखक LRF-Dyn (Local Receptive Field - Dynamics) प्रस्तावित करते हैं, जो एक नया फ्रेमवर्क है जो जैविक दृश्य न्यूरॉन्स (biological visual neurons) की नकल करके इन दोनों सीमाओं को संबोधित करता है। यह विधि दो मुख्य घटकों से मिलकर बनी है:

A. LRF-SSA: स्थानीय मॉडलिंग को बढ़ाना

प्रदर्शन अंतराल को ठीक करने के लिए, लेखक स्पाइकिंग सेल्फ-अटेंशन (SSA) मॉड्यूल में एक लोकल रिसेप्टिव फील्ड (LRF) तंत्र पेश करते हैं।

तंत्र (Mechanism): केवल ग्लोबल डॉट-प्रोडक्ट अटेंशन पर निर्भर रहने के बजाय, LRF-SSA मल्टी-स्केल डाइलेटेड डेप्थ-वाइज़ कनवल्शन (डाइलेशन फैक्टर्स $d=3$ और $d=5$ के साथ 3 $\times$ 3 कर्नेल) को एकीकृत करता है।
कार्य (Function): ये कनवल्शन पड़ोसी टोकन को उच्च भार (higher weights) आवंटित करते हैं, जो प्रभावी रूप से एक "लोकल बायस" बनाता है।
सैद्धांतिक आधार (Theoretical Basis): लेखक सिद्ध करते हैं (थ्योरम 1 और 2) कि यह हाइब्रिड दृष्टिकोण अपेक्षित रिसेप्टिव फील्ड रेडियस को कम करता है और अटेंशन वितरण के सूचना एंट्रॉपी (information entropy) को कम करता है, जिससे यह बिना सॉफ्टमैक्स ऑपरेशन के, VSA के स्थानीयकृत, लो-एंट्रॉपी वितरण के करीब आ जाता है।

B. LRF-Dyn: न्यूरोनल डायनेमिक्स के माध्यम से मेमोरी कम करना

अटेंशन मैट्रिसेस के भंडारण के मेमोरी ओवरहेड को समाप्त करने के लिए, लेखक न्यूरोनल मेम्ब्रेन-पोटेंशियल डायनेमिक्स का उपयोग करके अटेंशन गणना को पुनर्गठित करते हैं।

तंत्र (Mechanism): अटेंशन एग्रीगेशन प्रक्रिया को स्पाइकिंग न्यूरॉन्स के चार्ज-फायर-रीसेट (charge–fire–reset) डायनेमिक्स द्वारा अनुमानित किया जाता है।
- पिछले $K \times V$ इंटरैक्शन के संचय को मेम्ब्रेन पोटेंशियल ( $H$ ) के रूप में मॉडल किया गया है।
- वर्तमान क्वेरी इंटरैक्शन प्रीसिनैप्टिक इनपुट के रूप में कार्य करता है।
- आउटपुट एक स्पाइक जनरेशन फंक्शन ( $\Theta$ ) के माध्यम से उत्पन्न होता है।
कार्यान्वयन (Implementation): मॉडल एक डेंड्रिटिक संरचना का उपयोग करता है जहाँ विभिन्न शाखाएँ (जो अलग-अलग समय पैमाने या रिसेप्टिव फील्ड का प्रतिनिधित्व करती हैं) इनपुट को एकीकृत करती हैं। डिके फैक्टर ( $A$ ) और मेम्ब्रेन कैपेसिटेंस ( $\Gamma$ ) सीखे जाने योग्य पैरामीटर हैं।
मेमोरी लाभ (Memory Benefit): यह पुनर्गठन स्पष्ट $N \times N$ या $d \times d$ अटेंशन मैट्रिसेस के भंडारण की आवश्यकता को समाप्त करता है। इसके बजाय, मॉडल को केवल वर्तमान मेम्ब्रेन पोटेंशियल स्टेट को संग्रहीत करने की आवश्यकता होती है, जिससे इन्फरेंस-टाइम स्टोरेज कॉम्प्लेक्सिटी $O(Nd^2)$ से घटकर **$O(kd) $** हो जाती है (जहाँ$ k$ डेंड्रिटिक शाखाओं की संख्या है, जिसे प्रयोगों में 8 सेट किया गया है)।

3. प्रमुख योगदान

समस्या की पहचान: पेपर सैद्धांतिक और अनुभवजन्य रूप से पहचान करता है कि लोकेलिटी बायस की कमी (सॉफ्टमैक्स को हटाने के कारण) और उच्च मेमोरी ओवरहेड वर्तमान स्पाइकिंग ट्रांसफॉर्मर्स में प्राथमिक बाधाएं हैं।
LRF-SSA: एक नवीन अटेंशन तंत्र जो कनवल्शन के माध्यम से SSA में लोकल रिसेप्टिव फील्ड्स को इंजेक्ट करता है, जिससे SNNs की इवेंट-ड्रिवन प्रकृति को बनाए रखते हुए स्थानीय मॉडलिंग क्षमताओं और प्रदर्शन में उल्लेखनीय सुधार होता है।
LRF-Dyn: एक मेमोरी-कुशल प्रतिमान (paradically) जो स्पष्ट अटेंशन मैट्रिक्स स्टोरेज को न्यूरोनल डायनेमिक्स (चार्ज-फायर-रीसेट) से बदल देता है, जिससे सटीकता से समझौता किए बिना इन्फरेंस मेमोरी आवश्यकताओं को काफी कम कर दिया जाता है।
सैद्धांतिक प्रमाण: लेखक प्रमाण प्रदान करते हैं जो दर्शाते हैं कि LRF-SSA मानक SSA की तुलना में कम एंट्रॉपी (शार्पर अटेंशन) प्राप्त करता है और अपेक्षित रिसेप्टिव फील्ड काफी कम हो जाता है, जो जैविक संभाव्यता (biological plausibility) के अनुरूप है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन विभिन्न आर्किटेक्चर (Spikformer, QKFormer, Spike-Driven-V3) में इमेज क्लासिफिकेशन (ImageNet-1k) और सिमेंटिक सेगमेंटेशन (ADE20K) कार्यों पर किया गया।

सटीकता में सुधार (Accuracy Improvements):
- ImageNet-1k: LRF-SSA ने Spikformer-8-512 की सटीकता को 1.24% (73.38% $\to$ 74.62%) और Spikformer-8-768 को 0.85% सुधारा।
- SDT-V3: केवल 5.24M पैरामीटर्स के साथ 76.22% सटीकता प्राप्त की, जो तुलनीय मॉडलों से बेहतर है।
- सिमेंटिक सेगमेंटेशन: ADE20K पर, विधि ने छोटे मॉडल के लिए mIoU में 2.6% (33.6% $\to$ 36.2%) और बड़े मॉडल के लिए 2.2% का सुधार किया।
मेमोरी दक्षता (Memory Efficiency):
- LRF-Dyn ने LRF-SSA के समान सटीकता बनाए रखते हुए Spikformer-8-512 पर इन्फरेंस मेमोरी उपयोग को 49.4% कम कर दिया।
- इसने सफलतापूर्वक स्टोरेज कॉम्प्लेक्सिटी को $O(kd)$ तक कम कर दिया, जिससे यह न्यूरोमॉर्फिक हार्डवेयर के लिए व्यवहार्य बन गया।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि स्थानीय कनवल्शन कर्नेल की संख्या बढ़ाने से सटीकता में लगातार सुधार होता है, जो लोकल रिसेप्टिव फील्ड के महत्व को प्रमाणित करता है।

5. महत्व

यह कार्य SNNs की ऊर्जा दक्षता और ट्रांसफॉर्मर्स के उच्च प्रदर्शन के बीच के अंतर को पाटता है। लोकेलिटी बायस और मेमोरी ओवरहेड दोनों को एक साथ संबोधित करके, LRF-Dyn संसाधन-सीमित एज डिवाइसेस और न्यूरोमॉर्फिक चिप्स पर उच्च-प्रदर्शन वाले स्पाइकिंग ट्रांसफॉर्मर तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करता है। यह एक नया सैद्धांतिक अंतर्दृष्टि प्रदान करता है कि कैसे जैविक तंत्रों (लोकल डेंड्रिटिक इंटीग्रेशन और मेम्ब्रेन डायनेमिक्स) का उपयोग लो-पावर कंप्यूटिंग के लिए डीप लर्निंग आर्किटेक्चर को अनुकूलित करने के लिए किया जा सकता है।