General aspects of internal noise in spiking neural networks

यहाँ कोल्सनिकोव और अन्य द्वारा लिखित शोध पत्र "Internal noise in spiking neural networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे आर्टिफिशियल न्यूरल नेटवर्क (ANNs) की जटिलता बढ़ रही है, पारंपरिक सॉफ्टवेयर-आधारित कार्यान्वयन स्केलेबिलिटी और ऊर्जा दक्षता की सीमाओं का सामना कर रहे हैं। हार्डवेयर-निर्मित न्यूरल नेटवर्क (जैसे कि मेमरिस्टर, लेजर, या स्पिनट्रोनिक ऑसिलेटर का उपयोग करके) एक आशाजनक विकल्प प्रदान करते हैं, जो न्यूरॉन्स को भौतिक घटकों (physical components) से मैप करते हैं। हालाँकि, डिजिटल सिस्टम के विपरीत जहाँ शोर (noise) मुख्य रूप से बाहरी होता है, हार्डवेयर न्यूरल नेटवर्क भौतिक घटकों से उत्पन्न होने वाले आंतरिक शोर (internal noise) के अधीन होते हैं।

यह शोर योगात्मक (additive) (हस्तक्षेप) या गुणनात्मक (multiplicative) (स्केलिंग उतार-चढ़ाव) हो सकता है और न्यूरल प्रोसेसिंग के विभिन्न चरणों में हो सकता है। जबकि कुछ अध्ययन बताते हैं कि शोर मजबूती (robustness) में सुधार कर सकता है, अन्य संकेत देते हैं कि यह प्रदर्शन को कम करता है। निम्नलिखित के संबंध में समझ की भारी कमी है:

• कौन से विशिष्ट शोर तंत्र (योगात्मक बनाम गुणनात्मक) स्पाइकिंग न्यूरल नेटवर्क (SNNs) के लिए सबसे अधिक हानिकारक हैं।
• न्यूरल प्रोसेसिंग के किस चरण (इनपुट करंट, मेम्ब्रेन पोटेंशियल, या आउटपुट स्पाइक) में शोर के कारण सबसे अधिक सटीकता की हानि होती है।
• SNNs सामान्य शोर (common noise) (सभी न्यूरॉन्स में समान) बनाम असामान्य शोर (uncommon noise) (न्यूरॉन्स के बीच स्वतंत्र) के प्रति कैसे प्रतिक्रिया करते हैं।

2. कार्यप्रणाली (Methodology)

लेखकों ने इन मुद्दों की जांच करने के लिए दो-स्तरीय दृष्टिकोण अपनाया:

A. एकल न्यूरॉन विश्लेषण (Leaky Integrate-and-Fire Model)

• मॉडल: एक प्रथम-क्रम (first-order) लीकी इंटीग्रेट-एंड-फायर (LIF) न्यूरॉन का उपयोग किया गया, जिसे मेम्ब्रेन पोटेंशियल क्षय ($\beta$), इनपुट करंट एकीकरण, और सबट्रैक्शन-बाय-रीसेट (reset-by-subtraction) तंत्र के साथ स्पाइक जनरेशन द्वारा परिभाषित किया गया था।
• शोर इंजेक्शन (Noise Injection): शोर को तीन अलग-अलग चरणों में पेश किया गया:
  1. इनपुट करंट ($I_{in}$): शोर वाले कनेक्शनों के समान।
  2. मेम्ब्रेन पोटेंशियल ($U_{mem}$): आंतरिक घटक उतार-चढ़ाव के समान।
  3. आउटपुट स्पाइक ($S$): ट्रांसमिशन त्रुटियों के समान।
• शोर के प्रकार: दोनों योगात्मक (Additive) ($\xi_A$) और गुणनात्मक (Multiplicative) ($\xi_M$) गाऊसी व्हाइट नॉइज़ (Gaussian white noise) लागू किए गए।
• इनपुट परिदृश्य: दो इनपुट सिग्नल प्रकारों का परीक्षण किया गया:
  1. पूर्णतः सकारात्मक (Purely Positive): $I_{in} \in [0, 1]$।
  2. सकारात्मक/नकारात्मक (Positive/Negative): $I_{in} \in [-1, 1]$ (वास्तविक दुनिया के SNN इनपुट जैसे NMNIST का अनुकरण करना)।
• मेट्रिक्स: प्रदर्शन का मूल्यांकन ट्रू पॉजिटिव (TP), फॉल्स पॉजिटिव (FP), ट्रू नेगेटिव (TN), और फॉल्स नेगेटिव (FN) का उपयोग करके किया गया।

B. प्रशिक्षित नेटवर्क विश्लेषण (Trained Network Analysis)

• आर्किटेक्चर: MNIST डेटासेट पर प्रशिक्षित एक न्यूनतम SNN (784 इनपुट न्यूरॉन्स, 20 हिडन स्पाइकिंग न्यूरॉन्स, 10 आउटपुट न्यूरॉन्स)।
• प्रशिक्षण: 50 युगों (epochs) के लिए Adam ऑप्टिमाइज़र के साथ snnTorch का उपयोग करके प्रशिक्षित किया गया।
• शोर अनुप्रयोग: आंतरिक शोर को 20 हिडन न्यूरॉन्स में इंजेक्ट किया गया।
• शोर सहसंबंध (Noise Correlation):
  • असामान्य शोर (Uncommon Noise): प्रत्येक न्यूरॉन के लिए स्वतंत्र शोर।
  • सामान्य शोर (Common Noise): सभी हिडन न्यूरॉन्स पर लागू समान शोर सिग्नल।
• शमन रणनीतियाँ (Mitigation Strategies): लेखकों ने शोर इंजेक्शन से पहले इनपुट रेंज को सीमित करने के लिए इनपुट प्री-फिल्टरिंग का परीक्षण किया:
  • सिग्मॉइड फ़िल्टर (Sigmoid Filter): इनपुट को सख्ती से सकारात्मक रेंज $(0, 1)$ में मैप करता है।
  • Tanh फ़िल्टर (Tanh Filter): इनपुट को रेंज $(-1, 1)$ में मैप करता है।

3. प्रमुख योगदान (Key Contributions)

1. महत्वपूर्ण शोर तंत्रों की पहचान: अध्ययन निश्चित रूप से पहचान करता है कि मेम्ब्रेन पोटेंशियल पर लागू गुणनात्मक शोर (multiplicative noise) SNN प्रदर्शन के लिए सबसे विनाशकारी कारक है।
2. विफलता का तंत्र: लेखक समझाते हैं कि मेम्ब्रेन पोटेंशियल पर गुणनात्मक शोर न्यूरॉन्स को बड़े नकारात्मक मानों की ओर धकेलता है (उन्हें शांत करता है), जो प्रभावी रूप से "न्यूरॉन डेथ" (neuron death) का कारण बनता है, जो विशेष रूप से तब गंभीर होता है जब इनपुट नकारात्मक हो सकते हैं।
3. प्री-फिल्टरिंग समाधान: पेपर एक अत्यधिक प्रभावी रणनीति के रूप में सिग्मॉइड-आधारित प्री-फिल्टरिंग का प्रस्ताव करता और उसे प्रमाणित करता है। इनपुट को सख्ती से सकारात्मक रेंज तक सीमित करके, मेम्ब्रेन पोटेंशियल पर गुणनात्मक शोर के हानिकारक प्रभाव को निष्प्रभावी किया जा सकता है।
4. सामान्य शोर के प्रति मजबूती: अध्ययन प्रकट करता है कि SNNs सामान्य शोर (जनसंख्या में सहसंबद्ध) के प्रति काफी अधिक मजबूती प्रदर्शित करते हैं, जो वैश्विक हार्डवेयर उतार-चढ़ाव के प्रति एक अंतर्निहित लचीलेपन का सुझाव देता है।

4. मुख्य परिणाम (Key Results)

एकल न्यूरॉन निष्कर्ष:

• सकारात्मक इनपुट: मेम्ब्रेन पोटेंशियल में गुणनात्मक शोर महत्वपूर्ण स्पाइक विफलताओं का कारण बनता है।
• सकारात्मक/नकारात्मक इनपुट: मेम्ब्रेन पोटेंशियल में गुणनात्मक शोर विनाशकारी है। यह मेम्ब्रेन पोटेंशियल को असीमित नकारात्मक मानों की ओर ले जाता है, जिससे न्यूरॉन शांत हो जाता है।
• त्रुटि विश्लेषण: बिना फ़िल्टरिंग के, $U_{mem}$ में गुणनात्मक शोर उच्चतम फॉल्स पॉजिटिव (FP) दर और निम्नतम ट्रू पॉजिटिव (TP) दर की ओर ले जाता है।

प्रशिक्षित नेटवर्क निष्कर्ष (बिना फ़िल्टरिंग के):

• सटीकता में गिरावट: मेम्ब्रेन पोटेंशियल में गुणनात्मक शोर सबसे गंभीर सटीकता गिरावट का कारण बनता है (उच्च शोर तीव्रता पर ~92% से गिरकर ~60% हो जाना)।
• प्रमुख शोर: फ़िल्टरिंग के बिना, नेटवर्क मेम्ब्रेन पोटेंशियल में गुणनात्मक शोर के प्रति अत्यधिक संवेदनशील है, चाहे इनपुट सकारात्मक हो या मिश्रित।

प्रशिक्षित नेटवर्क निष्कर्ष (फ़िल्टरिंग के साथ):

• सिग्मॉइड फ़िल्टर: जब इनपुट को सख्ती से सकारात्मक रेंज में प्री-फ़िल्टर किया जाता है:
  • नेटवर्क अत्यधिक मजबूत हो जाता है।
  • इनपुट करंट में योगात्मक शोर त्रुटि का प्रमुख स्रोत बन जाता है, लेकिन उच्च तीव्रता ($D=1$) पर भी, सटीकता केवल ~5% गिरती है।
  • अन्य सभी शोर कॉन्फ़िगरेशन (मेम्ब्रेन पोटेंशियल में गुणनात्मक शोर सहित) सटीकता को 1% से अधिक कम नहीं करते हैं।
• Tanh फ़िल्टर: इसने बिना फ़िल्टर वाले मामले के समान परिणाम दिए क्योंकि यह नकारात्मक मानों की अनुमति देता है, जिससे "न्यूरॉन डेथ" प्रभाव को रोकने में विफलता होती है।

सामान्य बनाम असामान्य शोर:

• असामान्य शोर: सटीकता में महत्वपूर्ण गिरावट का कारण बनता है।
• सामान्य शोर: सटीकता में बहुत कम कमी लाता है। नेटवर्क सामान्य शोर (जो सभी हिडंड न्यूरॉन्स को एक साथ प्रभावित करता है) के प्रति स्वाभाविक रूप से मजबूत है, क्योंकि सापेक्ष स्पाइक काउंट (जो रेट कोडिंग के लिए उपयोग किए जाते हैं) स्थिर रहते हैं, भले ही पूर्ण (absolute) काउंट बदल जाए।

5. महत्व और निहितार्थ (Significance and Implications)

• हार्डवेयर डिज़ाइन: SNNs के भौतिक कार्यान्वयन (न्यूरोमॉर्फिक चिप्स) के लिए, यह अध्ययन बताता है कि मेम्ब्रेन पोटेंशियल स्थिरता सर्वोपरि है। डिजाइनरों को एकीकरण चरण में गुणनात्मक शोर को कम करने या ऐसे सर्किट बनाने को प्राथमिकता देनी चाहिए जो सकारात्मक ऑपरेटिंग रेंज सुनिश्चित करें।
• एल्गोरिदम संबंधी मजबूती: निष्कर्ष बताते हैं कि इनपुट प्री-प्रोसेसिंग (सिग्मॉइड एक्टिवेशन) एक महत्वपूर्ण, कम लागत वाली रणनीति है जो SNNs को एनालॉग हार्डवेयर में पाए जाने वाले विशिष्ट प्रकार के आंतरिक शोर के खिलाफ मजबूत बनाती है।
• स्केलेबिलिटी: सामान्य शोर के प्रति अंतर्निहित मजबूती यह बताती है कि बड़े पैमाने पर हार्डवेयर SNNs पहले की तुलना में अधिक व्यवहार्य हो सकते हैं, क्योंकि वैश्विक हार्डवेयर उतार-चढ़ाव (जैसे बिजली आपूर्ति का शोर) प्रदर्शन को विनाशकारी रूप से प्रभावित नहीं करेंगे।
• भविष्य की दिशाएं: यह कार्य हार्डवेयर न्यूरल नेटवर्क को प्रशिक्षित करने के लिए एक रोडमैप प्रदान करता है, जो इस बात पर जोर देता है कि शोर-जागरूक प्रशिक्षण (noise-aware training) या विशिष्ट वास्तुशिल्प बाधाएं (जैसे सकारात्मक-केवल इनपुट) उभरती हुई न्यूरोमॉर्फिक प्रौद्योगिकियों की भौतिक सीमाओं को कम कर सकती हैं।