🤖 machine learning

Sharpness Aware Surrogate Training for Spiking Neural Networks

यह शोध पत्र शार्पनेस-अवेयर सरोगेट ट्रेनिंग (SAST) प्रस्तुत करता है, जो एक ऐसी विधि है जो ग्रेडिएंट अनुमान से नॉनस्मूथ डायनेमिक्स को अलग करने के लिए सरोगेट फॉरवर्ड SNNs पर शार्पनेस-अवेयर मिनिमाइजेशन लागू करती है, जिससे सैद्धांतिक अभिसरण गारंटी (convergence guarantees) प्राप्त होती है और इवेंट-आधारित विजन बेंचमार्क पर हार्ड स्पाइक ट्रांसफर सटीकता और मजबूती में महत्वपूर्ण सुधार होता है।

मूल लेखक: Maximilian Nicholson

प्रकाशित 2026-03-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Maximilian Nicholson

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Sharpness Aware Surrogate Training for Spiking Neural Networks" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: "स्मूदी" बनाम "बर्फ का टुकड़ा" (The "Smoothie" vs. The "Ice Cube")

कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानना सिखा रहे हैं। रोबोट एक विशेष प्रकार के मस्तिष्क का उपयोग करता है जिसे स्पाइकिंग न्यूरल नेटवर्क (SNN) कहा जाता है। इस मस्तिष्क को लाइट स्विचों से भरे एक कमरे की तरह समझें। जब एक स्विच "ऑन" होता है, तो वह अगले स्विच को एक छोटा सा बिजली का स्पार्क (एक "स्पाइक") भेजता है। जब यह "ऑफ" होता है, तो कुछ नहीं होता।

समस्या:
इस रोबोट को सिखाने के लिए, हम आमतौर पर एक ट्रिक का उपयोग करते हैं। हम ऐसा नाटक करते हैं जैसे लाइट स्विच केवल "ऑन" या "ऑफ" नहीं हैं, बल्कि उन्हें 50% या 75% तक धीमा (dim) किया जा सकता है। इस "धीमे" संस्करण को सरोगेट (Surrogate) कहा जाता है। यह एक स्मूदी की तरह है; इसे ब्लेंड करना और मिलाना (गणितीय रूप से प्रशिक्षित करना) आसान है।

हालाँकि, जब हम वास्तव में वास्तविक दुनिया में रोबोट को तैनात करते हैं, तो हम धीमे स्विच नहीं रख सकते। हमें स्विचों को सख्ती से ON या OFF (बर्फ के टुकड़े की तरह) होना चाहिए। यह "हार्ड स्पाइक" (Hard Spike) मॉडल है।

अंतराल (The Gap):
पेपर एक निराशाजनक समस्या की पहचान करता है: रोबोट "स्मूदी" (धीमे स्विच) पर तो बहुत अच्छी तरह सीख लेता है, लेकिन जब हम इसे वास्तविक जीवन के लिए "बर्फ के टुकड़े" (सख्त ऑन/ऑफ) पर स्विच करते हैं, तो यह अचानक सब कुछ भूल जाता है। यह एक ऐसे छात्र की तरह है जो कैलकुलेटर के साथ अभ्यास परीक्षा में तो टॉप करता है, लेकिन बिना कैलकुलेटर के असली परीक्षा में फेल हो जाता है। अभ्यास स्कोर और वास्तविक स्कोर के बीच का अंतर बहुत बड़ा है।

समाधान: SAST (Sharpness Aware Surrogate Training)

लेखक एक नया प्रशिक्षण तरीका प्रस्तावित करते हैं जिसे SAST कहा जाता है। इसे समझने के लिए, आइए पर्वतारोहण (Mountain Climbing) के उदाहरण का उपयोग करें।

1. पुराना तरीका (मानक प्रशिक्षण):
कल्पना कीजिए कि आप एक हाइकर हैं जो एक घाटी के सबसे निचले बिंदु (सर्वश्रेष्ठ समाधान) को खोजने की कोशिश कर रहे हैं। आप अपने पैरों के ठीक नीचे ज़मीन देखते हैं और ढलान की ओर एक कदम बढ़ाते हैं।

जोखिम: आप एक छोटे, उथले गड्ढे को पा सकते हैं जो नीचे का हिस्सा दिखता है, लेकिन वास्तव में वह एक खड़ी चट्टान के किनारे पर एक छोटा सा छेद है। यदि हवा थोड़ी भी चलती है (या डेटा थोड़ा बदल जाता है), तो आप उस छेद से सीधे गिर जाएंगे। गणितीय शब्दों में, यह एक "शार्प" (sharp) समाधान है। यह ठीक उसी स्थान पर काम करता है जहाँ आपने इसे प्रशिक्षित किया था, लेकिन यदि आप एक मिलीमीटर भी हिलते हैं, तो यह विफल हो जाता है।

2. नया तरीका (SAST):
SAST हाइकर के ज़मीन देखने के तरीके को बदल देता है। केवल अपने पैरों के नीचे की जगह देखने के बजाय, वे अपने पैरों के चारों ओर एक छोटा घेरा देखते हैं।

वे पूछते हैं: "यदि मैं इस घेरे के भीतर किसी भी दिशा में एक कदम लेता हूँ, तो क्या ज़मीन नीची ही रहती है?"
यदि किसी भी दिशा में ज़मीन बहुत तेज़ी से ऊपर उठती है, तो वे जानते हैं कि यह एक "शार्प" छेद है और वे इससे बचते हैं।
वे तब तक खोजते रहते हैं जब तक कि उन्हें एक चौड़ी, सपाट घाटी न मिल जाए। भले ही हवा चले या वे थोड़ा गलत कदम उठा लें, वे घाटी में ही रहते हैं। यह एक "फ्लैट" (flat) समाधान है।

यह रोबोट की मदद कैसे करता है:
रोबोट को "फ्लैट घाटी" (एक मजबूत समाधान) में सीखने के लिए मजबूर करके, रोबोट "स्मूदी" (प्रशिक्षण) और "बर्फ के टुकड़े" (वास्तविक जीवन) के बीच के सूक्ष्म अंतरों के प्रति कम संवेदनशील हो जाता है। जब नियम थोड़े बदलते हैं, तब भी व्यवहार स्थिर रहता है।

पेपर ने वास्तव में क्या किया

शोधकर्ताओं ने इस "फ्लैट घाटी" के विचार (जिसे वे Sharpness Aware Minimization या SAM कहते हैं) को विशेष रूप से स्पाइकिंग न्यूरल नेटवर्क के "स्मूदी" संस्करण पर लागू किया।

सिद्धांत: उन्होंने गणितीय रूप से सिद्ध किया कि यदि आप स्मूथ संस्करण को सावधानीपूर्वक "फ्लैट" बनाने के लिए प्रशिक्षित करते हैं, तो रोबोट की आंतरिक स्थिति स्थिर रहती है। उन्होंने दिखाया कि यदि इनपुट डेटा थोड़ा शोर भरा (noisy) हो जाता है या यदि स्विचों को बाद में सख्ती से ऑन/ऑफ होने के लिए मजबूर किया जाता है, तो रोबोट पागल नहीं होगा।
प्रयोग: उन्होंने इसे दो डेटासेट्स पर टेस्ट किया:
- N-MNIST: चलते हुए नंबरों का एक डेटासेट।
- DVS Gesture: एक विशेष कैमरे द्वारा कैप्चर किए गए हाथ के इशारों का डेटासेट जो केवल गति (motion) देखता है।

परिणाम:
परिणाम नाटकीय थे।

SAST से पहले: रोबोट "स्मूदी" टेस्ट पर 96% स्कोर करता था लेकिन "बर्फ के टुकड़े" वाले वास्तविक दुनिया के टेस्ट पर केवल 65% स्कोर करता था। यह एक बहुत बड़ी गिरावट है!
SAST के बाद: रोबोट अभी भी "स्मूदी" टेस्ट पर 97% स्कोर करता है, लेकिन अब वह "बर्फ के टुकड़े" वाले टेस्ट पर 94% स्कोर करता है।

अभ्यास और वास्तविकता के बीच का "अंतराल" लगभग समाप्त हो गया। रोबोट मजबूत (robust) बनना सीख गया।

पकड़ (बारीक विवरण)

पेपर इसके नुकसान के बारे में बहुत ईमानदार है:

इसमें अधिक ऊर्जा लगती है: यह जांचने के लिए कि ज़मीन कितनी "फ्लैट" है (पैरों के आसपास का घेरा), कंप्यूटर को दोगुना काम करना पड़ता है। यह हर कदम से पहले मैप को दो बार चेक करने जैसा है। प्रशिक्षण में लगभग दोगुना समय लगता है।
यह जादू नहीं है: हालांकि यह अंतराल को ठीक करता है, लेकिन यह रोबोट को तब भी परफेक्ट नहीं बनाता जब वास्तविक दुनिया का कार्य अत्यंत कठिन हो। यह केवल रोबोट के प्रदर्शन को अधिक विश्वसनीय बनाता है।

एक वाक्य में सारांश

यह पेपर स्पाइकिंग न्यूरल नेटवर्क को मजबूत (robust) होना सिखाता है, उन्हें नाजुक, पूर्ण समाधानों के बजाय चौड़े, स्थिर समाधानों को खोजने के लिए प्रशिक्षित करके, जिससे यह सुनिश्चित होता है कि जो उन्होंने सिमुलेशन में सीखा है वह वास्तविक, अस्त-व्यस्त दुनिया में भी उतना ही अच्छा काम करे।

यहाँ मैक्सिमिलियन निकोलसन के शोध पत्र "Sharpness Aware Surrogate Training for Spiking Neural Networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्पाइकिंग न्यूरल नेटवर्क (SNNs) अपने स्पार्स (sparse), इवेंट-आधारित कंप्यूटेशन के कारण न्यूरोमॉर्फिक हार्डवेयर के लिए अत्यधिक कुशल हैं। हालाँकि, सुपरवाइज्ड लर्निंग के माध्यम से SNNs को प्रशिक्षित करना चुनौतीपूर्ण है क्योंकि स्पाइक जनरेशन फंक्शन (एक हीवसाइड स्टेप फंक्शन - Heaviside step function) नॉन-डिफरेंशिएबल (non-differentiable) होता है।

सरोगेट ग्रेडिएंट गैप (The Surrogate Gradient Gap): मानक समाधान सरोगेट ग्रेडिएंट (SG) ट्रेनिंग है, जहाँ बैकप्रोपैगेशन के दौरान एक स्मूथ प्रॉक्सी (smooth proxy) वास्तविक स्पाइक डेरिवेटिव की जगह ले लेती है।
मुख्य मुद्दा: सरोगेट फॉरवर्ड (Surrogate Forward) मूल्यांकन (स्मूथ प्रॉक्सी का उपयोग करके) और हार्ड स्पाइक (Hard Spike) मूल्यांकन (वास्तविक डिस्क्रीट थ्रेशोल्ड का उपयोग करके) के बीच प्रदर्शन का एक बड़ा अंतर होता है।
- प्रशिक्षण के दौरान, नेटवर्क थ्रेशोल्ड के पास ग्रेडेड एक्टिवेशन (graded activations) उत्पन्न करना सीखता है।
- अनुमान (inference) के समय, स्मूथ प्रॉक्सी को हार्ड थ्रेशोल्ड से बदलने पर फायरिंग निर्णयों में अचानक परिवर्तन आता है।
- ये स्थानीय त्रुटियाँ समय और परतों (layers) के साथ संचित होती हैं, जिससे हार्डवेयर पर मॉडल तैनात करने पर सटीकता में भारी गिरावट आती है (जिसे "ट्रांसफर गैप" कहा जाता है)।
नाजुकता (Fragility): मल्टी-स्टेप SNN ट्रेनिंग अक्सर अस्थिर और गड़बड़ी (perturbations) के प्रति संवेदनशील होती है, जो एक 'स्टिफ रिकरेंट सिस्टम' (stiff recurrent system) की तरह व्यवहार करती है।

2. कार्यप्रणाली: शार्पनेस अवेयर सरोगेट ट्रेनिंग (SAST)

लेखक SAST का प्रस्ताव करते हैं, जो SNNs के प्रशिक्षण में शार्पनेस अवेयर मिनिमाइजेशन (SAM) को एकीकृत करता है। मुख्य नवाचार यह है कि SAM को कहाँ लागू किया जाता है।

सरोगेट फॉरवर्ड ट्रेनिंग (Surrogate Forward Training): मानक दृष्टिकोणों के विपरीत, जो हार्ड फॉरवर्ड पास के साथ सरोगेट बैकवर्ड ग्रेडिएंट्स का उपयोग करते हैं (जो एक बायस्ड ग्रेडिएंट एस्टीमेटर बनाता है), SAST एक स्मूथ सरोगेट फॉरवर्ड मॉडल को प्रशिक्षित करता है।
- फॉरवर्ड पास एक स्मूथ एक्टिवेशन फंक्शन (जैसे arctan या fast sigmoid) का उपयोग करता है न कि एक हार्ड थ्रेशोल्ड का।
- यह सुनिश्चित करता है कि बैकप्रोपैगेशन-थ्रू-टाइम (BPTT) एक स्मूथ एम्पिरिकल रिस्क ऑब्जेक्टिव के सटीक ग्रेडिएंट की गणना करता है।
SAM का अनुप्रयोग (SAM Application): SAST इस स्मूथ सरोगेट मॉडल पर SAM ऑब्जेक्टिव लागू करता है।
- उद्देश्य: वर्तमान वेट्स $w$ पर लॉस को कम करने के बजाय, ऑप्टिमाइज़र रेडियस $\rho$ के भीतर सबसे खराब स्थिति वाले लॉस को कम करता है:
  $\min_w \max_{\|\epsilon\| \le \rho} \tilde{L}_S(w + \epsilon)$
- तंत्र: यह मॉडल को पैरामीटर स्पेस में "फ्लैट" मिनिमा (flat minima) खोजने के लिए प्रोत्साहित करता है। यह परिकल्पना की गई है कि फ्लैट मिनिमा गड़बड़ी के प्रति अधिक मजबूत होते हैं, जो अनुमान के दौरान स्मूथ सरोगेट को हार्ड थ्रेशोल्ड से बदलने पर बेहतर स्थिरता प्रदान करता है।
एल्गोरिदम:
1. एक मिनीबैच $B$ पर ग्रेडिएंट $g$ की गणना करें।
2. वेट्स को विक्षेपित (perturb) करें: $w' = w + \rho \frac{g}{\|g\| + \delta}$ ।
3. विक्षेपित वेट्स का उपयोग करके एक स्वतंत्र दूसरे मिनीबैच $B'$ पर ग्रेडिएंट $g'$ की गणना करें।
4. $g'$ का उपयोग करके वेट्स को अपडेट करें।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक योगदान (Theoretical Contributions)

यह शोध पत्र SAST के लिए एक कठोर सैद्धांतिक ढांचा प्रदान करता है, जो SNN अनुकूलन के लिए दुर्लभ है:

सटीक ग्रेडिएंट फॉर्मूलेशन: स्मूथ सरोगेट फॉरवर्ड मॉडल को प्रशिक्षित करके, लेखक यह स्थापित करते हैं कि अनुकूलन लक्ष्य एक स्मूथ एम्पिरिकल रिस्क है, जिससे सटीक ग्रेडिएंट विश्लेषण संभव होता है।
स्थिरता और बाउंड्स (Stability and Bounds): स्पष्ट बाउंडेडनेस और कॉन्ट्रैक्शन धारणाओं (विशेष रूप से $\gamma = \alpha + M_\theta B_1 < 1$ $γ = α + M_{θ} B_{1} < 1$ , जहाँ $\alpha$ $α$ लीक है और $B_1$ $B_{1}$ सरोगेट स्लोप बाउंड है) के तहत, लेखक प्राप्त करते हैं:
- स्टेट स्टेबिलिटी (State Stability): मेम्ब्रेन पोटेंशियल पर यूनिफॉर्म बाउंड्स।
- इनपुट लिप्सचिट्ज़ निरंतरता (Input Lipschitz Continuity): इनपुट गड़बड़ी आउटपुट को कैसे प्रभावित करती है, इस पर बाउंड्स।
- स्मूथनेस (Smoothness): यह सिद्ध करना कि सरोगेट ऑब्जेक्टिव $\beta$ -स्मूथ है।
अभिसरण गारंटी (Convergence Guarantee): स्टोकेस्टिक SAST के लिए एक नॉन-कॉन्वेक्स कन्वर्जेंस गारंटी सिद्ध की गई है, जो यह दिखाती है कि विधि एक स्टेशनरी पॉइंट पर अभिसरित होती है जिसमें एक एरर टर्म शामिल है जो पर्टर्बेशन रेडियस $\rho$ पर निर्भर करता है।
लोकल मैकेनिज्म प्रपोजिशन: लोकल जैकोबियन कंडीशनिंग के तहत प्रति-सैंपल पैरामीटर ग्रेडिएंट नॉर्म्स और इनपुट ग्रेडिएंट नॉर्म्स को जोड़ने वाला एक प्रपोजिशन, जो एक सैद्धांतिक स्पष्टीकरण देता है कि SAST संवेदनशीलता को क्यों कम कर सकता है।

अनुभवजन्य योगदान (Empirical Contributions)

मूल्यांकन प्रोटोकॉल: लेखक एक सख्त मूल्यांकन प्रोटोकॉल परिभाषित करते हैं जो पोस्ट-हॉक थ्रेशोल्ड कैलिब्रेशन के बिना "सरोगेट-टू-हार्ड" ट्रांसफर गैप को अलग करता है।
नियंत्रण (Controls): वे कंप्यूट-मैच्ड बेसलाइन्स (यह सुनिश्चित करने के लिए कि लाभ केवल अतिरिक्त प्रशिक्षण समय से नहीं है) और स्वतंत्र मिनीबैच चेक्स सहित कठोर नियंत्रण पेश करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन N-MNIST और DVS Gesture डेटासेट्स पर किया गया।

ट्रांसफर गैप में कमी (प्राथमिक निष्कर्ष):
- N-MNIST: ट्रांसफर गैप ( $\Delta_{transfer}$ $Δ_{t r an s f er}$ ) 30.3% (बेसलाइन) से घटकर 2.5% (SAST के साथ $\rho=0.30$ $ρ = 0.30$ ) रह गया।
  - हार्ड स्पाइक सटीकता नाटकीय रूप से 65.7% से बढ़कर 94.7% हो गई।
  - सरोगेट फॉरवर्ड सटीकता उच्च बनी रही (~97%)।
- DVS Gesture: ट्रांसफर गैप 43.2% से गिरकर 13.6% हो गया।
  - हार्ड स्पाइक सटीकता 31.8% से बढ़कर 63.3% हो गई।
मजबूती (Robustness): SAST-प्रशिक्षित मॉडल बेसलाइन्स की तुलना में इनपुट करप्शन (रैंडम इवेंट ड्रॉप्स और टेम्पोरल जिटर) के प्रति बेहतर मजबूती दिखाते हैं।
प्रशिक्षण ओवरहेड (Training Overhead): SAST को प्रति एपोक लगभग 2x कंप्यूट समय की आवश्यकता होती है (दो ग्रेडिएंट मूल्यांकन के कारण) लेकिन यह काफी बेहतर परिनियोजन (deployment) प्रदर्शन प्राप्त करता है। मेमोरी उपयोग तुलनीय रहा।
संवेदनशीलता (Sensitivity): परिणामों ने दिखाया कि पर्टर्बेशन रेडियस $\rho$ महत्वपूर्ण है; बहुत छोटा ( $\rho=0.02$ ) होने पर परिणाम असंगत होते हैं, जबकि मध्यम मान ( $\rho=0.30$ ) सबसे अच्छी स्थिरता प्रदान करते हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

गैप को पाटना: SAST प्रभावी रूप से "सरोगेट-टू-हार्ड" ट्रांसफर समस्या को हल करता है, जो न्यूरोमॉर्फिक हार्डवेयर पर SNNs को तैनात करने के लिए एक बड़ी बाधा रही है। यह उन मॉडलों को प्रशिक्षित करने की अनुमति देता है जो हार्ड स्पाइक्स में परिवर्तित होने पर अपने स्मूथ समकक्षों के लगभग समान प्रदर्शन करते हैं।
सैद्धांतिक कठोरता: यह पेपर हेयुरिस्टिक सुधारों से आगे बढ़कर SNNs के संदर्भ में स्थिरता और अभिसरण के लिए औपचारिक गारंटी प्रदान करता है, विशेष रूप से स्पाइकिंग न्यूरॉन्स के अद्वितीय टेम्पोरल डायनेमिक्स और रिसेट मैकेनिज्म को संबोधित करता है।
व्यावहारिक प्रभाव: हालांकि SAST प्रशिक्षण लागत को दोगुना कर देता है, लेकिन परिनियोजन सटीकता (जैसे DVS Gesture पर हार्ड-स्पाइक सटीकता को लगभग दोगुना करना) में नाटकीय सुधार यह सुझाव देता है कि यह वास्तविक दुनिया के न्यूरोमॉर्फिक अनुप्रयोगों के लिए एक अत्यधिक मूल्यवान तकनीक है जहाँ अनुमान (inference) को सख्ती से डिस्क्रीट होना चाहिए।
भावी कार्य: लेखक नोट करते हैं कि SAST को मानक के रूप में पूरी तरह स्थापित करने के लिए सस्ते हेयुरिस्टिक्स (जैसे थ्रेशोल्ड कैलिब्रेशन) के साथ और व्यापक बेंचमार्क (CIFAR10-DVS) के साथ और अधिक तुलना की आवश्यकता है, लेकिन वर्तमान परिणाम इसकी प्रभावकारिता के लिए सम्मोहक प्रमाण हैं।

संक्षेप में, SAST SNN ट्रेनिंग को एक स्मूथ ऑप्टिमाइजेशन समस्या के रूप में पुनर्गठित करता है और हार्डवेयर पर तैनाती के लिए आवश्यक डिस्क्रीटीज़ के प्रति मजबूत समाधान खोजने के लिए शार्पनेस-अवेयर मिनिमाइजेशन का लाभ उठाता है, जिससे कठोर सैद्धांतिक आधार के साथ अत्याधुनिक ट्रांसफर प्रदर्शन प्राप्त होता है।