💻 computer science

XOResNet: Exclusive-OR Meta-Residuals Facilitate Deep Spiking Neural Networks Learning

यह शोध पत्र XOResNet को प्रस्तुत करता है, जो एक गहरा स्पाइकिंग न्यूरल नेटवर्क आर्किटेक्चर है जो स्पाइक अतिरेक (spike redundancy) और सूचना हानि को दूर करने के लिए एक OR-ADD शॉर्टकट कनेक्शन और एक्सक्लूसिव-ओआर (Exclusive-OR) मेटा-रेसिडुअल्स का उपयोग करता है, जिससे कई बेंचमार्क डेटासेट पर मौजूदा अत्याधुनिक मॉडलों की तुलना में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Jianfang Wu, Junsong Wang

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jianfang Wu, Junsong Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत तेज़, ऊर्जा-कुशल रोबोट मस्तिष्क (जिसे स्पाइकिंग न्यूरल नेटवर्क या SNN कहा जाता है) को तस्वीरें पहचानना सिखाने की कोशिश कर रहे हैं। यह रोबोट मस्तिष्क आज के मानक कंप्यूटर मस्तिष्क से अलग तरह से काम करता है। निरंतर बिजली बहने के बजाय, यह छोटे, बाइनरी "स्पार्क्स" या "पिंग्स" (जैसे कि एक न्यूरॉन का फायर होना) का उपयोग करके संचार करता है। यह एक मोर्स कोड सिस्टम की तरह है: या तो एक स्पार्क होता है (1) या नहीं होता (0)।

समस्या यह है कि जब शोधकर्ताओं ने इन रोबोट मस्तिष्क को गहरा (deeper) बनाने की कोशिश की (इसे स्मार्ट बनाने के लिए और अधिक परतें जोड़ना, जैसे कि एक इमारत में मंजिलें जोड़ना), तो वे एक दीवार से टकरा गए। वे जितना गहरा जाते, रोबोट का प्रदर्शन उतना ही खराब होता जाता। यह एक लंबी लाइन में खड़े लोगों को संदेश भेजने जैसा था; जब तक संदेश अंत तक पहुँचता, वह या तो खो जाता या बिगड़ जाता।

यह पेपर इन गहरे रोबोट मस्तिष्क को बनाने का एक नया तरीका पेश करता है, जिसे XOResNet कहा जाता है, ताकि दो मुख्य समस्याओं को ठीक किया जा सके: बर्बाद स्पार्क्स (wasted sparks) और खोई हुई जानकारी (lost information)।

दो मुख्य समस्याएँ

1. "बर्बाद स्पार्क" की समस्या (Redundancy)
कल्पना कीजिए कि दो लोग आपको एक ही समय में एक ही गुप्त बात बताने की कोशिश कर रहे हैं। यदि वे दोनों एक साथ "हाँ!" चिल्लाते हैं, तो आप "हाँ!" सुनते हैं, लेकिन आपने कोई नई जानकारी प्राप्त नहीं की। पुराने रोबोट मस्तिष्क में, "शॉर्टकट" पथ (एक सीधा रास्ता) और "मुख्य पथ" (डीप लर्निंग पथ) अक्सर बिल्कुल एक ही स्पार्क भेजते थे। यह एक ही शब्द को दो बार चिल्लाने जैसा था—इससे ऊर्जा बर्बाद होती थी और सीखने की प्रक्रिया भ्रमित हो जाती थी।

2. "खोई हुई जानकारी" की समस्या (Information Loss)
कभी-कभी, शॉर्टकट पथ को संदेश को बदलने की आवश्यकता होती है (जैसे कि किसी बॉक्स का आकार बदलना)। पुराना तरीका एक सरल "OR" नियम का उपयोग करता था: "यदि दोनों में से कोई भी चिल्लाता है, तो मैं उसे सुनूँगा।" लेकिन यदि दोनों लोग अलग-अलग चीजें चिल्लाते जिन्हें मिलाना आवश्यक था, तो "OR" नियम केवल एक सामान्य "हाँ!" सुनता और वास्तव में जो कहा गया था उसके विशिष्ट विवरणों को भूल जाता। यह दो अलग-अलग व्यंजनों को एक सामान्य सूप में मिलाने जैसा था जहाँ दोनों का स्वाद खो जाता है।

नया समाधान: XOResNet

लेखक एक नया निर्माण किट प्रस्तावित करते हैं जिसमें दो चतुर तरकीबें हैं:

तरकीब 1: "स्मार्ट मर्ज" (OR-ADD या OA शॉर्टकट)

दो रास्तों को जोड़ने के लिए केवल एक नियम का उपयोग करने के बजाय, वे एक "स्मार्ट मर्ज" का उपयोग करते हैं जो स्थिति के आधार पर अपना व्यवहार बदलता है:

जब पथ समान हों: वे OR नियम का उपयोग करते हैं (एक लाइट स्विच की तरह)। यदि दोनों में से कोई भी पथ एक स्पार्क भेजता है, तो लाइट चालू हो जाती है। यह संदेश को बाइनरी (ऑन/ऑफ) रखता है और "बर्बाद स्पार्क" की समस्या को रोकता है।
जब पथ अलग हों: वे ADD नियम पर स्विच करते हैं। यह केवल यह जाँचने के बजाय कि क्या एक स्पार्क हुआ, दोनों पथों से आने वाले विद्युत करंट (शक्ति) को जोड़ता है, इससे पहले कि यह तय किया जाए कि एक स्पार्क फायर होना चाहिए या नहीं। यह सुनिश्चित करता है कि जब पथों का आकार या रूप बदलता है, तो कोई सूक्ष्म विवरण खो न जाए।

उपमा (Analogy): इसे एक क्लब के बाउंसर की तरह समझें।

यदि दो दोस्त एक ही व्यक्ति हैं (Identity), तो बाउंसर बस यह जाँचता है कि क्या उनमें से एक वहाँ है (OR)।
यदि दो दोस्त अलग-अलग लोग हैं जिनके पास अलग-अलग वीआईपी पास हैं (Non-Identity), तो बाउंसर यह तय करने के लिए उनके वीआईपी पॉइंट्स को जोड़ता है (ADD), ताकि कोई भी बाहर न रह जाए।

तरकीब 2: "एक्सक्लूसिव-ओआर" फ़िल्टर (XOR Meta-Residuals)

यह इस पेपर का सबसे बड़ा नवाचार है। पुराने सिस्टम में, मुख्य लर्निंग पथ को सब कुछ सीखना पड़ता था, जिसमें वह चीज़ें भी शामिल थीं जो शॉर्टकट पथ पहले से ही जानता था। यह एक छात्र की तरह था जो केवल इसलिए गुणन सारणी (multiplication tables) को फिर से सीखने की कोशिश कर रहा है क्योंकि शिक्षक ने उसे ऐसा करने के लिए कहा है।

नया तरीका एक XOR (Exclusive-OR) फ़िल्टर का उपयोग करता है।

यह कैसे काम करता है: XOR एक लॉजिक गेट है जो कहता है, "मुझे केवल इस बात से फर्क पड़ता है कि आप में से केवल एक सही है, लेकिन दोनों नहीं।"
उपमा: कल्पना कीजिए कि आप और आपका दोस्त दोनों एक पहेली को हल करने की कोशिश कर रहे हैं। शॉर्टकट पथ वह "आसान" समाधान है जो आप पहले से जानते हैं। मुख्य पथ "कठिन" काम है। XOR फ़िल्टर आप दोनों को देखता है और कहता है, "उन हिस्सों को अनदेखा करें जहाँ आप सहमत हैं (क्योंकि हम उन्हें पहले से जानते हैं)। केवल उन हिस्सों पर ध्यान केंद्रित करें जहाँ आप असहमति रखते हैं या जहाँ एक के पास वह चीज़ है जो दूसरे के पास नहीं है।"

"सहमत होने वाली" चीज़ों को फ़िल्टर करके, मुख्य लर्निंग पथ को केवल नई, अद्वितीय अंतरों को सीखने के लिए मजबूर किया जाता है। यह रोबोट मस्तिष्क को वह सब कुछ फिर से सीखने में ऊर्जा बर्बाद करने से रोकता है जो वह पहले से जानता है और उसे कठिन हिस्सों पर ध्यान केंद्रित करने के लिए मजबूर करता है।

परिणाम

शोधकर्ताओं ने इन तरकीबों का उपयोग करके एक नया रोबोट मस्तिष्क बनाया जिसे XOResNet कहा जाता है। उन्होंने इसे चार अलग-अलग चित्र-पहचान चुनौतियों (साधारण कपड़ों की छवियों से लेकर जटिल जानवरों की तस्वीरों तक) पर परखा।

परिणाम: जैसे-जैसे यह गहरा होता गया, XOResNet चित्रों को पहचानने में बेहतर होता गया। इसे उस "बिखरे हुए संदेश" की समस्या का सामना नहीं करना पड़ा जिसने पुराने डीप नेटवर्क को परेशान किया था।
तुलना: इसने लगभग हर अन्य शीर्ष प्रदर्शन करने वाले रोबोट मस्तिष्क को मात दी, यहाँ तक कि उन्हें भी जो बहुत पुराने थे या अलग प्रशिक्षण विधियों का उपयोग करते थे।
दक्षता: इसने बहुत कम "टाइम स्टेप्स" (प्रोसेसिंग के क्षणों) का उपयोग करके ये उच्च स्कोर प्राप्त किए, जिसका अर्थ है कि यह तेज़ और कुशल है।

सारांश

संक्षेप में, पेपर कहता है: "एक सुपर-स्मार्ट, गहरा रोबोट मस्तिष्क बनाने के लिए, जो स्पार्क्स का उपयोग करता है, मानव मस्तिष्क की नकल न करें। इसके बजाय, पथों को जोड़ने के लिए एक स्मार्ट मर्ज का उपयोग करें ताकि विवरण खो न जाएं, और एक XOR फ़िल्टर का उपयोग करें ताकि यह सुनिश्चित हो सके कि रोबोट मस्तिष्क केवल नई चीज़ें सीखता है, उन चीज़ों को अनदेखा करता है जो वह पहले से जानता है। यह एक गहरा, तेज़ और अधिक सटीक लर्निंग सिस्टम बनाता है।"

तकनीकी सारांश: XOResNet: एक्सक्लूसिव-ओआर मेटा-रेसिडुअल्स डीप स्पाइकिंग न्यूरल नेटवर्क लर्निंग को सुगम बनाते हैं

समस्या विवरण
यद्यपि स्पाइकिंग न्यूरल नेटवर्क (SNNs) ऊर्जा दक्षता और स्थानिक-कालिक (spatio-temporal) गतिकी का बेहतर प्रतिनिधित्व प्रदान करते हैं, फिर भी गहरे SNNs को प्रशिक्षित करना चुनौतीपूर्ण बना हुआ है। मौजूदा दृष्टिकोण अक्सर आर्टिफिशियल न्यूरल नेटवर्क (ANNs), जैसे कि ResNet से अवशिष्ट संरचनाओं (residual structures) को सीधे स्पाइकिंग डोमेन में स्थानांतरित करने पर निर्भर करते हैं। हालांकि, बाइनरी स्पाइक संचार के संदर्भ में यह सीधा स्थानांतरण दो प्राथमिक सीमाओं का सामना करता है:

स्पाइक अतिरेक (Redundancy) और सूचना की हानि: आइडेंटिटी मैपिंग (identity mappings) में, स्पाइक्स का सरल योग (जैसा कि SEW ResNet में उपयोग किया जाता है) स्पाइक्स की बाइनरी प्रकृति को नष्ट कर देता है (जैसे, $1+1=2$ ), जो न्यूरोमॉर्फिक चिप्स पर तैनाती में बाधा डालता है। इसके विपरीत, बाइनरी गुणों को बनाए रखने के लिए लॉजिकल OR ऑपरेशन्स का उपयोग करना सूचना की हानि का कारण बन सकता है, विशेष रूप से उन गैर-आइडेंटिटी मैपिंग में जहाँ स्केल ट्रांसफॉर्मेशन शामिल होते हैं, क्योंकि इसमें दोनों शाखाओं से संयुक्त सूचना को त्याग दिया जाता है।
अतिरेध्य शिक्षण (Redundant Learning): वर्तमान अवशिष्ट संरचनाएं बैकबोन शाखा को "पोस्ट-लर्निंग रेसिडुअल्स" (फ्यूजन के बाद निर्धारित अंतर) सीखने के रूप में मानती हैं। बाइनरी स्पाइक सिस्टम में, इसके परिणामस्वरूप बैकबोन शाखा उन विशेषताओं को सीखने की ओर अग्रसर हो सकती है जो शॉर्टकट शाखा में पहले से ही मौजूद हैं, जिससे स्पाइक अतिरेक और अक्षम शिक्षण होता है।

कार्यप्रणाली
लेखक XOResNet का प्रस्ताव करते हैं, जो एक गहरा SNN आर्किटेक्चर है जिसे इन विशिष्ट सीमाओं को दूर करने के लिए डिज़ाइन किया गया है। इसके लिए दो नवीन घटकों का उपयोग किया गया है:

OR-ADD (OA) शॉर्टकट कनेक्शन:
आइडेंटिटी मैपिंग के लिए बाइनरी स्पाइक गुणों को बनाए रखने और गैर-इडेन्टिटी मैपिंग में सूचना को संरक्षित करने के बीच के संघर्ष को हल करने के लिए, लेखक एक हाइब्रिड कनेक्शन रणनीति प्रस्तावित करते हैं:
- आइडेंटिटी मैपिंग: जब शॉर्टकट शाखा एक आइडेंटिटी मैपिंग करती है, तो शॉर्टकट और बैकबोन शाखाओं के आउटपुट स्पाइक्स को OR ऑपरेशन का उपयोग करके मर्ज किया जाता है। यह बाइनरी गुण (0 या 1) को बनाए रखता है और स्पाइक अतिरेक से बचता है।
- गैर-आइडेंटिटी मैपिंग: जब शॉर्टकट में स्केलिंग या डायमेंशन ट्रांसफॉर्मेशन शामिल होता है, तो दोनों शाखाओं के आउटपुट करंट्स (प्री-स्पाइक एक्टिवेशन वैल्यूज) को जोड़ा जाता है और स्पाइकिंग न्यूरॉन में फीड किया जाता है। यह ADD ऑपरेशन इनपुट के लीनियर कॉम्बिनेशन को संरक्षित करता है, जिससे स्केल्ड ट्रांसफॉर्मेशन्स पर OR ऑपरेशन से होने वाली सूचना की हानि को रोका जा सकता है।
- सैद्धांतिक आधार: पेपर सूचना सिद्धांत (कंडीशनल एंट्रॉपी और म्यूचुअल इंफॉर्मेशन) के माध्यम से यह प्रदर्शित करता है कि ADD ऑपरेशन गैर-इडेन्टिटी परिदृश्यों में OR ऑपरेशन की तुलना में अधिक संयुक्त सूचना को संरक्षित करता है।
XOR मेटा-रेसिडुअल्स:
बैकबोन शाखा में रेडंडेंट लर्निंग को कम करने के लिए, लेखक मेटा-रेसिडुअल्स की अवधारणा पेश करते हैं। मनमाने रेसिडुअल्स सीखने के बजाय, बैकबोन शाखा को "प्री-लर्निंग रेसिडुअल्स" सीखने के लिए निर्देशित किया जाता है।
- दोनों शाखाओं की विशेषताओं को बैकबोन शाखा द्वारा प्रोसेस किए जाने से पहले एक्सक्लूसिव-ओआर (XOR) ऑपरेशन का उपयोग करके मर्ज किया जाता है।
- गणितीय रूप से, $MR = f_1 \oplus f_2$ । यह ऑपरेशन उन विशेषताओं का चयन करता है जो दोनों शाखाओं के बीच भिन्न हैं, जिससे प्रभावी रूप से रेडंडेंट सूचना को फ़िल्टर किया जाता है।
- यह बैकबोन शाखा को एक विशिष्ट लक्ष्य प्रदान करता है: केवल उन विभेदक घटकों (मेटा-रेसिडुअल्स) को सीखना जो शॉर्टकट द्वारा पहले से ही कैप्चर किए जा चुके हैं, जिससे स्पाइक अतिरेक कम होता है और शिक्षण दक्षता बढ़ती है।

मुख्य योगदान

OA शॉर्टकट कनेक्शन: एक नवीन कनेक्शन विधि जो बाइनरी स्पाइक संरक्षण और सूचना प्रतिधारण के बीच संतुलन बनाने के लिए OR (आइडेंटिटी के लिए) और ADD (गैर-इडेन्टिटी के लिए) के बीच गतिशील रूप से स्विच करती है।
XOR मेटा-रेसिडुअल्स: XOR ऑपरेशन का उपयोग करके रेसिड्यूल फीचर्स को प्री-स्क्रीन करने का एक तंत्र, जो लर्निंग टास्क को "पोस्ट-लर्निंग" से "प्री-लर्निंग" में बदल देता है ताकि अतिरेक को कम किया जा सके।
XOResNet आर्किटेक्चर: OA शॉर्टकट और XOR मेटा-रेसिडुअल्स को एक स्केलेबल डीप SNN आर्किटेक्चर में एकीकृत करना। सैद्धांतिक विश्लेषण पुष्टि करता है कि यह संरचना वैनिशिंग/एक्सप्लोडिंग ग्रेडिएंट समस्याओं को दूर करती है, जिससे नेटवर्क को प्रदर्शन में गिरावट के बिना किसी भी गहराई (110 परतों तक प्रदर्शित) तक गहरा किया जा सकता है।

प्रायोगिक परिणाम
लेखकों ने चार डेटासेट्स: Fashion-MNIST, CIFAR-10, CIFAR-100, और miniImageNet पर XOResNet का मूल्यांकन किया।

प्रदर्शन: XOResNet ने स्पैटियो-टेम्पोरल बैकप्रोपैगेशन (STBP) के माध्यम से अनुकूलित मौजूदा स्टेट-ऑफ-द-आर्ट डीप SNNs (Spiking ResNet, OR ResNet, और OA ResNet सहित) को लगातार पछाड़ दिया।
- Fashion-MNIST पर, XOResNet50 ने 94.53% सटीकता प्राप्त की।
- CIFAR-10 पर, XOResNet110 ने केवल 8 टाइम-स्टेप्स के साथ 90.54% सटीकता प्राप्त की, जो उन ANN2SNN विधियों से काफी बेहतर है जिन्हें तुलनीय परिणामों के लिए हजारों टाइम-स्टेप्स की आवश्यकता होती है।
- miniImageNet (256x256 रेजोल्यूशन) पर, XOResNet44 ने 68.00% सटीकता प्राप्त की, जो फ्यू-शॉट लर्निंग बेसलाइन्स से आगे निकल गई।
डेप्थ स्केलेबिलिटी: प्लेन नेटवर्क्स और स्पाइकिंग ResNet के विपरीत, जो गहराई बढ़ने के साथ प्रदर्शन में गिरावट का शिकार हुए, XOResNet ने 110 परतों तक सटीकता को बनाए रखा या उसमें सुधार किया।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि OA कनेक्शन शुद्ध OR कनेक्शनों में देखी जाने वाली सूचना की हानि को हल करता है, और XOR मेटा-रेसिडुअल्स ने बैकबोन शाखा के इनपुट और आउटपुट फीचर्स के जकार्ड समानता (Jaccard similarity) को महत्वपूर्ण रूप से कम कर दिया, जो रेडंडेंट लर्निंग में कमी का संकेत देता है।

महत्व
पेपर का दावा है कि XOResNet उच्च-प्रदर्शन वाले न्यूरोमॉर्फिक सिस्टम बनाने के लिए एक नया आर्किटेक्चरल प्रतिमान (paradigm) प्रदान करता है। SNNs में रेसिड्यूल लर्निंग की मौलिक सीमाओं को संबोधित करके—विशेष रूप से स्पाइक अतिरेक, स्केलिंग में सूचना की हानि, और रेडंडेंट लर्निंग—प्रस्तावित विधि अत्यधिक गहरे SNNs के निर्माण को सक्षम बनाती है जो कुशल और प्रभावी दोनों हैं। यह कार्य यह पुष्टि करता है कि रेसिड्यूल स्ट्रक्चर में स्पाइक संचार (बाइनरी प्रकृति और एसिंक्रोनस डायनेमिक्स) के विशिष्ट गुणों को शामिल करना डीप SNNs को उथले मॉडल्स से आगे ले जाने के लिए महत्वपूर्ण है। लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण भविष्य के अनुसंधान, जिसमें जैविक रूप से सुसंगत फ्यू-शॉट लर्निंग एल्गोरिदम शामिल हैं, के लिए एक मजबूत आधार प्रदान करता है।