🤖 machine learning

Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers

यह शोध पत्र एक प्लग-एंड-प्ले फ्रेमवर्क प्रस्तुत करता है जो मॉड्यूलर पॉपुलेशन कंप्यूटेशन और बिट-शिफ्ट स्केलिंग के माध्यम से महत्वपूर्ण नॉनलीनियर ऑपरेटर्स (जैसे कि सॉफ्टमैक्स और नॉर्मलाइजेशन) के स्पाइक-फ्रेंडली एप्रोक्सिमेशन को लागू करके बड़े भाषा मॉडल (LLMs) के लिए ट्रेनिंग-मुक्त ANN-टू-SNN रूपांतरण को सक्षम बनाता है, जिससे फाइन-ट्यूनिंग के बिना मूल मॉडलों के लगभग समान सटीकता प्राप्त होती है।

मूल लेखक: Xinzhe Yuan (IASM, Harbin Institute of Technology), Xiang Peng (IASM, Harbin Institute of Technology), Bin Gu (School of Artificial Intelligence, Jilin University), Huan Xiong (IASM, Harbin Institute

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinzhe Yuan (IASM, Harbin Institute of Technology), Xiang Peng (IASM, Harbin Institute of Technology), Bin Gu (School of Artificial Intelligence, Jilin University), Huan Xiong (IASM, Harbin Institute of Technology)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग (एक लार्ज लैंग्वेज मॉडल) है जो वर्तमान में एक मानक कंप्यूटर पर चल रहा है। यह सोचने में बहुत अच्छा है, लेकिन यह बिजली का भी बहुत भूखा है। अब, कल्पना कीजिए कि आप इस दिमाग को एक विशेष, अत्यंत कुशल "न्यूरोमॉर्फिक" चिप पर ले जाना चाहते हैं—एक प्रकार का हार्डवेयर जो मानव मस्तिष्क की तरह काम करता है, जिसमें निरंतर, भारी बिजली के बजाय छोटे बिजली के स्पार्क्स (जिन्हें "स्पाइक्स" कहा जाता है) का उपयोग होता है।

समस्या यह है कि जबकि रोबोट की "मांसपेशियां" (वह गणित जो भारी काम करता है) इन स्पार्क्स के साथ काम करने के लिए आसानी से अनुवादित हो सकती हैं, इसके "मस्तिष्क कार्य" (वह जटिल तर्क जो यह तय करता है कि आगे क्या कहना है) पुराने सिस्टम में फंसे हुए हैं। ये कार्य, जैसे कि Softmax (जो रोबट को सबसे अच्छा शब्द चुनने में मदद करता है), SiLU (एक स्मूथिंग फ़िल्टर), और RMSNorm (जो संख्याओं को बहुत बड़ा या बहुत छोटा होने से रोकता है), के लिए भाग (division) और वर्गमूल (square roots) जैसे भारी गणित की आवश्यकता होती है। ये स्पार्क-आधारित हार्डवेयर इन ऑपरेशन्स को पसंद नहीं करते; यह वैसा ही है जैसे किसी साइकिल से हाई-स्पीड कार रेस करने की उम्मीद करना।

समाधान: एक "प्लग-एंड-प्ले" अडैप्टर किट

इस शोध पत्र के लेखकों ने एक प्लग-एंड-प्ले टूलकिट बनाया है जो एक अनुवादक (translator) के रूप में कार्य करता है। उन्होंने उन भारी, स्पार्क-अमित्र गणितीय कार्यों को "स्पार्क-अनुकूल" संस्करणों से बदलने का तरीका खोज निकाला है जिन्हें नया हार्डवेयर वास्तव में चला सकता है, और यह सब बिना रोबोट को फिर से प्रशिक्षित (retrain) किए या उसके मस्तिष्क की संरचना बदले।

उन्होंने इसे कैसे किया, यहाँ सरल उपमाओं (analogies) का उपयोग करके बताया गया है:

1. "डिवीजन" (भाग) की समस्या: पॉपकॉर्न प्रतियोगिता

मानक भाग (जैसे $10 \div 2$ ) स्पार्क-आधारित मस्तिष्क के लिए कठिन है। लेखकों ने न्यूरॉन्स का एक विशेष समूह (एक "डिवीजन न्यूरॉन ग्रुप") बनाया है जो एक पॉपकॉर्न प्रतियोगिता की तरह काम करता है।

यह कैसे काम करता है: कल्पना कीजिए कि आपके पास पॉपकॉर्न के दानों की एक बाल्टी (numerator) है और एक नियम है कि एक कप में कितने दाने फिट होते हैं (denominator)। गणित करने के बजाय, आप दानों को बढ़ते आकार के कपों की एक पंक्ति में डालते हैं।
परिणाम: आप बस यह गिनते हैं कि कितने कप भर गए हैं। वह गिनती ही भाग का उत्तर है। यह एक चतुर तकनीक है जो एक कठिन गणितीय समस्या को एक सरल गिनती के खेल में बदल देती है जिसे हार्डवेयर पसंद करता है।

2. "स्क्वायर रूट" (वर्गमूल) की समस्या: CORDIC सीढ़ी

एक विकर्ण रेखा (diagonal line) की लंबाई की गणना करना (वर्गमूल) इन चिप्स के लिए एक और सिरदर्द है। लेखकों ने CORDIC नामक एक विधि का उपयोग किया है, जिसे वे एक डिजिटल सीढ़ी के रूप में वर्णित करते हैं।

यह कैसे काम करता है: एक बड़ी छलांग में सटीक लंबाई की गणना करने के बजाय, आप केवल जोड़ और घटाव (और बिट्स को शिफ्ट करना, जो दशमलव बिंदु को हिलाने जैसा है) का उपयोग करके एक सीढ़ी के छोटे, सरल चरणों में ऊपर चढ़ते हैं।
परिणाम: कुछ पायदान चढ़ने के बाद, आप उपलब्ध सरल उपकरणों का उपयोग करके लंबाई का एक बहुत सटीक अनुमान प्राप्त कर लेते हैं।

3. "एक्सपोनेंशियल" (घातांक) की समस्या: लुकअप चीट शीट

$e^x$ (एक्सपोनेंशियल) की गणना करना कम्प्यूटेशनल रूप से महंगा है। लेखकों ने इसे एक पाइसवाइज लीनियर एक्सपोनेंशियल यूनिट से बदल दिया है।

यह कैसे काम करता है: कल्पना कीजिए कि आपको दिन के हर घंटे का तापमान जानना है, लेकिन आपके पास थर्मामीटर नहीं है। इसके बजाय, आपके पास एक पहले से लिखी हुई चीट शीट (लुकअप टेबल) है जो कहती है, "यदि दोपहर के 1 बजे हैं, तो तापमान लगभग 75 डिग्री है।"
परिणाम: रोबोट गणना करने के बजाय अपनी छोटी, कुशल मेमोरी में उत्तर को बस देख लेता है।

यह क्यों महत्वपूर्ण है

शोध पत्र का दावा है कि रोबोट के इन विशिष्ट "भारी" हिस्सों को उनके "हल्के" स्पार्क-अनुकूल संस्करणों के साथ बदलकर, वे अब इन उन्नत AI मॉडलों को ऊर्जा-कुशल हार्डवेयर पर चला सकते हैं।

पुनः प्रशिक्षण की आवश्यकता नहीं: आपको रोबोट को कुछ भी नया सिखाने की आवश्यकता नहीं है। आप बस भागों को बदलते हैं, जैसे कि रेत पर तेजी से चलने के लिए कार के टायर बदलना।
नगण्य सटीकता हानि: जब उन्होंने इन प्रसिद्ध AI मॉडलों (जैसे LLaMA और Qwen) पर परीक्षण किया, तो रोबोट के प्रदर्शन में सटीकता में बहुत कम गिरावट आई—अंतर 1% से भी कम था। यह एक उच्च-स्तरीय इंजन को थोड़े अधिक कुशल इंजन से बदलने जैसा है और लगभग कोई गति कम नहीं होती।
सार्वभौमिक फिट: यह किट विभिन्न प्रकार के AI मॉडलों के साथ काम करती है और मौजूदा रूपांतरण पाइपलाइनों में फिट बैठती है।

निचोड़ (The Bottom Line)

लेखकों ने एक प्रमुख बाधा को हल कर दिया है: उन्होंने पाया है कि आधुनिक AI मॉडलों के "सोचने वाले" हिस्सों को भविष्य के "स्पार्क-आधारित" हार्डवेयर के अनुकूल कैसे बनाया जाए। उन्होंने एक नया मस्तिष्क नहीं बनाया; उन्होंने बस ऐसे एडेप्टर बनाए हैं जो पुराने मस्तिष्क को नए, ऊर्जा-बचत इंजन पर चलने में सक्षम बनाते हैं।

नोट: यह शोध पत्र पूरी तरह से गणितीय अनुवाद और सॉफ्टवेयर सिमुलेशन पर केंद्रित है। यह दावा नहीं करता है कि उन्होंने इसे अभी तक भौतिक हार्डवेयर पर तैनात किया है, और न ही यह चिकित्सा या नैदानिक अनुप्रयोगों के बारे में चर्चा करता है। इसका लक्ष्य शुद्ध रूप से इन मॉडलों को भविष्य के न्यूरोमॉर्फिक चिप्स पर चलाने में सक्षम बनाना है।

तकनीकी सारांश: प्लग-एंड-प्ले स्पाइकिंग ऑपरेटर्स (Plug-and-Play Spiking Operators)

समस्या विवरण (Problem Statement)

जबकि आर्टिफिशियल न्यूरल नेटवर्क (ANN) से स्पाइकिंग न्यूरल नेटवर्क (SNN) में रूपांतरण, ऊर्जा-कुशल न्यूरोमॉर्फिक हार्डवेयर पर लार्ज लैंग्वेज मॉडल्स (LLMs) को तैनात करने के लिए एक प्रशिक्षण-मुक्त (training-free) मार्ग प्रदान करता है, वर्तमान पाइपलाइन एक महत्वपूर्ण बाधा का सामना करती है: प्रमुख नॉनलीनियर ऑपरेटर्स (nonlinear operators) के लिए स्पाइक-अनुकूल कार्यान्वयन का अभाव।

मौजूदा रूपांतरण विधियाँ लीनियर अलजेब्रा ऑपरेशन्स (जैसे अटेंशन मैट्रिक्स मल्टीप्लिकेशन और फीड-फॉरवर्ड प्रोजेक्शन) को स्पाइक-संचालित कार्यान्वयन में बदलने में सफल रही हैं। हालाँकि, वे Softmax, SiLU (Swish), और नॉर्मलाइजेशन लेयर्स (जैसे RMSNorm, LayerNorm) जैसे नॉनलीनियर घटकों की अनदेखी करती हैं या उन्हें अपर्याप्त रूप से संभालती हैं। इन ऑपरेटर्स के लिए आमतौर पर डिवीजन (division), एक्सपोनेंशिएशन (exponentiation), या $\ell_2$ -नॉर्म गणनाओं की आवश्यकता होती है, जो मानक लीकी इंटीग्रेट-एंड-फायर (LIF) न्यूरॉन डायनेमिक्स द्वारा स्वाभाविक रूप से समर्थित नहीं हैं। उन न्यूरोमॉर्फिक प्लेटफॉर्मों पर जो केवल स्पाइक-आधारित प्रिमिटिव्स का समर्थन करते हैं और जिनमें निरंतर-मूल्य वाले स्टेट्स (continuous-valued states) का अभाव है, ये नॉनलिनैरिटीज़ एंड-टू-एंड परिनियोजन (deployment) के लिए मौलिक बाधा बन जाती हैं। इसके अलावा, इन कार्यों को अनुमानित (approximate) करने के मौजूदा प्रयास अक्सर अतिरिक्त प्रशिक्षण या फाइन-ट्यूनिंग की मांग करते हैं, जो मानक, प्रशिक्षण-मुक्त ANN-to-SNN पाइपलाइनों के साथ अनुकूलता को तोड़ देते हैं।

कार्यप्रणाली (Methodology)

लेखक NLSpiking का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो मॉडल वेट्स को बदले बिना या फाइन-ट्यूनिंग की आवश्यकता के बिना, मॉड्यूलर और स्पाइक-फ्रेंडली प्रिमिटिव्स का उपयोग करके ट्रांसफार्मर नॉनलिनैरिटीज़ को अनुमानित करता है। मुख्य अंतर्दृष्टि यह है कि LLMs में विविध नॉनलीनियर फंक्शन एक सामान्य बीजगणितीय संरचना साझा करते हैं: एक साइंड न्यूमरेटर (signed numerator) जिसे एक सख्ती से धनात्मक डिनोमिनेटर (strictly positive denominator) द्वारा नॉर्मलाइज किया जाता है।

यह फ्रेमवर्क इन गणनाओं को तीन आवर्ती प्रिमिटिव्स में विभाजित करता है, जिन्हें पॉपुलेशन कोडिंग और बिट-शिफ्ट ऑपरेशन्स के माध्यम से साकार किया जाता है:

डिवीजन न्यूरॉन ग्रुप (Division Neuron Group):
- यह क्रमित थ्रेशोल्ड (ordered thresholds) वाले $L$ LIF न्यूरॉन्स की एक पॉपुलेशन का उपयोग करके इंटीजर डिवीजन लागू करता है।
- यह दो टेम्पोरल विंडोज़ में कार्य करता है:
  - विंडो 1: डिनोमिनेटर इनपुट को नॉर्मलाइजेशन स्केल का अनुमान लगाने के लिए टेम्पोरली इंटीग्रेट किया जाता है। इस स्केल को राइट-शिफ्ट ऑपरेशन ( $\theta \approx I_B \gg n$ ) का उपयोग करके एक बेस थ्रेशोल्ड में परिवर्तित किया जाता है।
  - विंडो 2: न्यूमरेटर इनपुट न्यूरॉन पॉपुलेशन को संचालित करता है। भागफल (quotient) को सक्रिय न्यूरॉन्स की संख्या गिनकर (पॉपुलेशन कॉम्पिटिशन) डिकोड किया जाता है, जो प्रभावी रूप से केवल स्पाइक एक्यूमुलेशन और थ्रेशोल्ड तुलना का उपयोग करके $I_A / I_B$ को निष्पादित करता है।
पोलरनॉर्म यूनिट (PolarNorm Unit - PN Unit):
- RMSNorm के लिए आवश्यक $\ell_2$ -नॉर्म (वर्गों के योग का वर्गमूल) का अनुमान लगाता है।
- यह CORDIC-Hypot एल्गोरिदम के बाइनरी-ट्री स्ट्रक्चर का उपयोग करता है, जो केवल शिफ्ट-एड (shift-add) लॉजिक का उपयोग करके $\sqrt{x^2 + y^2}$ को अनुमानित करता है, जिससे सामान्य-उद्देश्य वाले मल्टीप्लिकेशन या स्क्वायर रूट्स से बचा जा सके।
- अंतिम परिणाम को एक फिक्स्ड इनवर्स गेन (2 की घात) द्वारा रीस्केल किया जाता है, जिसे सिस्टम के स्केलिंग फैक्टर्स में ही समाहित कर लिया जाता है।
पीसवाइज लीनियर एक्सपोनेंशियल यूनिट (Piecewise Linear Exponential Unit - PWL-Exp Unit):
- एक सीमित अंतराल $[-L, L]$ पर एक्सपोनेंशियल फंक्शन $e^x$ का अनुमान लगाता है।
- यह एक कॉम्पैक्ट लुकअप टेबल (LUT) में संग्रहीत प्री-कंप्यूटेड कोएफिशिएंट्स के साथ पीसवाइज़ लीनियर इंटरपोलेशन का उपयोग करता है।
- कोएफिशिएंट्स को 8-बिट फिक्स्ड-पॉइंट प्रिसिजन तक क्वांटाइज किया गया है, जिससे ऑनलाइन एक्सपोनेंशियल गणना की आवश्यकता समाप्त हो जाती है।

संरचना (Composition): इन प्रिमिटिव्स को विशिष्ट ऑपरेटर्स को पुनर्गठित करने के लिए संयोजित किया जाता है:

Softmax: न्यूमरेटर PWL-Exp के माध्यम से, डिनोमिनेटर टेम्पोरल एक्यूमुलेशन के माध्यम से, आउटपुट डिवीजन न्यूरॉन के माध्यम से।
SiLU: न्यूमरेटर इनपुट है; डिनोमिनेटर $1 + \text{PWL-Exp}(-x)$ है; आउटपुट डिवीजन न्यूरॉन के माध्यम से।
RMSNorm: न्यूमरेटर स्केल्ड इनपुट है; डिनोमिनेटर PolarNorm यूनिट के माध्यम से $\ell_2$ -नॉर्म है; आउटपुट डिवीजन न्यूरॉन के माध्यम से।

मुख्य योगदान (Key Contributions)

ऑपरेटर-लेवल प्लग-एंड-प्ले फ्रेमवर्क: यह विधि ऑपरेटर स्तर पर कार्य करती है, जिससे मॉडल वेट्स को बदले बिना या रिट्रेनिंग की आवश्यकता के बिना मौजूदा ANN-to-SNN पाइपलाइनों (जैसे SpikeLLM, SpikeZIP) में निर्बाध एकीकरण संभव होता है।
सैद्धांतिक त्रुटि गारंटी (Theoretical Error Guarantees): लेखक Softmax, SiLU, और RMSNorm के अनुमान के लिए स्पष्ट एरर बाउंड्स निकालते हैं। वे प्रदर्शित करते हैं कि कुल त्रुटि एक्सपोनेंशिएशन, डिवीजन और नॉर्म एस्टीमेशन से अलग-अलग टर्म्स में योगात्मक रूप से विभाजित होती है, जिससे यह सुनिश्चित होता है कि त्रुटि अनुकूल परिस्थितियों के तहत सीमित रहती है।
हार्डवेयर अनुकूलता (Hardware Compatibility): यह दृष्टिकोण विशेष रूप से शिफ्ट-एड ऑपरेशन्स, तुलनाओं और लुकअप टेबल्स पर निर्भर करता है, जो फ्लोटिंग-पॉइंट अंकगणित से बचते हैं। यह डिजिटल न्यूरोमॉर्फिक हार्डवेयर के प्रतिबंधों के अनुरूप है, जिसमें अक्सर जटिल नॉनलीनियर फंक्शन्स के लिए नेटिव सपोर्ट की कमी होती है।
अनुभवजन्य सत्यापन (Empirical Validation): इस पद्धति का परीक्षण विभिन्न मॉडल्स पर किया गया, जिसमें SpikeLLM और SpikeZIP द्वारा परिवर्तित मॉडल, साथ ही मानक ANN-आधारित LLMs (LLaMA-3, Mistral, Qwen3) शामिल हैं जहाँ नॉनलीनियर ऑपरेटर्स को चुनिंदा रूप से बदला गया था।

प्रयोगात्मक परिणाम (Experimental Results)

सटीकता (Accuracy): विभिन्न कार्यों (WinoGrande, HellaSwag, ARC, PIQA) और मॉडल्स (LLaMA-2/3, Mistral, Qwen3, BERT) पर, नॉनलीनियर ऑपरेटर्स को NLSpiking मॉड्यूल्स से बदलने के परिणामस्वरूप औसतन 1% से कम की सटीकता गिरावट देखी गई। कुछ मामलों में (जैसे ARC कार्यों पर Qwen3), सटीकता में मामूली सुधार भी हुआ।
ऑपरेटर-लेवल प्रदर्शन: बेसलाइन्स जैसे Sorbet, XNOR-Net, और DoReFa-Net की तुलना में, NLSpiking ने 8-बिट क्वांटाइजेशन के तहत Softmax और RMSNorm के लिए सबसे कम माध्य त्रुटि (mean error) प्राप्त की, जिसमें अधिकतम त्रुटियां प्रभावी रूप से इंटीजर ग्रिड द्वारा सीमित थीं।
विलंबता और दक्षता (Latency and Efficiency): यह फ्रेमवर्क क्रॉस-डोमेन डेटा मूवमेंट ओवरहेड को समाप्त करता है। उन पाइपलाइनों के विपरीत जिन्हें हर टाइम स्टेप पर बार-बार नॉनलीनियर इवैल्यूएशन की आवश्यकता होती है (SpikeZIP-शैली) या जो नॉनलिनैरिटीज़ के लिए बाहरी प्रोसेसर्स पर निर्भर करती हैं (SpikeLLM-शैली), NLSpiking शिफ्ट-एड और LUT ऑपरेशन्स का उपयोग करके पूरी तरह से न्यूरोमॉर्फिक कोर्स के भीतर निष्पादित होता है, जो कुशल बेसलाइन्स के समान टेम्पोरल निष्पादन संरचना बनाए रखता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह उस "नॉनलिनैरिटी बॉटलनेक" को हल करता है जिसने सख्त स्पाइक-ओनली प्रतिबंधों के तहत वास्तव में एंड-टू-एंड स्पाइकिंग ट्रांसफॉर्मर के निर्माण को रोका हुआ था। एक प्रशिक्षण-मुक्त, मॉड्यूलर और सैद्धांतिक रूप से सुदृढ़ दृष्टिकोण प्रदान करके, यह कार्य बड़े पैमाने के स्पाइकिंग मॉडल्स को रिट्रेनिंग की भारी लागत के बिना न्यूरोमॉर्फिक हार्डवेयर पर तैनात करना सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि उनकी विधि न्यूरोमॉर्फिक हार्डवेयर के "स्पाइक-ओनली" प्रिमिटिव्स का सम्मान करती है, जो इसे भविष्य के SNN-आधारित LLM डिजाइनों के लिए एक व्यवहार्य बिल्डिंग ब्लॉक बनाती है। वे वास्तविक हार्डवेयर पर एंड-टू-एंड परिनियोजन के संबंध में वर्तमान सीमाओं को स्वीकार करते हैं, जो मेमोरी और सटीकता-विलंबता ट्रेड-ऑफ से जुड़ी हैं, लेकिन इस कार्य को उस लक्ष्य की ओर एक महत्वपूर्ण कदम के रूप में देखते हैं।