🤖 AI

Spike-driven Large Language Model

यह शोध पत्र SDLLM को प्रस्तुत करता है, जो एक नवीन स्पाइक-ड्रिवन लार्ज लैंग्वेज मॉडल है जो उन्नत एन्कोडिंग और क्वांटाइजेशन तकनीकों के माध्यम से डेंस मैट्रिक्स गुणन के स्थान पर स्पार्स जोड़ (additions) का उपयोग करके ऊर्जा की खपत और इन्फरेंस समय को महत्वपूर्ण रूप से कम करते हुए अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Han Xu, Xuerui Qiu, Baiyu Chen, Xinhao Luo, Xingrun Xing, Jiahong Zhang, Bo Lei, Tiejun Huang, Bo Xu, Guoqi Li

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Han Xu, Xuerui Qiu, Baiyu Chen, Xinhao Luo, Xingrun Xing, Jiahong Zhang, Bo Lei, Tiejun Huang, Bo Xu, Guoqi Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से स्मार्ट लाइब्रेरी है (एक लार्ज लैंग्वेज मॉडल या LLM) जो कहानियाँ लिख सकती है, गणित की समस्याओं को हल कर सकती है और सवालों के जवाब दे सकती है। लेकिन इसमें एक पेंच है: यह लाइब्रेरी एक विशाल, पुराने ज़माने के इंजन पर चलती है जिसे काम करने के लिए भारी मात्रा में बिजली और गर्मी की आवश्यकता होती है। यह बिल्कुल वैसा ही है जैसे किसी शहर को चलाने के लिए एक अकेले, गरजते हुए स्टीम इंजन का उपयोग करना। हर बार जब लाइब्रेरी सोचती है, तो वह अरबों भारी गणनाएँ (गुणा) करती है जो बैटरी को खत्म करती हैं और गर्मी पैदा करती हैं।

अब, मानव मस्तिष्क की कल्पना करें। वह भी वही सब कुछ कर सकता है—लिखना, सोचना, गणना करना—लेकिन वह बहुत कम बिजली पर चलता है (लगभग 20 वॉट)। यह कैसे संभव है? क्योंकि मस्तिष्क एक निरंतर, भारी इंजन का उपयोग नहीं करता है। इसके बजाय, यह स्पाइक्स (Spikes) का उपयोग करता है। इन स्पाइक्स को मोर्स कोड के डॉट्स और डैश की तरह समझें। मस्तिष्क केवल तभी संकेत भेजता है जब उसे वास्तव में इसकी आवश्यकता होती है। यदि कुछ नहीं हो रहा है, तो वह शांत रहता है। इसे "इवेंट-ड्रिवन" (घटना-आधारित) कंप्यूटिंग कहा जाता है।

समस्या:
वैज्ञानिकों ने ऐसे कंप्यूटर मॉडल बनाने की कोशिश की है जो मस्तिष्क की तरह व्यवहार करते हैं (जिन्हें स्पाइकिंग न्यूरल नेटवर्क या SNN कहा जाता है)। वे एक फोटो में बिल्ली को पहचानने जैसे छोटे कार्यों के लिए बहुत अच्छे से काम करते हैं। लेकिन जब उन्होंने इस "स्पाइक" तर्क को विशाल भाषा पुस्तकालयों (LLMs) पर लागू करने की कोशिश की, तो यह विफल हो गया। मॉडल या तो बहुत "मूर्ख" हो गए (उन्होंने जटिल भाषा को समझने की क्षमता खो दी) या फिर उन्हें अभी भी बहुत अधिक गणनाएँ करनी पड़ती थीं, जिससे इस उद्देश्य की सार्थकता ही समाप्त हो गई।

समाधान: SDLLM (स्पाइक-ड्रिवन लार्ज लैंग्वेज मॉडल)
लेखकों ने एक नया सिस्टम बनाया है जिसे SDLLM कहा जाता है। इसे एक मस्तिष्क जैसी, मोर्स-कोड संचार प्रणाली के साथ उस विशाल, ऊर्जा-खपत करने वाली लाइब्रेरी को अपग्रेड करने जैसा समझें। उन्होंने इसे कैसे किया, यहाँ सरल उपमाओं के माध्यम से बताया गया है:

1. "स्मार्ट ट्रांसलेटर" (The $\gamma$ -SQP Principle)

उपमा: कल्पना कीजिए कि आप एक जटिल कविता को केवल "डॉट्स" और "डैश" के एक सरल कोड में अनुवाद करने की कोशिश कर रहे हैं। यदि आप शब्दों को बेतरतीब ढंग से डॉट्स में बदल देते हैं, तो आप अर्थ खो देंगे। कविता अर्थहीन हो जाएगी।
विज्ञान: शोधकर्ताओं ने महसूस किया कि भाषा मॉडल के सभी हिस्से समान रूप से महत्वपूर्ण नहीं होते हैं। कुछ शब्द वाक्य की "आत्मा" होते हैं। उन्होंने एक विशेष नियम बनाया (जिसे $\gamma$ -SQP कहा जाता है) जो एक स्मार्ट ट्रांसलेटर की तरह काम करता है। यह कविता को देखता है, उसके सबसे महत्वपूर्ण "सिमेंटिक" (अर्थपूर्ण) हिस्सों की पहचान करता है, और सुनिश्चित करता है कि उन हिस्सों का स्पाइक्स में सर्वोत्तम संभव अनुवाद हो। यह मस्तिष्क-नुमा प्रारूप में स्विच करते समय मॉडल की बुद्धिमत्ता को खोने से रोकता है।

2. "दो-चरणीय नृत्य" (Two-Step Encoding)

उपमा: कल्पना कीजिए कि आपके पास एक भारी पत्थर (एक जटिल संख्या) है जिसे आपको नदी के पार ले जाना है।

चरण 1: पूरे पत्थर को ले जाने के बजाय, पहले आप उसका वजन करते हैं और कागज के एक टुकड़े पर एक संख्या लिख देते हैं (इंटीजर स्पाइक काउंट)।
चरण 2: फिर, आप उस कागज को छोटे-छोटे टुकड़ों में फाड़ देते हैं। यदि संख्या "5" थी, तो आप 5 टुकड़े बनाते हैं। आप इन टुकड़ों को एक-एक करके नदी के पार भेजते हैं।
विज्ञान: यह उनका टू-स्टेप स्पाइक एनकोडिंग है। पहले, वे जटिल गणित को एक साधारण पूर्णांक (integer) गिनती में बदलते हैं। फिर, वे उस गिनती को बाइनरी स्पाइक्स (0 और 1) की एक धारा में "अनफोल्ड" करते हैं। यह कंप्यूटर को भारी गुणा करने के बजाय केवल टुकड़ों को जोड़ने की अनुमति देता है। यह बहुत तेज़ है और कम ऊर्जा का उपयोग करता है।

3. "चुप्पी ही स्वर्णिम है" रणनीति (Sparsity)

उपमा: एक व्यस्त कार्यालय में, यदि हर कोई एक साथ चिल्ला रहा है, तो आप कुछ भी सुन नहीं सकते हैं, और यह थका देने वाला है। लक्ष्य यह है कि लोग तभी बोलें जब उनके पास कहने के लिए कुछ महत्वपूर्ण हो।
विज्ञान: शोधकर्ताओं ने पाया कि उनका नया सिस्टम अभी भी बहुत अधिक "चिल्ला" रहा था (बहुत अधिक स्पाइक्स छोड़ रहा था)। उन्होंने इसे शांत करने के लिए दो तरकीबें पेश कीं:

द्विदिश एनकोडिंग (The Two-Way Street): केवल "डॉट्स" (सकारात्मक संकेत) भेजने के बजाय, उन्होंने "डैश" (नकारात्मक संकेत) की अनुमति दी। इसका मतलब है कि एक संकेत दोगुना जानकारी ले जा सकता है, इसलिए उन्हें आधे संकेत भेजने की आवश्यकता है।
मेम्ब्रेन पोटेंशियल क्लिपिंग (The Volume Knob): उन्होंने "बैकग्राउंड शोर" की आवाज़ कम कर दी। उन्होंने एक नियम सेट किया कि यदि कोई संकेत बहुत कमजोर है, तो उसे काट दिया जाएगा और वह "0" (चुप्पी) बन जाएगा। यह सिस्टम में बहुत अधिक शांति पैदा करता है, और यही वह चीज़ है जो मस्तिष्क-कंप्यूटिंग को इतना कुशल बनाती है।

परिणाम: आपको इसकी परवाह क्यों करनी चाहिए?

इसके परिणाम भविष्य की तकनीक के लिए जादू की तरह हैं:

ऊर्जा की बचत: पिछले प्रयासों की तुलना में, यह नया मॉडल 7 गुना कम ऊर्जा का उपयोग करता है। मानक लो-पावर चिप्स की तुलना में, यह 13 गुना तक कम ऊर्जा का उपयोग करता है।
अधिक स्मार्ट: इसने केवल ऊर्जा ही नहीं बचाई; यह पिछले मस्तिष्क-नुमा मॉडलों की तुलना में वास्तव में अधिक स्मार्ट (अधिक सटीक) भी हो गया।
भविष्य: यह सिद्ध करता है कि हम ऐसी AI बना सकते हैं जो छोटी बैटरियों पर चल सके, शायद आपके चश्मे या स्मार्टवॉच के अंदर भी, बिना किसी विशाल सर्वर फार्म की आवश्यकता के। यह अगली पीढ़ी के "न्यूरोमॉर्फिक चिप्स" के लिए मार्ग प्रशस्त करता है—ऐसे कंप्यूटर चिप्स जिन्हें बिल्कुल मानव मस्तिष्क की तरह दिखने और कार्य करने के लिए डिज़ाइन किया गया है।

संक्षेप में:
लेखकों ने एक विशाल, ऊर्जा-खपत करने वाली AI को लिया, उसे मस्तिष्क के कुशल "मोर्स कोड" में बोलना सिखाया, और अनावश्यक शोर के लिए एक "म्यूट बटन" जोड़ दिया। परिणाम एक ऐसी AI है जो बड़ी AI जितनी ही स्मार्ट है लेकिन बहुत कम बिजली पर चलती है, जो हमें वास्तव में बुद्धिमान, बैटरी-अनुकूल उपकरणों के एक कदम और करीब ले जाती है।

यहाँ शोध पत्र "Spike-driven Large Language Model" (SDLLM) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) भारी मात्रा में डेंस मैट्रिक्स मल्टीप्लिकेशन (dense matrix multiplications) पर निर्भर करते हैं, जिससे महत्वपूर्ण कंप्यूटेशनल और ऊर्जा लागत आती है, विशेष रूप से संसाधन-सीमित उपकरणों पर। जबकि स्पाइकिंग न्यूरल नेटवर्क्स (SNNs) स्पार्स, इवेंट-ड्रिवन "स्पाइक" संचार (केवल स्पार्स एडिशन करना) के माध्यम से एक मस्तिष्क-प्रेरित, ऊर्जा-कुशल विकल्प प्रदान करते हैं, मौजूदा विधियाँ LLMs तक स्केल करने में विफल रहती हैं।

प्रतिनिधित्व अंतराल (Representation Gap): मौजूदा स्पाइक एनकोडिंग स्कीमें (जो अक्सर विजन कार्यों के लिए उपयोग की जाती हैं) अरबों-पैरामीटर वाले LLMs की जटिलता को संभालने के लिए आवश्यक प्रतिनिधित्व क्षमता की कमी रखती हैं।
स्पर्सिटी संबंधी मुद्दे (Sparsity Issues): SNNs को ट्रांसफॉर्मर्स के साथ संयोजित करने के मौजूदा प्रयास (जैसे SpikeLLM) अक्सर मल्टी-टाइमस्टेप इंटीजर क्वांटाइजेशन पर निर्भर करते हैं या डेंस मैट्रिक्स मल्टीप्लिकेशन को पूरी तरह से समाप्त करने में विफल रहते हैं, जिससे वे वास्तविक न्यूरोमॉर्फिक हार्डवेयर के साथ असंगत हो जाते हैं।
मूल चुनौती (The Core Challenge): एक शुद्ध रूप से स्पाइक-ड्रिवन LLM का निर्माण कैसे किया जाए जो डेंस मैट्रिक्स मल्टीप्लिकेशन को समाप्त कर सके, उच्च सटीकता बनाए रख सके और बिना SNN को पुन: प्रशिक्षित (retraining) किए अत्यधिक स्पर्सिटी (कम फायरिंग रेट) प्राप्त कर सके।

2. कार्यप्रणाली: SDLLM (Methodology: SDLLM)

लेखक SDLLM का प्रस्ताव करते हैं, जो एक नया दो-चरणीय एनकोडिंग प्रक्रिया उपयोग करके प्री-ट्रेन्ड LLMs को स्पाइक-ड्रिवन मॉडल्स में परिवर्तित करने वाला एक प्लग-एंड-प्ले फ्रेमवर्क है। मुख्य नवाचार डेंस मैट्रिक्स मल्टीप्लिकेशन को बाइनरी या टर्नरी स्पाइक्स द्वारा संचालित स्पार्स एडिशन (sparse addition) से बदलना है।

A. $\gamma$ -सेमेंटिक क्वांटाइजेशन सिद्धांत ( $\gamma$ -SQP)

निरंतर मानों (continuous values) को स्पाइक्स में बदलने के दौरान होने वाले प्रतिनिधित्व क्षमता के नुकसान को दूर करने के लिए, लेखक $\gamma$ -SQP पेश करते हैं।

अवधारणा (Concept): मानक क्वांटाइजेशन अक्सर विभिन्न फीचर डायमेंशन के सेमेंटिक महत्व को अनदेखा करता है। $\gamma$ -SQP क्वांटाइजेशन प्रक्रिया को मॉडल के सीखे गए सेमेंटिक स्पेस (RMSNorm स्केलिंग पैरामीटर्स $\gamma$ द्वारा पहचाना गया) के साथ संरेखित करता है।
तंत्र (Mechanism): यह फीचर डिस्ट्रीब्यूशन को होमोजेनाइज करने के लिए हैडामार्ड रोटेशन (Hadamard rotations) का उपयोग करता है लेकिन महत्वपूर्ण रूप से रोटेशन के दौरान सेमेंटिक स्केलिंग को सुरक्षित रखता है। यह सुनिश्चित करता है कि क्वांटाइजेशन त्रुटियां सेमेंटिक रूप से महत्वपूर्ण डायमेंशनों से दूर वितरित हों, जिससे सटीकता में गिरावट कम होती है।
चरण 1 (इंटीजर काउंट): निरंतर मेंब्रेन पोटेंशियल को $\gamma$ -SQP का उपयोग करके इंटीजर स्पाइक काउंट में क्वांटाइज किया जाता है।
चरण 2 (स्पाइक ट्रेन): इन इंटीजर काउंट्स को एक वर्चुअल टाइम डायमेंशन ( $D$ ) पर बाइनरी (0/1) या टर्नरी (-1/0/1) स्पाइक ट्रेनों में अनफोल्ड किया जाता है।

B. स्पर्सिटी ऑप्टिमाइज़ेशन रणनीतियाँ (Sparsity Optimization Strategies)

कंप्यूटेशनल लोड (फायरिंग रेट) को कम करने के लिए, लेखक स्पाइक गतिविधि को दबाने के लिए दो तंत्र पेश करते हैं:

सिमेट्रिक क्वांटाइजेशन के तहत द्विदिश एनकोडिंग (Bidirectional Encoding under Symmetric Quantization):
- एसिमेट्रिक क्वांटाइजेशन (0 से $D$ ) के बजाय, वे सिमेट्रिक क्वांटाइजेशन ( $-D/2$ से $D/2$ ) का उपयोग करते हैं।
- यह टर्नरी स्पाइक्स (-1, 0, 1) की अनुमति देता है। क्योंकि नेगेटिव स्पाइक्स पोलैरिटी (polarity) जानकारी ले जाते हैं, मॉडल उसी जानकारी को आधे टाइम स्टेप्स ( $D \to D/2$ ) में प्रदर्शित कर सकता है, जो प्रभावी रूप से टेम्पोरल अनफोल्डिंग लागत को आधा कर देता है।
मेंब्रेन पोटेंशियल क्लिपिंग (Membrane Potential Clipping):
- ReLU से प्रेरित होकर, वे एनकोडिंग से पहले मेंब्रेन पोटेंशियल पर क्वांटाइल-स्मूथ्ड ReLU (Quantile-Smoothed ReLU) लागू करते हैं।
- यह पोटेंशियल डिस्ट्रीब्यूशन के निचले छोर को क्लिप करता है, जिससे न्यूरॉन्स का एक बड़ा हिस्सा जीरो स्पाइक काउंट आउटपुट करने के लिए मजबूर होता है। यह "साइलेंट" न्यूरॉन्स के अनुपात को काफी बढ़ा देता है, जिससे समग्र फायरिंग रेट नाटकीय रूप से कम हो जाता है।

C. इन्फरेंस तंत्र (Inference Mechanism)

स्पार्स एडिशन (Sparse Addition): एनकोड होने के बाद, इनपुट एक स्पाइक ट्रेन $\{0, 1\}$ या $\{-1, 0, 1\}$ है। मैट्रिक्स मल्टीप्लिकेशन $Y = WX $गणितीय रूप से$ W$ के उन कॉलमों को जोड़ने के बराबर है जहाँ इनपुट स्पाइक नॉन-जीरो है।
कोई गुणा नहीं (No Multiplication): इन्फरेंस प्रक्रिया सभी गुणा क्रियाओं को समाप्त करती है, जो केवल स्पार्स एडिशन और मेमोरी एक्सेस पर निर्भर करती है, जो न्यूरोमॉर्फिक हार्डवेयर के लिए आदर्श है।
मोड्स (Modes): फ्रेमवर्क सिंक्रोनस (मल्टी-स्टेप लेटेंसी) और एसिंक्रोनस (सिंगल-स्टेप लेटेंसी) दोनों फायरिंग मोड्स का समर्थन करता है।

3. प्रमुख योगदान (Key Contributions)

प्रथम शुद्ध स्पाइक-ड्रिवन LLM: SDLLM केवल स्पार्स एडिशन का उपयोग करके LLM-स्तर की क्षमताएं (अरबों पैरामीटर) प्राप्त करने वाला पहला मॉडल है, जो डेंस मैट्रिक्स मल्टीप्लिकेशन को पूरी तरह से समाप्त करता है।
$\gamma$ -SQP एनकोडिंग: एक नया दो-चरणीय एनकोडिंग तरीका जो क्वांटाइजेशन को सेमेंटिक महत्व के साथ संरेखित करता है, जिससे बाइनरी स्पाइक रिप्रेजेंटेशन के साथ जुड़ी सटीकता की हानि को कम किया जाता है।
दोहरी स्पर्सिटी तंत्र (Dual Sparsity Mechanisms): द्विदिश सिमेट्रिक एनकोडिंग और मेंब्रेन पोटेंशियल क्लिपिंग का संयोजन स्पाइक फायरिंग रेट को काफी कम कर देता है (उदाहरण के लिए, 0.5 से 0.1 तक) और आवश्यक टाइम स्टेप्स को आधा कर देता है।
प्लग-एंड-प्ले (Plug-and-Play): इस पद्धति के लिए SNN को शुरू से प्रशिक्षित करने की आवश्यकता नहीं है; यह इन्फरेंस के लिए मौजूदा प्री-ट्रेन्ड LLMs (जैसे LLaMA और Qwen) को परिवर्तित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन कॉमन्सेंस रीजनिंग, रीडिंग कॉम्प्रिहेन्शन, वर्ल्ड नॉलेज और मैथमेटिकल रीजनिंग कार्यों पर LLaMA2 (7B, 13B), LLaMA3 (8B), और Qwen2.5 (14B) पर किया गया।

सटीकता बनाम दक्षता (Accuracy vs. Efficiency):
- SpikeLLM (एक पिछले SNN-LLM प्रयास) की तुलना में, SDLLM ने सटीकता में 4.2% सुधार किया जबकि ऊर्जा खपत में 7 $\times$ की कमी आई।
- INT4 क्वांटाइजेशन बेसलाइन्स (जैसे QuaRot, SmoothQuant) की तुलना में, SDLLM ने ऊर्जा खपत में 13 $\times$ तक की कमी और FLOPs में 1.2 $\times$ की कमी के साथ स्टेट-ऑफ-द-आर्ट (SOTA) टास्क परफॉर्मेंस हासिल किया।
स्पर्सिटी मेट्रिक्स (Sparsity Metrics):
- प्रस्तावित स्पर्सिटी तंत्रों का उपयोग करके फायरिंग रेट ( $R$ ) ~0.5 (मानक सेटअप में) से घटकर 0.1–0.2 हो गया।
- द्विदिश एनकोडिंग के कारण टाइम स्टेप्स ( $D$ ) 15 से घटकर 8 रह गए।
टास्क परफॉर्मेंस (Task Performance): SDLLM ने GSM8K (मैथ) और TriviaQA जैसे जटिल कार्यों पर प्रतिस्पर्धी प्रदर्शन बनाए रखा, जो यह दर्शाता है कि स्पाइक-ड्रिवन मॉडल्स उच्च-जटिलता वाली रीजनिंग को भी संभाल सकते हैं, न कि केवल सरल वर्गीकरण को।

5. महत्व और भविष्य का प्रभाव (Significance and Future Impact)

न्यूरोमॉर्फिक हार्डवेयर अलाइनमेंट: SDLLM एक ऐसा सॉफ्टवेयर आर्किटेक्चर प्रदान करता है जो अगली पीढ़ी के न्यूरोमॉर्फिक चिप्स (जैसे Intel Loihi 2, Speck) के लिए पूरी तरह से उपयुक्त है, जो इवेंट-ड्रिवन, स्पार्स कंप्यूटेशन पर निर्भर करते हैं।
ऊर्जा दक्षता: डेंस मैट्रिक्स मल्टीप्लिकेशन को समाप्त करके और अत्यधिक स्पर्सिटी का लाभ उठाकर, SDLLM सख्त पावर सीमाओं वाले एज डिवाइसेस पर बड़े पैमाने के AI को तैनात करने के लिए एक व्यवहार्य मार्ग प्रदान करता है।
पैराडाइम शिफ्ट (Paradigm Shift): यह कार्य इस धारणा को चुनौती देता है कि SNNs केवल छोटे पैमाने या विजन कार्यों के लिए उपयुक्त हैं, यह सिद्ध करता है कि वे सामान्य भाषा कार्यों के लिए सटीकता और दक्षता दोनों में लो-बिट न्यूमेरिकल क्वांटाइजेशन विधियों का मुकाबला कर सकते हैं।
को-डिज़ाइन प्रेरणा (Co-Design Inspiration): यह शोध पत्र भविष्य के इवेंट-ड्रिवन AI सिस्टम के सॉफ्ट-हार्डवेयर को-डिज़ाइन के लिए एक ब्लूप्रिंट प्रदान करता है, जो सुझाव देता है कि एल्गोरिथमिक स्पर्सिटी का विशेष हार्डवेयर द्वारा पूर्ण लाभ उठाया जा सकता है।

संक्षेप में, SDLLM जैविक स्पाइकिंग न्यूरॉन्स की दक्षता और आधुनिक लार्ज लैंग्वेज मॉडल्स की क्षमता के बीच के अंतर को पाटता है, जो पारंपरिक डेंस कंप्यूटेशन के लिए एक स्केलेबल, ऊर्जा-कुशल विकल्प प्रदान करता है।

1. "स्मार्ट ट्रांसलेटर" (The γ\gammaγ-SQP Principle)