💬 NLP

SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference

SpenseGPT एक व्यावहारिक वन-शॉट प्रूनिंग विधि पेश करता है जो मॉडल की सटीकता बनाए रखते हुए और कस्टम कंपाइलर सपोर्ट की आवश्यकता के बिना स्ट्रिक्ट सेमी-स्ट्रक्चर्ड स्पर्सिटी की सीमाओं को पार करते हुए, B200 GPU पर 1.2x तक एंड-टू-एंड LLM डिकोडिंग स्पीडअप प्राप्त करने के लिए हाइब्रिड स्पार्स-डेंस वेट फॉर्मेट का उपयोग करता है।

मूल लेखक: Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

प्रकाशित 2026-06-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो कंप्यूटर को कोड लिखने, गणित की समस्याओं को हल करने और निर्देशों का पालन करने में मदद करता है। इस लाइब्रेरी को आधुनिक कंप्यूटरों पर तेज़ी से चलाने के लिए, इंजीनियरों ने इसे "प्रून" (छंटनी) करने की कोशिश की है—यानी अनावश्यक किताबों को हटाना ताकि यह हल्का और तेज़ हो सके।

हालाँकि, इसमें एक पेंच है: नए कंप्यूटर चिप्स (जैसे NVIDIA का B200) पर इन किताबों को पढ़ने का सबसे तेज़ तरीका एक बहुत ही सख्त नियम का पालन करता है: प्रत्येक चार किताबों के लिए, ठीक दो खाली होनी चाहिए। इसे "2:4 स्पैरसिटी" (2:4 sparsity) कहा जाता है।

समस्या: सख्त नियम

समस्या यह है कि यह सख्त नियम एक ऐसे सूटकेस को पैक करने जैसा है जहाँ आपको अनिवार्य रूप से आधी जगह खाली छोड़नी ही होगी। यदि आप नियम का पालन करने के लिए यादृच्छिक (randomly) रूप से आधी किताबें फेंक देते हैं, तो आप महत्वपूर्ण जानकारी खो देते हैं, और लाइब्रेरी ठीक से काम करना बंद कर देती है। कंप्यूटर तेज़ तो हो जाता है, लेकिन उसके जवाब बेतुके या गलत होने लगते हैं।

अन्य शोधकर्ताओं ने इसे ठीक करने के लिए नियमों को अधिक लचीला बनाने की कोशिश की, लेकिन उनके समाधान एक ऐसे कस्टम, महंगे इंजन को बनाने जैसे थे जो केवल एक विशिष्ट प्रकार के ईंधन पर काम करता है, या उन्होंने इतना अतिरिक्त काम (overhead) जोड़ दिया कि गति का लाभ गायब ही हो गया।

समाधान: Spense (हाइब्रिड बुकशेल्फ़)

लेखकों ने एक नया तरीका प्रस्तावित किया है जिसे Spense कहा जाता है। पूरी लाइब्रेरी को सख्त "दो खाली, दो भरी" के नियम का पालन करने के लिए मजबूर करने के बजाय, वे शेल्फ को दो ज़ोन में विभाजित करते हैं:

स्पार्स ज़ोन (Sparse Zone): यहाँ, वे सख्त नियम का पालन करते हैं (4 में से 2 किताबें हटा दी जाती हैं)। यह ज़ोन कंप्यूटर के विशेष हार्डवेयर से गति का लाभ उठाता है।
डेंस ज़ोन (Dense Zone): यहाँ, वे सभी किताबों को रखते हैं। कोई भी किताब हटाई नहीं जाती। यह ज़ोन सबसे महत्वपूर्ण जानकारी को सुरक्षित रखता है।

इसे एक हाइब्रिड कार की तरह समझें। "स्पार्स ज़ोन" इलेक्ट्रिक मोटर (क्रूज़िंग के लिए सुपर कुशल) है, और "डेंस ज़ोन" गैस इंजन (जब आपको चढ़ाई चढ़नी हो तो शक्तिशाली) है। दोनों को मिलाकर, आप बिना शक्ति खोए सर्वश्रेष्ठ परिणाम प्राप्त करते हैं।

गुप्त मंत्र: क्या रखना है, इसका चुनाव

कठिन हिस्सा यह तय करना है कि कौन सी किताबें "डेंस ज़ोन" में जाएँगी और कौन सी बाहर फेंकी जाएँगी। लेखकों ने पाया कि यह चुनाव अत्यंत महत्वपूर्ण है। यदि आप गलत किताबों को रखने का चुनाव करते हैं, तो लाइब्रेरी फिर भी विफल हो जाएगी।

उन्होंने इस चुनाव को करने के लिए दो रणनीतियाँ विकसित कीं:

SpenseGPT (सरल रणनीति): कल्पना कीजिए कि किताबें एक पंक्ति में व्यवस्थित हैं। यह विधि कहती है, "आइए शेल्फ की अंतिम 25% किताबों को वैसा ही रहने दें (डेंस), और पहली 75% किताबों को हटा दें (स्पार्स)।" यह पता चला कि यह सरल "अंत में कट लगाने" वाला दृष्टिकोण आश्चर्यजनक रूप से अच्छा काम करता है क्योंकि यह प्रूनिंग (छंटनी) के गणित के तरीके पर आधारित है।
SpenseGPT+ (स्मार्ट रणनीति): यह एक लाइब्रेरियन को नियुक्त करने जैसा है जो हर किताब को पढ़ता है ताकि यह देख सके कि कौन सी सबसे महत्वपूर्ण है। यह हर किताब के लिए एक "स्कोर" की गणना करता है कि वह अंतिम उत्तर में कितना योगदान देती है। यह उच्चतम स्कोर वाली किताबों को डेंस ज़ोन में रखता है, जिससे यह सुनिश्चित होता है कि सबसे महत्वपूर्ण ज्ञान कभी भी नष्ट न हो।

परिणाम: तेज़ और सटीक

टीम ने इन दो बहुत बड़े, स्मार्ट मॉडल्स (Qwen3-32B और Seed-OSS-36B) पर नवीनतम सुपर-फास्ट कंप्यूटर चिप्स (B200 GPUs) का उपयोग करके इनका परीक्षण किया।

गति: उन्होंने वास्तविक उपयोग में 1.2x की गति वृद्धि (speedup) हासिल की। इसका मतलब है कि कंप्यूटर पहले की तुलना में स्पष्ट रूप से तेज़ी से उत्तर उत्पन्न कर सकता है।
सटीकता: अन्य तरीकों के विपरीत, जिन्होंने मॉडल्स को "मूर्ख" बना दिया था, Spense ने मॉडल्स को स्मार्ट बनाए रखा। इन्होंने गणितीय तर्क, कोडिंग और निर्देशों का पालन करने जैसे कठिन कार्यों पर मूल, बिना प्रून किए गए मॉडल्स के समान ही प्रदर्शन किया।
व्यावहारिकता: महत्वपूर्ण रूप से, इस विधि के लिए किसी नए, कस्टम कंप्यूटर सॉफ़्टवेयर (कंपाइलर) को बनाने की आवश्यकता नहीं है। यह इन चिप्स पर पहले से मौजूद मानक, अत्यधिक अनुकूलित उपकरणों के साथ काम करता है।

सारांश

संक्षेप में, यह पेपर एक ऐसा तरीका पेश करता है जिससे AI मॉडल्स को कम स्मार्ट बनाए बिना उन्हें तेज़ बनाया जा सके। पूरी लाइब्रेरी को "आधा खाली" (जो इसे तोड़ देता है) करने के बजाय, उन्होंने एक हाइब्रिड सिस्टम बनाया है: मॉडल का एक हिस्सा गति के लिए छोटा किया गया है, और सबसे महत्वपूर्ण हिस्से को सटीकता के लिए पूरा रखा गया है। यह आधुनिक कंप्यूटरों को पहले से उपलब्ध टूल्स का उपयोग करके, इन विशाल AI दिमागों को पहले से कहीं अधिक तेज़ी से चलाने की अनुमति देता है।

तकनीकी सारांश: SpenseGPT: LLM इन्फरेंस के लिए स्पार्स और डेंस GEMMs हेतु व्यावहारिक वन-शॉट प्रूनिंग (One-shot Pruning)

1. समस्या विवरण (Problem Statement)

सेमी-स्ट्रक्चर्ड 2:4 स्पर्सिटी (जहाँ प्रत्येक चार क्रमिक वेट्स में से दो को शून्य कर दिया जाता है) आधुनिक एक्सीलरेटरों (जैसे, NVIDIA B200, AMD GPUs, Meta MTIAs) द्वारा व्यापक रूप से समर्थित है और यह हार्डवेयर को जीरो-वेट कंप्यूटेशन को स्किप करने की अनुमति देकर सैद्धांतिक रूप से 2× स्पीडअप प्रदान करती है। हालाँकि, लार्ज लैंग्वेज मॉडल (LLM) इन्फरेंस के लिए इसका व्यावहारिक उपयोग दो प्राथमिक बाधाओं का सामना करता है:

सटीकता में भारी गिरावट (Strict Accuracy Degradation): कठोर 2:4 स्पर्सिटी बाधा अक्सर पोस्ट-ट्रेनिंग प्रूनिंग में महत्वपूर्ण सटीकता हानि का कारण बनती है, विशेष रूप से रीजनिंग और इंस्ट्रक्शन-फॉलोइंग कार्यों पर, जब तक कि व्यापक रिट्रेनिंग न की जाए।
मौजूदा रिलैक्सेशन की अव्यवहारिकता (Impracticality of Existing Relaxations): हाल के कार्य जो 2:4 बाधा को शिथिल करने का प्रयास करते हैं (जैसे, PATCH, SlideSparse), वे गंभीर सीमाओं से ग्रस्त हैं। PATCH के लिए विशेष कंपाइलर सपोर्ट (Triton) की आवश्यकता होती है जो अभी तक व्यापक रूप से उपलब्ध नहीं है, जबकि SlideSparse के लिए इनपुट एक्टिवेशन विस्तार (expansion) की आवश्यकता होती है, जिससे रनटाइम ओवरहेड्स उत्पन्न होते हैं जो एंड-टू-एंड स्पीडअप को कम कर देते हैं, विशेष रूप से बड़े सीक्वेंस लेंथ ( $M$ ) के लिए।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र Spense नामक एक व्यावहारिक हाइब्रिड स्पार्स-डेंस फॉर्मेट, और उस पर आधारित SpenseGPT, एक वन-शॉट पोस्ट-ट्रेनिंग प्रूनिंग विधि प्रस्तावित करता है।

A. Spense फॉर्मेट
पूरे वेट मैट्रिक्स पर 2:4 स्पर्सिटी लागू करने के बजाय, Spense प्रत्येक वेट मैट्रिक्स को दो निरंतर क्षेत्रों (contiguous regions) में विभाजित करता है:

एक डेंस रीजन (जो $p\%$ वेट्स को बनाए रखता है)।
एक 2:4 स्पार्स रीजन (जिसे मानक 2:4 स्पर्सिटी के साथ प्रून किया जाता है)।

यह डिज़ाइन मौजूदा, अत्यधिक अनुकूलित GEMM लाइब्रेरीज़ (जैसे, NVIDIA GPUs पर स्पार्स के लिए cuSPARSELt और डेंस के लिए cuBLASLt) का लाभ उठाता है बिना किसी कस्टम कंपाइलर या इनपुट एक्टिवेशन विस्तार की आवश्यकता के। लेखकों ने दो वेरिएंट्स को लागू किया है:

आउटपुट-स्प्लिट (Output-split): आउटपुट टेंसर को विभाजित करता है, जिसमें एक भाग के लिए स्पार्स GEMM और दूसरे भाग के लिए डेंस GEMM का उपयोग किया जाता है।
इनपुट-स्प्लिट (Input-split): इनपुट टेंसर को विभाजित करता है, पहले भाग को स्पार्स GEMM के साथ और दूसरे भाग को डेंस GEMM (एक्यूमुलेशन के साथ) के साथ प्रोसेस करता है।
GLU-वेरिएंट MLPs के लिए, लेखक $W_{up}$ और $W_{gate}$ के लिए आउटपुट-स्प्लिट, और $W_{down}$ के लिए इनपुट-स्प्लिट का उपयोग करते हैं।

B. डेंस इंडेक्स चयन रणनीतियाँ (Dense Index Selection Strategies)
एक महत्वपूर्ण अंतर्दृष्टि यह है कि कौन से इंटरमीडिएट इंडेक्स डेंस रखे जाते हैं, यह मॉडल की गुणवत्ता को महत्वपूर्ण रूप से प्रभावित करता है। शोध पत्र पहचानता है कि GLU-शैली के MLPs में इंटरमीडिएट इंडेक्स को बिना गणितीय आउटपुट बदले परम्यूट (permute) किया जा सकता है, जिससे निष्पादन के लिए एक निरंतर ब्लॉक में पुनर्गठित करने से पहले विशिष्ट इंडेक्स को डेंस चुनने की अनुमति मिलती है। दो रणनीतियाँ प्रस्तावित की गई हैं:

SpenseGPT (सरल रणनीति): उन अंतिम $p\%$ इंटरमीडिएट इंडेक्स को चुनता है जिन्हें डेंस रहना है। यह SparseGPT के कॉलम-वाइज प्रोसेसिंग ऑर्डर के अनुरूप है, जहाँ प्रोसेस्ड कॉलम्स को फ्रीज कर दिया जाता है, और रिकंस्ट्रक्शन एरर्स को दाईं ओर के शेष कॉलम्स को अपडेट करके क्षतिपूर्ति की जाती है। डेंस कॉलम्स को दाईं ओर रखना एक "कंपनसेशन बफर" प्रदान करता है।
SpenseGPT+ (लॉस-अवेयर रणनीति): अनुमानित रिकंस्ट्रक्शन लॉस के आधार पर डेंस इंडेक्स का चयन करता है। Wanda से प्रेरित होकर, यह प्रत्येक इंटरमीडिएट इंडेक्स के लिए योगदान को एग्रीगेट करके एक इम्पॉर्टेंस स्कोर की गणना करता है। यह स्कोर वेट मैग्नीट्यूड और इनपुट एक्टिवेशन मैग्नीट्यूड ( $S_{ij} = |W_{ij}|\sqrt{H_{j,j}}$ ) को जोड़ता है। शीर्ष-स्कोरिंग इंडेक्स को डेंस रहने के लिए चुना जाता है, फिर उन्हें शेष स्पार्स क्षेत्रों पर SparseGPT लागू करने से पहले निरंतर क्षेत्र में परम्यूट किया जाता है।

3. मुख्य योगदान (Key Contributions)

Spense फॉर्मेट: एक हाइब्रिड स्पार्स-डेंस फॉर्मेट जो मौजूदा उच्च-प्रदर्शन वाले स्पार्स और डेंस GEMM लाइब्रेरीज़ के साथ संगतता बनाए रखते हुए सख्त 2:4 स्पर्सिटी को शिथिल करता है, जिससे कस्टम कंपाइलर सपोर्ट या इनपुट विस्तार ओवरहेड्स से बचा जा सके।
डेंस चयन का महत्व: यह प्रदर्शन कि डेंस इंडेक्स का चयन मॉडल की गुणवत्ता बनाए रखने के लिए एक महत्वपूर्ण कारक है, जहाँ साधारण चयन से गंभीर प्रदर्शन गिरावट आती है।
प्रूनिंग रणनीतियाँ: वन-शॉट प्रूनिंग के लिए SpenseGPT (कंटीगुअस टेल सिलेक्शन) और SpenseGPT+ (रिकंस्ट्रक्शन-लॉस-आधारित सिलेक्शन) का परिचय।
रियल-वर्ल्ड स्पीडअप: हाल के हार्डवेयर (विशेष रूप से B200 GPUs) पर सेमी-स्ट्रक्चर्ड स्पार्स टेंसर कोर्स का उपयोग करके वास्तविक दुनिया के एंड-टू-एंड LLM डिकोडिंग स्पीडअप प्राप्त करने वाला पहला प्रदर्शन।

4. प्रयोगात्मक परिणाम (Experimental Results)

इन विधियों का मूल्यांकन B200 GPUs पर FP8 प्रिसिजन के साथ Qwen3-32B और Seed-OSS-36B पर VLLM फ्रेमवर्क का उपयोग करके किया गया। बेंचमार्क्स में AIME (गणित), GPQA (ज्ञान), IFEval (इंस्ट्रक्शन फॉलोइंग), और LiveCodeBench (कोडिंग) शामिल थे।

सटीकता संरक्षण (Accuracy Preservation):
- सख्त 2:4 प्रूनिंग (50% स्पर्सिटी) ने महत्वपूर्ण सटीकता गिरावट दिखाई (उदाहरण के लिए, SparseGPT के साथ Seed-OSS-36B का औसत स्कोर 73.86 से गिरकर 65.18 हो गया)।
- SpenseGPT+ (25% स्पर्सिटी पर) ने Seed-OSS-36B पर 73.12 का औसत स्कोर प्राप्त किया, जो डेंस बेसलाइन (73.86) के लगभग बराबर है।
- Qwen3-32B पर, SpenseGPT+ (25% स्पर्सिटी पर) ने 70.76 प्राप्त किया, जो 71.68 के डेंस बेसलाइन के करीब है।
- तुलनाओं ने दिखाया कि SpenseGPT+ ने सही ढंग से डेंस इंडेक्स चुनकर SpenseGPT और अन्य बेसलाइन्स (HyperPrune, Wanda) से काफी बेहतर प्रदर्शन किया।
एंड-टू-एंड स्पीडअप:
- Spense ने B200 GPUs पर डेंस बेसलाइन की तुलना में 1.2× एंड-टू-एंड डिकोडिंग स्पीडअप तक प्राप्त किया।
- इसके विपरीत, SlideSparse इनपुट एक्टिवेशन विस्तार के कारण नॉन-GEMM ओवरहेड्स की वजह से कोई महत्वपूर्ण स्पीडअप प्रदान करने में विफल रहा।
दक्षता (Efficiency):
- 32B–36B मॉडल्स को प्रून करने में एक सिंगल B200 GPU पर लगभग 1.33–2.15 घंटे लगे, जो SparseGPT के समान है और HyperPrune से बहुत तेज़ है। ProxSparse इन मॉडल्स पर मेमोरी की कमी (Out of Memory) का सामना करता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह हाल के हार्डवेयर (विशेष रूप से B200 GPUs) पर सेमी-स्ट्रक्चर्ड स्पार्स टेंसर कोर्स से प्राप्त वास्तविक दुनिया के एंड-टू-एंड LLM डिकोडिंग स्पीडअप का पहला वन-शॉट प्रूनिंग प्रदर्शन प्रस्तुत करता है, जबकि मॉडल की गुणवत्ता भी बनाए रखता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण सैद्धांतिक हार्डवेयर त्वरण और व्यावहारिक परिनियोजन (deployment) के बीच के अंतर को पाटता है। विशेष कंपाइलर या इनपुट विस्तार की आवश्यकता को समाप्त करके, Spense मौजूदा अनुकूलित लाइब्रेरीज़ के तत्काल उपयोग को सक्षम बनाता है। यह कार्य रेखांकित करता है कि केवल स्पर्सिटी बाधा को शिथिल करना पर्याप्त नहीं है; यह चुनना कि कौन से वेट्स डेंस रहेंगे, मॉडल की रीजनिंग और इंस्ट्रक्शन-फॉलोइंग क्षमताओं को संरक्षित करने के लिए सर्वोपरि है।

स्वीकृत सीमाएँ (Limitations Acknowledged):

स्पीडअप अंतर्निहित GEMM लाइब्रेरीज़ की दक्षता पर निर्भर है और बैच साइज, सीक्वेंस लेंथ और हार्डवेयर के साथ बदलता रहता है।
SpenseGPT+ कैलिब्रेशन डेटा पर निर्भर करता है; यदि परिनियोजन वितरण (deployment distribution) कैलिब्रेशन सेट से काफी भिन्न है, तो चयनित डेंस इंडेक्स इष्टतम नहीं हो सकते हैं।