💻 computer science

LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models

यह शोध पत्र LEAP को प्रस्तुत करता है, जो एक सीखने योग्य एंड-टू-एंड अनुकूली प्रूनिंग (adaptive pruning) विधि है जो बड़े भाषा मॉडलों में सुलभ अनस्ट्रक्चर्ड स्पैरसिटी लर्निंग (unstructured sparsity learning) को सक्षम करने के लिए प्रति-भार बर्नौली-वाया-गमबेल-सिग्मॉइड रिलैक्सेशन (per-weight Bernoulli-via-Gumbel-sigmoid relaxation) का उपयोग करता है, जो उच्च स्पैरसिटी स्तरों पर ज़ीरो-शॉट सटीकता में मौजूदा लेयर-वाइज़ बेसलाइन से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल) जो लगभग सब कुछ जानता है। लेकिन यह पुस्तकालय इतना बड़ा है कि यह एक पूरे गोदाम में जगह घेरता है, इसे चलाने के लिए एक विशाल बिजली संयंत्र की आवश्यकता होती है, और यह किसी साधारण कंप्यूटर पर उपयोग करने के लिए बहुत धीमा है।

इसे ठीक करने के लिए, आप 50% से 60% किताबें (मॉडल के "वजन" या कनेक्शन) फेंक देना चाहते हैं। लक्ष्य पुस्तकालय को उतना ही बुद्धिमान बनाए रखना है, भले ही उसमें आधे ही किताबें हों।

यहीं पर LEAP पेपर काम आता है। यहाँ बताया गया है कि उन्होंने इस समस्या को कैसे हल किया, इसे सरल भाषा में समझाया गया है:

समस्या: "बहुत अधिक विकल्प" का जाल

लंबे समय से, वैज्ञानिक दो मुख्य रणनीतियों का उपयोग करके किताबें हटाने की कोशिश कर रहे थे:

"परत-दर-परत" दृष्टिकोण (पुराना तरीका): कल्पना कीजिए कि एक लाइब्रेरियन एक समय में एक शेल्फ को देख रहा है और निर्णय ले रहा है, "यह किताब बेकार लग रही है, इसे बाहर निकाल दो।" वे हर शेल्फ के लिए ऐसा करते हैं बिना दूसरी शेल्फों से बात किए।
- दोष: कभी-कभी एक किताब अपने शेल्फ पर बेकार लग सकती है लेकिन वह वास्तव में एक ऐसी कहानी के लिए महत्वपूर्ण हो सकती है जो पूरे पुस्तकालय में फैली हुई है। अलग-थलग शेल्फों को देखकर, यह विधि अनजाने में महत्वपूर्ण कनेक्शनों को हटा देती है, जिससे पुस्तकालय कम बुद्धिमान हो जाता है।
"पैटर्न" दृष्टिकोण (नया, लेकिन त्रुटिपूर्ण तरीका): हाल ही में, कुछ शोधकर्ताओं ने पूरे पुस्तकालय को एक साथ देखने की कोशिश की। उन्होंने कहा, "आइए सीखें कि कौन सी किताबें रखनी हैं।" लेकिन उन्होंने यह करने की कोशिश की कि किताबों को छोटे समूहों (जैसे 4 किताबों के सेट) में बांटा जाए और पूछा जाए, "इन 4 में से हमें कौन सा पैटर्न रखना चाहिए?"
- दोष: यह छोटे समूहों के लिए बहुत अच्छा काम करता है। लेकिन यदि आप किताबों की एक पूरी पंक्ति (4,000 किताबों की, जैसा कि आधुनिक AI मॉडल में होता है) के लिए ऐसा करने की कोशिश करते हैं, तो संभावित "पैटर्न" की संख्या इतनी बड़ी हो जाती है कि उसे लिखना असंभव है। यह वैसा ही है जैसे अरबों टिकटों के लिए लॉटरी नंबरों के हर संभावित संयोजन को सूचीबद्ध करने की कोशिश करना। कंप्यूटर घबरा जाता है; गणित टूट जाता है।

समाधान: LEAP ("व्यक्तिगत वोट" प्रणाली)

इस पेपर के लेखकों, LEAP ने महसूस किया कि उन्हें गणित से अभिभूत हुए बिना यह तय करने के लिए कि कौन सी किताबें रखनी हैं, एक नया तरीका चाहिए।

यह पूछने के बजाय कि "हम कौन सा समूह पैटर्न रखते हैं?" (जो बहुत बड़े समूहों के लिए असंभव है), उन्होंने हर एक किताब के लिए एक बहुत ही सरल प्रश्न पूछा: "क्या यह विशिष्ट किताब रहनी चाहिए या जानी चाहिए?"

उपमा: एक विशाल चुनाव की कल्पना करें जहाँ प्रत्येक मतदाता (प्रत्येक वेट/वजन) को एक छोटा मतपत्र मिलता है। एक जटिल "टीम रणनीति" के लिए वोट देने के बजाय, वे बस "हाँ" (रखें) या "नहीं" (हटा दें) में वोट देते हैं।
जादुई ट्रिक: इसे काम करने देने के लिए, उन्होंने एक गणितीय ट्रिक (जिसे "गैम्बेल-सिग्मॉइड" कहा जाता है) का उपयोग किया जो कंप्यूटर को शुरू में सहजता से अनुमान लगाने देती है, और फिर धीरे-धीरे उन अनुमानों को कठिन और स्पष्ट बनाती है जब तक कि हर वोट एक स्पष्ट "हाँ" या "नहीं" न बन जाए।

उन्होंने यह कैसे किया (नुस्खा)

उन्होंने शून्य से शुरुआत नहीं की। उन्होंने एक स्मार्ट शुरुआती बिंदु का उपयोग किया:

वार्म स्टार्ट (Warm Start): उन्होंने पहले एक त्वरित, सरल विधि (जिसे Wanda कहा जाता है) का उपयोग किया ताकि यह एक मोटा अंदाजा मिल सके कि कौन सी किताबें बेकार होने की संभावना है। उन्होंने इसका उपयोग एक "हेड स्टार्ट" के रूप में किया ताकि कंप्यूटर अंधेरे में अनुमान न लगाए।
प्रशिक्षण (Training): उन्होंने कंप्यूटर को थोड़ा टेक्स्ट (कैलिब्रेशन स्ट्रीम) पढ़कर "सर्वश्रेष्ठ वोटों" को सीखने दिया और पुस्तकालय की बुद्धिमत्ता को उच्च बनाए रखने के लिए "हाँ/नहीं" के वोटों को समायोजित किया।
किताबों को फ्रीज करना: महत्वपूर्ण रूप से, उन्होंने किताबों के अंदर के शब्दों (मॉडल वेट्स) को नहीं बदला। उन्होंने केवल यह बदलने का निर्णय लिया कि कौन सी किताबें रखनी हैं। यह पुस्तकालय के मूल "व्यक्तित्व" और ज्ञान को बरकरार रखता है, बस एक छोटे पैकेज में।

परिणाम: स्मार्ट, तेज़, और सुव्यवस्थित

उन्होंने पांच अलग-अलग प्रसिद्ध AI मॉडल (छोटे से लेकर बहुत बड़े तक) पर इसका परीक्षण किया और उन्हें 50% और 60% तक कम किया।

स्कोरकार्ड: उन्होंने LEAP की तुलना मौजूदा सर्वोत्तम तरीकों से की।
जीत: LEAP लगातार बेहतर रहा। औसतन, इसने पिछले सर्वोत्तम तरीके की तुलना में मॉडल की सटीकता में 2.59 अंक का सुधार किया। कुछ मामलों में, सुधार 5.40 अंक तक था।
गति: क्योंकि उन्होंने मॉडल को इस तरह से काटा है जो नए, तेज़ कंप्यूटर चिप्स (GPUs) के साथ पूरी तरह फिट बैठता है, इसलिए परिणामी मॉडल अपनी बुद्धिमत्ता खोए बिना बहुत तेज़ी से चलता है।

यह क्यों मायने रखता है

इससे पहले, यदि आप एक विशाल AI मॉडल को छोटा और तेज़ बनाना चाहते थे, तो आपको चुनना पड़ता था:

विकल्प A: इसे सटीक रखें लेकिन विशाल और धीमा।
विकल्प B: इसे छोटा और तेज़ बनाएं, लेकिन मूर्ख।

LEAP दिखाता है कि आप दोनों चीजें एक साथ पा सकते हैं। यह इन विशाल AI दिमागों को आधा करने का एक व्यावहारिक तरीका प्रदान करता है, उनकी बुद्धिमत्ता को बरकरार रखते हुए, ताकि वे सुपरकंप्यूटर के बजाय सामान्य कंप्यूटर पर चल सकें।

संक्षेप में: LEAP एक विशाल AI मॉडल को संपादित करने का एक नया, स्मार्ट तरीका है, जिसमें हर एक कनेक्शन को यह वोट देने दिया जाता है कि उसे रहना चाहिए या नहीं, जिसके परिणामस्वरूप एक छोटा, तेज़ और अभी भी बहुत बुद्धिमान AI प्राप्त होता है।

तकनीकी सारांश: LEAP: बड़े भाषा मॉडलों (LLMs) का सीखने योग्य एंड-टू-एंड एडेप्टिव प्रूनिंग (Learnable End-to-End Adaptive Pruning)

समस्या विवरण (Problem Statement)
लार्ज लैंग्वेज मॉडल्स (LLMs) की तैनाती तेजी से मेमोरी और कंप्यूट बाधाओं के कारण सीमित होती जा रही है। जबकि वेट स्पैरसिटी (weight sparsity) एक समाधान प्रदान करती है, परिदृश्य स्ट्रक्चर्ड, सेमी-स्ट्रक्चर्ड (जैसे 2:4), और अनस्ट्रक्चर्ड श्रेणियों में विभाजित है। हालिया GPU कर्नेल (जैसे FlashLLM, SpInfer) और डेटाफ्लो हार्डवेयर के विकास ने बाधा को अनस्ट्रक्चर्ड स्पैरसिटी को निष्पादित करने से बदलकर उसे न्यूनतम सटीकता हानि के साथ प्रेरित (induce) करने पर केंद्रित कर दिया है।

अनस्ट्रक्चर्ड प्रूनिंग के लिए वर्तमान अत्याधुनिक (state-of-the-art) तरीके, जैसे कि Wanda, SparseGPT, Thanos, और ADMM, 'ऑप्टिमल ब्रेन सर्जन' (OBS) सिद्धांत से प्राप्त लेयर-वाइज सरोगेट्स (layer-wise surrogates) पर निर्भर करते हैं। ये विधियाँ एंड-टू-एंड मॉडल लॉस के बजाय स्थानीय पुनर्निर्माण त्रुटियों (local reconstruction errors) को कम करती हैं। इसके परिणामस्वरूप, वे स्थानीय त्रुटियों को संचित करती हैं जो गहरे नेटवर्क में बढ़ती जाती हैं, जिससे महत्वपूर्ण सटीकता गिरावट आती है, विशेष रूप से आक्रामक स्पैरसिटी (50–60%) के तहत।

इसके विपरीत, MaskLLM और PATCH जैसे एंड-टू-एंड लर्नबल मास्क तरीके सीधे लैंग्वेज मॉडलिंग लॉस के विरुद्ध मास्क को अनुकूलित करते हैं, लेकिन वे सेमी-स्ट्रक्चर्ड पैटर्न तक ही सीमित हैं। उनकी पैरामीट्राइजेशन एक समूह के भीतर वैध पैटर्न पर एक कैटेगोरिकल डिस्ट्रीब्यूशन पर आधारित है। हालांकि यह छोटे समूहों (जैसे 2:4 स्पैरसिटी के लिए $\binom{4}{2}=6$ पैटर्न) के लिए सुलभ है, लेकिन अनस्ट्रक्चर्ड स्पैरसिटी के लिए यह कॉम्बिनेटोरियल रूप से अव्यवहार्य (intractable) हो जाता है। $d=4096$ चौड़ाई वाली एक पंक्ति के लिए 50% स्पैरसिटी पर, वैध मास्क की संख्या $\binom{4096}{2048} \approx 10^{1229}$ है, जिससे पैटर्न लॉजिट्स का स्टोरेज और इंडेक्सिंग असंभव हो जाता है।

कार्यप्रणाली: LEAP
लेखक LEAP (Learnable End-to-End Adaptive Pruning) पेश करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे 'पर-वेट' (per-weight) दृष्टिकोण अपनाकर एंड-टू-एंड अनस्ट्रक्चर्ड मास्क लर्निंग को सुलभ बनाने के लिए डिज़ाइन किया गया है।

Per-Weight Bernoulli Relaxation: प्रत्येक वैध पैटर्न को एक लॉजिट असाइन करने के बजाय, LEAP प्रत्येक व्यक्तिगत वेट के लिए एक सीखने योग्य (learnable) लॉजिट असाइन करता है। एक वेट मैट्रिक्स $W \in \mathbb{R}^{m \times n}$ के लिए, एक समानांतर लॉजिट मैट्रिक्स $P \in \mathbb{R}^{m \times n}$ पेश किया जाता है। स्टोकेस्टिक मास्क $M$ को Gumbel-sigmoid रिलैक्सेशन के माध्यम से जनरेट किया जाता है:
$M = \sigma\left(\frac{\alpha P + g}{\tau}\right)$
जहाँ $g$ Gumbel नॉइज़ है, $\sigma$ सिग्मॉइड फंक्शन है, $\alpha$ एक स्केल फैक्टर है, और $\tau$ एक टेम्परेचर पैरामीटर है। यह फॉर्मूलेशन वैध पैटर्नों की संख्या के बजाय वेट्स की संख्या ($O(mn)$) के साथ रैखिक रूप से स्केल करता है।
अनुकूलन रणनीति (Optimization Strategy):
- फ्रोजन वेट्स (Frozen Weights): प्रीट्रेन्ड वेट्स $W$ को फ्रीज रखा जाता है। केवल मास्क लॉजिट्स $P$ को प्रशिक्षित किया जाता है। यह प्रीट्रेned मॉडल के कैलिब्रेशन को सुरक्षित रखता है और परिनियोजन (deployment) को सरल बनाता है।
- इनिशियलाइजेशन (Initialization): $P$ को एक वन-शॉट Wanda मास्क का उपयोग करके इनिशियलाइज किया जाता है (चुनिंदा प्रविष्टियों को $+s$ और अन्य को $-s$ सेट करके) ताकि एक उचित शुरुआती बिंदु मिल सके और 'कोल्ड-स्टार्ट' समस्याओं से बचा जा सके।
- शेड्यूल्स (Schedules): एक स्केल शेड्यूल ( $\alpha$ ) सिग्मॉइड को बाइनरी वैल्यूज की ओर धकेलने के लिए बढ़ता है, जबकि एक टेम्परेचर शेड्यूल ( $\tau$ ) मास्क को शार्प करने के लिए घटता है।
- लॉस फंक्शन: ऑब्जेक्टिव एक कैलिब्रेशन स्ट्रीम पर लैंग्वेज मॉडलिंग लॉस के साथ दो रेगुलराइजेशन टर्म्स को जोड़ता है:
  1. ग्लोबल स्पैरसिटी रेगुलराइज़र: सभी लेयर्स में ग्लोबल टारगेट डेंसिटी को लागू करता है, जिससे व्यक्तिगत लेयर्स एंड-टू-एंड महत्व के आधार पर अपनी डेंसिटी को एडजस्ट कर सकती हैं।
  2. मैग्निट्यूड-अवेयर टर्म: ऑप्टिमाइजेशन को उच्च-मैग्निट्यूड वाले वेट्स को बनाए रखने की ओर प्रेरित करता है ताकि क्रिटिकल वेट्स के ड्रॉप होने वाले डिजेनरेट मिनिमा से बचा जा सके।
प्रशिक्षण दक्षता (Training Efficiency): यह विधि एक छोटे सामान्य-टेक्स्ट कैलिब्रेशन स्ट्रीम (SlimPajama) पर लगभग 2,000 इटरेशन के लिए प्रशिक्षित होती है।

मुख्य योगदान (Key Contributions)

कॉम्बिनेटोरियल ऑब्स्ट्रक्शन की पहचान: पेपर औपचारिक रूप से पहचान करता है कि कैटेगोरिकल-ओवर-पैटर्न पैरामीट्राइजेशन (MaskLLM/PATCH द्वारा उपयोग किया गया) अनस्ट्रक्चर्ड स्पैरसिटी के लिए एक्सपोनेन्शियल पैटर्न ग्रोथ के कारण स्केल नहीं हो सकता।
सुलभ पुनर्गठन (Tractable Reformulation): लेखक एक प्रति-वेट Bernoulli-via-Gumbel-sigmoid पुनर्गठन प्रस्तावित करते हैं जो LLM स्केल पर अनस्ट्रक्चर्ड मास्क के लिए एंड-टू-एंड डिफरेंशिएबल लर्निंग को सक्षम बनाता है।
LEAP फ्रेमवर्क: एक लाइटवेट प्रूनिंग फ्रेमवर्क जो फ्रोजन वेट्स पर काम करता है, जिसके लिए केवल एक छोटा कैलिब्रेशन डेटासेट और लगभग 2,000 ट्रेनिंग स्टेप्स की आवश्यकता होती है।
अनुभवजन्य सत्यापन (Empirical Validation): 0.5B से 8B पैरामीटर्स वाले पांच LLM परिवारों (Qwen-2.5, Gemma-3, LLaMA-3.2, LLaMA-3.1) में 50% और 60% स्पैरसिटी पर व्यापक मूल्यांकन।

परिणाम (Results)
LEAP का मूल्यांकन लेयर-वाइज बेसलाइन्स (Wanda, SparseGPT, Thanos, ADMM) और सेमी-स्ट्रक्चर्ड लर्नबल बेसलाइन MaskLLM के विरुद्ध किया गया।

सटीकता लाभ (Accuracy Gains): दस (मॉडल, स्पैरसिटी) सेटिंग्स में, LEAP ने ADMM (सर्वश्रेष्ठ लेयर-वाइज बेसलाइन) पर छह-टास्क औसत ज़ीरो-शॉट सटीकता में +2.59 पॉइंट्स का सुधार किया।
विशिष्ट सुधार: LLaMA-3.2 1B (60% स्पैरसिटी पर) पर सबसे बड़ा सुधार +5.40 पॉइंट्स (50.39 बनाम 44.99) था।
परप्लेक्सिटी (Perplexity): LEAP ने लगातार बेसलाइन्स की तुलना में कम PPL प्राप्त किया। उदाहरण के लिए, LLaMA-3.1 8B पर 50% स्पैरसिटी पर, LEAP ने 7.66 PPL प्राप्त किया जबकि ADMM का 9.12 था।
स्पैरसिटी एलोकेशन: प्रयोगों ने दिखाया कि एक ग्लोबल बजट के तहत एंड-टू-एंड ऑप्टिमाइजेशन के तहत, LEAP एक लगभग यूनिफॉर्म प्रति-ब्लॉक डेंसिटी एलोकेशन की ओर अभिसरित (converge) होता है, जो सेमी-स्ट्रक्चर्ड विधियों में देखी गई नॉन-यूनिफॉर्म विविधताओं के विपरीत है।
कंप्यूट कॉस्ट: हालांकि यह वन-शॉट विधियों की तुलना में अधिक महंगा है (H100s पर घंटों का समय लेता है बनाम मिनटों में), LEAP MaskLLM (जैसे, समान स्केल पर हजारों A100 घंटों के मुकाबले LLaMA-3.1 8B के लिए 276 GPU-घंटे) की तुलना में काफी सस्ता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि LEAP उस मौलिक बाधा को हल करता है जो अनस्ट्रक्चर्ड स्पैरसिटी में एंड-टू-एंड मास्क लर्निंग को रोकती है। वेट अपडेट से मास्क लर्निंग को अलग करके, यह प्रीट्रेन्ड वेट्स के कैलिब्रेशन को खोए बिना फाउंडेशन मॉडल्स को कंप्रेस करने का एक व्यावहारिक मार्ग प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि LEAP 50%–60% अनस्ट्रक्र्ड रिजीम में मास्क बनाता है, जो मौजूदा एक्सेलेरेटेड कर्नेल्स (जैसे FlashLLM, SpInfer, MACKO) के साथ सीधे संगत है। महत्व नए इंफरेंस कर्नेल्स बनाने में नहीं है, बल्कि उच्च-गुणवत्ता वाले, प्रून किए गए मॉडल्स पर इन कर्नेल्स के डिप्लॉयमेंट को सक्षम करने में है, जो पहले लेयर-वाइज विधियों के माध्यम से अप्राप्य थे। यह कार्य सुझाव देता है कि अनस्ट्रक्चर्ड स्पैरसिटी, जब एंड-टू-एंड लर्निंग के माध्यम से प्रेरित होती है, तो कमोडिटी हार्डवेयर डिप्लॉयमेंट के लिए कंप्रेशन और सटीकता के बीच एक अनुकूल ट्रेड-ऑफ प्रदान कर सकती है।

सीमाएं और दायरा (Limitations and Scope)

फ्रोजन वेट्स: वर्तमान स्कोप वेट्स को फ्रीज रखता है। हालांकि जॉइंट वेट-एंड-मास्क ऑप्टिमाइजेशन को एक स्वाभाविक विस्तार के रूप में नोट किया गया है, लेकिन इसे इस कार्य में लागू नहीं किया गया है।
यूनिफॉर्म एलोकेशन: यूनिफॉर्म प्रति-ब्लॉक डेंसी का अवलोकन अध्ययन किए गए मॉडल्स और स्पैरसिटी स्तरों के लिए एक रिजीम-विशिष्ट निष्कर्ष के रूप में प्रस्तुत किया गया है, न कि नॉन-यूनिफॉर्म एलोकेशन के विरुद्ध एक सामान्य नियम के रूप में।
सुरक्षा (Safety): लेखक चेतावनी देते हैं कि कंप्रेस्ड मॉडल्स लॉन्ग-टेल इनपुट्स पर अलग तरह के फेलियर मोड प्रदर्शित कर सकते हैं और सुरक्षा-क्रिटिकल डिप्लॉयमेंट के लिए पुनर्मूल्यांकन की सिफारिश करते हैं।

समस्या: "बहुत अधिक विकल्प" का जाल

समाधान: LEAP ("व्यक्तिगत वोट" प्रणाली)

उन्होंने यह कैसे किया (नुस्खा)

परिणाम: स्मार्ट, तेज़, और सुव्यवस्थित

यह क्यों मायने रखता है

इसी तरह के और पेपर