💬 NLP

PALS: Percentile-Aware Layerwise Sparsity for LLM Pruning

यह शोध पत्र PALS का प्रस्ताव करता है, जो एक वन-शॉट प्रूनिंग विधि है जो एक्टिवेशन मैग्नीट्यूड्स के आधार पर ट्रांसफॉर्मर लेयर्स में स्पर्सिटी रेश्यो को गतिशील रूप से समायोजित करती है, जिससे LLaMA-2-7B पर यूनिफॉर्म प्रूनिंग की तुलना में महत्वपूर्ण परप्लेक्सिटी सुधार प्राप्त होता है और यह भी प्रदर्शित होता है कि ग्रेडिएंट-आधारित एलोकेशन डिस्क्रीट वेट रिमूवल के लिए अप्रभावी है।

मूल लेखक: Yazdan Jamshidi, Alexey Shvets

प्रकाशित 2026-07-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yazdan Jamshidi, Alexey Shvets

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल) जिसमें अरबों पुस्तकें (पैरामीटर्स) हैं। इस पुस्तकालय को अपने फोन में ले जाने के लिए एक छोटे से बैकपैक में फिट करने के लिए, आपको आधी किताबें फेंकनी होंगी। इसे "प्रूनिंग" (छंटाई) कहा जाता है।

समस्या यह है कि सभी किताबें समान रूप से महत्वपूर्ण नहीं होतीं। कुछ केवल भरने के लिए होती हैं, जबकि अन्य दुनिया को समझने के लिए सबसे महत्वपूर्ण मानचित्र और चाबियाँ रखती हैं।

पुराना तरीका: "एक ही आकार सबके लिए" वाला दृष्टिकोण

पिछले तरीके (जैसे Wanda और SparseGPT) एक सख्त लाइब्रेरियन की तरह थे जो कहता है: "हमें 50% किताबें हटानी हैं। इसलिए, हम हर एक शेल्फ (अलमारी) से ठीक आधी किताबें हटा देंगे, चाहे कुछ भी हो।"

लेखक तर्क देते हैं कि यह मूर्खतापूर्ण है। कुछ शेल्फ महत्वपूर्ण, अद्वितीय जानकारी से भरे होते हैं, जबकि अन्य दोहराव वाले नोट्स से भरे होते हैं। यदि आप महत्वपूर्ण शेल्फ से 50% काट देते हैं, तो पुस्तकालय का अर्थ समझ से बाहर हो जाएगा। यदि आप दोहराव वाले शेल्फ से 50% काट देते हैं, तो किसी को पता भी नहीं चलेगा।

नया तरीका: PALS (द "स्मार्ट लाइब्रेरियन")

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे PALS (परसेंटाइल-अवेयर लेयरवाइज स्पैरसिटी) कहा जाता है। हर शेल्फ से समान मात्रा में काटने के बजाय, PALS एक स्मार्ट लाइब्रेरियन की तरह काम करता है जो पहले शेल्फों को देखता है।

यह कैसे काम करता है:

"आउटलियर" की जाँच: लाइब्रेरियन प्रत्येक शेल्फ की किताबों को देखता है और पूछता है, "क्या यहाँ कोई ऐसी किताबें हैं जो बहुत अलग या बहुत शोर मचाने वाली हैं?" तकनीकी शब्दों में, वे एक्टिवेशन आउटलियर्स (activation outliers) देखते हैं—वे क्षण जब मॉडल का एक विशिष्ट हिस्सा बहुत "उत्साहित" या सक्रिय हो जाता है।
नियम:
- यदि किसी शेल्फ में ये "शोर मचाने वाले" या "उत्साहित" क्षण हैं, तो इसका मतलब है कि वह शेल्फ महत्वपूर्ण कार्य कर रहा है। यहाँ ज्यादा मत काटें। अधिक किताबें रखें।
- यदि कोई शेल्फ शांत और एकसमान है, तो शायद वह दोहराव वाला काम कर रहा है। यहाँ ज्यादा काटें। अधिक किताबें फेंक दें।
सुरक्षा जाल: यह सुनिश्चित करने के लिए कि वे बहुत ज्यादा पागल न हो जाएं, लाइब्रेरियन का एक नियम है: "आप काटने की मात्रा को बहुत कम (प्लस या माइनस 5%) बदल सकते हैं।" यह उन्हें गलती से एक महत्वपूर्ण शेल्फ को खाली करने या एक बेकार शेल्फ को पूरी तरह से भरा छोड़ने से रोकता है।

बड़ा आश्चर्य: "ग्रेडिएंट" का जाल

किताबों के "शोर" (loudness) पर तय करने से पहले, शोधकर्ताओं ने एक अलग विचार आजमाया। उन्होंने सोचा, "शायद हमें ग्रेडिएंट्स को देखना चाहिए।"

AI की दुनिया में, "ग्रेडिएंट्स" एक मानचित्र की तरह हैं जो यह दिखाते हैं कि किसी किताब को थोड़ा बेहतर बनाने के लिए उसे किस दिशा में बदलना है। आमतौर पर, यह तय करने का एक बहुत ही स्मार्ट तरीका है कि किसे रखना है।

लेकिन चौंकाने वाली बात यह है: जब उन्होंने यह तय करने के लिए ग्रेडिएंट्स का उपयोग किया कि क्या काटना है, तो पुस्तकालय बिखर गया। परिणाम उन परिणामों से भी बुरे थे जो तब मिले थे जब उन्होंने बस रैंडमली (यादृच्छिक रूप से) किताबें फेंकी थीं।

क्यों? लेखक अनुमान लगाते हैं कि ग्रेडिएंट्स बहुत छोटे, बहुत सूक्ष्म कदम उठाने के मानचित्र की तरह हैं। लेकिन प्रूनिंग एक विशाल, भारी कदम लेने जैसा है (एक साथ 50% किताबें हटाना)। एक मानचित्र जो छोटे कदमों के लिए काम करता है, वह यह नहीं बताता कि आधे हिस्से को हटाने पर क्या होगा। यह जानने जैसा है कि एक पहाड़ी का ढलान किस ओर है, इससे यह पता नहीं चलता कि अगर आप आधे पहाड़ को ही बुलडोजर से साफ कर दें तो क्या होगा।

परिणाम

पुराने मॉडल्स पर (LLaMA-2): "स्मार्ट लाइब्रेरियन" (PALS) ने शानदार काम किया। पुस्तकालय आधा आकार का हो गया लेकिन फिर भी इसने भाषा को लगभग उतना ही अच्छी तरह समझा जितना कि पूर्ण संस्करण। यह "एक ही आकार सबके लिए" वाले तरीके से कहीं अधिक स्मार्ट था।
नए मॉडल्स पर (Mistral, LLaMA-3): "स्मार्ट लाइब्रेरियन" ने वास्तव में मदद नहीं की। लेखकों का मानना है कि ऐसा इसलिए है क्योंकि ये नए मॉडल इतने अच्छी तरह से प्रशिक्षित हैं कि हर शेल्फ पहले से ही समान रूप से महत्वपूर्ण है। वहाँ कोई "अतिरिक्त" शेल्फ नहीं है जिससे अधिक काटा जा सके, इसलिए स्मार्ट रणनीति कोई लाभ नहीं ढूंढ पाती।

मुख्य निष्कर्ष

PALS एक सरल, सस्ता तरीका है जिससे AI मॉडल्स को उनकी बुद्धिमत्ता खोए बिना छोटा बनाया जा सकता है। यह यह सुनकर काम करता है कि मॉडल के कौन से हिस्से "चिल्ला" (उच्च गतिविधि) रहे हैं और उन्हें सुरक्षित रखता है, जबकि शांत हिस्सों को काट देता है।

यह हमें एक मूल्यवान सबक भी सिखाता है: सिर्फ इसलिए कि एक तरीका (जैसे ग्रेडिएंट्स) छोटे बदलावों के लिए काम करता है, इसका मतलब यह नहीं है कि वह बड़े कटाव के लिए भी काम करेगा। कभी-कभी, सबसे सरल संकेत (यह देखना कि कोई हिस्सा अभी कितना सक्रिय है) सबसे जटिल गणित से बेहतर होता है।

तकनीकी सारांश: PALS (परसेंटाइल-अवेयर लेयरवाइज स्पैरसिटी)

समस्या विवरण

अरबों पैरामीटर्स वाले लार्ज लैंग्वेज मॉडल्स (LLMs) इन्फरेंस के दौरान महत्वपूर्ण मेमोरी और कंप्यूटेशनल बोझ डालते हैं। पोस्ट-ट्रेनिंग प्रूनिंग (Pruning) बिना रीट्रेनिंग के भार (weights) के एक हिस्से को हटाकर एक समाधान प्रदान करती है। हालांकि, Wanda और SparseGPT जैसे मानक वन-शॉट प्रूनिंग तरीके यूनिफॉर्म स्पैरसिटी (uniform sparsity) लागू करते हैं, जो हर ट्रांसफार्मर लेयर पर समान प्रूनिंग अनुपात (जैसे 50%) लागू करते हैं।

यह दृष्टिकोण ज्ञात लेयर महत्व (layer importance) के विविधताओं की अनदेखी करता है। ट्रांसफार्मर लेयर्स कार्यात्मक विषमता (functional heterogeneity) प्रदर्शित करती हैं: शुरुआती लेयर्स अक्सर जेनेरिक रिप्रेजेंटेशन बनाती हैं, मध्य लेयर्स रेडंडेंट (redundant) हो सकती हैं, और अंतिम लेयर्स आउटपुट वोकैबुलरी के लिए विशिष्ट होती हैं। यूनिफॉर्म प्रूनिंग इन अंतरों का लाभ उठाने में विफल रहती है, जिससे संवेदनशील लेयर्स से महत्वपूर्ण वेट्स हट सकते हैं जबकि रेडंडेंट लेयर्स को जरूरत से ज्यादा प्रून किया जा सकता है, जिससे सब-ऑप्टिमल परप्लेक्सिटी (perplexity) और सटीकता आती है।

कार्यप्रणाली: PALS

लेखक PALS (Percentile-Aware Layerwise Sparsity) का प्रस्ताव करते हैं, जो एक छोटे कैलिब्रेशन सेट से एकत्र किए गए एक्टिवेशन स्टैटिस्टिक्स के आधार पर प्रत्येक लेयर के लिए प्रूनिंग अनुपात को गतिशील रूप से समायोजित करता है। PALS नगण्य ओवरहेड के साथ Wanda पाइपलाइन में एकीकृत होता है और इसमें किसी फाइन-ट्यूनिंग की आवश्यकता नहीं होती है।

मुख्य एल्गोरिदम

एक्टिवेशन परसेंटाइल्स के माध्यम से लेयर महत्व:
प्रत्येक लेयर $l$ के लिए, एक कैलिब्रेशन सेट पर एक्टिवेशन्स $A^{(l)}$ एकत्र किए जाते हैं। औसत एक्टिवेशन (जो महत्वपूर्ण संकेतों को औसत कर देता है) के बजाय, PALS एब्सोल्यूट एक्टिवेशन मैग्नीट्यूड के 99वें परसेंटाइल की गणना करता है:
$I^{(l)} = \text{Percentile}(|A^{(l)}|, 99)$
यह मीट्रिक "एक्टिवेशन आउटलेयर्स" (activation outliers) को लक्षित करता है—ऐसे फीचर्स जिनका मैग्नीट्यूड बाकी अन्य से 10–100× अधिक है—जिन्हें पूर्व कार्य (Dettмер्स एट अल.) ने मॉडल की गुणवत्ता के लिए आवश्यक बताया है।
नॉर्मलाइजेशन और एलोकेशन:
रॉ परसेंटाइल स्कोर को लेयर्स के बीच तुलना योग्य बनाने के लिए मानकीकृत ( $\hat{I}^{(l)}$ ) किया जाता है। इसके बाद, नॉर्मलाइज्ड इम्पॉर्टेंस के आधार पर शिफ्टेड ग्लोबल टारगेट $s_{\text{target}}$ का उपयोग करके प्रति-लेयर स्पैरसिटी टारगेट $s^{(l)}$ की गणना की जाती है:
$s^{(l)} = \text{clip}(s_{\text{target}} + \alpha \cdot \hat{I}^{(l)}, s_{\text{min}}, s_{\text{max}})$

$\alpha$ (एडैप्टेशन स्ट्रेंथ): यह नियंत्रित करता है कि स्पैरसिटी टारगेट से कितनी विचलित होती है।
कंजर्वेटिव बाउंड्स: विधि लक्ष्य के चारों ओर $\pm 5\%$ बैंड लागू करती है (उदाहरण के लिए, 50% लक्ष्य के लिए, लेयर्स को 45% और 55% के बीच प्रून किया जाता है)। यह "इन्फॉर्मेशन बॉटलनेक्स" को रोकता है जहाँ अत्यधिक प्रून की गई लेयर्स पूरे नेटवर्क की क्षमता को कम कर सकती हैं।

प्रूनिंग निष्पादन:
एक बार जब प्रत्येक लेयर के लिए $s^{(l)}$ निर्धारित हो जाता है, तो वेट्स को स्कोर किया जाता है और Wanda के मानदंड ( $|w| \cdot \text{mean}(|a|)$ ) का उपयोग करके हटाया जाता है। $s^{(l)} \times 100\%$ निचले वेट्स को हटा दिया जाता है। कोई वेट अपडेट या फाइन-ट्यूनिंग नहीं होती है।

मुख्य निष्कर्ष: ग्रेडिएंट-आधारित एलोकेशन की विफलता

लेखकों ने एक अधिक सिद्धांतवादी दृष्टिकोण का परीक्षण किया: स्पैरसिटी एलोकेट करने के लिए ग्रेडिएंट मैग्नीट्यूड (या फर्स्ट-ऑर्डर टेलर एक्सपेंशन) का उपयोग करना। यह दृष्टिकोण निर्णायक रूप से विफल रहा, जिसने रैंडम एलोकेशन (24.37) और यूनिफॉर्म प्रूनिंग (12.92) की तुलना में बहुत खराब परप्लेक्सिटी स्कोर (47.32) उत्पन्न किए। लेखक परिकल्पना करते हैं कि ग्रेडिएंट्स ऑप्टिमाइजेशन डायनेमिक्स (लोकल कन्वर्जेंस) को दर्शाते हैं, न कि वेट्स के बड़े हिस्सों को हटाने के डिस्क्रीट प्रभाव को।

प्रयोगात्मक परिणाम

प्राथमिक परिणाम (LLaMA-2-7B)

50% अनस्ट्रक्चर्ड स्पैरसिटी पर LLaMA-2-7B पर:

Uniform Wanda: 12.92 WikiText-2 परप्लेक्सिटी।
PALS: 10.96 WikiText-2 परप्लेक्सिटी।
महत्व: यह परप्लेक्सिटी में 15.2% सुधार का प्रतिनिधित्व करता है। नौ स्वतंत्र रन में यह परिणाम सांख्यिकीय रूप से महत्वपूर्ण ( $p < 0.001$ ) है।
डाउनस्ट्रीम टास्क: PALS, Wanda की तुलना में BoolQ, PIQA, HellaSwag और MMLU पर ज़ीरो-शॉट सटीकता में सुधार करता है, जो डेंस मॉडल की औसत सटीकता का 93.3% बनाए रखता है।

आर्किटेक्चर डिपेंडेंस (संरचनात्मक निर्भरता)

PALS के लाभ सार्वभौमिक नहीं हैं; वे मॉडल की आंतरिक लेयर विषमता पर निर्भर करते हैं:

LLaMA-3-8B: मामूली लाभ (10.48 बनाम в10.45)।
Mistral-7B: कोई लाभ नहीं (दोनों के लिए 6.31)।
व्याख्या: नए मॉडल्स (LLaMA-3, Mistral) संभवतः बड़े ट्रेनिंग डेटासेट या आर्किटेक्चरल बदलावों (जैसे Grouped-Query Attention) के कारण लेयर्स में कंप्यूटेशन को अधिक समान रूप से वितरित करते हैं, जिससे नॉन-यूनिफॉर्म एलोकेशन का लाभ उठाने के लिए कम जगह बचती है।

दक्षता

मेमोरी: मॉडल साइज को 50% कम करता है (13.2 GB $\to$ 6.6 GB)।
थ्रूपुट: स्पार्स मैट्रिक्स कर्नेल्स का उपयोग करके NVIDIA A100 GPUs पर 1.41× स्पीडअप प्राप्त करता है।
ओवरहेड: PALS पाइपलाइन प्रूनिंग प्रक्रिया में नगण्य समय जोड़ती है, क्योंकि यह Wanda द्वारा पहले से एकत्र किए गए एक्टिवेशन डेटा का पुन: उपयोग करती है।

महत्व और दावे

पेपर अपने योगदान के संबंध में तीन प्राथमिक दावे करता है:

नॉन-यूनिफॉर्मिटी के माध्यम से प्रदर्शन लाभ: PALS प्रदर्शित करता है कि विषम लेयर महत्व वाले मॉडल्स (विशेष रूप से LLaMA-2) में एक्टिवेशन आउटलेयर्स के आधार पर स्पैरसिटी रेश्यो को एडजस्ट करने से महत्वपूर्ण परप्लेक्सिटी रिडक्शन मिलता है, जो मानक यूनिफॉर्म प्रूनिंग बेसलाइन से बेहतर है।
वन-शॉट प्रूनिंग में ग्रेडिएंट विफलता: पेपर एक चौंकाने वाली विफलता मोड को दस्तावेजीकृत करता है जहाँ ग्रेडिएंट-आधारित इम्पॉर्टेंस मेट्रिक्स, जो छोटे नेटवर्क्स में सफल होते हैं, प्री-ट्रेन्ड LLMs के लिए रैंडम एलोकेशन से भी बदतर एलोकेशन पैदा करते हैं। यह वन-शॉट सेटिंग में डिस्क्रीट वेट रिमूवल और ग्रेडिएंट मैग्नीट्यूड के बीच एक मौलिक विच्छेद का सुझाव देता है।
मजबूती और सरलता: इसके लिए कोई फाइन-ट्यूनिंग की आवश्यकता नहीं है, यह न्यूनतम कंप्यूटेशनल लागत जोड़ता है, और एक सरल सांख्यिकीय ह्यूरिस्टिक (99वां परसेंटाइल) पर निर्भर करता है जो ट्रांसफॉर्मर्स में एक्टिवेशन आउटलेयर्स की ज्ञात घटना के साथ संरेखित है।

लेखक अपने लाभों की सार्वभौमिकता के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि विधि की प्रभावकारिता लक्षित मॉडल के विशिष्ट आर्किटेक्चर और ट्रेनिंग डायनेमिक्स पर निर्भर करती है। यदि किसी मॉडल की लेयर्स समान रूप से महत्वपूर्ण हैं, तो PALS यूनिफॉर्म प्रूनिंग की तुलना में कोई लाभ नहीं देता है।