💬 NLP

Two-Stage Regularization-Based Structured Pruning for LLMs

यह शोध पत्र TRSP को प्रस्तुत करता है, जो एक नवीन दो-चरणीय रेगुलराइजेशन-आधारित स्ट्रक्चर्ड प्रूनिंग विधि है जो परतों के भार (लेयर वेट्स) को पुनरावृत्ति से सीखती है और संरक्षित परतों में ज्ञान परिवर्तन (नॉलेज शिफ्ट) को प्रोत्साहित करती है, जिससे व्यापक पुनरप्रशिक्षण की आवश्यकता के बिना उत्कृष्ट प्रदर्शन प्रतिधारण और एंड-टू-एंड त्वरण के साथ कुशल LLM परिनियोजन सक्षम होता है।

मूल लेखक: Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao

प्रकाशित 2026-04-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल, या LLM)। इसमें ज्ञान के हजारों कमरे (लेयर्स) हैं, जिनमें किताबों से भरा हुआ है। समस्या यह है कि पुस्तकालय इतना बड़ा है कि इसे चलाना महंगा, धीमा और एक छोटी कार (आपके फोन या मानक सर्वर) में फिट करना कठिन है।

आप इस पुस्तकालय को केवल आवश्यक कमरों तक सिकोड़ना चाहते हैं ताकि यह तेज़ और सस्ता हो सके, लेकिन आप सबसे महत्वपूर्ण किताबों को फेंकने से डरते हैं।

पुराना तरीका: "अंधा हथौड़ा" (The "Blind Sledgehammer")
इन मॉडल्स को सिकोड़ने के पुराने तरीके ऐसे थे जैसे आपने एक निर्माण दल (construction crew) को काम पर रखा हो जो हाथ में हथौड़ा लेकर आता है। वे एक कमरे को देखते हैं, एक त्वरित नज़र से अंदाज़ा लगाते हैं कि क्या वह "महत्वपूर्ण" है, और यदि उन्हें वह कम महत्वपूर्ण लगता है, तो वे उसे तुरंत तोड़ देते हैं।

समस्या: कभी-कभी, एक कमरा जो देखने में छोटा लगता है, वास्तव में उसमें ज्ञान का एक गुप्त तिजोरी छिपी होती है। जब वे उसे तोड़ देते हैं, तो वह ज्ञान हमेशा के लिए खो जाता है। इस गड़बड़ी को ठीक करने के लिए, उन्हें पुस्तकालय को खोया हुआ ज्ञान याद दिलाने के लिए विशेषज्ञों की एक टीम को हफ्तों तक फिर से प्रशिक्षित (retraining) करने के लिए नियुक्त करना पड़ता है। यह महंगा, धीमा और अव्यवस्थित है।

नया तरीका: TRSP (एक "स्मार्ट रेनोवेशन")
यह पेपर एक नया तरीका पेश करता है जिसे TRSP (टू-स्टेज रेगुलराइजेशन-बेस्ड स्ट्रक्चर्ड प्रूनिंग) कहा जाता है। इसे केवल विध्वंस (demolition) के रूप में नहीं, बल्कि एक स्मार्ट, दो-चरणीय नवीनीकरण (renovation) के रूप में सोचें, जो दीवारों को तोड़ने से पहले फर्नीचर को इधर-उधर करता है।

यहाँ बताया गया है कि TRSP कैसे काम करता है, चरण-दर-चरण:

चरण 1: "भारित वॉक" (पहला चरण - The "Weighted Walk")

कल्पना कीजिए कि आप पुस्तकालय के हर कमरे में घूम रहे हैं, लेकिन आपने विशेष जूते पहने हुए हैं जो आपको महसूस कराते हैं कि प्रत्येक कमरा कितना "भारी" या "महत्वपूर्ण" है।

केवल अंदाज़ा लगाने के बजाय, कंप्यूटर हर कमरे को एक "वेट" (weight) असाइन करता है।
यह पुस्तकालय के माध्यम से कई बार घूमता है, इन वेट्स को एडजस्ट करता है। यदि कोई कमरा बहुत भारी (बहुत महत्वपूर्ण) महसूस होता है, तो उसका वेट ऊँचा रहता है। यदि कोई कमरा हल्का महसूस होता है, तो उसका वेट कम हो जाता है।
लक्ष्य: यह सटीक रूप से पहचानना कि कौन से कमरे "हल्के" हैं जिन्हें हटाया जा सकता है, बिना पुस्तकालय के समग्र प्रभाव (vibe) को नुकसान पहुँचाए।

चरण 2: "फर्नीचर मूविंग" (दूसरा चरण - द मैजिक ट्रिक)

यह सबसे रचनात्मक हिस्सा है। उन कमरों को तोड़ने से पहले जिन्हें आप हटाने की योजना बना रहे हैं, आप कुछ जादुई करते हैं।

आप उन कमरों को बताते हैं जिन्हें आप ध्वस्त करने वाले हैं: "हे, तुम जाने वाले हो। कृपया अपनी सभी मूल्यवान किताबें पैक करो और उन्हें उन कमरों में ले जाओ जो अभी भी खुले रहने वाले हैं।"
गणितीय रूप से, कंप्यूटर उन हल्के कमरों को दर्पण (identity functions) की तरह कार्य करने के लिए मजबूर करता है। यह उन्हें कहता है, "जो जानकारी आप से गुजर रही है उसे बदलें नहीं; बस उसे अगले कमरे में जाने दें।"
परिणाम: वह ज्ञान जो उन कमरों में बैठा था जिन्हें हटाया जाने वाला है, उसे सोख लिया जाता है और शेष कमरों में समाहित कर दिया जाता है। "बचे रहने वाले" कमरे अधिक स्मार्ट और समृद्ध हो जाते हैं, जबकि "जाने वाले" कमरे खाली खोल (empty shells) बन जाते हैं।

चरण 3: विध्वंस (The Demolition)

अब, आप खाली कमरों को गिरा देते हैं।

क्योंकि आपने प्रक्रिया के दौरान ही सारा कीमती ज्ञान स्थानांतरित कर दिया था, इसलिए पुस्तकालय अभी भी पूरी तरह से काम करता है।
पुनः प्रशिक्षण (Retraining) की आवश्यकता नहीं: चूंकि ज्ञान को प्रक्रिया के दौरान ही ट्रांसफर कर दिया गया था, इसलिए आपको पुस्तकालय को फिर से प्रशिक्षित करने के लिए महंगे विशेषज्ञों को नियुक्त करने की आवश्यकता नहीं है। यह तुरंत उपयोग के लिए तैयार है।

यह एक बड़ी बात क्यों है?

यह तेज़ है: केवल व्यक्तिगत ईंटों (पैरामीटर्स) के बजाय पूरे कमरों (लेयर्स) को हटाकर, पुस्तकालय का दौरा करना बहुत तेज़ हो जाता है।
यह स्मार्ट है: यह केवल मिटाता नहीं है; यह पुनर्वितरित (redistribute) करता है। यह सुनिश्चित करता है कि शेष कमरे हटाए गए कमरों के ज्ञान से भरे हों।
यह सस्ता है: यह डेटा की बहुत कम मात्रा (जैसे कुछ नमूना किताबें) का उपयोग करता है, और इसे चलाने में लगभग कुछ भी खर्च नहीं होता क्योंकि आप रिट्रेनिंग चरण को छोड़ देते हैं।

संक्षेप में उदाहरण (Analogy in a Nutshell):

पुराना तरीका: एक कुर्सी को इसलिए फेंक देना क्योंकि वह पुरानी दिखती है, और फिर एक महीने तक सोफे को कुर्सी की तरह खड़े होने के लिए सिखाने में समय बिताना।
TRSP तरीका: कुर्सी को फेंकने से पहले, सावधानी से उसके कुशन और भरावन (stuffing) को निकाल लेना और उन्हें सोफे में सिल देना। अब सोफा सुपर आरामदायक है, और आप बिना किसी आराम की कमी के कुर्सी को फेंक सकते हैं।

मुख्य निष्कर्ष:
TRSP एक चालाक तरीका है जिससे विशाल AI मॉडल्स को सिकोड़ा जाता है—पहले उन हिस्सों से ज्ञान को "खाली" (evacuate) करके जिन्हें आप काटना चाहते हैं, फिर उस ज्ञान को उन हिस्सों में ले जाकर जिन्हें आप रख रहे हैं, और फिर खाली हिस्सों को काट कर अलग कर देना। परिणाम एक छोटा, तेज़ AI है जो मूल के समान ही स्मार्ट है, बिना किसी महंगे सफाई दल (cleanup crew) के।

TRSP एक स्मार्ट तरीका है जिससे विशाल AI मॉडल्स को सिकोड़ा जाता है: पहले उन हिस्सों से ज्ञान को "खाली" (evacuate) करके जिन्हें आप काटना चाहते हैं, फिर उस ज्ञान को उन हिस्सों में ले जाकर जिन्हें आप रख रहे हैं, और फिर खाली हिस्सों को काट कर अलग कर देना। परिणाम एक छोटा, तेज़ AI है जो मूल के समान ही स्मार्ट है, बिना किसी महंगे सफाई दल (cleanup crew) के।

यहाँ "Two-Stage Regularization-Based Structured Pruning for LLMs" (TRSP) शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अपने विशाल पैरामीटर काउंट के कारण महत्वपूर्ण परिनियोजन (deployment) चुनौतियों का सामना करते हैं, जिससे उच्च कंप्यूटेशनल लागत और मेमोरी आवश्यकताएं उत्पन्न होती हैं। जबकि स्ट्रक्चर्ड प्रूनिंग (पूरे लेयर्स या चैनल्स को हटाना) संपीड़न (compression) के लिए एक आशाजनक समाधान है, मौजूदा लेयर-वाइज प्रूनिंग विधियाँ गंभीर सीमाओं से ग्रस्त हैं:

ज्ञान की हानि (Knowledge Loss): वर्तमान विधियाँ आमतौर पर लेयर के महत्व की गणना करती हैं, सीधे "महत्वहीन" लेयर्स को हटा देती हैं, और फिर व्यापक रिट्रेनिंग के माध्यम से प्रदर्शन को पुनः प्राप्त करने का प्रयास करती हैं। हालाँकि, यहाँ तक कि जिन्हें "महत्वहीन" माना जाता है, उनमें भी मूल्यवान ज्ञान होता है। सीधा निष्कासन तत्काल और अपरिवर्तनीय ज्ञान हानि का कारण बनता है।
रिट्रेनिंग ओवरहेड (Retraining Overhead): सीधे प्रूनिंग के कारण होने वाली प्रदर्शन गिरावट को पुनः प्राप्त करने के लिए भारी रिट्रेनिंग (फाइन-ट्यूनिंग) की आवश्यकता होती है, जिसमें उच्च कंप्यूटेशनल लागत और डेटा की आवश्यकता होती है।
अनुक्रमिक दोष (Sequential Flaw): मानक "चयन-फिर-प्रूनिंग" (select-then-prune) दृष्टिकोण उस ज्ञान को शेष लेयर्स में पुनर्वितरित करने में विफल रहता है जो डिलीट होने वाली लेयर्स में निहित है, और यह प्रक्रिया डिलीशन होने से पहले होनी चाहिए।

2. कार्यप्रणाली: TRSP

लेखक TRSP (Two-Stage Regularization-Based Structured Pruning) का प्रस्ताव करते हैं, जो एक नवीन फ्रेमवर्क है जो ज्ञान हस्तांतरण (knowledge transfer) को सुगम बनाने के लिए प्रूनिंग से पहले रेगुलराइजेशन करता है। यह प्रक्रिया चार चरणों में संपन्न होती है:

A. डेटा तैयारी (Data Preparation)

TRSP को रेगुलराइजेशन प्रक्रिया को निर्देशित करने के लिए केवल न्यूनतम मात्रा में डेटा (जैसे, WikiText-2 जैसे मानक बेंचमार्क से 128 रैंडम सैंपल्स) की आवश्यकता होती है, जो पूर्ण रिट्रेनिंग डेटासेट की तुलना में कंप्यूटेशनल ओवरहेड को काफी कम कर देता है।

B. चरण 1: इटरेटिव लेयर वेट लर्निंग (Iterative Layer Weight Learning)

तंत्र (Mechanism): प्रत्येक ट्रांसफार्मर लेयर को एक सीखने योग्य स्केलर वेट $S[i]$ से गुणा किया जाता है। प्रारंभ में, सभी वेट्स 1 पर सेट होते हैं।
ऑप्टिमाइज़ेशन (Optimization): मॉडल को लैंग्वेज मॉडलिंग लॉस ( $L(W, X)$ ) और लेयर वेट्स पर $\ell_1$ -नॉर्म रेगुलराइजेशन टर्म ( $\lambda_1 \sum \|S[i]\|_1$ ) को कम करने के लिए ऑप्टिमाइज़ किया जाता है।
प्रक्रिया: यह इटरेटिवली (greedy strategy) किया जाता है। प्रत्येक चरण में, सबसे छोटे वेट वाली लेयर की पहचान की जाती है और अगले इटरेशन के लिए उसे मास्क (अस्थायी रूप से हटाया) किया जाता है। यह लगातार लेयर्स को एक साथ हटाने से रोकता है, जो मॉडल को अस्थिर कर सकता है।
गणितीय ट्रिक (Mathematical Trick): चूंकि $\ell_1$ -नॉर्म नॉन-डिफरेंशिएबल है, इसलिए लेखकों ने इस समस्या को एक समकक्ष कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या (auxiliary variables का उपयोग करके) में बदल दिया है ताकि स्टैंडर्ड बैकप्रोपैगेशन की अनुमति मिल सके।

C. चरण 2: नॉलेज ट्रांसफर रेगुलराइजेशन (Knowledge Transfer Regularization)

तंत्र (Mechanism): एक बार जब प्रून की जाने वाली लेयर्स का सेट ( $P$ ) पहचान लिया जाता है, तो दूसरा रेगुलराइजेशन स्टेप लागू किया जाता है।
उद्देश्य (Objective): लॉस फंक्शन सेट $P$ की लेयर्स के इनपुट और आउटपुट के बीच के अंतर को दंडित करने वाला एक टर्म जोड़ता है: $\lambda_2 \sum \|X_{out}^i - X_{in}^i\|$ ।
लक्ष्य (Goal): यह उन लेयर्स को आइडेंटिटी फंक्शन्स ( $X_{out} \approx X_{in}$ ) की तरह व्यवहार करने के लिए मजबूर करता है जिन्हें हटाया जाना है। इन लेयर्स द्वारा किए जाने वाले ट्रांसफॉर्मेशन को न्यूनतम करके, मॉडल इन लेयर्स में मूल रूप से रखे गए ज्ञान को शेष लेयर्स में पुनर्वितरित करने के लिए बाध्य होता है, और यह भौतिक रूप से डिलीट होने से पहले होता है।
नॉर्म का चयन (Norm Choice): लेखक $\ell_1$ या $\ell_2$ नॉर्म्स का उपयोग करते हैं, और पाते हैं कि $\ell_2$ आम तौर पर थोड़े बेहतर परिणाम देता है।

D. अंतिम प्रूनिंग (Final Pruning)

दो-चरणीय रेगुलराइजेशन के बाद, सेट $P$ की लेयर्स को स्थायी रूप से हटा दिया जाता है। परिणामी मॉडल बिना किसी और रिट्रेनिंग के इन्फरेंस के लिए तैयार होता है।

3. प्रमुख योगदान (Key Contributions)

रेगुलराइजेशन के माध्यम से ज्ञान प्रतिधारण (Knowledge Retention via Regularization): पारंपरिक विधियों के विपरीत जो प्रून करने के बाद रिट्रेन करती हैं, TRSP प्रून की जाने वाली लेयर्स से ज्ञान को संरक्षित लेयर्स में स्थानांतरित करने के लिए प्रूनिंग से पहले ही रेगुलराइजेशन का उपयोग करता है, जिससे सूचना की हानि न्यूनतम होती है।
रिट्रेनिंग-मुक्त (Retraining-Free): यह विधि प्रूनिंग के बाद बड़े डाउनस्ट्रीम डेटासेट पर महंगी फाइन-ट्यूनिंग या रिट्रेनिंग की आवश्यकता के बिना उच्च प्रदर्शन प्राप्त करती है।
इटरेटिव वेट लर्निंग (Iterative Weight Learning): लेखक प्रदर्शित करते हैं कि इटरेटिवली लेयर वेट सीखना (greedy approach) वन-शॉट चयन की तुलना में बेहतर है, क्योंकि यह उन क्रमिक लेयर्स को हटाने से बचता है जो सामूहिक रूप से महत्वपूर्ण हो सकती हैं।
न्यूनतम डेटा निर्भरता (Minimal Data Dependency): पूरी प्रक्रिया बहुत कम डेटा (जैसे, 128 सैंपल्स) पर निर्भर करती है, जो इसे अत्यधिक कुशल बनाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न मॉडल्स (Phi-2, OPT, LLaMA2, LLaMA3) पर जनरेशन और ज़ीरो-शॉट कार्यों के लिए TRSP का मूल्यांकन किया।

प्रदर्शन श्रेष्ठता (Performance Superiority):
- TRSP लगातार मजबूत बेसलाइन्स (SLEB, ShortGPT, LaCo, Shortened LLaMA) से बेहतर प्रदर्शन करता है।
- LLaMA2-7B पर 25% प्रूनिंग के साथ, TRSP ने दूसरे सर्वश्रेष्ठ मेथड (ShortGPT) की तुलना में 20% कम परप्लेक्सिटी प्राप्त की।
- OPT-13B पर, TRस्प ने डेंस मॉडल की तुलना में केवल 1% औसत सटीकता खोई, जबकि बेसलाइन्स में काफी अधिक गिरावट आई।
त्वरण (Acceleration):
- TRSP उल्लेखनीय एंड-टू-एंड स्पीडअप प्रदान करता है। OPT-13B के लिए 50% प्रूनिंग पर, इसने 1.75× थ्रूपुट वृद्धि और 1.85× लेटेंसी कमी प्राप्त की।
- LLaMA2-13B के लिए 50% प्रूनिंग पर, इसने 1.71× थ्रूपुट वृद्धि प्राप्त की।
मजबूती (Robustness):
- TRSP उच्च प्रूनिंग रेश्यो (60% तक) पर भी कम परप्लेक्सिटी बनाए रखता है, जहाँ अन्य विधियाँ विफल हो जाती हैं।
- यह विभिन्न कैलिब्रेशन डेटासेट्स (Alpaca, WikiText-2, PTB, C4) में भी मजबूत है।
स्केलेबिलिटी (Scalability): LLaMA-2-70B पर प्रयोगों ने पुष्टि की कि TRSP प्रभावी ढंग से स्केल करता है, जो रिट्रेनिंग के बिना परप्लेक्सिटी और ज़ीरो-शॉट सटीकता दोनों में बेसलाइन्स से बेहतर प्रदर्शन करता है।
अन्य ग्रैनुलैरिटी के साथ तुलना (Comparison with Other Granularities): प्रदर्शन और हार्डवेयर-फ्रेंडली एक्सेलेरेशन के बीच ट्रेड-ऑफ के मामले में, TRSP (लेयर प्रूनिंग) ने अनस्ट्रक्चर्ड प्रूनिंग (Wanda) और चैनल प्रूनिंग (SliceGPT) को पछाड़ दिया।

5. महत्व (Significance)

TRSP, LLM प्रूनिंग रणनीतियों में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। दो-चरणीय रेगुलराइजेशन प्रक्रिया के माध्यम से "ज्ञान पुनर्वितरण" चरण को "भौतिक निष्कासन" चरण से अलग करके, यह स्ट्रक्चर्ड प्रूनिंग में ज्ञान की हानि की मौलिक समस्या को हल करता है।

दक्षता (Efficiency): यह रिट्रेनिंग की आवश्यकता को समाप्त करके मॉडल संपीड़न की कंप्यूटेशनल लागत को काफी कम कर देता है।
व्यावहारिकता (Practicality): न्यूनतम डेटा आवश्यकता इसे सीमित संसाधनों वाले संगठनों के लिए बड़े मॉडल्स को कंप्रेस करना संभव बनाती है।
सामान्यीकरण (Generalizability): यह विधि विभिन्न LLM आर्किटेक्चर पर लागू होती है और बहुत बड़े मॉडल्स (70B+ पैरामीटर्स) तक प्रभावी ढंग से स्केल करती है, जो संसाधन-बाधित वातावरणों में कुशल LLMs को तैनात करने के लिए एक व्यवहार्य मार्ग प्रदान करती है।

कोड उपलब्धता: कार्यान्वयन https://github.com/fmk345/TRSP पर ओपन-सोर्स है।