💬 NLP

Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

यह शोधपत्र कार्य-विशिष्ट भाषा मॉडलों पर व्यवस्थित प्रूनिंग (pruning) प्रयोगों के माध्यम से यह प्रदर्शित करता है कि न्यूरॉन्स प्रदर्शन में गैर-समान रूप से योगदान देते हैं, जिससे यह पता चलता है कि अत्यधिक विशिष्ट न्यूरॉन्स का एक छोटा उपसमुच्चय कार्य की सफलता के लिए महत्वपूर्ण है, जबकि शेष नेटवर्क में रेडंडेंसी (redundancy) मौजूद है जिसे सुरक्षित रूप से प्रून किया जा सकता है और बाद में फाइन-ट्यूनिंग के माध्यम से पुनः प्राप्त किया जा सकता है।

मूल लेखक: M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, हलचल भरे शहर के रूप में करें जिसमें लाखों कर्मचारी (न्यूरॉन्स) हैं। प्रत्येक कर्मचारी का एक काम है, लेकिन एक सामान्य-उद्देश्य वाले शहर में, अधिकांश कर्मचारी "जनरलिस्ट" (सर्वज्ञ) होते हैं—वे सब कुछ थोड़ा-बहुत कर सकते हैं, जैसे पाइप ठीक करना या कविता लिखना।

यह शोध पत्र एक सरल प्रश्न पूछता है: यदि हम इस शहर को केवल एक काम (जैसे गणित के सवाल हल करना या कोड लिखना) के लिए विशेष (specialize) कर देते हैं, तो क्या अभी भी उन सभी कर्मचारियों की आवश्यकता है? या कुछ कर्मचारी वास्तव में अन्य कामों से "भटकाव" (distracted) का शिकार हैं?

यहाँ शोधकर्ताओं ने जो पाया है उसकी कहानी है, जिसे रोजमर्रा के उपमाओं (analogies) के माध्यम से समझाया गया है।

1. "विशेषज्ञ" (Specialist) बनाम "भटकाने वाला" (Distractor)

शोधकर्ताओं ने विशेष रूप से गणित (Math) और कोड (Code) के लिए प्रशिक्षित मॉडलों का अध्ययन किया। वे जानना चाहते थे: कौन से कर्मचारी वास्तव में गणित का काम कर रहे हैं, और कौन से लोग किसी और चीज़ के बारे में सपने देख रहे हैं?

उन्होंने "फोकस" को मापने का एक तरीका विकसित किया। कल्पना करें कि हर कर्मचारी को एक टेस्ट दिया जा रहा है।

विशेषज्ञ (The Specialist): एक कर्मचारी जो बहुत उत्साहित (high activation) हो जाता है जब आप उससे गणित का सवाल पूछते हैं, लेकिन इतिहास के बारे में पूछने पर शांत रहता है।
भटकाने वाला (The Distractor): एक कर्मचारी जो इतिहास के बारे में उत्साहित होता है लेकिन गणित को अनदेखा कर देता है।

टीम ने पाया कि इन विशिष्ट मॉडलों में, "स्पेशलिस्ट न्यूरॉन्स" का एक अलग समूह है जो कार्य के लिए महत्वपूर्ण है, जबकि अन्य कई केवल "डिस्ट्रैक्टर्स" हैं जो उस विशिष्ट कार्य में वास्तव में मदद नहीं करते हैं।

2. "प्रूनिंग" प्रयोग (कर्मचारियों को नौकरी से निकालना)

"प्रूनिंग" (Pruning) शहर को छोटा, सस्ता और तेज़ बनाने के लिए कर्मचारियों को नौकरी से निकालने की प्रक्रिया है। शोधकर्ताओं ने कर्मचारियों को निकालने के तीन अलग-अलग तरीके आजमाए:

रैंडम प्रूनिंग (लॉटरी): उन्होंने पूरी तरह से रैंडम तरीके से कर्मचारियों को निकाला।
- परिणाम: शहर छोटा तो हुआ, लेकिन प्रदर्शन तेजी से गिर गया। यह एक अस्पताल से रैंडम लोगों को निकालने जैसा है; आप गलती से एकमात्र सर्जन को भी निकाल सकते हैं।
सेलेक्टिव प्रुनिंग (स्मार्ट कट): उन्होंने केवल "डिस्ट्रैक्टर्स" को निकाला—वे कर्मचारी जो ऊब रहे थे या गलत चीजों के प्रति उत्साहित थे।
- परिणाम: शहर काफी छोटा हो गया (35% तक छोटा), और बचे हुए कर्मचारियों (विशेषज्ञों) ने शहर को लगभग पहले की तरह ही सुचारू रूप से चलाया। इससे यह सिद्ध हुआ कि सभी कर्मचारी समान नहीं हैं; आप "सिग्नल" को खोए बिना "शोर" (noise) को हटा सकते हैं।
रिवर्स प्रूनिंग (तोड़फोड़): उन्होंने इसके विपरीत किया। उन्होंने सबसे अधिक उत्साहित, सबसे महत्वपूर्ण "स्पेशलिस्ट" कर्मचारियों को पहले निकाला।
- परिणाम: पूर्ण पतन (Total Collapse)। जैसे ही उन्होंने लगभग 10% शीर्ष विशेषज्ञों को निकाला, शहर काम करना बंद कर गया। मॉडल एक भी गणित का सवाल हल नहीं कर सका। इससे पता चला कि महत्वपूर्ण जानकारी एक बहुत ही छोटे, नाजुक समूह में केंद्रित है।

3. "रोबस्टनेस थ्रेशोल्ड" (टूटने की सीमा)

शोधकर्ताओं ने एक "टिपिंग पॉइंट" (tipping point) पाया कि आप कितना काम करने से पहले चीजें गड़बड़ा सकती हैं।

सुरक्षित क्षेत्र (0% से 15%): आप 15% तक कर्मचारियों को निकाल सकते हैं, और शहर ठीक से चलता रहेगा। यह शायद और भी तेज़ चलेगा।
खतरा क्षेत्र (15% से 20%): यह एक ढलान है। यदि आप 20% से अधिक कर्मचारियों को निकालते हैं, तो मॉडल टूटने लगता है।
"ट्रैप्स" (जाल): जब मॉडल पर बहुत अधिक दबाव डाला जाता है (बहुत अधिक निकाला जाता है), तो यह केवल गलत उत्तर ही नहीं देता; यह एक लूप (loop) में फंस जाता है। कल्पना करें कि एक रोबोट एक सवाल का जवाब देने की कोशिश कर रहा है, जवाब देता है, लेकिन फिर बोलना भूल जाता है और बस एक ही वाक्य को बार-बार दोहराता रहता है। शोधकर्ताओं ने इन्हें "डीजेनरेशन लूप्स" या "ट्रैप्स" कहा।

4. "रिकवरी" (जीवित बचे लोगों का पुनर्गठन)

इतने लोगों को निकालने के बाद, शहर क्षतिग्रस्त हो गया था। लेकिन शोधकर्ताओं के पास एक तरकीब थी: फाइन-ट्यूनिंग (Fine-Tuning)।
इसे बचे हुए कर्मचारियों के लिए एक क्रैश कोर्स समझें। उन्होंने प्रून किए गए (छोटे) मॉडलों को लिया और उन्हें थोड़ा अतिरिक्त प्रशिक्षण दिया (LoRA नामक तकनीक का उपयोग करके)।

परिणाम: मॉडल वापस पटरी पर आ गए! यहाँ तक कि वे मॉडल जिन्हें भारी मात्रा में प्रून किया गया था (35% छोटे), उन्होंने गणित और कोड लिखने की अपनी क्षमता को काफी हद तक वापस पा लिया।
मुख्य अंतर्दृष्टि: बचे हुए कर्मचारी सक्षम थे, लेकिन उन्हें बस थोड़ा सा "री-ओरिएंटेशन" (पुनः उन्मुखीकरण) की आवश्यकता थी ताकि वे अपने निकाले गए सहयोगियों के बिना कुशलतापूर्वक काम करना याद रख सकें।

5. बड़ा शहर बनाम छोटा शहर

उन्होंने इसे दो आकार के मॉडलों पर परखा: एक 7B मॉडल (एक विशाल शहर) और एक 1.5B मॉडल (एक छोटा कस्बा)।

बड़ा शहर (7B): यह अधिक कटौती झेल सकता था। इसमें इतने अधिक अतिरिक्त (redundant) कर्मचारी थे कि यह बहुत से लोगों को खोने के बाद भी ठीक से काम कर सकता था।
छोटा कस्बा (1.5B): यह अधिक नाजुक था। इसने बहुत तेज़ी से अपनी कार्य करने की क्षमता खो दी क्योंकि इसके पास बचाने के लिए बहुत अधिक अतिरिक्त कर्मचारी नहीं थे।

6. निचोड़ (The Bottom Line)

यह शोध पत्र सरल तर्क का उपयोग करके तीन मुख्य बातें सिद्ध करता है:

विशेषज्ञता वास्तविक है: विशिष्ट कार्यों के लिए प्रशिक्षित मॉडलों में, उस कार्य के लिए समर्पित विशिष्ट "मस्तिष्क कोशिकाएं" होती हैं, और अन्य केवल शोर (noise) होते हैं।
आप उन्हें छोटा कर सकते हैं: "शोर" वाले कर्मचारियों को सावधानीपूर्वक हटाकर, आप अपनी बुद्धिमत्ता खोए बिना मॉडल को छोटा और तेज़ बना सकते हैं।
दिल को मत काटो: यदि आप सबसे महत्वपूर्ण कर्मचारियों को काट देते हैं, तो मॉडल तुरंत मर जाता है। लेकिन यदि आप महत्वहीन लोगों को काटते हैं और फिर जीवित बचे लोगों को एक त्वरित प्रशिक्षण रिफ्रेशर देते हैं, तो मॉडल जीवित रहता है और फलता-फूलता है।

ट्रेड-ऑफ (Trade-off): हालांकि मॉडल को छोटा करने से मेमोरी बचती है और यह इसे तेज़ बनाता है (जैसे एक हल्का कार तेज़ चलती है), आपको सावधान रहना होगा कि आप इतना अधिक न काट दें कि कार ही बिखर जाए। सही संतुलन (sweet spot) लगभग 15-20% प्रूनिंग के आसपास दिखता है, जिसके बाद मॉडल के "लूप में फंसने" का जोखिम तेजी से बढ़ जाता है।

यहाँ शोध पत्र "Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) अत्याधुनिक प्रदर्शन प्राप्त करते हैं, उनका विशाल आकार और गणनात्मक लागत (computational costs) संसाधन-सीमित वातावरण में तैनाती में बाधा डालती है। हालाँकि न्यूरॉन प्रूनिंग (neuron pruning) एक आशाजनक संपीड़न तकनीक है, अधिकांश मौजूदा शोध सामान्य-उद्देश्य वाले मॉडल्स (general-purpose models) पर केंद्रित हैं। यह स्पष्ट नहीं है कि क्या कार्य-विशिष्ट मॉडल्स (जैसे, गणित या कोड के लिए विशिष्ट) में न्यूरॉन्स प्रदर्शन में समान रूप से योगदान देते हैं या क्या अलग "कार्य-विशिष्ट न्यूरॉन्स" मौजूद हैं। इसके अलावा, मॉडल कोलैप्स (model collapse) से पहले प्रूनिंग की सीमाएं, संरचनात्मक अस्थिरता की प्रकृति (जैसे, जेनरेशन लूप), और पोस्ट-प्रूनिंग रिकवरी (fine-tuning के माध्यम से) की प्रभावकारिता अभी भी अच्छी तरह से समझी नहीं गई है।

2. कार्यप्रणाली (Methodology)

मॉडल्स और डेटासेट्स

मॉडल्स: अध्ययन में दो स्केल्स में Qwen2.5 मॉडल्स का मूल्यांकन किया गया: 1.5B और 7B।
- मैथ मॉडल्स: Qwen2.5-Math-1.5B/7B-Instruct।
- कोड मॉडल्स: Qwen2.5-Coder-1.5B/7B-Instruct।
डेटासेट्स:
- टारगेट टास्क (Target Tasks): GSM8K (Math) और CodeFeedback-Filtered-Instruction (Code)।
- डिस्ट्रैक्टर टास्क (Distractor Tasks): SQuAD (Question Answering) और Everyday-Conversational-cleaned (Dialogue)।
- नोट: मैथ और कोड को आपसी डिस्ट्रैक्टर के रूप में नहीं माना गया क्योंकि उनके अंतर्निहित स्ट्रक्चरल लॉजिक साझा हैं।

एक्टिवेशन-आधारित चयनात्मकता मीट्रिक (Activation-Based Selectivity Metric)

मुख्य नवाचार टारगेट टास्क के लिए महत्वपूर्ण न्यूरॉन्स और डिस्ट्रैक्टर से जुड़े न्यूरॉन्स की पहचान करने के लिए एक एक्टिवेशन-आधारित चयनात्मकता स्कोर (activation-based selectivity score) है।

एक्टिवेशन कैप्चर: फीड-फॉरवर्ड नेटवर्क (FFN) के इंटरमीडिएट SwiGLU लेयर से न्यूरॉन एक्टिवेशन ( $h^{(\ell)}$ ) को टारगेट और डिस्ट्रैक्टर प्रॉम्प्ट्स दोनों के लिए निकाला जाता है।
चयनात्मकता गणना: प्रत्येक लेयर $\ell$ $ℓ$ में न्यूरॉन $n$ $n$ के लिए, एक दिशात्मक चयनात्मकता स्कोर $S_n^{(\ell)}$ $S_{n}^{(ℓ)}$ की गणना की जाती है:
$S_n^{(\ell)} = \frac{\mu_{target,n}^{(\ell)} - \mu_{distractor,n}^{(\ell)}}{\sigma_n^{(\ell)} + \epsilon}$
जहाँ $\mu$ $μ$ औसत एक्टिवेशन (mean activation) को दर्शाता है और $\sigma$ $σ$ मानक विचलन (standard deviation) है।
- पॉजिटिव स्कोर: टारगेट-प्रासंगिक (Target-relevant)।
- नेगेटिव स्कोर: डिस्ट्रैक्टर-संबंधित (Distractor-associated) (प्रूनिंग के उम्मीदवार)।

प्रूनिंग रणनीतियाँ (Pruning Strategies)

सिलेक्टिव प्रूनिंग (Selective Pruning): सबसे कम चयनात्मकता स्कोर वाले न्यूरॉन्स (डिस्ट्रैक्टर-फ्रेंडली) को हटा देता है।
रैंडम प्रूनिंग (Random Pruning): एक बेसलाइन जहाँ न्यूरॉन्स को रैंडम तरीके से हटाया जाता है।
रिवर्स प्रूनिंग (Reverse Pruning): उच्चतम चयनात्मकता स्कोर वाले न्यूरॉन्स (टास्क-क्रिटिकल) को हटाता है ताकि विशिष्ट न्यूरॉन्स की आवश्यकता का परीक्षण किया जा सके।
कार्यान्वयन (Implementation): स्ट्रक्चरल प्रनिंग को MLP ब्लॉक्स में वेट मैट्रिसेस ( $W_{gate}, W_{up}, W_{down}$ ) से पंक्तियों/स्तंभों (rows/columns) को काटकर भौतिक रूप से लागू किया जाता है। हार्डवेयर दक्षता बनाए रखने के लिए प्रूनिंग सभी लेयर्स में समान (uniform) होती है (128 से विभाज्य)।

रिकवरी मैकेनिज्म (Recovery Mechanism)

प्रूनिंग के बाद, मॉडल्स को प्रदर्शन रिकवर करने के लिए LoRA (Low-Rank Adaptation) फाइन-ट्यूनिंग से गुजारा जाता है।

मैथ मॉडल्स: $r=8$ , LR= $2\times10^{-5}$ ।
कोड मॉडल्स: $r=16$ , LR= $2\times10^{-4}$ ।
इन्हें टारगेट टास्क ट्रेनिंग सेट्स पर 2 эпоक (epochs) के लिए प्रशिक्षित किया गया।

मूल्यांकन मीट्रिक्स (Evaluation Metrics)

सटीकता (Accuracy): मैथ के लिए एग्जैक्ट मैच (EM); HumanEval पर कोड के लिए Pass@1।
स्थिरता (Stability): "ट्रैप" डिटेक्शन (जेनरेशन लूप, मिसिंग EOS टोकन, रिपेटिटिव टेक्स्ट)।
डिस्ट्रैक्टर प्रदर्शन (Distractor Performance): टास्क विशिष्टता सुनिश्चित करने के लिए सिमेंटिक समानता (BERTScore + SBERT)।
संसाधन (Resources): VRAM उपयोग और इन्फरेंस थ्रूपुट (tokens/sec)।

3. मुख्य योगदान (Key Contributions)

टास्क-विशिष्ट न्यूरॉन विशेषज्ञता (Task-Specific Neuron Specialization): इस बात का अनुभवजन्य प्रमाण कि टास्क-विशिष्ट LLMs में लगभग 10% का एक छोटा, अत्यधिक विशिष्ट न्यूरॉन समूह होता है जो प्रदर्शन के लिए महत्वपूर्ण है, जबकि शेष रेडंडेंट या डिस्ट्रैक्टर-संबंधित होते हैं।
रोबस्टनेस थ्रेशोल्ड (Robustness Threshold): एक क्रिटिकल प्रूनिंग थ्रेशोल्ड (15–20%) की पहचान की गई। इसके आगे, सटीकता तेजी से गिरती है और संरचनात्मक अस्थिरता (जेनरेशन लूप्स) तेजी से बढ़ती है।
रिवर्स प्रूनिंग सत्यापन (Reverse Pruning Validation): प्रदर्शित किया गया कि केवल ~10% सबसे अधिक टास्क-प्रासंगिक न्यूरॉन्स को हटाने से पूर्ण मॉडल कोलैप्स (performance collapse) हो जाता है, जबकि 30–35% सबसे कम प्रासंगिक न्यूरॉन्स को हटाने से महत्वपूर्ण कार्यक्षमता बनी रहती है।
फाइन-ट्यूनिंग के माध्यम से रिकवरी (Recovery via Fine-Tuning): दिखाया गया कि LoRA फाइन-ट्यूनिंग आक्रामक रूप से प्रून किए गए मॉडल्स में भी प्रदर्शन को काफी हद तक रिकवर कर सकती है, जिससे सटीकता की हानि और जेनरेशन अस्थिरता दोनों को कम किया जा सकता है।

4. मुख्य परिणाम (Key Results)

A. सिलेक्टिव बनाम रैंडम बनाम रिवर्स प्रूनिंग

सिलेक्टिव बनाम रैंडम: सिलेक्टिव प्रूनिंग ने सभी रेश्यो (ratios) में रैंडम प्रूनिंग से लगातार बेहतर प्रदर्शन किया, जो पुष्टि करता है कि एक्टिवेशन-आधारित चयन एक व्यवस्थित लाभ प्रदान करता है।
रिवर्स प्रूनिंग: सबसे अधिक टास्क-विशिष्ट न्यूरॉन्स के शीर्ष 10% को हटाने से पूर्ण प्रदर्शन कोलैप्स (शून्य के करीब सटीकता) और बार-बार जेनरेशन विफलताएं हुईं। यह सिद्ध करता है कि महत्वपूर्ण टास्क जानकारी नेटवर्क के एक बहुत छोटे हिस्से में केंद्रित होती है।
सिलेक्टिव प्रूनिंग: 35% तक प्रूनिंग की अनुमति देता है जिससे सटीकता में धीरे-धीरे गिरावट आती है, हालांकि उच्च रेश्यो पर स्थिरता प्रभावित होती है।

B. मॉडल स्केल और रोबस्टनेस

7B बनाम 1.5B: बड़े मॉडल्स (7B) में अधिक रेडंडेंसी देखी गई और वे छोटे मॉडल्स (1.5B) की तुलना में कम सापेक्ष सटीकता हानि के साथ उच्च प्रूनिंग रेश्यो को सहन कर सकते थे।
थ्रेशोल्ड: दोनों स्केल्स में प्रदर्शन में भारी गिरावट और "ट्रैप्स" (जेनरेशन लूप्स) में उछाल देखा गया जब प्रूनिंग 15–20% से अधिक हो गई।

C. पोस्ट-प्रूनिंग रिकवरी (LoRA)

फाइन-ट्यूनिंग ने सभी प्रूनिंग स्तरों पर प्रदर्शन को सफलतापूर्वक रिकवर किया।
विरोधाभासी निष्कर्ष (Counter-intuitive Finding): कुछ मामलों में (जैसे, Qwen 1.5B Code), मध्यम रूप से प्रून किए गए मॉडल्स (10–15%) फाइन-ट्यूनिंग के बाद हल्के प्रून किए गए मॉडल्स (5%) की तुलना में बेहतर प्रदर्शन करते हैं, जो सुझाव देता है कि कुछ रेडंडेंसी को हटाना कभी-कभी फाइन-ट्यूनिंग प्रक्रिया में सहायता कर सकता है।
स्थिरता: फाइन-ट्यूनिंग ने जेनरेशन ट्रैप्स की आवृत्ति को काफी कम कर दिया, जिससे संरचनात्मक स्थिरता बहाल हुई।

D. संसाधन दक्षता (Resource Efficiency)

VRAM और थ्रूपुट: प्रूनिंग से VRAM उपयोग में रैखिक कमी और इन्फरेंस थ्रूपुट में वृद्धि हुई।
- उदाहरण (Qwen-7B): 35% प्रूनिंग ने VRAM को 14.26 GB से घटाकर 10.56 GB कर दिया और थ्रूपुट को 35.83 से बढ़ाकर 42.70 tokens/sec कर दिया।

E. लेयर-वाइज विश्लेषण (Layer-wise Analysis)

प्रारंभिक लेयर्स (Early Layers): मुख्य रूप से डिस्ट्रैक्टर-ओरिएंटेड (सामान्य प्रोसेसिंग)।
मध्य लेयर्स (Middle Layers): टारगेट-प्रासंगिक एक्टिवेशन की ओर संक्रमण।
अंतिम लेयर्स (Late Layers): मैथ मॉडल्स मजबूती से टारगेट-डोमिनेंट रहे; कोड मॉडल्स ने मिश्रण दिखाया, जो कभी-कभी वापस डिस्ट्रैक्टर डोमिनेंस में बदल गया।

5. महत्व और निहितार्थ (Significance and Implications)

न्यूरॉन विशेषज्ञता: यह अध्ययन इस बात का पुख्ता सबूत देता है कि टास्क-विशिष्ट LLMs समान रूप से रेडंडेंट नहीं हैं; वे एक "कोर" के विशिष्ट न्यूरॉन्स पर निर्भर हैं। यह इस धारणा को चुनौती देता है कि सभी न्यूरॉन्स समान योगदान देते हैं।
प्रूनिंग की सीमाएं: यह एक व्यावहारिक "सेफ ज़ोन" (लग-भग ~15%) को परिभाषित करता है, जिसके बाद बिना रिकवरी के संरचनात्मक अस्थिरता को संभालना कठिन हो जाता है।
रिकवरी रणनीति: यह LoRA फाइन-ट्यूनिंग को एक आवश्यक, कम लागत वाली पुनर्वास रणनीति के रूप में मान्य करता है, जिससे आक्रामक प्रूनिंग व्यवहार्य हो जाती है।
हार्डवेयर ऑप्टिमाइजेशन: केवल वेट्स को मास्क करने के बजाय न्यूरॉन्स को भौतिक रूप से हटाकर (स्ट्रक्चरल प्रूनिंग), यह दृष्टिकोण वीआरएएम (VRAM) में कमी और उच्च थ्रूपुट जैसे ठोस हार्डवेयर लाभ प्रदान करता है, जो एज डिप्लॉयमेंट (edge deployment) के लिए उपयुक्त है।

निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि टास्क-विशिष्ट लैंग्वेज मॉडल्स में एक विशिष्ट आर्किटेक्चर होता है जहाँ न्यूरॉन्स का एक छोटा समूह टास्क प्रदर्शन को संचालित करता है। जबकि आक्रामक प्रूनिंग मॉडल कोलैप्स और अस्थिरता का जोखिम उठाती है, एक्टिवेशन-आधारित सिलेक्टिव प्रूनिंग और पोस्ट-प्रूनिंग LoRA फाइन-ट्यूनिंग का संयोजन, महत्वपूर्ण क्षमताओं से समझौता किए बिना कुशल, विशिष्ट मॉडल्स को तैनात करने का एक मजबूत मार्ग प्रदान करता है।