🤖 machine learning

Deterministic Differentiable Structured Pruning for Large Language Models

यह शोध पत्र डिटरमिनिस्टिक डिफरेंशिएबल प्रूनिंग (DDP) को प्रस्तुत करता है, जो सीधे $l_0$ ऑब्जेक्टिव के एक डिटरमिनिस्टिक सॉफ्ट सरोगेट को अनुकूलित करके पूर्व स्ट्रक्चर्ड प्रूनिंग दृष्टिकोणों की ट्रेन-टेस्ट मिसमैच और स्टोकेस्टिसिटी को समाप्त करने वाली एक नवीन विधि है, जिससे उच्च स्पर्सिटी स्तरों पर Qwen3 जैसे बड़े भाषा मॉडलों पर तेज़ अभिसरण, अधिक अभिव्यक्तता और बेहतर प्रदर्शन प्रतिधारण (जैसे, ~1% हानि) प्राप्त होता है।

मूल लेखक: Weiyu Huang, Pengle Zhang, Xiaolu Zhang, Jun Zhou, Jun Zhu, Jianfei Chen

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weiyu Huang, Pengle Zhang, Xiaolu Zhang, Jun Zhou, Jun Zhu, Jianfei Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और कोड लिख सकता है। लेकिन एक पेच है: यह पुस्तकालय इतना बड़ा है कि एक अकेला पन्ना पढ़ने के लिए भी आपको महंगे कंप्यूटरों से भरे एक गोदाम की आवश्यकता होती है। यह धीमा है, इसे चलाना महंगा है, और इसे एक सामान्य बैकपैक (जैसे फोन या लैपटॉप) में फिट करना कठिन है।

इस शोध पत्र का लक्ष्य अच्छी किताबों को खोए बिना इस पुस्तकालय को सिकोड़ना (shrink) है।

समस्या: "वन-शॉट" बनाम "मेसी डाइस" (The "One-Shot" vs. The "Messy Dice")

पहले, लोग इन पुस्तकालयों को सिकोड़ने के लिए दो मुख्य तरीकों का उपयोग करते थे:

"वन-शॉट" दृष्टिकोण (The "One-Shot" Approach): कल्पना कीजिए कि एक लाइब्रेरियन अलमारियों को देखता है और कहता है, "मुझे लगता है कि ये 20% किताबें उबाऊ हैं," और उन्हें तुरंत फेंक देता है। यह तेज़ है, लेकिन लाइब्रेरियन अनजाने में एक छिपा हुआ रत्न भी फेंक सकता है, जिससे पुस्तकालय के ज्ञान में रिक्तता रह सकती है।
"स्टोकेस्टिक" दृष्टिकोण (The "Stochastic" Approach - पुराना तरीका): यह पुस्तकालय को सिकोड़ने के लिए पासा (dice) फेंकने जैसा है। आप तय करने के लिए कि कौन सी किताब रहेगी और कौन सी जाएगी, हर किताब के लिए पासा फेंकते हैं। यदि पासा कहता है "रखो," तो आप उसे रखते हैं; यदि "जाओ" कहता है, तो आप उसे फेंक देते हैं।
- दोष: प्रशिक्षण (training) के दौरान, जब आप हर बार एक किताब पढ़ते हैं, तो आप पासा फेंकते हैं। लेकिन जब आप बाद में पुस्तकालय का वास्तव में उपयोग करते हैं, तो आप पासा नहीं फेंक सकते; आपको किताबों की एक निश्चित सूची की आवश्यकता होती है। यह एक बेमेल स्थिति पैदा करता है: पुस्तकालय ने एक अराजक, यादृच्छिक (random) सूची के साथ अभ्यास किया लेकिन उसे एक निश्चित सूची के साथ प्रदर्शन करना है। यह एक संगीतकार के लिए वैसा ही है जो एक मेट्रोनोम के साथ अभ्यास करता है जो रैंडम तरीके से तेज़ और धीमा होता है, और फिर एक कॉन्सर्ट को बिल्कुल सही समय पर बजाने की कोशिश करता है।

समाधान: डिटरमिनिस्टिक डिफरेंशिएबल प्रूनिंग (DDP)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे DDP कहा जाता है। इसे पुस्तकालय की किताबों के लिए एक साधारण ऑन/ऑफ स्विच या पासा फेंकने के बजाय, एक स्मार्ट, एडजस्टेबल डिमर स्विच (dimmer switch) के रूप में समझें।

यह इस प्रकार काम करता है:

1. "डिमर स्विच" (Deterministic)

पासा फेंकने के बजाय, कल्पना कीजिए कि हर किताब के बगल में एक डिमर स्विच है।

0 का अर्थ है कि किताब को पूरी तरह से हटा दिया गया है।
1 का अर्थ है कि किताब पूरी तरह से खुली है।
0.5 का अर्थ है कि किताब आधी खुली है (वह अभी भी वहीं है, लेकिन कम योगदान दे रही है)।

कंप्यूटर अनुमान नहीं लगाता; वह सटीक रूप से गणना करता है कि प्रत्येक स्विच कितना उज्ज्वल होना चाहिए। यह "शोर" (noise) को हटा देता है जो यादृच्छिक पासा फेंकने से उत्पन्न होता है। अभ्यास सत्र (training) और वास्तविक शो (deployment) अब बिल्कुल एक जैसे हैं।

2. "सॉफ्ट सरोगेट" (The "Soft Surrogate")

जटिल हिस्सा यह है कि हम चाहते हैं कि स्विच अंततः या तो पूरी तरह से OFF (0) या पूरी तरह से ON (1) हो जाएं। हम नहीं चाहते कि वे हमेशा 0.5 पर अटके रहें।

लेखक एक चतुर तकनीक का उपयोग करते हैं जिसे "एनील्ड सॉफ्ट सरोगेट" (annealed soft surrogate) कहा जाता है।

मिट्टी के एक टुकड़े की कल्पना करें। प्रशिक्षण की शुरुआत में, मिट्टी नरम और लचीली होती है। डिमर स्विच कहीं भी हो सकते हैं (0.2, 0.5, 0.8)। यह कंप्यूटर को अन्वेषण करने और सही कॉन्फ़िगरेशन खोजने के लिए बहुत अधिक स्वतंत्रता देता है।
जैसे-जैसे प्रशिक्षण आगे बढ़ता है, मिट्टी सख्त होती जाती है। स्विचों को मजबूर किया जाता है कि वे या तो पूरी तरह से ON या पूरी तरह से OFF होकर अपनी जगह पर सेट हो जाएं।
अंत तक, आपके पास एक पूरी तरह से संरचित पुस्तकालय होता है जहाँ ठीक 20% किताबें गायब हैं, लेकिन शेष किताबें सबसे कुशल तरीके से व्यवस्थित हैं।

3. "शिक्षक" (Knowledge Distillation)

यह सुनिश्चित करने के लिए कि सिकुड़ा हुआ पुस्तकालय अभी भी बुद्धिमान बना रहे, कंप्यूटर मूल, विशाल पुस्तकालय का उपयोग एक "शिक्षक" के रूप में करता है।

"छात्र" (सिकुड़ा हुआ पुस्तकालय) "शिक्षक" के उत्तरों की नकल करने की कोशिश करता है।
यदि शिक्षक कहता है, "आसमान नीला है," तो छात्र को भी यह कहना सीखना होगा, भले ही उसके पास कम किताबें हों। यह सुनिश्चित करता है कि छात्र अपनी बुद्धिमत्ता नहीं खोता है, भले ही वह छोटा हो गया हो।

यह एक बड़ी बात क्यों है?

कोई बेमेल नहीं (No More Mismatch): क्योंकि कंप्यूटर उसी नियम के साथ अभ्यास करता है जिसका उपयोग वह वास्तविक दुनिया में करता है, इसलिए इसके परिणाम बहुत अधिक स्थिर होते हैं।
बेहतर गुणवत्ता: परीक्षणों में, इस पद्धति ने पुस्तकालय की बुद्धिमत्ता को लगभग बरकरार रखा (केवल लगभग 1% प्रदर्शन का नुकसान हुआ), भले ही 20% से 50% सामग्री को हटा दिया गया हो। पिछली विधियों में बहुत अधिक बुद्धिमत्ता का नुकसान हुआ था।
गति: उन्होंने वास्तविक हार्डवेयर (जैसे NVIDIA H20 और RTX 5090) पर इसका परीक्षण किया। परिणाम? सिकुड़े हुए पुस्तकालयों ने 1.3x से 2.2x तेज़ गति से काम किया। यह एक धीमे, भारी ट्रक को बिना अपना सामान खोए, एक फुर्तीले स्पोर्ट्स कार में बदलने जैसा है।

निष्कर्ष (The Bottom Line)

यह शोध पत्र विशाल AI मॉडल को कम करने का एक स्मार्ट तरीका पेश करता है। हिस्सों को बेतरतीब ढंग से काटने या अव्यवस्थित अनुमान लगाने के बजाय, यह एक सटीक, गणितीय "डिमर स्विच" का उपयोग करता है जो धीरे-धीरे एक अंतिम, कुशल आकार में बदल जाता है।

परिणाम: आपको एक छोटा, तेज़, सस्ता AI मिलता है जो मूल विशाल मॉडल जितना ही बुद्धिमान है, जिससे हमारे द्वारा रोज़ाना उपयोग किए जाने वाले उपकरणों पर शक्तिशाली AI चलाना संभव हो जाता है।

यहाँ शोध पत्र "Deterministic Differentiable Structured Pruning for Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को तैनात करना अत्यधिक कम्प्यूटेशनल रूप से महंगा है। स्ट्रक्चर्ड प्रूनिंग (Structured pruning) एक समाधान प्रदान करती है, जो पूरे आर्किटेक्चरल कंपोनेंट्स (जैसे, अटेंशन हेड्स, MLP चैनल्स, या MoE एक्सपर्ट्स) को हटाकर मॉडल के आकार और इन्फरेंस लागत को कम करती है, जिसके लिए किसी विशेष हार्डवेयर की आवश्यकता नहीं होती।

हालाँकि, मौजूदा विधियों के सामने महत्वपूर्ण सीमाएँ हैं:

वन-शॉट ह्यूरिस्टिक्स (One-shot Heuristics): ये तेज़ हैं लेकिन भंगुर (brittle) हैं; वे स्थिर महत्व स्कोर (static importance scores) पर निर्भर करती हैं और अक्सर आक्रामक स्पर्सिटी (aggressive sparsity) के तहत प्रदर्शन में भारी गिरावट का कारण बनती हैं।
स्टोकेस्टिक रिलैक्सेशन (Stochastic Relaxations): एंड-टू-एंड ऑप्टिमाइज़ेशन के माध्यम से मास्क सीखने वाली विधियाँ अक्सर Hard-Concrete relaxations का उपयोग करती हैं। ये डिस्क्रीट $\ell_0$ $ℓ_{0}$ नॉर्म को अनुमानित करने के लिए ट्रेनिंग के दौरान स्टोकेस्टिसिटी (रैंडम सैंपलिंग) पेश करती हैं। इससे निम्नलिखित समस्याएं होती हैं:
- ट्रेन-टेस्ट मिसमैच (Train-Test Mismatch): ट्रेनिंग के दौरान रैंडम मास्क का उपयोग होता है, जबकि डिप्लॉयमेंट के लिए नियत (deterministic/fixed) मास्क की आवश्यकता होती है, जिससे अस्थिरता आती है।
- सीमित अभिव्यक्त क्षमता (Limited Expressiveness): मास्क ट्रेनिंग के दौरान लगभग बाइनरी रेंज तक सीमित होते हैं, जो इष्टतम स्पर्सिटी पैटर्न के खोज स्थान (search space) को प्रतिबंधित करते हैं।
- धीमी अभिसरण (Slow Convergence): सैंपलिंग शोर (sampling noise) ग्रेडिएंट्स में वेरिएंस पैदा करता है, जिससे ऑप्टिमाइज़ेशन धीमा हो जाता है।

2. कार्यप्रणाली: डिटरमिनिस्टिक डिफरेंशिएबल प्रूनिंग (DDP)

लेखक DDP का प्रस्ताव करते हैं, जो एक मास्क-ओनली ऑप्टिमाइज़ेशन फ्रेमवर्क है जो स्टोकेस्टिसिटी को समाप्त करता है और स्ट्रक्चर्ड स्पर्सिटी के लिए डिफरेंशिएबल ऑप्टिमाइज़ेशन को सक्षम बनाता है।

मुख्य घटक (Core Components)

मास्क-ओनली ऑप्टिमाइज़ेशन (Mask-Only Optimization):
- प्री-ट्रेन्ड वेट्स को फ्रीज (frozen) कर दिया जाता है। केवल सीखने योग्य गेटिंग वेरिएबल्स (मास्क) को ऑप्टिमाइज़ किया जाता है।
- यह खोज स्थान को नाटकीय रूप से कम कर देता है (उदाहरण के लिए, 685B पैरामीटर वाले मॉडल के लिए, मास्क वेरिएबल्स केवल करोड़ों में होते हैं), जिससे एक छोटे टोकन बजट (<30M टोकन) के भीतर अभिसरण (convergence) संभव होता है।
डिटरमिनिस्टिक फॉरवर्ड पास (Deterministic Forward Pass):
- स्टोकेस्टिक सैंपलिंग के बजाय, DDP फॉरवर्ड पास के लिए एक डिटरमिनिस्टिक ReLU गेट का उपयोग करता है: $m = \text{ReLU}(z)$ , जहाँ $z$ सीखने योग्य लॉजिट्स (logits) हैं।
- यह मास्क वैल्यू रेंज को लगभग बाइनरी $[0, 1]$ से बढ़ाकर $[0, \infty)$ कर देता है, जिससे कंपोनेंट योगदान का निरंतर स्केलिंग संभव होता है और साइन फ्लिप (sign flips) से बचा जा सकता है।
$\ell_0$ के लिए एनियल्ड सॉफ्ट सरोगेट (Annealed Soft Surrogate for $\ell_0$ ):
- बिना सैंपलिंग के नॉन-डिफरेंशिएबल $\ell_0$ नॉर्म को संभालने के लिए, DDP एक डिटरमिनिस्टिक स्मूथ सरोगेट पेश करता है $s = \phi(z; \mu_t)$ जिसका उपयोग केवल रेगुलराइजेशन के लिए किया जाता है।
- यह मैपिंग लॉजिट्स को रिटेंशन स्कोर $s \in [0, 1]$ में प्रोजेक्ट करती है।
- एनिलिंग (Annealing): एक शार्पनेस पैरामीटर $\mu_t$ को ट्रेनिंग स्टेप्स के दौरान एक सॉफ्ट सिग्मॉइड से एक शार्प स्टेप फंक्शन में एनील किया जाता है। जैसे-जैसे $\mu_t \to 0$ होता है, सरोगेट सटीक $\ell_0$ व्यवहार में परिवर्तित हो जाता है।
अगमेंटेड लैग्रेंजियन मेथड (Augmented Lagrangian Method - ALM):
- प्रूनिंग समस्या को एक कन्सट्रेंड ऑप्टिमाइज़ेशन के रूप में तैयार किया गया है: लक्ष्य 'कीप रेशियो' $\rho$ के अधीन लॉस को मिनिमाइज करना।
- एक ALM दृष्टिकोण एक पेनल्टी टर्म का उपयोग करके इस बाधा को लागू करता है: $L_{sparsity} = \lambda_1(\bar{s} - \rho) + \lambda_2(\bar{s} - \rho)^2$ ।
- लैग्रेंज मल्टीप्लायर्स ( $\lambda$ ) को स्पर्सिटी बजट को सख्ती से लागू करने के लिए ग्रेडिएंट एसेंट के माध्यम से अपडेट किया जाता है।
बाइनराइजेशन लॉस (Binarization Loss):
- अभिसरण को तेज करने और यह सुनिश्चित करने के लिए कि मास्क निर्णायक (0 या 1) बनें, एक स्पष्ट बाइनराइजेशन लॉस जोड़ा गया है: $L_{bin} = \sum s_k(1-s_k)$ । यह इंटरमीडिएट वैल्यूज को दंडित करता है, जिससे स्कोर एंडपॉइंट्स $\{0, 1\}$ की ओर बढ़ते हैं।
नॉलेज डिस्टिलेशन (Knowledge Distillation):
- मूल डेंस मॉडल एक पैरामीटर-फ्री टीचर के रूप में कार्य करता है। प्रूनड स्टूडेंट को गाइड करने के लिए एक KL-डाइवर्जेंस लॉस जोड़ा जाता है, जो न्यूनतम ओवरहेड के साथ उच्च-स्तरीय क्षमताओं को बनाए रखता है।

3. मुख्य योगदान (Key Contributions)

स्टोकेस्टिसिटी का उन्मूलन (Elimination of Stochasticity): DDP एक पूरी तरह से नियत (deterministic) ऑप्टिमाइज़ेशन प्रक्रिया का उपयोग करके Hard-Concrete विधियों में निहित ट्रेन-टेस्ट मिसमैच को हटा देता है।
विस्तारित अभिव्यक्त क्षमता (Expanded Expressiveness): फॉरवर्ड मास्क (ReLU) को रेगुलराइजेशन स्कोर (सॉफ्ट सरोगेट) से अलग करके, यह विधि एक व्यापक खोज स्थान की अनुमति देती है, जिससे बाउंडेड बाइनरी मास्क की तुलना में उच्च-गुणवत्ता वाले स्पर्सिटी पैटर्न खोजे जा सकते हैं।
सैद्धांतिक गारंटी (Theoretical Guarantees): पेपर एक कन्वर्जेंस विश्लेषण प्रदान करता है जो दिखाता है कि स्टेज्ड एनिलिंग ( $\mu \to 0$ ) और बाइनराइजेशन के तहत, विधि सटीक डिस्क्रीट $\ell_0$ बजट को प्राप्त करती है और रिलैक्स्ड सरोगेट के लिए KKT शर्तों को पूरा करती है।
स्केलेबिलिटी (Scalability): यह विधि न्यूनतम कंप्यूट के साथ विशाल मॉडल्स (जैसे, Qwen3-32B, DeepSeek-R1 स्केल) तक स्केल करती है, जिसमें केवल मास्क अपडेट की आवश्यकता होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन डेंस मॉडल्स (LLaMA-7B/13B, Qwen3 सीरीज़) और मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स (DeepSeekMoE-16B, Qwen3-30B-A3B) पर किया गया।

बेसलाइन्स के मुकाबले प्रदर्शन (Performance vs. Baselines):
- डेंस मॉडल्स: 20% और 50% स्पर्सिटी पर, DDP लगातार स्टेट-ऑफ-द-आर्ट वन-शॉट मेथड्स (LoRAPrune, SlimLLM) और अन्य मास्क-लर्निंग अप्रोच से बेहतर रहा। उदाहरण के लिए, LLaMA-7B पर 50% स्पर्सिटी पर, DDP ने 56.07% मीन एक्यूरेसी हासिल की, जबकि SlimLLM की 53.16% थी।
- MoE मॉडल्स: DDP ने MoE प्रूनिंग में महत्वपूर्ण लाभ दिखाया। DeepSeekMoE-16B पर 60% स्पर्सिटी पर, इसने सबसे मजबूत बेसलाइन (58.18 बनाम 51.62) पर मीन एक्यूरेसी में +6.6 पॉइंट्स का सुधार किया और साथ ही परप्लेक्सिटी को काफी कम किया।
दक्षता (Efficiency):
- ट्रेनिंग 30M टोकन (लगभग 4 H20 GPU पर 20-40 मिनट) के भीतर अभिसरित होती है।
- एंड-टू-एंड स्पीडअप: vLLM का उपयोग करते हुए, DDP ने LLaMA-7B के लिए 50% स्पर्सिटी पर RTX 5090 पर 2.20x स्पीडअप और Qwen3-30B-A3B के लिए 60% स्पर्सिटी पर 1.51x स्पीडअप हासिल किया।
स्पर्सिटी पैटर्न (Sparsity Patterns):
- विधि स्वचालित रूप से व्याख्या योग्य (interpretable) पैटर्न खोजती है: प्रूनिंग बाद के लेयर्स (later layers) और कम बार रूट किए जाने वाले MoE एक्सपर्ट्स पर केंद्रित होती है, जो रेडंडेंसी (redundancy) की सैद्धांतिक अपेक्षाओं के अनुरूप है।

5. महत्व (Significance)

यह कार्य व्यावहारिकता (कम कंप्यूट लागत, मास्क-ओनली) और गुणवत्ता (उच्च प्रदर्शन प्रतिधारण) के बीच के अंतर को पाटता है। पिछले डिफरेंशिएबल प्रूनिंग मेथड्स की स्टोकेस्टिक नॉइज़ और ट्रेन-टेस्ट मिसमैच को हटाकर, DDP संसाधन-बाधित वातावरणों में लार्ज लैंग्वेज मॉडल्स को तैनात करने के लिए एक मजबूत, स्केलेबल समाधान प्रदान करता है। यह प्रदर्शित करता है कि पूर्ण मॉडल रिट्रेनिंग या भारी ह्यूरिस्टिक ट्यूनिंग के बिना उच्च-गुणवत्ता वाली स्ट्रक्चर्ड स्पर्सिटी को कुशलतापूर्वक सीखा जा सकता है।