🤖 machine learning

Weight Concentration Regularization for Improving Pruning Robustness Under High Sparsity

यह शोध पत्र वेट कंसन्ट्रेशन रेगुलराइजेशन (WCR) का प्रस्ताव करता है, जो एक नवीन प्रशिक्षण-समय रेगुलराइज़र है जो विभिन्न डीप लर्निंग कार्यों में उच्च स्पर्सिटी के तहत वन-शॉट मैग्नीट्यूड प्रूनिंग की मजबूती को महत्वपूर्ण रूप से सुधारने के लिए अन्य मापदंडों को दबाते हुए सूचनात्मक मापदंडों के एक छोटे उपसमूह को बढ़ाता है।

मूल लेखक: Vincent-Daniel Yun, Junhyuk Jo, Sunwoo Lee

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vincent-Daniel Yun, Junhyuk Jo, Sunwoo Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "वेट कंसन्ट्रेशन रेगुलराइजेशन फॉर इम्प्रूविंग प्रूनिंग रोबस्टनेस अंडर हाई स्पैरसिटी" (Weight Concentration Regularization for Improving Pruning Robustness Under a High Sparsity) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

बड़ी समस्या: "ओवर-इंजीनियर्ड" मस्तिष्क

कल्पना कीजिए कि आपने एक विशाल, अविश्वसनीय रूप से शक्तिशाली मस्तिष्क (एक डीप न्यूरल नेटवर्क) बनाया है जो बिल्लियों को पहचानने, बीमारियों का निदान करने या कहानियाँ लिखने में माहिर है। हालाँकि, यह मस्तिष्क बहुत बड़ा है। इसमें इसके न्यूरॉन्स के बीच अरबों सूक्ष्म कनेक्शन (पैरामीटर्स) हैं।

चूँकि यह इतना बड़ा है, इसे अपनी जेब में ले जाना (जैसे फोन में) बहुत भारी है या अस्पताल में इसे चलाना बहुत महंगा है। आपको इसे छोटा करने की आवश्यकता है।

समाधान: प्रूनिंग (Pruning)
"प्रूनिंग" इस मस्तिष्क को कैंची चलाने जैसा है और उन कनेक्शनों को काटने जैसा है जिन्हें आप महत्वपूर्ण नहीं समझते। लक्ष्य मस्तिष्क की बुद्धिमत्ता को बनाए रखते हुए "बेकार के वजन" को हटाना है।

पकड़: "वन-शॉट" आपदा
आमतौर पर, यदि आप केवल 90% कनेक्शन काट देते हैं, तो मस्तिष्क पागल हो जाता है और सब कुछ भूल जाता है। यह एक शहर में 90% सड़कों को काटने जैसा है; यातायात रुक जाता है, और शहर ढह जाता है।

इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर काटने के बाद मस्तिष्क को "रिट्रेन" (पुनः प्रशिक्षित) करने की कोशिश करते हैं, लेकिन इसमें बहुत समय और बहुत अधिक कंप्यूटिंग शक्ति लगती है। कुछ शोधकर्ता मस्तिष्क को एक ही बार में काटने (जिसे "वन-शॉट प्रूनिंग" कहा जाता है) की कोशिश करते हैं बिना रिट्रेनिंग के, लेकिन मानक मस्तिष्क इतनी अधिक सर्जरी झेलने के लिए नहीं बने होते हैं। वे अपनी सटीकता खो देते हैं।

पुराने समाधान: वे पूरी तरह से क्यों काम नहीं कर पाए

इस पेपर से पहले, वैज्ञानिकों ने मस्तिष्क को प्रूनिंग झेलने के योग्य बनाने के लिए दो मुख्य तरीके आजमाए थे:

"यूनिफॉर्म श्रिंक" विधि (ℓ1 रेगुलराइजेशन): कल्पना कीजिए कि आप मस्तिष्क के हर एक न्यूरॉन को थोड़ा सा सिकुड़ने के लिए कहते हैं। यह मस्तिष्क को हल्का बनाता है, लेकिन यह सभी को समान रूप से कमजोर करता है। जब आप "छोटे" वाले को काटने जाते हैं, तो आप अनजाने में उन्हें भी काट देते हैं जो मुश्किल से टिके हुए थे, और मस्तिष्क फिर भी ढह जाता है।
"फ्लैट लैंडस्केप" विधि (SAM, CrAM): यह मस्तिष्क को एक तीखी चोटी के बजाय एक सपाट पठार पर खड़े होने के लिए सिखाने जैसा है। यदि मस्तिष्क एक सपाट पठार पर है, तो उसे थोड़ा धकेलने पर भी गिरना कठिन होता है। यह मदद करता है, लेकिन यह इस बात को नहीं बदलता कि कौन से कनेक्शन मजबूत हैं और कौन से कमजोर।

नया विचार: वेट कंसन्ट्रेशन (WCR)

इस पेपर के लेखक एक नया ट्रेनिंग ट्रिक प्रस्तावित करते हैं जिसे वेट कंसन्ट्रेशन रेगुलराइज़र (WCR) कहा जाता है।

उपमा: "स्टार प्लेयर" बनाम "बेंचवॉर्मर्स"
एक स्पोर्ट्स टीम की कल्पना करें।

पुराना तरीका: टीम का हर खिलाड़ी औसत दर्जे का है। यदि आप 90% खिलाड़ियों को काट देते हैं, तो आप उन कुछ अच्छे खिलाड़ियों को भी खो देते हैं जो आपके पास थे, और टीम विफल हो जाती है।
WCR तरीका: ट्रेनिंग के दौरान, WCR एक कोच की तरह काम करता है जो कहता है, "ठीक है, हम टीम के तीन खिलाड़ियों को पूर्ण सुपरस्टार बनाएंगे। हम उन्हें सारी ऊर्जा, ध्यान और प्रशिक्षण देंगे। बाकी 97% खिलाड़ी? हम उन्हें कहेंगे कि वे बेंच पर जाकर बैठ जाएं और लगभग कुछ न करें।"

यह कैसे काम करता है:

ऊर्जा केंद्रित करना: WSR मस्तिष्क के "वेट" (महत्व) को बहुत कम संख्या में कनेक्शनों पर जमा होने के लिए मजबूर करता है। ये "सुपरस्टार्स" बन जाते हैं।
बाकी को शून्य की ओर धकेलना: अन्य कनेक्शनों को लगभग शून्य मानों तक धकेला जाता है। वे "बेंचवॉर्मर्स" बन जाते हैं।
सर्जरी: अब, जब आप मस्तिष्क को प्रून (काटने) करने जाते हैं, तो आप बस बेंचवॉर्मर्स को काट देते हैं। चूंकि वे पहले से ही लगभग कुछ नहीं कर रहे थे, इसलिए उन्हें काटने से टीम को कोई नुकसान नहीं होता। "सुपरस्टार्स" अभी भी वहीं हैं, पूरा भार उठा रहे हैं।

इस पेपर ने वास्तव में क्या पाया

शोधकर्ताओं ने इस "कोच" (WCR) का तीन अलग-अलग परिदृश्यों में परीक्षण किया:

इमेज क्लासिफिकेशन (चित्रों को पहचानना): उन्होंने कारों, कुत्तों और अंकों जैसे चीजों की पहचान करने वाले मॉडलों पर इसका परीक्षण किया।
- परिणाम: जब उन्होंने 96% कनेक्शन काटे (केवल 4% छोड़कर), तो WCR के साथ प्रशिक्षित मॉडल अभी भी उच्च स्कोर प्राप्त करते रहे। WCR के बिना, मॉडल पूरी तरह विफल हो गए। यह अन्य "फ्लैट लैंडस्केप" विधियों के साथ मिलकर और भी बेहतर काम करता है।
मेडिकल सेगमेंटेशन (ट्यूमर का पता लगाना): उन्होंने एक मॉडल का परीक्षण किया जो MRI स्कैन में ब्रेन ट्यूमर का पता लगाता है।
- परिणाम: WSR के बिना, मॉडल को काटने से ट्यूमर की रूपरेखा गायब हो जाती या टूटी हुई रेखाओं जैसी दिखने लगती। WSR के साथ, मॉडल 88% कनेक्शन काटने के बाद भी ट्यूमर की रूपरेखा को स्पष्ट और सटीक रखता है।
लार्ज लैंग्वेज मॉडल्स (LLMs): उन्होंने टेक्स्ट लिखने और सवालों के जवाब देने वाले AI (जैसे Qwen और LLaMA) पर परीक्षण किया।
- परिणाम: इन विशाल टेक्स्ट मॉडल्स में भी, WCR ने AI को उसके 30% विशिष्ट हिस्सों को काटने के बाद भी स्मार्ट रहने में मदद की। इसने "डीपहोयर" (DeepHoyer) जैसी अन्य विधियों को पछाड़ दिया।

"क्यों" और "कैसे"

गणित: पेपर यह सिद्ध करता है कि इस "कोच" को जोड़ने से ट्रेनिंग प्रक्रिया टूटती नहीं है। मस्तिष्क अभी भी उसी गति से सीखता है, वह बस अपने कनेक्शनों को अलग तरह से व्यवस्थित करना सीखता है।
दृश्य (Visual): यदि आप कनेक्शन की ताकत के ग्राफ को देखें, तो एक सामान्य मॉडल एक सपाट पहाड़ी की तरह दिखता है। WCR वाला मॉडल एक ज्वालामुखी की तरह दिखता है: एक छोटा, तीखा शिखर (सुपरस्टार्स) और एक विशाल, सपाट आधार (बेंचवॉर्मर्स)। यह आकार आधार को बिना शिखर को छुए काटने के लिए बहुत आसान बनाता है।

सारांश

यह पेपर एक सरल ट्रेनिंग ट्रिक पेश करता है जो AI मॉडलों को खुद को व्यवस्थित करने के लिए सिखाती है ताकि बहुत कम कनेक्शन सारा भारी काम कर सकें। यह मॉडल के बाकी हिस्सों को सुरक्षित रूप से काटने की अनुमति देता है जिससे उसकी बुद्धिमत्ता कम न हो, जिससे शक्तिशाली AI को छोटे, सस्ते उपकरणों पर चलाना संभव हो जाता है।

तकनीकी सारांश: उच्च विरलता (High Sparsity) के तहत प्रूनिंग सुदृढ़ता में सुधार के लिए वेट कंसन्ट्रेशन रेगुलराइजेशन (Weight Concentration Regularization)

समस्या विवरण

डीप न्यूरल नेटवर्क (DNNs) ने विजन और लैंग्वेज कार्यों में अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन उन्हें अक्सर पर्याप्त कंप्यूटेशनल संसाधनों की आवश्यकता होती है, जो संसाधन-बाधित वातावरणों में उनकी तैनाती को सीमित करता है। मॉडल प्रूनिंग (Model pruning) कम महत्वपूर्ण मापदंडों (parameters) को हटाकर मॉडल के आकार को कम करने का लक्ष्य रखती है। पुन: प्रशिक्षण (retraining) के साथ इटरेटिव प्रूनिंग प्रभावी है, लेकिन यह कंप्यूटेशनल रूप से महंगी है। वन-शॉट प्रूनिंग (One-shot pruning), जो बिना पुन: प्रशिक्षण के एक ही चरण में अनावश्यक मापदंडों को हटा देती है, एक अधिक कुशल विकल्प प्रदान करती है। हालांकि, मानक उद्देश्यों के साथ प्रशिक्षित मॉडल आक्रामक विरलता (aggressive sparsity) के तहत महत्वपूर्ण सटीकता गिरावट (accuracy drops) का अनुभव करते हैं।

पूर्ववर्ती कार्य इसे दो मुख्य दिशाओं के माध्यम से कम करने का प्रयास करते हैं:

रेगुलराइजेशन-आधारित दृष्टिकोण (जैसे $\ell_1$ , DeepHoyer) जो प्रशिक्षण के दौरान वेट डिस्ट्रीब्यूशन को आकार देते हैं। हालांकि, $\ell_1$ सभी वेट्स को समान रूप से सिकोड़ता है, जबकि DeepHoyer स्केल-इनवेरिएंट स्पर्सिटी (scale-invariant sparsity) उत्पन्न करता है। इनमें से कोई भी स्पष्ट रूप से वेट एनर्जी को सूचनात्मक मापदंडों के एक छोटे समूह पर केंद्रित नहीं करता है।
प्रूनिंग-रोबस्ट ऑप्टिमाइज़र (जैसे SAM, CrAM, S2SAM) जो सामान्यीकरण (generalization) में सुधार के लिए लॉस लैंडस्केप को सपाट (flatten) करते हैं।

पहचानी गई मुख्य सीमा यह है कि मानक स्पर्सिटी-इंड्यूसिंग विधियाँ स्पर्सिटी और सूचना संरक्षण (information preservation) के बीच के ट्रेड-ऑफ को स्पष्ट रूप से संबोधित नहीं करती हैं। जब वेट महत्व (weight importance) विसरित रूप से वितरित होता है, तो कम परिमाण वाले वेट्स को हटाने से प्रदर्शन में गिरावट आ सकती है क्योंकि "महत्वपूर्ण" ऊर्जा कुछ प्रमुख मापदंडों पर पर्याप्त रूप से केंद्रित नहीं होती है।

कार्यप्रणाली: वेट कंसन्ट्रेशन रेगुलराइज़र (WCR)

लेखक वेट कंसन्ट्रेशन रेगुलराइज़र (WCR) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-टाइम रेगुलराइज़र है जिसे वेट मैग्नीट्यूड डिस्ट्रीब्यूशन को नया आकार देने के लिए डिज़ाइन किया गया है। पारंपरिक विधियों के विपरीत जो वेट्स को समान रूप से सिकोड़ती हैं, WCR का लक्ष्य वेट एनर्जी को मापदंडों के एक छोटे समूह पर केंद्रित करना है जबकि शेष को शून्य की ओर ले जाना है। यह एक "हेवी-टेल्ड" (heavy-tailed) वितरण बनाता है जहाँ कुछ मापदंडों के पास अधिकांश वेट एनर्जी होती है, जिससे मैग्नीट्यूड प्रूनिंग को न्यूनतम प्रदर्शन हानि के साथ नगण्य मापदंडों को हटाने की अनुमति मिलती है।

गणितीय सूत्रीकरण (Mathematical Formulation)

WCR, मूल बिंदु (origin) पर डिफरेंशिएबिलिटी सुनिश्चित करने के लिए एक स्मूथ एब्सोल्यूट-वैल्यू ट्रांसफॉर्म लागू करके, अब चुनी गई लेयर के एब्सोल्यूट वेट्स के वेरिएंस के रेसिप्रोकल (reciprocal) को दंडित करके कार्य करता है। एक चयनित लेयर $w^{(\ell)}$ के लिए, लेखक पहले निम्नलिखित लागू करते हैं:
$\tilde{w}^{(\ell)}_i = \sqrt{(w^{(\ell)}_i)^2 + r} \approx |w^{(\ell)}_i|, \quad r = 10^{-8}$
स्केल अंतरों को संभालने के लिए वेरिएंस की गणना प्रति-लेयर की जाती है:
$\text{Var}(\tilde{w}^{(\ell)}) = \frac{1}{n_\ell} \sum_{i=1}^{n_\ell} \left( \tilde{w}^{(\ell)}_i - \frac{1}{n_\ell} \sum_{j=1}^{n_\ell} \tilde{w}^{(\ell)}_j \right)^2$
रेगुलराइजेशन पेनल्टी $\psi(w)$ सभी चयनित लेयर्स में रेसिप्रोकल वेरिएंस का योग है:
$\psi(w) = \sum_{w^{(\ell)} \in \mathcal{W}} \frac{1}{\text{Var}(\tilde{w}^{(\ell)}) + \epsilon}$
जहाँ $\epsilon = 10^{-8}$ संख्यात्मक स्थिरता (numerical stability) सुनिश्चित करता है। कुल प्रशिक्षण उद्देश्य बनता है:
$\mathcal{L}_{total}(w) = \mathcal{L}(w) + \lambda \psi(w)$
जहाँ $\lambda > 0$ एक बैलेंसिंग कोएफिशिएंट है।

सैद्धांतिक विश्लेषण

पेपर एक अभिसरण विश्लेषण (convergence analysis) प्रदान करता है जो दिखाता है कि WCR स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) की मानक अभिसरण दर को बनाए रखता है। लॉस फंक्शन की $\beta_1$ -स्मूथनेस और रेगुलराइज़र की $\beta_2$ -स्मूथनेस के तहत, संयुक्त उद्देश्य मानक कन्वर्जेंस-टू-स्टेशनैरिटी गारंटी को संतुष्ट करता है। चूंकि रेगुलराइज़र वेट्स का एक डिटरमिनिस्टिक फंक्शन है, इसलिए यह अतिरिक्त स्टोकैस्टिक ग्रेडिएंट वेरिएंस पेश नहीं करता है। फलस्वरूप, एसिम्प्टोटिक कन्वर्जेंस रेट $O(1/\sqrt{T})$ रहता है, जो मानक SGD के समान है।

मुख्य योगदान

WCR का परिचय: एक अभिनव ट्रेनिंग-टाइम रेगुलराइज़र जो वेट एनर्जी को मापदंडों के एक छोटे समूह पर केंद्रित करता है, जो यूनिफॉर्म श्रिंकेज के बजाय स्पष्ट रूप से हेवी-टेल्ड वेट डिस्ट्रीब्यूशन को प्रोत्साहित करता है।
सैद्धांतिक गारंटी: प्रमाण कि WCR हल्के स्मूथनेस अनुमानों के तहत SGD की मानक अभिसरण दर को बनाए रखता है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध सेटिंग्स में व्यापक मूल्यांकन, जिसमें शामिल हैं:
- इमेज क्लासिफिकेशन: CIFAR-10/100, SVHN पर ResNet-18/50, WideResNet-28-10 और Tiny-ImageNet पर ViT-B/32।
- मेडिकल सेगमेंटेशन: LGG Brain MRI डेटासेट पर ResNet-50–UNet।
- LLM फाइन-ट्यूनिंग: Commonsense-170K पर LoRA का उपयोग करके Qwen-2.5-1.5B और LLaMA-3.2-1B।
अनुकूलता (Compatibility): यह प्रदर्शन करना कि WCR मौजूदा प्रूनिंग-रोबस्ट ऑप्टिमाइज़र्स (SAM, CrAM, S2SAM) के साथ संगत है और उन्हें और अधिक लाभ के लिए उनके साथ जोड़ा जा सकता है।

प्रयोगात्मक परिणाम

लेखकों ने बिना रिट्रेनिंग के वन-शॉट मैग्नीट्यूड प्रूनिंग के तहत WCR का मूल्यांकन किया।

विजन टास्क (CNNs & ViTs): WCR ने लगातार पोस्ट-प्रूनिंग सटीकता में सुधार किया, विशेष रूप से उच्च स्पर्सिटी स्तरों (जैसे 96% प्रूनिंग) पर।
- CIFAR-10 पर ResNet-18 के साथ, SGD में WCR जोड़ने से 96% प्रूनिंग पर सटीकता 19.69% से बढ़कर 25.70% हो गई।
- जब SAM के साथ जोड़ा गया, तो WCR ने नाटकीय सुधार दिए: 96% प्रूनिंग पर, सटीकता 48.36% (केवल SAM) से बढ़कर 92.08% (SAM + WCR) हो गई।
- S2SAM के साथ भी समान रुझान देखे गए (72.51% $\to$ 93.44%) और SVHN पर (9.74% $\to$ 95.99%)।
- ViT-B/32 के लिए, WCR ने CIFAR-100 पर 80% प्रूनिंग सटीकता को 64.11% (SAM) से बढ़ाकर 84.95% कर दिया।
मेडिकल सेगमेंटेशन: LGG Brain MRI डेटासेट पर, WCR ने 85% और 88% प्रूनिंग के तहत F1 स्कोर में काफी सुधार किया और हॉफडॉस डिस्टेंस (Hausdorff distance) को कम किया। विशेष रूप से, 88% प्रूनिंग पर SGD के लिए, बेसलाइन वैध सेगमेंटेशन उत्पन्न करने में विफल रही, जबकि SGD + WCR ने 0.5280 का F1 स्कोर प्राप्त किया। गुणात्मक परिणामों ने दिखाया कि WCL ने बेसलाइन्स की तुलना में लीजन बाउंड्रीज़ (lesion boundaries) को बेहतर ढंग से संरक्षित किया।
LLM फाइन-ट्यूनिंग: LoRA-आधारित फाइन-ट्यूनिंग में, WCR ने $\ell_1$ और DeepHoyer रेगुलराइज़र्स को पछाड़ दिया। Qwen-2.5-1.5B पर, WCR ने 30% प्रूनिंग पर तुलना किए गए रेगुलराइज़र्स में उच्चतम औसत सटीकता (69.54%) प्राप्त की, जो पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग परिदृश्यों में सुदृढ़ता प्रदर्शित करता है।
सामान्यीकरण (Generalization): प्रिंसिपल हेसियन आइजनवैल्यू (principal Hessian eigenvalue) के विश्लेषण ने संकेत दिया कि WCR लॉस-सरफेस कर्वेचर को कम करता है, जो बताता है कि यह ऑप्टिमाइजेशन को फ्लैट मिनिमा की ओर निर्देशित करता है, जो बेहतर सामान्यीकरण से संबंधित है।

महत्व और दावे

पेपर का दावा है कि प्रशिक्षण के दौरान वेट मैग्नीट्यूड डिस्ट्रीब्यूशन को आकार देना उच्च स्पर्सिटी के तहत सुदृढ़ता में सुधार के लिए एक प्रभावी दृष्टिकोण है। WCR का महत्व इसकी क्षमता में निहित है:

बड़े-मैग्नीट्यूड (सूचनात्मक) और छोटे-मैग्नीट्यूड (नगण्य) मापदंडों के बीच एक स्पष्ट अलगाव बनाना।
मैग्नीट्यूड-आधारित प्रूनिंग को न्यूनतम कार्यात्मक प्रभाव के साथ मापदंडों के एक बड़े हिस्से को हटाने में सक्षम बनाना।
स्टैंडअलोन रेगुलराइज़र के रूप में या SAM जैसे लॉस-लैंडस्केप स्मूथिंग विधियों के पूरक घटक के रूप में कार्य करना।

लेखक निष्कर्ष निकालते हैं कि WCR आक्रामक वन-शॉट प्रूनिंग से जुड़ी सटीकता गिरावट के लिए एक व्यावहारिक, ट्रेनिंग-टाइम समाधान प्रदान करता है, जो बिना किसी आर्किटेक्चरल बदलाव या प्रूनिंग के बाद पुन: प्रशिक्षण के, CNNs, ट्रांसफॉर्मर्स और लार्ज लैंग्वेज मॉडल्स पर लागू होता है।