🤖 machine learning

Effective Model Pruning: Measure The Redundancy of Model Components

यह शोध पत्र इफेक्टिव मॉडल प्रूनिंग (EMP) को प्रस्तुत करता है, जो एक सार्वभौमिक अनुकूलन विधि है जो महत्व स्कोर के प्रभावी नमूना आकार (effective sample size) की गणना करके उन घटकों की इष्टतम संख्या निर्धारित करती है जिन्हें हटाया जाना है, जिससे विविध न्यूरल नेटवर्क आर्किटेक्चर में प्रदर्शन हानि पर एक प्रमाणित ऊपरी सीमा (provable upper bound) प्राप्त होती है।

मूल लेखक: Yixuan Wang, Dan P. Guralnik, Saiedeh Akbari, Warren E. Dixon

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yixuan Wang, Dan P. Guralnik, Saiedeh Akbari, Warren E. Dixon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, ज़रूरत से ज़्यादा भरा हुआ सूटकेस (एक जटिल AI मॉडल) है जो एक लंबी यात्रा के लिए पैक किया गया है। आप जानते हैं कि आपको इसका वज़न कम करना होगा ताकि यह एक छोटे विमान (एक एज डिवाइस) में फिट हो सके, लेकिन आप उस एक चीज़ को फेंक देने से डरते हैं जो वास्तव में महत्वपूर्ण है।

वर्तमान में, अधिकांश लोग इसे अनुमान लगाकर हल करने की कोशिश करते हैं: "चलो 50% कपड़े फेंक देते हैं," या "जो सबसे भारी हैं उन्हें रखते हैं।" कभी-कभी यह काम करता है; कभी-कभी आपके पास मोजों से भरा सूटकेस होता है लेकिन जूते नहीं होते।

यह पेपर पैकिंग का एक नया, स्मार्ट तरीका पेश करता है जिसे इफेक्टिव मॉडल प्रूनिंग (EMP) कहा जाता है। एक प्रतिशत का अनुमान लगाने के बजाय, EMP एक सरल प्रश्न पूछता है: "यह देखते हुए कि प्रत्येक वस्तु वास्तव में कितनी महत्वपूर्ण है, वास्तव में कितने सामानों की आवश्यकता है?"

यह इस प्रकार काम करता है, रोज़मर्रा के उदाहरणों का उपयोग करते हुए:

1. "पार्टी गेस्ट" का उदाहरण

कल्पना कीजिए कि आप 1,000 मेहमानों के साथ एक पार्टी होस्ट कर रहे हैं। आपके पास इस बात की सूची है कि प्रत्येक मेहमान ने मस्ती में कितना योगदान दिया (उनका "महत्व स्कोर")।

पुराना तरीका: आप निर्णय लेते हैं, "मैं 50% मेहमानों को बाहर निकाल दूँगा," चाहे वे कोई भी हों। आप गलती से डीजे (DJ) और कॉमेडियन को भी बाहर निकाल सकते हैं।
EMP का तरीका: EMP उस सूची को देखता है और मेहमानों की "प्रभावी संख्या" (Effective Number) की गणना करता है। यह पूछता है: "यदि हम मेहमानों का एक छोटा समूह चुनते हैं जो अभी भी पार्टी की 9% ऊर्जा को कैप्चर करता है, तो हमें कितने लोगों की आवश्यकता होगी?"

यदि पार्टी बहुत विविध है (हर किसी ने थोड़ा-थोड़ा योगदान दिया), तो "प्रभावी संख्या" अधिक हो सकती है (जैसे, 800 लोग)। यदि पार्टी कुछ सितारों द्वारा संचालित है (एक कॉमेडियन, एक डीजे, और 998 शांत लोग), तो "प्रभावी संख्या" बहुत कम हो सकती है (जैसे, 5 लोग)। EMP आपको स्कोर के वितरण के आधार पर बताता है कि आपको कितने लोगों को रखना है, न कि किसी रैंडम अनुमान के आधार पर।

2. "मैजिक थ्रेशोल्ड" (जादुई सीमा)

पेपर का मुख्य दावा यह है कि यह "प्रभावी संख्या" (जिसे $N_{eff}$ कहा जाता है) एक सार्वभौमिक नियम है। इससे कोई फर्क नहीं पड़ता कि आप क्या हटा रहे हैं (pruning):

वेट्स (Weights): मस्तिष्क जैसे कंप्यूटर के भीतर के सूक्ष्म कनेक्शन।
अटेंशन हेड्स (Attention Heads): मॉडल के वे हिस्से जो तय करते हैं कि किन शब्दों पर ध्यान केंद्रित करना है।
इमेज पिक्सल (Image Pixels): एक फोटो बनाने वाले व्यक्तिगत बिंदु।

EMP के पीछे का गणित एक विशेष रूलर (पटरी) की तरह है जो महत्व की "सांद्रता" (concentration) को मापता है। यदि महत्व फैला हुआ है, तो रूलर कहता है, "अधिक रखें।" यदि महत्व कुछ ही स्थानों पर केंद्रित है, तो रूलर कहता है, "आप बाकी को सुरक्षित रूप से फेंक सकते हैं।"

3. "सेफ्टी नेट" (सुरक्षा जाल)

पेपर का एक बड़ा दावा यह है कि यह केवल एक अनुमान नहीं है; यह गणितीय रूप से सिद्ध है कि यह सुरक्षित है।
लेखकों ने एक "लोअर बाउंड" (निचली सीमा/सुरक्षा जाल) निकाला है। उन्होंने सिद्ध किया कि यदि आप शीर्ष $N_{eff}$ वस्तुओं को रखते हैं, तो आप गारंटी के साथ मॉडल का एक विशिष्ट हिस्सा "मास" (उसका काम करने की क्षमता) बनाए रखते हैं।

उदाहरण: इसे एक लाइफ राफ्ट (जीवन रक्षक नाव) की तरह सोचें। गणित सिद्ध करता है कि यदि आप EMP द्वारा सुझाए गए लोगों की संख्या को रखते हैं, तो यह निश्चित रूप से पर्याप्त भार संभालने के लिए सक्षम होगा ताकि नाव डूबने से बच सके, चाहे पानी कितना भी उग्र क्यों न हो जाए।

4. प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने कई अलग-अलग प्रकार के AI मॉडलों पर इस "जादुई रूलर" का परीक्षण किया, साधारण मॉडल से लेकर विशाल लार्ज लैंग्वेज मॉडल्स (जैसे वे जो निबंध या कोड लिखते हैं) तक।

परिणाम: जब उन्होंने यह तय करने के लिए EMP का उपयोग किया कि कितना काटना है, तो मॉडलों ने अपने पूर्ण, बिना कटे हुए संस्करणों के समान ही प्रदर्शन किया।
"बीटा" नॉब (Beta Knob): उन्होंने यह भी पाया कि यदि आप EMP संख्या से कम काटते हैं (अधिक चीजें रखते हैं), तो प्रदर्शन बेहतरीन रहता है। लेकिन, यदि आप EMP संख्या से अधिक काटते हैं, तो मॉडल अचानक विफल होने लगता है। यह सुझाव देता है कि $N_{eff}$ वह सटीक "टिपिंग पॉइंट" है जहाँ मॉडल अपनी अनावश्यकता (redundancy) खोना शुरू कर देता है और अपनी बौद्धिक शक्ति खोने लगता है।

5. यह क्यों महत्वपूर्ण है

पेपर का दावा है कि लंबे समय से, लोग मैन्युअल रूप से यह ट्यून करते रहे हैं कि कितना काटना है (जैसे, "चलो 40% काटते हैं," या "60% काटते हैं")। यह धीमा है और इसमें बहुत अधिक परीक्षण और त्रुटि (trial and error) की आवश्यकता होती है।

EMP समाधान: यह इसे स्वचालित करता है। आप इसे स्कोर की एक सूची देते हैं, और यह तुरंत आपको उन घटकों की सटीक संख्या बताता है जिन्हें रखना है। यह लगभग किसी भी प्रकार के AI मॉडल और महत्व मापने के किसी भी तरीके के लिए काम करता है।

संक्षेप में: यह पेपर एक सार्वभौमिक, गणितीय रूप से सिद्ध विधि प्रस्तावित करता है जिससे यह पता लगाया जा सके कि AI मॉडल का कितना हिस्सा "फालतू" है और कितना "वास्तविक सार" है। यह "50% काटें" के अनुमान को एक स्मार्ट गणना से बदल देता है जो कहती है, "डेटा के आधार पर, सुरक्षित रहने के लिए आपको केवल शीर्ष 37% को रखने की आवश्यकता है।"

तकनीकी सारांश: प्रभावी मॉडल प्रूनिंग (Effective Model Pruning - EMP)

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क ने कंप्यूटर विज़न, नेचुरल लैंग्वेज प्रोसेसिंग और रोबोटिक्स जैसे डोमेन में अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन उनका बढ़ता आकार और जटिलता गणना, मेमोरी और ऊर्जा की सीमाओं के कारण एज डिवाइसेस (edge devices) पर तैनाती के लिए महत्वपूर्ण चुनौतियां पेश करती है। जबकि मॉडल प्रूनिंग (model pruning) इन मुद्दों को हल करने के लिए एक व्यापक रूप से अध्ययन की जाने वाली तकनीक है, एक महत्वपूर्ण और निरंतर अनसुलझा प्रश्न बना हुआ है: मॉडल घटकों (model components) को दिए गए महत्व स्कोर ( $s$ ) के वेक्टर को देखते हुए, प्रदर्शन से समझौता किए बिना कितने घटकों को बनाए रखा जाना चाहिए?

स्पर्सिटी बजट (sparsity budget) निर्धारित करने के वर्तमान दृष्टिकोण अक्सर निम्नलिखित पर निर्भर करते हैं:

महंगी पुनरावृत्ति (iterative) प्रूनिंग प्रक्रियाएं।
मैन्युअल या प्रति-परत (per-layer) बजट।
हाइपरपैरामीटर जिन्हें सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है।
निश्चित स्पर्सिटी अनुपात जो अत्यधिक आक्रामक (प्रदर्शन कम करने वाले) या अत्यधिक रूढ़िवादी (दक्षता को त्यागने वाले) हो सकते हैं।

यह शोध पत्र यह तर्क देता है कि स्पर्सिटी का चुनाव संवेदनशील है और मौजूदा समाधानों में स्कोर वितरण से सीधे प्राप्त होने वाले एक सार्वभौमिक, अनुकूलनीय मानदंड (adaptive criterion) का अभाव है।

2. कार्यप्रणाली: प्रभावी मॉडल प्रूनिंग (EMP)

लेखक प्रभावी मॉडल प्र्युनिटी (EMP) का प्रस्ताव करते हैं, जो एक सार्वभौमिक नियम है जो मैन्युअल बजट शेड्यूलिंग या आर्किटेक्चर-विशिष्ट ट्यूनिंग की आवश्यकता के बिना, महत्व स्कोर के वितरण से सीधे बनाए रखे जाने वाले घटकों की संख्या ( $N_{eff}$ ) को निर्धारित करता है।

मुख्य अवधारणा: प्रभावी नमूना आकार (Effective Sample Size)

EMP, पार्टिकल फ़िल्टरिंग (जिसे पारिस्थितिकी में इनवर्स सिम्पसन इंडेक्स भी कहा जाता है) से प्रभावी नमूना आकार (ESS) की अवधारणा को मॉडल प्रूनिंग के संदर्भ में अनुकूलित करता है।

स्कोर सामान्यीकरण (Score Normalization): मॉडल घटकों से जुड़े स्कोर वेक्टर $s$ के लिए, एक सामान्यीकृत संभाव्यता भार वेक्टर $\omega$ की गणना की जाती है:
$\omega_i = \frac{|s_i|}{\sum_j |s_j|}$
$N_{eff}$ की गणना: प्रभावी घटकों की संख्या को इस प्रकार परिभाषित किया गया है:
$N_{eff} = \left\lfloor \frac{1}{\sum_i \omega_i^2} \right\rfloor$
यह मान स्कोर वितरण में सांख्यिकीय रूप से महत्वपूर्ण योगदानकर्ताओं की संख्या का प्रतिनिधित्व करता है।
प्रूनिंग नियम: एल्गोरिदम शीर्ष $N_{eff}$ घटकों (या एक स्केल्ड संस्करण $\beta N_{eff}$ जहाँ $\beta$ एक डिप्लॉयमेंट नॉब है) को बनाए रखता है और शेष $N - N_{eff}$ निम्न-स्कोर वाले घटकों को हटा देता है।

सैद्धांतिक आधार (Theoretical Foundations)

शोध पत्र EMP के समर्थन में एक कठोर सैद्धांतिक ढांचा प्रदान करता है:

सिम्प्लेक्स की ज्यामिति (Geometry of the Simplex): लेखक $N_{eff}$ की व्याख्या करने के लिए यूक्लिडियन स्पेस में मानक सिम्प्लेक्स की ज्यामिति का विश्लेषण करते हैं। वे "प्रभावी द्रव्यमान" ( $s_{eff}$ ) को बनाए रखे गए घटकों के सामान्यीकृत स्कोर के योग के रूप में परिभाषित करते हैं।
प्रभावी द्रव्यमान पर निचली सीमा (Lower Bound on Effective Mass): $N_{eff}$ के संदर्भ में $s_{eff}$ के लिए एक टाइट लोअर बाउंड निकाला गया है। विशेष रूप से, $2 \le N_{eff} < N$ के लिए, बनाए रखा गया द्रव्यमान सीमित है, यह सुनिश्चित करता है कि कुल महत्व का एक महत्वपूर्ण हिस्सा सुरक्षित रहे।
लॉस परिवर्तन पर ऊपरी सीमा (Upper Bound on Loss Change): लेम्मा 3.1 (हेसियन ट्रेस और वेट अंतर से संबंधित प्रूनिंग अनुपात) का उपयोग करते हुए, लेखक डेंस मॉडल और EMP-प्रून्ड मॉडल के बीच प्रदर्शन गिरावट (लॉस चेंज $\epsilon$ ) पर एक ऊपरी सीमा निकालते हैं। विश्लेषण दिखाता है कि जैसे-जैसे प्रूनिंग अनुपात $\rho = N_{eff}/N$ बढ़ता है, लॉस चेंज पर ऊपरी सीमा तेजी से घटती है, जो यह गारंटी देती है कि $N_{eff}$ थ्रेशोल्ड तक प्रूनिंग करने पर प्रदर्शन में गिरावट न्यूनतम होगी।

एल्गोरिदम (Algorithm)

EMP एल्गोरिदम (एल्गोरिदम 1) $O(N \log N)$ के टाइम कॉम्प्लेक्सिटी के साथ कम्प्यूटेशनल रूप से कुशल है:

स्कोर को संभाव्यता वेक्टर में सामान्यित करें।
$N_{eff}$ की गणना करें।
$N_{eff}$ को $[1, N]$ रेंज में क्लिप करें।
शीर्ष $N_{eff}$ इंडेक्स को बनाए रखने वाला एक बाइनरी मास्क जेनरेट करें।

3. प्रमुख योगदान (Key Contributions)

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

EMP का परिचय: किसी भी स्कोर वेक्टर को एक सिद्धांत आधारित स्पर्सिटी थ्रेशोल्ड ( $N_{eff}$ ) में बदलने के लिए एक सरल, सार्वभौमिक नियम, जो प्रभावी द्रव्यमान (effective mass) के सैद्धांतिक गारंटीकृत लोअर बाउंड द्वारा समर्थित है।
सैद्धांतिक सीमाएं (Theoretical Bounds): एक डेंस मॉडल और EMP के माध्यम से प्राप्त स्पार्स मॉडल के बीच लॉस चेंज ( $\epsilon$ ) के लिए एक ऊपरी सीमा का निष्कर्ष।
अनुभवजन्य सत्यापन (Empirical Validation): विविध आर्किटेक्चर (MLPs, CNNs, Transformers, LLMs, KANs) और प्रूनिंग मानदंडों (वेट मैग्नीट्यूड, अटेंशन स्कोर, फीचर-लेवल सिग्नल्स) पर EMP की प्रभावशीलता का प्रदर्शन, जो दिखाता है कि इसे अतिरिक्त ट्यूनिंग के बिना मौजूदा तरीकों के साथ जोड़ा जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने $N_{eff}$ की मजबूती को मान्य करने के लिए व्यापक संख्यात्मक प्रयोग किए।

विविध आर्किटेक्चर: प्रयोग्स को फुली कनेक्टेड नेटवर्क (FC5, FC12), CNNs (AlexNet, VGG16, ResNet18, ResNet50), और कोलमोगोरोव-आर्नोल्ड नेटवर्क (KANs) पर किया गया।
लार्ज लैंग्वेज मॉडल्स (LLMs): GPT-2 और LLaMA/LLaMA-2 परिवारों पर EMP लागू किया गया।
- GPT-2: टेलर इम्पॉर्टेंस और वेट नॉर्म दोनों मानदंडों का उपयोग करते हुए, EMP ने पहचाना कि लगभग $N_{eff}$ हेड्स (जैसे, टेलर के लिए 144 में से 141, वेट नॉर्म के लिए 134) को बनाए रखने से परप्लेक्सिटी (PPL) में नगण्य वृद्धि हुई।
- LLaMA: EMP एक साधारण मैग्नीट्यूड-आधारित प्रूनिंग को "पुनर्जीवित" (rehabilitate) करने में सक्षम रहा। जबकि निश्चित 50% मैग्नीट्यूड प्रूनिंग से महत्वपूर्ण गिरावट आई, EMP-चयनित स्पर्सिटी (लगभग 37%) ने प्रदर्शन को डेंस मॉडल के करीब बनाए रखा, जो फिक्स्ड-स्पार्स बेसलाइन्स से बेहतर रहा।
$\beta$ की मजबूती (Robustness of $\beta$ ): लेखकों ने $\beta \in [0.5, 2.0]$ स्केलिंग गुणांकों का परीक्षण किया। परिणामों ने लगातार दिखाया कि $\beta = 1$ (ठीक $N_{eff}$ को बनाए रखना) वह ट्रांजिशन पॉइंट है जहाँ इस थ्रेशोल्ड से आगे प्रूनिंग करने से प्रदर्शन में गिरावट आती है, जबकि इससे नीचे प्रूनिंग करने से दक्षता में मामूली लाभ मिलता है।
फीचर-लेवल प्रूनिंग: EMP को इमेज पिक्सल (RGB चैनल्स) पर लागू किया गया। पद्धति ने संरचनात्मक समानता (SSIM) और पीक सिग्नल-टू-नॉइज़ रेशियो (PSNR) को संरक्षित करते हुए कम-महत्वपूर्ण निर्देशांकों को सफलतापूर्वक ज़ीरो कर दिया, जो फीचर सिलेक्शन में प्रयोज्यता का सुझाव देता है।

मुख्य अवलोकन: सभी परीक्षण किए गए मानदंडों और आर्किटेक्चर में, जब $N_{eff}$ थ्रेशोल्ड पर प्रूनिंग की गई, तो डेंस मॉडल और EMP-प्रून्ड मॉडल के बीच लॉस चेंज ( $\epsilon$ ) नगण्य था (अक्सर $\le 0.1$ )।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि EMP एक सार्वभौमिक, मानदंड-अज्ञेय (criterion-agnostic), और आर्किटेक्चर-अज्ञेय (architecture-agnostic) अनुकूलनीय स्पर्सिफिकेशन तंत्र प्रदान करता है।

सार्वभौमिक थ्रेशोल्ड: शोध पत्र तर्क देता है कि प्रदर्शन हानि के सापेक्ष स्पर्सिटी का प्राकृतिक माप कच्चा रिटेंशन अनुपात ( $\rho = N_{ret}/N$ ) नहीं है, बल्कि $N_{eff}$ के सापेक्ष अनुपात ( $\beta = N_{ret}/N_{eff}$ ) है। $N_{eff}$ महत्वपूर्ण प्रदर्शन हानि के लिए एक डेटा-ड्रिवन थ्रेशोल्ड के रूप में कार्य करता है।
गुणवत्ता मीट्रिक: EMP प्रूनिंग विधि की गुणवत्ता का आकलन करने का एक तरीका प्रदान करता है। $N/N_{eff}$ का अनुपात स्कोर वितरण की "गुणवत्ता" को दर्शाता है; कम अनुपात अधिक केंद्रित (और इस प्रकार अधिक प्र्यूनेबल) वितरण का संकेत देता है।
व्यावहारिक उपयोगिता: EMP स्पर्सिटी बजट के लिए मैन्युअल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता को समाप्त करता है। इसे वेट्स, चैनल्स, न्यूरॉन्स, अटेंशन हेड्स और यहाँ तक कि रॉ इमेज फीचर्स पर भी लागू किया जा सकता है।
सैद्धांतिक गारंटी: कई ह्यूरिस्टिक प्रूनिंग विधियों के विपरीत, EMP को रिटेंड इम्पॉर्टेंस मास के सैद्धांतिक लोअर बाउंड और प्रदर्शन गिरावट के ऊपरी बाउंड द्वारा समर्थित है।

लेखक निष्कर्ष निकालते हैं कि EMP फिक्स्ड, ह्यूरिस्टिक स्पर्सिटी बजट से एक सिद्धांत आधारित, सांख्यिकीय दृष्टिकोण की ओर बदलाव का प्रतिनिधित्व करता है जो मॉडल के स्कोर वितरण की अंतर्निहित रेडंडेंसी के अनुकूल होता है। भविष्य के कार्यों में गेटेड EMP, ट्रेनिंग के दौरान फीचर-वाइज प्रूनिंग, और बड़े पैमाने पर LLM फाइन-ट्यूनिंग में अनुप्रयोगों की खोज शामिल है।