← नवीनतम पेपर
🤖 machine learning

Structured Neuron Pruning in Deep Neural Networks Using Multi-Armed Bandits

यह शोध पत्र एक संरचित न्यूरॉन प्रूनिंग फ्रेमवर्क प्रस्तावित करता है जो अनावश्यक न्यूरॉन्स की पहचान करने और उन्हें हटाने के लिए मल्टी-आर्म्ड बैंडिट एल्गोरिदम का उपयोग करता है, जो व्यापक बेंचमार्क के माध्यम से यह प्रदर्शित करता है कि UCB1 और थॉमसन सैंपलिंग जैसी नीतियां अनप्रून की गई नेटवर्कों और अन्य प्रूनिंग विधियों की तुलना में प्रदर्शन को बनाए रखते हुए या उसमें सुधार करते हुए मॉडल के आकार को प्रभावी ढंग से कम करती हैं।

मूल लेखक: Salem Ameen, Sunil Vadera

प्रकाशित 2026-06-09
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Salem Ameen, Sunil Vadera

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, ज़रूरत से ज़्यादा भरा हुआ गोदाम है (एक डीप न्यूरल नेटवर्क) जिसमें हज़ारों कर्मचारी (न्यूरॉन्स) काम कर रहे हैं। ये कर्मचारी समस्याओं को हल करने में माहिर हैं, लेकिन गोदाम इतना बड़ा है कि इसे चलाने में बहुत पैसा खर्च होता है, यह बहुत अधिक जगह घेरता है, और इसमें काम करना धीमा है। आप इस गोदाम को छोटा करना चाहते हैं ताकि यह तेज़ और सस्ता हो सके, लेकिन आप गलत कर्मचारियों को निकालने से डरते हैं। यदि आपने गलत कर्मचारी को निकाल दिया, तो पूरा ऑपरेशन ठप हो सकता है।

यह शोध पत्र एक चतुर, कम जोखिम वाली रणनीति प्रस्तुत करता है जिससे यह पता लगाया जा सके कि किन कर्मचारियों को बिना व्यवसाय को नुकसान पहुँचाए हटाया जा सकता है। यह इस पद्धति को स्ट्रक्चर्ड न्यूरॉन प्रूनिंग यूज़िंग मल्टी-आर्म्ड बैंडिट्स (Structured Neuron Pruning using Multi-Armed Bandits) कहता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. समस्या: हम अंदाज़ा क्यों नहीं लगा सकते?

आमतौर पर, जब लोग इन नेटवर्कों को छोटा करने की कोशिश करते हैं, तो वे दो खराब तरीकों में से एक का उपयोग करते हैं:

  • "अंदाज़ा लगाने का खेल" (मैग्निट्यूड प्रूनिंग - Magnitude Pruning): वे देखते हैं कि कौन सबसे ज़्यादा (या सबसे कम) मेहनत कर रहा है, जो एक साधारण स्कोर पर आधारित होता है, जैसे कि वे कितना भार उठा रहे हैं। वे "हल्के" काम करने वाले कर्मचारियों को निकाल देते हैं। समस्या यह है कि एक कर्मचारी का भार कम हो सकता है, लेकिन वही एकमात्र व्यक्ति हो सकता है जिसे कोई गुप्त कोड पता हो। उन्हें निकालने से सिस्टम टूट जाता है।
  • "ब्रूट फोर्स" परीक्षण (The "Brute Force" Test): वे एक कर्मचारी को निकालते हैं, पूरे गोदाम का परीक्षण करते हैं, दूसरे को निकालते हैं, फिर से परीक्षण करते हैं, और इसी तरह आगे बढ़ते हैं। यह सटीक है, लेकिन इसमें बहुत समय लगता है। यदि आपके पास 1,000 कर्मचारी हैं, तो आपको यह तय करने के लिए कि किसे निकालना है, गोदाम को 1,000 बार चलाना होगा। यह बहुत महंगा होगा।

2. समाधान: "स्वाद परीक्षण" की रणनीति (The "Taste-Test" Strategy)

लेखक एक ऐसी विधि प्रस्तावित करते हैं जो एक स्मार्ट मैनेजर की तरह काम करती है जो त्वरित "स्वाद परीक्षणों" की एक श्रृंखला चलाता है।

  • अवधारणा: कल्पना करें कि आपके पास 50 अलग-अलग व्यंजनों (न्यूरॉन्स) वाला एक बुफे है। आप उन व्यंजनों को हटाना चाहते हैं जिनकी वास्तव में किसी को ज़रूरत नहीं है, लेकिन आप भोजन को खराब नहीं करना चाहते।
  • "बैंडिट" गेम: गैंबलिंग की दुनिया में, एक "मल्टी-आर्म बैंडिट" (Multi-Armed Bandit) स्लॉट मशीनों की एक पंक्ति है। आपको नहीं पता कि कौन सी मशीन सबसे ज़्यादा भुगतान करती है, इसलिए आपको लीवर (हाथ) खींचने होंगे (एक्सप्लोर करना) और यह पता लगाना होगा कि कौन सी मशीन अच्छी है। आपके पास खर्च करने के लिए सीमित संख्या में सिक्के (बजट) हैं। आपको एक्सप्लोरिंग (नई मशीनों को आज़माने के लिए कि वे कैसी हैं) और एक्सप्लोइटिंग (उस मशीन को खेलने के लिए जो सबसे अच्छा भुगतान करती दिख रही है) के बीच संतुलन बनाना होगा।
  • नेटवर्क पर इसे लागू करना:
    1. एल्गोरिदम एक "कर्मचारी" (न्यूरॉन) को टेस्ट करने के लिए चुनता है।
    2. यह अस्थायी रूप से उस कर्मचारी को ब्रेक लेने के लिए कहता है (न्यूरॉन को मास्क करना)।
    3. यह एक त्वरित परीक्षण (डेटा का एक छोटा बैच) चलाता है यह देखने के लिए कि क्या गोदाम अभी भी सुचारू रूप से चल रहा है।
    4. इनाम (Reward): यदि वह कर्मचारी के बिना भी गोदाम उतना ही अच्छा चलता है (या बेहतर!), तो उस कर्मचारी को "सुरक्षित रूप से निकालने योग्य" पॉइंट मिलता है। यदि गोदाम धीमा हो जाता है, तो उसे "रखने योग्य" पॉइंट मिलता है।
    5. कर्मचारी तुरंत वापस काम पर लौट आता है। अभी तक स्थायी रूप से किसी को निकाला नहीं गया है।

3. स्मार्ट मैनेजर (एल्गोरिदम)

पेपर अलग-अलग "मैनेजरों" (एल्गोरिदम) का परीक्षण करता है जो यह तय करने के लिए कि अगला कर्मचारी कौन सा टेस्ट किया जाए। वे सभी एक ही पहेली को सुलझाने की कोशिश कर रहे हैं जिसमें उनके पास सीमित सिक्के हैं:

  • एप्सिलॉन-ग्रीडी (Epsilon-Greedy): यह ज्यादातर उन कर्मचारियों को चुनता है जो निकालने के लिए सुरक्षित दिखते हैं, लेकिन कभी-कभी यह एक यादृच्छिक (random) कर्मचारी को चुनता है ताकि यह सुनिश्चित हो सके कि उन्होंने कुछ मिस तो नहीं किया।
  • UCB1 (अपर कॉन्फिडेंस बाउंड - Upper Confidence Bound): यह "आशावादी" है। यह उन कर्मचारियों को चुनता है जिन्होंने अच्छा प्रदर्शन किया है और उन कर्मचारियों को भी जिन्होंने अभी तक पर्याप्त परीक्षण नहीं किया है। यह कहता है, "मुझे इस आदमी के बारे में यकीन नहीं है, इसलिए मुझे पक्का करने के लिए उसे टेस्ट करना चाहिए।" यह अध्ययन में सबसे प्रभावी मैनेजर साबित हुआ।
  • थॉम्पसन सैंपलिंग (Thompson Sampling): यह "सांख्यिकीविद्" (Statistician) है। यह संभावनाओं की एक मानसिक फाइल रखता है। यह सोचता है, "इस कर्मचारी के बेकार होने की 90% संभावना है, लेकिन इसके जीनियस होने की 10% संभावना है। चलिए उनकी फाइल अपडेट करने के लिए उन्हें टेस्ट करते हैं।"

4. परिणाम: क्या हुआ?

शोधकर्ताओं ने इस पद्धति का परीक्षण तीन प्रकार के "गोदामों" पर किया:

  1. टेबुलर डेटा (Tabular Data): मानक स्प्रेडशीट्स (जैसे घर की कीमतों या बीमारियों का निदान करना)।
  2. रिग्रेशन (Regression): निरंतर संख्याओं (continuous numbers) की भविष्यवाणी करना।
  3. डीप लर्निंग (Deep Learning): जटिल इमेज और टेक्स्ट रिकग्निशन सिस्टम (जैसे चेहरे पहचानना या वाक्यों को समझना)।

निष्कर्ष:

  • यह काम करता है: यह पद्धति नेटवर्क के बड़े हिस्सों (कभी-कभी एक विशिष्ट लेयर के 60-70% कर्मचारियों) को सफलतापूर्वक हटा देती है बिना सिस्टम को तोड़े।
  • यह अक्सर प्रदर्शन में सुधार करता है: आश्चर्यजनक रूप से, कई मामलों में, "अनावश्यक" कर्मचारियों को निकालने से नेटवर्क वास्तव में तेज़ और अधिक सटीक हो गया। यह एक बिखरी हुई डेस्क को साफ करने जैसा है; कभी-कभी, कम ध्यान भटकाने वाली चीज़ें होने से आप बेहतर काम कर पाते हैं।
  • विजेता: UCB1 और Thompson Sampling मैनेजर्स ने पुराने "अंदाज़ा लगाने" वाले तरीकों को लगातार पीछे छोड़ दिया और कई परीक्षणों में मूल, अनप्रून्ड (unpruned) नेटवर्कों को भी मात दी।

5. यह क्यों महत्वपूर्ण है

यह दृष्टिकोण विशेष है क्योंकि यह केवल इस बात पर नहीं देखता कि एक कर्मचारी कितना "भारी" है (स्थिर आंकड़े); बल्कि यह वास्तव में परीक्षण करता है कि क्या उस कर्मचारी की आवश्यकता है, यह देखकर कि जब वे एक तरफ हट जाते हैं तो क्या होता है। यह इसे कुशलतापूर्वक, एक स्मार्ट सैंपलिंग रणनीति का उपयोग करके करता है ताकि यह सभी का गहन परीक्षण करने में समय बर्बाद न करे।

संक्षेप में: पेपर दिखाता है कि एक स्मार्ट, एडेप्टिव "स्वाद परीक्षण" प्रणाली का उपयोग करके, हम विशाल, महंगे AI मॉडल को छोटे, तेज़ और कभी-कभी यहाँ तक कि स्मार्ट वर्ज़न में बदल सकते हैं, जिससे वे फोन और टैबलेट जैसे रोज़मर्रा के उपकरणों पर चलने के लिए तैयार हो सकें।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →