Neural network relief: a pruning algorithm based on neural activity
यह शोध पत्र मानव मस्तिष्क की विरल कनेक्टिविटी (sparse connectivity) से प्रेरित एक पुनरावृत्ति प्रूनिंग एल्गोरिदम (iterative pruning algorithm) प्रस्तावित करता है, जो महत्वहीन कनेक्शनों की पहचान करने और उन्हें निष्क्रिय करने के लिए एक न्यूरल गतिविधि-आधारित महत्व मीट्रिक का उपयोग करता है, जिससे विभिन्न डीप न्यूरल नेटवर्क आर्किटेक्चर और डेटासेट में तुलनीय सटीकता बनाए रखते हुए महत्वपूर्ण पैरामीटर संपीड़न प्राप्त किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल पहेली सुलझाने की कोशिश कर रहे हैं। आपके पास हजारों टुकड़ों वाला एक बड़ा डिब्बा है, लेकिन जब आप वास्तव में चित्र बनाना शुरू करते हैं, तो आपको केवल मुट्ठी भर टुकड़ों की ही आवश्यकता होती है। बाकी सब बस कचरा है, जो जगह घेर रहा है और सही टुकड़ों को खोजने में कठिनाई पैदा कर रहा है। यह बिल्कुल वही स्थिति है जिसका सामना आधुनिक "डीप न्यूरल नेटवर्क्स" (DNNs) कर रहे हैं, जो इमेज रिकग्निशन और वॉयस असिस्टेंट जैसी चीजों के पीछे के सुपर-स्मार्ट कंप्यूटर दिमाग हैं। ये डिजिटल मस्तिष्क लाखों सूक्ष्म कनेक्शनों से बने होते हैं, लेकिन शोधकर्ताओं ने देखा है कि किसी भी एक कार्य के लिए, इनमें से अधिकांश कनेक्शन बस वहां बिना कुछ किए बैठे रहते हैं। वे अत्यधिक काम कर रहे हैं और जरूरत से ज्यादा सुसज्जित हैं।
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम मांसपेशियों को काटे बिना चर्बी को कैसे कम कर सकते हैं? हम इन विशाल नेटवर्क को छोटा करना चाहते हैं ताकि वे तेजी से चल सकें और कम मेमोरी का उपयोग करें, बिना यह भुलाए कि पहेली को कैसे हल करना है। यह शोध पत्र इस बात पर ध्यान केंद्रित करके इस समस्या को हल करता है कि ये कंप्यूटर मस्तिष्क काम करते समय वास्तव में कैसे "सोचते" हैं। केवल यह अनुमान लगाने के बजाय कि कौन से कनेक्शन बेकार हैं, लेखक उनके मस्तिष्क की गतिविधि को सुनने, शांत हिस्सों को खोजने और उन्हें धीरे से बंद करने का एक नया तरीका प्रस्तावित करते हैं। यह एक स्मार्ट सफाईकर्मी की तरह है जो केवल पूरे कमरे में झाड़ू नहीं लगाता, बल्कि सावधानी से जांचता है कि कौन सी लाइटें बंद हैं और उन्हें हमेशा के लिए बंद कर देता है, जिससे भारी काम करने वाले चमकदार, सक्रिय हिस्सों को अपना काम करने के लिए छोड़ दिया जाता है।
द "न्यूरल नेटवर्क रिलीफ" स्ट्रैटेजी
मिलिए NNrelief से, एक नए प्रूनिंग एल्गोरिदम (एक फैंसी शब्द जिसका अर्थ है "छंटाई") से, जो एक ऑर्केस्ट्रा के बहुत ही चौकस कंडक्टर की तरह कार्य करता है। एक विशिष्ट डीप न्यूरल नेटवर्क में, प्रत्येक संगीतकार (या न्यूरॉन) खेल रहा होता है, भले ही वे केवल धीरे से गुनगुना रहे हों। NNrelief का लक्ष्य उन संगीतकारों को खोजना है जो वास्तवं में गाने में योगदान नहीं दे रहे हैं और उनसे ब्रेक लेने के लिए कहना है, और यह सब करते हुए संगीत को एकदम सटीक बनाए रखना है।
पुराना तरीका बनाम नया तरीका
लंबे समय से, इन नेटवर्क्स को ट्रिम करने का मानक तरीका मैग्निट्यूड (परिमाण) पर आधारित था। कल्पना कीजिए कि आपके पास दो बिंदुओं को जोड़ने वाली कई रस्सियाँ हैं। पुराने तरीके ने कहा, "पतली रस्सियों को काट दो!" विचार यह था कि एक पतली रस्सी (एक छोटा नंबर, या "वेट") बहुत अधिक भार नहीं उठा सकती, इसलिए वह बेकार होनी चाहिए।
लेकिन इस पेपर के लेखक तर्क देते हैं कि यह किसी टीम में व्यक्ति के योगदान को केवल इस आधार पर आंकने जैसा है कि वह कितना जोर से चिल्लाता है। एक व्यक्ति के पास मेगाफोन (एक बड़ा वेट) हो सकता है लेकिन वह फुसफुसा रहा हो (एक कमजोर सिग्नल), जिसका अर्थ है कि वह वास्तव में बहुत मदद नहीं कर रहा है। इसके विपरीत, एक सामान्य आवाज वाला व्यक्ति भी सही समय पर सही शब्द चिल्ला सकता है।
NNrelief खेल बदल देता है। केवल रस्सी के आकार (वेट) को देखने के बजाय, यह देखता है कि वास्तव में उस माध्यम से कितना सिग्नल गुजर रहा है। यह पूछता है: "यह कनेक्शन वास्तव में अभी कितनी जानकारी ले जा रहा है?" यदि कोई कनेक्शन एक कमजोर सिग्नल ले जा रहा है, भले ही रस्सी मोटी हो, तो उसे बाहर कर दिया जाता है। यदि कोई कनेक्शन एक मजबूत सिग्गल ले जा रहा है, भले ही रस्सी पतली हो, तो वह बना रहता है।
यह कैसे काम करता है: "इंपॉर्टेंस स्कोर"
टीम ने एक सरल गणितीय ट्रिक बनाई जिसे इंपॉर्टेंस स्कोर कहा जाता है। इसे नेटवर्क के हर एक कनेक्शन के लिए एक "कंट्रीब्यूशन मीटर" के रूप में समझें।
- वे नेटवर्क को एक समस्या हल करते हुए देखते हैं (जैसे बिल्ली की तस्वीर पहचानना)।
- वे गणना करते हैं कि प्रत्येक कनेक्शन के माध्यम से कितनी "ऊर्जा" या "सिग्नल" प्रवाहित हो रहा है।
- वे कनेक्शनों को सबसे महत्वपूर्ण से सबसे कम महत्वपूर्ण के क्रम में रैंक करते हैं।
- वे एक लक्ष्य निर्धारित करते हैं: "शीर्ष 95% सिग्नल को बनाए रखें।"
- वे उस रेखा से नीचे गिरने वाली हर चीज़ को काट देते हैं।
खास बात क्या है? वे केवल कनेक्शनों की एक निश्चित संख्या नहीं काटते (जैसे "50% काटें")। वे गतिविधि के आधार पर काटते हैं। इसका मतलब है कि नेटवर्क खुद तय करता है कि सिग्नल को मजबूत बनाए रखने के लिए उसे कितने कनेक्शनों की आवश्यकता है।
"रिलीफ" प्रभाव
जब उन्होंने यह किया, तो कुछ बहुत ही दिलचस्प हुआ। नेटवर्क न केवल छोटा हुआ; यह अधिक संतुलित भी हो गया। प्रूनिंग से पहले, कुछ कनेक्शन महत्व के साथ चिल्ला रहे थे जबकि अन्य शांत थे। प्रूनिंग के बाद, शेष कनेक्शनों में से सभी लगभग एक ही स्तर का महत्व रखने लगे। लेखक इसे "न्यूरल नेटवर्क रिलीफ" कहते हैं। यह एक ऐसी टीम की तरह है जहाँ हर कोई अपना भार उठा रहा है, न कि कुछ सुपरस्टार्स और बहुत सारा बेकार वजन। नेटवर्क एक लीन, कुशल मशीन बन जाता है जहाँ प्रत्येक शेष कनेक्शन कुछ उपयोगी कर रहा होता है।
परिणाम: बड़ी जीत, छोटे नुकसान
टीम ने मानक इमेज डेटासेट्स जैसे कि MNIST (हस्तलिखित अंक), CIFAR-10/100 (छोटे रंगीन चित्र), और Tiny-ImageNet का उपयोग करके कई प्रसिद्ध नेटवर्क आर्किटेक्चर (LeNet, VGG, और ResNet) पर इसका परीक्षण किया।
यहाँ उन्हें क्या मिला:
- VGG नेटवर्क्स के लिए: वे CIFAR-10 डेटासेट पर नेटवर्क को 50 गुना से अधिक छोटा करने में सफल रहे (मूल पैरामीटर्स का 2% से भी कम रखा), जिसमें सटीकता में लगभग कोई गिरावट नहीं आई। Tiny-ImageNet डेटासेट पर, उन्होंने केवल 0.03% की मामूली सटीकता गिरावट के साथ 40 गुना से अधिक का संपीड़न (केवल 2.32% पैरामीटर्स रखे) हासिल किया।
- ResNet नेटवर्क्स के लिए: उन्होंने प्रून किए गए पैरामीटर्स का एक उच्च प्रतिशत प्राप्त किया, विशेष रूप से CIFAR-10 के लिए ResNet-56 के लिए 76.2% पैरामीटर्स बरकरार रखे (यानी लगभग 23.8% को हटा दिया गया), जबकि सटीकता को मूल के बहुत करीब रखा।
- ऑप्टिमाइज़र सरप्राइज: उन्होंने दो अलग-अलग "ट्रेनिंग कोचों" (ऑप्टिमाइज़र्स) का परीक्षण किया जिन्हें Adam और SGD कहा जाता है। VGG नेटवर्क्स पर, Adam बहुत अधिक आक्रामक था, जिसने SGD की तुलना में अधिक कनेक्शनों को काट दिया। हालांकि, ResNet नेटवर्क्स पर, दोनों कोच समान रूप से प्रदर्शन करते हैं, जो बताता है कि प्रकार के नेटवर्क का महत्व प्रशिक्षण पद्धति जितना ही है।
उन्होंने क्या नहीं किया
यह ध्यान रखना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है। लेखक स्पष्ट रूप से कहते हैं कि उनका लक्ष्य वर्तमान कंप्यूटर हार्डवेयर द्वारा आवश्यक गणितीय गणनाओं (FLOPs) की संख्या को कम करना नहीं था, भले ही उन्होंने वहां कुछ कमी देखी। उनका मुख्य ध्यान कनेक्शनों की संख्या और "सिग्नल" पर था जो वे ले जाते हैं। उन्होंने यह भी दावा नहीं किया कि उन्होंने "निरंतर सीखने" (पुराने कार्यों को भूले बिना नए कार्य सीखना) की समस्या को हल कर दिया है, हालांकि वे सुझाव देते हैं कि उनका तरीका उस भविष्य के लक्ष्य की ओर एक महत्वपूर्ण कदम है।
निष्कर्ष
यह पेपर सुझाव देता है कि हमें यह अनुमान लगाने की आवश्यकता नहीं है कि न्यूरल नेटवर्क के कौन से हिस्से बेकार हैं। न्यूरॉन्स की वास्तविक गतिविधि को सुनकर, हम सर्जिकल सटीकता के साथ चर्बी को कम कर सकते हैं। परिणाम एक छोटा, सरल नेटवर्क है जो आश्चर्यजनक रूप से मजबूत है। यह कुछ ऐसा है जैसे यह पता लगाना कि आप एक बहुत छोटे इंजन के साथ भी उतनी ही तेजी से कार चला सकते हैं, जब तक कि आप उसे सही लय के साथ ट्यून करें। "न्यूरल नेटवर्क रिलीफ" दृष्टिकोण दिखाता है कि कभी-कभी, कम ही वास्तव में अधिक होता है, बशर्ते आप जानते हों कि किसे छोड़ना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।