Investigating the Effect of Network Pruning on Performance and Interpretability
यह अध्ययन इस बात की जांच करता है कि विभिन्न प्रूनिंग तकनीकें और रिट्रेनिंग रणनीतियां ImageNet पर GoogLeNet के वर्गीकरण प्रदर्शन और व्याख्यात्मकता (interpretability) को कैसे प्रभावित करती हैं, जिसमें यह पाया गया कि पर्याप्त रिट्रेनिंग बेसलाइन सटीकता को बहाल या उससे अधिक कर सकती है, जबकि यह भी सामने आया कि मैकेनिस्टिक इंटरप्रिटेबिलिटी स्कोर (MIS) का प्रूनिंग दरों के साथ कोई सहसंबंध नहीं है और यह व्याख्यात्मकता की सहज धारणाओं के अनुरूप भी नहीं हो सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि GoogLeNet जैसा एक गहरा न्यूरल नेटवर्क (deep neural network) एक विशाल, अत्यधिक स्टॉक वाली लाइब्रेरी है। इसमें अलमारियों पर लाखों किताबें (weights) हैं, जिनमें से कई डुप्लिकेट, पुरानी या शायद ही कभी इस्तेमाल होने वाली हैं। इस शोध के लेखक यह देखना चाहते थे कि क्या होगा यदि वे इन किताबों को फेंकना शुरू कर दें—एक प्रक्रिया जिसे प्रूनिंग (pruning) कहा जाता है—ताकि लाइब्रेरी को छोटा और तेज़ बनाया जा सके, बिना सही उत्तर खोजने की क्षमता खोए।
यहाँ उनके प्रयोग का एक सरल विवरण दिया गया है, जिसमें रोज़मर्रा के उदाहरणों का उपयोग किया गया है:
1. लाइब्रेरी को साफ़ करने के तीन तरीके
शोधकर्ताओं ने नेटवर्क से "किताबें" (weights) हटाने के लिए तीन अलग-अलग तरीकों का परीक्षण किया:
- अनस्ट्रक्चर्ड प्रूनिंग (Unstructured Pruning - "बिखराव" का तरीका): कल्पना कीजिए कि आप बिना किसी नियम के, कहीं से भी रैंडम तरीके से अलमारियों से किताबें निकाल रहे हैं। अंत में आपके पास एक ऐसी लाइब्रेरी बचेगी जो ज्यादातर खाली है, लेकिन बची हुई किताबें हर जगह बिखरी हुई और अव्यवस्थित हैं। यह ढूंढना मुश्किल हो जाता है क्योंकि संगठन टूट गया है।
- स्ट्रक्चर्ड प्रूनिंग (Structured Pruning - "शेल्फ" का तरीका): रैंडम किताबें चुनने के बजाय, आप एक साथ पूरी अलमारियाँ या पूरे सेक्शन हटा देते हैं। लाइब्रेरी छोटी हो जाती है, लेकिन बची हुई किताबें अभी भी अपनी विशिष्ट अलमारियों पर व्यवस्थित रूप से रखी होती हैं। एक लाइब्रेरियन (कंप्यूटर हार्डवेयर) के लिए इसे नेविगेट करना आसान होता है।
- कनेक्शन स्पैरसिटी (Connection Sparsity - "प्रवेश द्वार" का तरीका): यह शोधकर्ताओं का विशेष ट्विस्ट था। अंदर की अलमारियों को देखने के बजाय, उन्होंने लाइब्रेरी में प्रवेश करने वाले दरवाजों पर ध्यान केंद्रित किया। उन्होंने कई प्रवेश मार्गों (input channels) को बंद कर दिया। लाइब्रेरी के अंदर का हिस्सा पूरी तरह से व्यवस्थित रहता है, लेकिन एक बार में कम लोग अंदर आ सकते हैं। आश्चर्यजनक रूप से, यह तरीका सबसे अच्छा काम कर गया।
2. "वन-शॉट" बनाम "इटरेटिव" सफाई
उन्होंने यह कैसे तय किया कि कौन सी किताबें फेंक दी जाएं?
- वन-शॉट (One-Shot): उन्होंने लाइब्रेरी को देखा, किताबों का एक बड़ा ढेर उठाया, एक ही बार में उन्हें बाहर फेंका, और फिर बाकी को व्यवस्थित करने की कोशिश की। यह तेज़ था, लेकिन लाइब्रेरी को अपनी पकड़ बनाने में संघर्ष करना पड़ा।
- इटरेटिव (Iterative): उन्होंने किताबों की एक छोटी मुट्ठी बाहर निकाली, लाइब्रेरी को पुनर्गठित किया, फिर किताबों की एक और छोटी मुट्ठी निकाली, और फिर से पुनर्गठित किया। इसमें बहुत अधिक समय लगा (जैसे 50 राउंड का पुनर्गठन), लेकिन लाइब्रेरी अंततः बहुत अधिक कुशल और सटीक बन गई।
बड़ा आश्चर्य:
आमतौर पर, जब आप एक लाइब्रेरी की 80% किताबें फेंक देते हैं, तो आप उम्मीद करते हैं कि इसका प्रदर्शन बहुत खराब होगा। हालाँकि, शोधकर्ताओं ने पाया कि यदि वे कनेक्शन स्पैरसिटी विधि का उपयोग करते हैं और लाइब्रेरी को पुनर्गठित (retrain) होने के लिए पर्याप्त समय देते हैं, तो वह न केवल संभल जाती है—बल्कि कुछ मामलों में, वह मूल, पूरी लाइब्रेरी से बेहतर प्रदर्शन भी करती है। ऐसा लग रहा था जैसे लाइब्रेरी इतनी सुव्यवस्थित हो गई कि लाइब्रेरियन अब पहले से अधिक तेज़ी से उत्तर खोज सकते हैं।
3. "स्पष्टता" परीक्षण (Interpretability)
अध्ययन के दूसरे भाग में एक कठिन प्रश्न पूछा गया: क्या लाइब्रेरी को छोटा बनाने से यह समझना आसान हो जाता है कि लाइब्रेरियन निर्णय कैसे लेते हैं?
इसे मापने के लिए, उन्होंने एक उपकरण का उपयोग किया जिसे मैकेनिस्टिक इंटरप्रिटेबिलिटी स्कोर (Mechanistic Interpretability Score - MIS) कहा जाता है। इस स्कोर को एक परीक्षण के रूप में समझें कि क्या आप यह समझा सकते हैं कि एक लाइब्रेरियन ने एक विशिष्ट किताब क्यों चुनी।
- परिणाम: स्कोर ने यह दिखाया कि लाइब्रेरी को कितना भी प्रून (छोटा) करने और उसके "समझने योग्य" होने के बीच कोई स्पष्ट संबंध नहीं था।
- अजीब गड़बड़ी: उन्होंने पाया कि यहाँ तक कि एक पूरी तरह से टूटी हुई और रैंडम अनुमान लगाने वाली लाइब्रेरी (लगभग शून्य सटीकता के साथ) भी इस टेस्ट में एक उच्च स्कोर प्राप्त कर सकती थी।
- उदाहरण: कल्पना कीजिए कि एक लाइब्रेरियन जो रैंडम अनुमान लगा रहा है, लेकिन संयोग से उसके पास अनुमान लगाने का एक बहुत ही स्पष्ट और तार्किक सिस्टम है (जैसे, "मैं हमेशा लाल किताब चुनता हूँ")। "MIS" टेस्ट उस स्पष्ट सिस्टम को देखता है और कहता, "बहुत बढ़िया, यह समझने में आसान है!" भले ही लाइब्रेरियन आपको गलत उत्तर दे रहा हो।
निचोड़ (The Bottom Line)
शोध पत्र मुख्य रूप से दो बातें निष्कर्ष निकालता है:
- प्रूनिंग काम करती है: आप एक जटिल AI मॉडल को काफी हद तक छोटा कर सकते हैं (उसके 80% हिस्सों को हटाकर) और, यदि आप इसे सावधानी से करते हैं (कनेक्शन स्पैरसिटी विधि का उपयोग करके और रिट्रेनिंग के साथ), तो यह मूल से भी बेहतर चल सकता है।
- "स्पष्टता" परीक्षण दोषपूर्ण है: जिस उपकरण का उपयोग उन्होंने "इंटरप्रिटेबिलिटी" (समझने की क्षमता) को मापने के लिए किया था (MIS), वह पेचीदा है। यह आपको बता सकता है कि एक टूटी हुई, रैंडम प्रणाली भी "समझने में आसान" है, सिर्फ इसलिए क्योंकि वह प्रणाली एक पैटर्न का पालन करती है, भले ही वह पैटर्न गलत निर्णयों की ओर ले जाता हो।
संक्षेप में, आप बुद्धिमत्ता खोए बिना AI को छोटा और तेज़ बना सकते हैं, लेकिन वर्तमान "समझने की क्षमता" वाले स्कोर पर भरोसा न करें कि वह आपको बताएगा कि AI वास्तव में समझदारी से काम कर रहा है या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।