When Pruning Meets Interpretability: Preserving Sparse Autoencoder Robustness in LLMs
यह शोध पत्र यह प्रदर्शित करता है कि वंडा (Wanda) और स्पार्सजीपीटी (SparseGPT) जैसे एक्टिवेशन-अवेयर प्रूनिंग तरीके, मैग्निट्यूड प्रूनिंग की तुलना में, विक्षोभ ऊर्जा (perturbation energy) को नियंत्रित करके एलएलएम (LLMs) में स्पार्स ऑटोएन्कोडर (Sparse Autoencoder) की मजबूती को बेहतर ढंग से संरक्षित करते हैं, जबकि साथ ही यह भी प्रकट करता है कि मध्य परतें प्रूनिंग के प्रति विशिष्ट रूप से संवेदनशील हैं और मॉडल दक्षता में सुधार के लिए एक लेयर-वाइज स्पैरसिटी एलोकेशन रणनीति का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स विशाल डिजिटल मस्तिष्क हैं, जिन्हें वाक्य में अगले शब्द की भविष्यवाणी करने के लिए मानवता के लगभग पूरे लिखित इतिहास पर प्रशिक्षित किया गया है। इन मॉडल्स के सोचने के तरीके को समझने के लिए, शोधकर्ताओं ने 'स्पार्स ऑटोएनकोडर' (sparse autoencoder) नामक एक उपकरण विकसित किया है। इस उपकरण को एक अनुवादक के रूप में समझें जो मॉडल के आंतरिक विद्युत संकेतों को सुनता है और उन्हें सरल, मानव-पठनीय अवधारणाओं की सूची में अनुवादित करता है, जैसे कि "शब्द 'राजा' पर चर्चा की जा रही है" या "एक गणितीय संक्रिया हो रही है।" यह अनुवाद महत्वपूर्ण है क्योंकि यह वैज्ञानिकों को यह देखने की अनुमति देता है कि मॉडल अपने ब्लैक बॉक्स के भीतर वास्तव में क्या कर रहा है, जिससे उन्हें छिपे हुए पूर्वाग्रहों या खतरनाक व्यवहारों को खोजने में मदद मिलती है। हालाँकि, जैसे-जैसे ये मॉडल्स बड़े और चलाने में अधिक महंगे होते जा रहे हैं, इंजीनियर इन्हें तेज़ और सस्ता बनाने के लिए अनावश्यक कनेक्शनों को हटाकर उन्हें छोटा करने की कोशिश कर रहे हैं, जिसे 'प्रूनिंग' (pruning) कहा जाता है। महत्वपूर्ण प्रश्न यह है कि क्या यह छोटा करने की प्रक्रिया अनुवादक को तोड़ देती है। यदि मॉडल को बदला जाता है, तो क्या अनुवादक अभी भी नए संकेतों का अर्थ समझ पाता है, या क्या वह निरर्थक बातें पैदा करने लगता है?
द ओहायो स्टेट यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने के लिए यह अध्ययन करने का निर्णय लिया कि जब अनुवादक पहले से ही बनाया जा चुका हो, तो एक बड़े लैंग्वेज मॉडल को छोटा करने के बाद क्या होता है। उन्होंने पाया कि मॉडल को छोटा करने के लिए उपयोग की जाने वाली विधि, मॉडल को कितना छोटा किया गया है, इससे कहीं अधिक मायने रखती है। कुछ सामान्य विधियाँ, जो नेटवर्क में सबसे छोटे कनेक्शनों को बस हटा देती हैं, एक कुंद उपकरण (blunt instrument) की तरह काम करती हैं जो आंतरिक संकेतों को अस्त-व्यस्त कर देती हैं। जब इन विधियों का उपयोग किया जाता है, तो अनुवादक अवधारणाओं को पहचानने की अपनी क्षमता खो देता है, भले ही मॉडल मानक परीक्षणों पर ठीक से काम करता हुआ दिखाई दे। शोधकर्ताओं ने पाया कि ऐसा इसलिए होता है क्योंकि ये कुंद विधियाँ मॉडल के माध्यम से बहने वाले डेटा के आकार (shape) की अनदेखी करती हैं, जिससे प्रभावी रूप से उन्हीं संकेतों को विकृत कर दिया जाता है जिन पर अनुवादक निर्भर करता है। इसके विपरीत, नई, अधिक परिष्कृत विधियाँ जो वास्तव में नेटवर्क के माध्यम से डेटा कैसे चलता है, उस पर नज़र रखती हैं, अनुवादक की सटीकता को बनाए रखती हैं और आंतरिक संकेतों को स्पष्ट एवं अवधारणाओं को पहचानने योग्य रखती हैं।
अध्ययन ने इन मॉडल्स में एक आश्चर्यजनक संरचनात्मक कमजोरी को उजागर किया। नेटवर्क की मध्य परतें (middle layers), जो इनपुट और आउटपुट के बीच स्थित होती हैं, शुरुआत या अंत की परतों की तुलना में काफी अधिक नाजुक होती हैं। जब शोधकर्ताओं ने मॉडल को प्रून किया, तो मध्य खंडों को सबसे अधिक नुकसान हुआ, जिससे अनुवादक विफल हो गया, भले ही मॉडल का समग्र प्रदर्शन स्वीकार्य लग रहा था। इस खोज ने मॉडल को छोटा करने के लिए एक नई रणनीति दी: पूरे नेटवर्क में समान रूप से कनेक्शन हटाने के बजाय, इंजीनियरों को मध्य परतों के साथ अधिक सावधान रहना चाहिए और बाद की परतों के साथ अधिक आक्रामक होने का सामर्थ्य रख सकते हैं। इस असमान कार्यक्रम का पालन करके, वे अनुवादक को पूरी तरह से कार्यशील रखते हुए मॉडल को छोटा करने में सक्षम रहे, जिससे दक्षता और समझ के बीच एक बेहतर संतुलन प्राप्त हुआ।
इन निष्कर्षों तक पहुँचने के लिए, शोधकर्ताओं ने केवल इस बात पर ध्यान नहीं दिया कि क्या मॉडल अभी भी प्रश्नों के सही उत्तर दे सकता है। उन्होंने विशेष रूप से यह जाँचने के लिए डिज़ाइन किए गए परीक्षणों के एक व्यापक सेट का उपयोग किया कि क्या अनुवादक अभी भी सच बोल रहा है। उन्होंने यह जाँच की कि क्या अनुवादक अभी भी मूल संकेतों का पुनर्निर्माण कर सकता है, क्या व्यक्तिगत अवधारणाएँ अभी भी सही ढंग से सक्रिय हो रही हैं, और क्या किसी विशिष्ट अवधारणा को हटाने से मॉडल का व्यवहार अपेक्षित तरीके से बदलता है या नहीं। उनके परिणामों ने दिखाया कि मॉडल्स को छोटा करने की पुरानी, सरल विधि ने अनुवादक को चुपचाप विफल कर दिया; मॉडल अभी भी अच्छा टेक्स्ट उत्पन्न कर सकता है, लेकिन अवधारणाओं का आंतरिक मानचित्र टूट गया था। नई, स्मार्ट विधियों ने मानचित्र को बरकरार रखा। यह कार्य उन लोगों के लिए एक स्पष्ट मार्गदर्शिका प्रदान करता है जो इन शक्तिशाली मॉडल्स को समझने की क्षमता खोए बिना उन्हें कंप्रेस करना चाहते हैं, यह सुनिश्चित करते हुए कि जैसे-जैसे हम इन प्रणालियों को छोटा और तेज़ बनाते हैं, हम उनके आंतरिक तर्क को अनलॉक करने की कुंजी न खो दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।