From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models
यह शोध पत्र GISP को प्रस्तुत करता है, जो एक वैश्विक पुनरावृत्ति संरचित प्रूनिंग (iterative structured pruning) विधि है जो अटेंशन हेड्स और MLP चैनलों को कुशलतापूर्वक हटाने के लिए प्रथम-क्रम हानि-आधारित महत्व स्कोर (first-order loss-based importance scores) को एकत्रित करती है, जिससे यह उच्च विरलता स्तरों (high sparsity levels) पर सटीकता को स्थिर करने और मध्यवर्ती फाइन-ट्यूनिंग के बिना कार्य-विशिष्ट अनुकूलन को सक्षम करने में पारंपरिक स्थानीय प्रतिमानों (local paradigms) से बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक लार्ज लैंग्वेज मॉडल) जो अरबों किताबों से भरा हुआ है। यह लगभग सब कुछ जानता है, लेकिन यह इतना बड़ा है कि किसी विशिष्ट तथ्य को खोजने में बहुत समय लगता है, और इसे स्टोर करने के लिए एक विशाल, महंगी इमारत की आवश्यकता होती है। आप इस पुस्तकालय को अपने बैग में फिट होने के लिए छोटा करना चाहते हैं, बिना इसकी सही उत्तर देने की क्षमता खोए।
यह वही समस्या है जिसे यह शोध पत्र (paper) हल करता है। लेखक एक नई विधि पेश करते हैं जिसे GISP (ग्लोबल इटरेटिव स्ट्रक्चर्ड प्रूनिंग) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:
समस्या: "लोकल" दृष्टिकोण बनाम "ग्लोबल" दृश्य
पुराना तरीका (लोकल प्रूनिंग):
कल्पना कीजिए कि आप एक-एक करके कमरों को देखकर पुस्तकालय को छोटा करने की कोशिश कर रहे हैं। आप निर्णय लेते हैं, "इस कमरे में बहुत अधिक किताबें हैं; चलिए इनमें से 20% निकाल देते हैं।" आप हर कमरे के लिए स्वतंत्र रूप से ऐसा ही करते हैं।
- दोष: आप "इतिहास" के कमरे से एक ऐसी किताब निकाल सकते हैं जो स्थानीय रूप से बेकार लगती है, लेकिन वह बाद में एक जटिल कहानी को समझने के लिए महत्वपूर्ण साबित हो सकती है। क्योंकि आप केवल एक समय में एक कमरे को देख रहे हैं, आप बड़ी तस्वीर को नहीं देख पाते। अंत में, आपका पुस्तकालय अभी भी "भारी" महसूस होता है और विशिष्ट कार्यों, जैसे कि गणित की समस्या को हल करने या किसी कठिन पहेली का उत्तर देने में संघर्ष कर सकता है, भले ही वह सामान्य परीक्षणों में अच्छा दिखता हो।
नया तरीका (GISP - ग्लोबल इटरेटिव प्रूनिंग):
एक-एक करके कमरे देखने के बजाय, लेखक सुझाव देते हैं कि पूरे पुस्तकालय को एक साथ देखें और पूछें: "यदि मैं इस विशिष्ट पुस्तक को हटा दूँ, तो इस विशिष्ट प्रश्न का उत्तर देने की पुस्तकालय की क्षमता को कितना नुकसान होगा?"
GISP कैसे काम करता है: तीन जादुई चरण
1. "वन-शॉट" गलती (सब कुछ एक साथ करने की कोशिश)
यदि आप एक ही बड़े झटके में 50% किताबें निकालने की कोशिश करते हैं, तो आप गलती से सबसे महत्वपूर्ण किताबों को भी निकाल सकते हैं। यह एक ही दिन में 50 पाउंड वजन कम करने की कोशिश करने जैसा है; आप बुरी तरह असफल हो जाएंगे। शोध पत्र दिखाता है कि ऐसा "एक साथ" करने से पुस्तकालय ढह जाता है और अर्थहीन हो जाता है।
2. "इटरेटिव" समाधान (धीमी छंटाई)
GISP इसे छोटे चरणों में लेकर इस समस्या को ठीक करता है। कल्पना कीजिए कि आप एक मूर्ति को तराश रहे हैं। पत्थर के एक बड़े टुकड़े को काटने के बजाय, आप थोड़ा सा हिस्सा काटते हैं, आकार की जांच करते हैं, थोड़ा और काटते हैं, और फिर से जांच करते हैं।
- प्रक्रिया: GISP मॉडल के एक छोटे से हिस्से को हटाता है, जांचता है कि क्या यह अभी भी काम कर रहा है, फिर थोड़ा और हटाता है। यह प्रक्रिया कई बार दोहराई जाती है।
- लाभ: यह मॉडल को सिकुड़ने के दौरान "समायोजित" होने की अनुमति देता है। यह पुस्तकालय को ढहने से रोकता है, भले ही आप बहुत छोटे आकार (हाई स्पैरसिटी) तक पहुँच जाएँ।
3. "नेस्टेड" पुस्तकालय (एक बार प्रून करें, कई बार तैनात करें)
यह एक चतुर ट्रिक है। क्योंकि GISP धीरे-धीरे और सावधानी से किताबें हटाता है, इसलिए प्रक्रिया का हर चरण एक कामकाजी पुस्तकालय बनाता है।
- उपमा: कल्पना कीजिए कि आपके पास रूसी नेस्टिंग डॉल्स (एक के अंदर एक रखी जाने वाली गुड़िया) का एक सेट है। आपको एक छोटा, एक मध्यम और एक बड़ा डॉल अलग-अलग बनाने की ज़रूरत नहीं है। आप बस बड़े वाले को बनाते हैं, और जैसे-जैसे आप परतों को हटाते जाते हैं, स्वाभाविक रूप से अंदर पूर्ण, छोटे संस्करण प्रकट होते हैं।
- परिणाम: आपको "प्रूनिंग" का कठिन काम केवल एक बार करना पड़ता है। उस एक ही प्रक्रिया से, आपको मॉडलों का एक पूरा परिवार मिलता है: एक जो 20% छोटा है, एक जो 40% छोटा है, और एक जो 50% छोटा है। आप बिना अतिरिक्त काम किए अपनी जरूरत के अनुसार चुन सकते हैं कि आपके बैग में क्या फिट होगा।
गुप्त मंत्र: विशिष्ट कार्य के लिए प्रशिक्षण
शोध पत्र इस बात पर प्रकाश डालता है कि अधिकांश पुराने तरीके "टास्क-अग्नोस्टिक" (कार्य-निरपेक्ष) होते हैं। वे पुस्तकालय को सामान्य रूप से सब कुछ के लिए अच्छा रखने की कोशिश करते हैं। लेकिन क्या होगा यदि आपको केवल पुस्तकालय की मेडिकल परीक्षाओं या गणित के लिए बहुत अच्छा होने की आवश्यकता है?
- पुराना तरीका: प्रूनिंग विधि "महत्वपूर्ण किताबों" की एक सामान्य सूची देखती है और इस बात को नजरअंदाज करती है कि वे किताबें गणित में मदद करती हैं या नहीं।
- GISP का तरीका: GISP को बताया जा सकता है, "हमें केवल गणित की समस्याओं की परवाह है।" फिर यह किताबों को देखता है और कहता है, "यह किताब गणित के लिए बेकार है, लेकिन यह महत्वपूर्ण है।" यह एक विशेष "स्कोर" का उपयोग करता है जो उस विशिष्ट कार्य पर आधारित है जिसकी आपको परवाह है।
- परिणाम: जब लेखकों ने गणित और तर्क संबंधी कार्यों पर इसका परीक्षण किया, तो पाया कि GISP ने पुराने तरीकों की तुलना में मॉडल को बहुत अधिक स्मार्ट बनाए रखा, खासकर जब मॉडल को काफी छोटा कर दिया गया था।
सरल भाषा में परिणाम
लेखकों ने कई प्रसिद्ध AI मॉडलों (जैसे Llama और Mistral) पर इसका परीक्षण किया। उन्होंने पाया कि:
- यह बेहतर काम करता है: उच्च स्तर की सिकुड़न (40-50% मॉडल हटाना) पर, GISP ने पिछले सर्वोत्तम तरीकों की तुलना में AI को बहुत अधिक स्मार्ट बनाए रखा।
- यह लचीला है: आप एक ही सिंगल प्रूनिंग रन से मॉडलों की एक पूरी रेंज प्राप्त कर सकते हैं।
- यह मजबूत है: भले ही आपके पास प्रूनिंग प्रक्रिया को "सिखाने" के लिए बहुत अधिक डेटा न हो, फिर भी यह अच्छी तरह काम करता है।
सारांश
सोचिए कि GISP एक मास्टर माली की तरह है। पेड़ों की शाखाओं को बेतरतीब ढंग से काटने के बजाय (पुराना तरीका), वे पेड़ को इंच-दर-इंच सावधानी से तराशते हैं (इटरेटिव), और हमेशा देखते रहते हैं कि क्या पेड़ अभी भी फल देने में सक्षम है (परफॉरमेंस)। वे प्रूनिंग को उस विशिष्ट फल के अनुकूल भी बनाते हैं जिसे आप चाहते हैं (टास्क-स्पेसिफिक), और क्योंकि वे इतने सावधान हैं, वे आपको एक ही मूल पौधे से एक छोटा बोन्साई, एक मध्यम पेड़ या एक बड़ा पेड़ दे सकते हैं, बिना कुछ भी दोबारा रोपे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।