Efficient LLMs with AMP: Attention Heads and MLP Pruning
यह शोध पत्र AMP को प्रस्तुत करता है, जो एक नवीन स्ट्रक्चर्ड प्रूनिंग विधि है जो कम महत्वपूर्ण अटेंशन हेड्स (Attention Heads) और एमएलपी (MLP) संरचनाओं को हटाकर लार्ज लैंग्वेज मॉडल्स को कुशलतापूर्वक संकुचित करती है, जिससे विभिन्न मॉडल परिवारों में न्यूनतम प्रदर्शन हानि और बेहतर इन्फरेंस गति के साथ 30% तक पैरामीटर की कमी प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर कविता लिख सकते हैं, पहेलियाँ सुलझा सकते हैं और मनुष्यों की तरह बातचीत कर सकते हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) का क्षेत्र है, जो आज के सबसे उन्नत आर्टिफिशियल इंटेलिजेंस के पीछे के डिजिटल मस्तिष्क हैं। इन मॉडल्स को उन विशाल पुस्तकालयों के रूप में सोचें जिनमें अब तक लिखी गई हर किताब मौजूद है, लेकिन केवल उन्हें पढ़ने के बजाय, वे तुरंत नई कहानियाँ समझ और बना सकते हैं। हालाँकि, एक पेच है: ये पुस्तकालय इतने विशाल हैं कि उन्हें चलाने के लिए विशाल, अत्यधिक बिजली खपत करने वाले सर्वरों की आवश्यकता होती है, जिससे इनका उपयोग करना धीमा और महंगा हो जाता है। इसे ठीक करने के लिए, वैज्ञानिक उनकी बुद्धिमत्ता खोए बिना इन मॉडल्स को छोटा करने की कोशिश कर रहे हैं। इसे करने का एक लोकप्रिय तरीका है "प्रूनिंग" (pruning)। एक माली द्वारा झाड़ी की छंटाई करने की कल्पना करें; बिना सोचे-समझे पत्तियाँ काटने के बजाय, वे सावधानी से उन शाखाओं को काट देते हैं जो बहुत अधिक काम नहीं कर रही हैं, जिससे एक छोटा, तेज़ पौधा बचता है जो अभी भी खूबसूरती से खिलता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम सही शाखाओं को कैसे खोजें जिन्हें काटने से पौधा स्वस्थ भी रहे और बहुत तेज़ी से बढ़े भी?
यही वह काम है जिसे इस शोध पत्र के लेखकों ने एक नई विधि के साथ किया जिसे वे AMP कहते हैं, जिसका अर्थ है अटेंशन हेड्स एंड एमएलपी प्रूनिंग (Attention Heads and MLP Pruning)। उन्होंने महसूस किया कि जबकि अन्य विधियों ने इन डिजिटल झाड़ियों को काटने की कोशिश की, वे अक्सर बहुत अधिक काट देती थीं या ऐसे जटिल उपकरणों का उपयोग करती थीं जिनके लिए विशेष, महंगे हार्डवेयर की आवश्यकता होती थी। AMP एक स्मार्ट, हल्के वजन वाली कैंची की तरह है जो तेज़ी से पहचान सकती है कि मॉडल के कौन से हिस्से वास्तव में भारी काम कर रहे हैं और कौन से हिस्से बस साथ चल रहे हैं।
यह पेपर यह पता लगाने के लिए एक चतुर तकनीक पेश करता है कि क्या काटना है। केवल स्टेटिक वेट्स (मॉडल की आंतरिक "मांसपेशियों की स्मृति") को देखने के बजाय, AMP वास्तविक इनपुट डेटा (जैसे कि एक वाक्य) को उन वेट्स पर प्रोजेक्ट करता है ताकि यह देखा जा सके कि मॉडल वास्तव में उनका कितना उपयोग करता है। यह एक टूलबॉक्स में मौजूद औजारों को यह देखने जैसा है कि घर बनाने के लिए वास्तव में किन औजारों का उपयोग किया जा रहा है, बजाय इसके कि केवल उनके वजन के आधार पर अनुमान लगाया जाए। यदि कोई विशिष्ट "अटेंशन हेड" (मॉडल का एक हिस्सा जो विभिन्न शब्दों पर ध्यान केंद्रित करता है) या मध्य परत में कोई "न्यूरॉन" अंतिम उत्तर में बहुत अधिक योगदान नहीं दे रहा है, तो AMP उसे हटाने के लिए चिह्नित कर देता है।
परिणाम काफी उत्साहजनक हैं। लेखकों ने LLaMA और Phi सहित कई लोकप्रिय मॉडल्स पर AMP का परीक्षण किया। उन्होंने पाया कि मॉडल के कम महत्वपूर्ण हिस्सों को लगभग 30% हटाने से, मॉडल काफी तेज़ हो गया—कुछ मामलों में 1.25 गुना तेज़—और इसके लिए किसी विशेष कंप्यूटर चिप की आवश्यकता नहीं पड़ी। सटीकता के मामले में, AMP ने स्ट्रक्चर्ड प्रूनिंग (structured pruning) के मौजूदा सर्वोत्तम तरीकों से बेहतर प्रदर्शन किया। उदाहरण के लिए, LLaMA 7B मॉडल पर, इसने औसत कार्य सटीकता में मौजूदा स्ट्रक्चर्ड प्रूनिंग तकनीकों को 4.81 प्रतिशत अंक तक पीछे छोड़ दिया। और भी अधिक प्रभावशाली बात यह है कि LLaMA-2 7B मॉडल पर, इसने इन्हीं स्ट्रक्चर्ड बेसलाइन्स से 9.52 प्रतिशत अंक तक बेहतर प्रदर्शन किया।
शोधकर्ता इस बात को साबित करने के लिए भी सावधान थे कि उनकी विधि वास्तव में काम करती है। उन्होंने एक "कोहेरेंस चेक" (coherence check) चलाया, जो एक विपरीत प्रयोग की तरह है: उन्होंने जानबूझकर मॉडल के सबसे महत्वपूर्ण हिस्सों को काटा, न कि कम महत्वपूर्ण हिस्सों को। जैसा कि अपेक्षित था, मॉडल क्रैश हो गया और बहुत खराब प्रदर्शन करने लगा। इससे पुष्टि हुई कि AMP वास्तव में आवश्यक और गैर-आवश्यक हिस्सों के बीच अंतर पहचानने में सक्षम है। उन्होंने यह भी पाया कि केवल एक प्रकार के हिस्से को काटना (जैसे केवल अटेंशन हेड्स) पर्याप्त नहीं था; सर्वोत्तम परिणाम प्राप्त करने के लिए आपको अटेंशन हेड्स और मध्य-परत न्यूरॉन्स दोनों को एक साथ छाँटना होगा।
सबसे रोमांचक निष्कर्षों में से एक है कि यह पूरी प्रक्रिया कितनी कुशल है। पूरी प्रूनिंग और फाइन-ट्यूनिंग प्रक्रिया में एक मानक, उपभोक्ता-ग्रेड ग्राफिक्स कार्ड (एक NVIDIA RTX 3090) पर केवल लगभग चार घंटे लगे, जिसमें वास्तविक प्रूनिंग चरण में केवल कुछ मिनट लगे। यह विधि को बहुत सुलभ बनाता है और "ग्रीन एआई" (Green AI) सिद्धांतों के अनुरूप है, क्योंकि यह इन मॉडल्स को चलाने के लिए आवश्यक ऊर्जा को लगभग 20% कम करता है, जिससे पैसा और कार्बन उत्सर्जन दोनों की बचत होती है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि AMP बड़े AI मॉडल्स को छोटा और तेज़ बनाने का एक अत्यधिक प्रभावी, लचीला और तेज़ तरीका है। इसके लिए महंगे हार्डवेयर या जटिल पुन: प्रशिक्षण की आवश्यकता नहीं है, और यह मॉडल को स्मार्ट बनाए रखते हुए तेज़ बनाने में मौजूदा स्ट्रक्चर्ड प्रूनिंग विधियों से लगातार बेहतर प्रदर्शन करता है। हालांकि लेखक नोट करते हैं कि छोटे मॉडल्स (जैसे Phi-1.5) प्रूनिंग के प्रति थोड़े अधिक संवेदनशील थे, लेकिन समग्र संदेश स्पष्ट है: सही प्रूनिंग रणनीति के साथ, हम शक्तिशाली AI को रोजमर्रा के उपयोग के लिए अधिक व्यावहारिक बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।