Prox: Training-Free FFN Activation Sparsity via Approximate Intermediate-Channel Salience in LLMs
प्रॉक्स (Prox) एक ट्रेनिंग-फ्री फ्रेमवर्क है जो अनुमानित इंटरमीडिएट-चैनल महत्व (approximate intermediate-channel salience) से चैनल मास्क बनाकर LLMs में कुशल स्पार्स SwiGLU FFN निष्पादन को सक्षम बनाता है, जिससे बिना पुनरप्रशिक्षण (retraining) के मौजूदा विधियों की तुलना में महत्वपूर्ण गति वृद्धि और बेहतर मॉडल गुणवत्ता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छोटे, बैटरी से चलने वाले उपकरण पर एक विशाल, अति-बुद्धिमान रोबोटिक मस्तिष्क चलाना चाह रहे हैं। यह मस्तिष्क, जिसे लार्ज लैंग्वेज मॉडल (LLM) के रूप में जाना जाता है, कहानियाँ लिखने, गणित की समस्याओं को हल करने और बातचीत करने में अविश्वसनीय है, लेकिन यह बहुत भूखा भी है। वाक्य में अगले शब्द के बारे में सोचने के लिए यह मेमोरी और प्रोसेसिंग पावर को बहुत अधिक निगल जाता है। इन रोबोटों को तेज़ और कम संसाधन लेने वाला बनाने के लिए, वैज्ञानिक उन्हें उनकी सोच प्रक्रिया के उन हिस्सों को "छोड़ने" (skip) के लिए सिखाने की कोशिश कर रहे हैं जो महत्वपूर्ण नहीं हैं। इसे एक्टिवेशन स्पर्सिटी (activation sparsity) कहा जाता है। इसे एक ऐसे शेफ की तरह समझें जो सूप बनाने के लिए रसोई की हर एक सब्जी काटने के बजाय, जल्दी से सामग्री को चखता है और केवल उन्हीं को काटता है जो वास्तव में स्वाद जोड़ेंगे, बाकी को बिना छुए छोड़ देता है। लक्ष्य वही स्वादिष्ट सूप (सही उत्तर) प्राप्त करना है, लेकिन बहुत कम काम के साथ। हालाँकि, पेचीदा हिस्सा यह है कि यह तय करना कि किन सब्जियों को छोड़ना है बिना गलती से उस गुप्त मसाले को फेंक दिए जो व्यंजन का स्वाद बनाता है। यदि आप गलत अनुमान लगाते हैं, तो सूप बेस्वाद हो जाएगा, या इससे भी बुरा, खाने योग्य नहीं रहेगा।
यह एक पहेली है जिसे प्रॉक्स (Prox) नामक एक नई विधि द्वारा हल किया गया है, जिसे शोधकर्ता जिनी ली (Jinyi Liu) और उनकी टीम ने विकसित किया है। उन्होंने एक विशिष्ट प्रकार के रोबोट मस्तिष्क आर्किटेक्चर पर ध्यान केंद्रित किया जिसे स्विक्गलू (SwiGLU) कहा जाता है, जो कई शक्तिशाली AI मॉडलों के लिए वर्तमान मानक है। शोधकर्ताओं ने पाया कि जबकि मस्तिष्क का "मध्य विचार" (एक मध्यवर्ती अवस्था) यह तय करने के लिए एक आदर्श मानचित्र रखता है कि क्या छोड़ना है, उस मानचित्र की सटीक गणना करना बहुत धीमा और महंगा है। इसलिए, वे एक चतुर दो-चरणीय चाल लेकर आए। पहले, वे मस्तिष्क के विचार का एक तेज़, निम्न-गुणवत्ता वाला "कच्चा मसौदा" (rough draft) उपयोग करते हैं ताकि यह जल्दी से तय किया जा सके कि कौन से हिस्से महत्वपूर्ण हैं। फिर, और यही मुख्य बात है, वे केवल उन विशिष्ट महत्वपूर्ण हिस्सों पर भारी, सटीक गणित करते हैं, बाकी को पूरी तरह से अनदेखा कर देते हैं। उनके प्रयोगों ने दिखाया कि यह विधि उन पिछले तरीकों से बहुत बेहतर है जो पूरी गणित करने के बजाय केवल महत्व का अनुमान लगाने की कोशिश करते थे। दस अलग-अलग AI मॉडलों पर परीक्षणों में, प्रॉक्स ने रोबोट की सोच को लगभग दोगुना (1.99 गुना तक तेज़) बढ़ा दिया, जबकि उत्तर उतने ही स्मार्ट बने रहे जितने कि धीमी, पूर्ण-गति वाले संस्करण के होते हैं। यह एक सुपर-फास्ट स्काउट होने जैसा है जो आगे दौड़कर रास्ता चिह्नित करता है, जिससे मुख्य सेना केवल सुरक्षित, पक्की सड़कों पर चल पाती है, जिससे बिना रास्ता भटके समय और ऊर्जा बचती है।
समस्या: रोबोट का भारी लंच
लार्ज लैंग्वेज मॉडल ज्ञान के विशाल पुस्तकालयों की तरह हैं, लेकिन वे बहुत भारी भी हैं। जब वे किसी प्रश्न का उत्तर देने का प्रयास करते हैं, तो उन्हें अपनी मेमोरी के अंदर डेटा की एक विशाल मात्रा को इधर-उधर ले जाना पड़ता है। इस ट्रैफ़िक का एक बड़ा हिस्सा मस्तिष्क के एक विशिष्ट भाग से आता है जिसे फीड-फॉरवर्ड नेटवर्क (FFN) कहा जाता है। आप FFN को मस्तिष्क के उस हिस्से के रूप में देख सकते हैं जो एक विचार लेता है, उसे संसाधित करता है, और उसे आगे बढ़ाता है। आधुनिक मॉडलों में, यह भाग स्विक्गलू (SwiGLU) नामक एक विशेष रेसिपी का उपयोग करता है, जिसमें तीन अलग-अलग गणितीय ऑपरेशन (प्रोजेक्शन) मिलकर काम करते हैं।
समस्या यह है कि ये तीन ऑपरेशन इतने भारी हैं कि वे सब कुछ धीमा कर देते हैं। वैज्ञानिकों ने इसे ठीक करने के लिए मॉडल को "स्पार्स" (sparse) बनाकर सुधारने की कोशिश की है, जिसका अर्थ है कि वे मस्तिष्क के उन हिस्सों के लिए गणित को छोड़ने की कोशिश करते हैं जो महत्वहीन लगते हैं। हालाँकि, बिना मॉडल को फिर से प्रशिक्षित (retraining) किए ऐसा करने के मौजूदा तरीकों में एक दोष है। वे अक्सर केवल एक जानकारी के आधार पर यह अनुमान लगाते हैं कि किन हिस्सों को छोड़ना है, जैसे कि केवल "गेट" या केवल "अप" वाले हिस्से को देखना। यह केवल ड्रम या केवल वोकल्स को सुनकर यह तय करने जैसा है कि क्या कोई गाना अच्छा है। यदि आप गलत अनुमान लगाते हैं, तो आप एक महत्वपूर्ण नोट को छोड़ देते हैं, और गाना (या AI का उत्तर) बिखर जाता है। जैसे-जैसे शोधकर्ताओं ने तेज़ होने के लिए अधिक हिस्सों को छोड़ने की कोशिश की, उत्तरों की गुणवत्ता काफी गिर गई।
अंतर्दृष्टि: मानचित्र बनाम यात्रा
शोधकर्ता, जिनी ली के नेतृत्व में, स्विक्गलU रेसिपी के बारे में एक दिलचस्प बात देखते हैं। इस प्रक्रिया में एक विशिष्ट क्षण होता है जिसे इंटरमीडिएट स्टेट (intermediate state) (आइए इसे "मध्य विचार" कहें) कहा जाता है। यह मध्य विचार यह तय करने के लिए एक आदर्श संकेत है कि मस्तिष्क के किन हिस्सों को रखना है और किन्हें छोड़ना है। यदि आप इस मध्य विचार को सटीक रूप से देख पाते, तो आप काम के 70% हिस्से को छोड़ देते और फिर भी एक सटीक उत्तर प्राप्त करते।
लेकिन यहाँ एक पेंच है: इस मध्य विचार को सटीक रूप से देखने के लिए, आपको पहले सारा भारी गणित करना होगा। यह रेस की फिनिश लाइन देखने की कोशिश करने जैसा है, लेकिन वहां पहुँचने के लिए आपको पूरी रेस दौड़नी पड़ती है। यह समय बचाने के उद्देश्य को ही विफल कर देता है।
टीम ने महसूस किया कि उन्हें वास्तव में मध्य विचार के सटीक मान की आवश्यकता नहीं थी। उन्हें केवल महत्व के क्रम (order) को जानने की आवश्यकता थी। उन्हें यह जानने की आवश्यकता थी कि कौन से हिस्से "बड़े" थे और कौन से "छोटे" थे, न कि सटीक संख्याएँ। यह यह जानने के बीच का अंतर है कि आपके बटुए में ठीक कितने डॉलर हैं बनाम केवल यह जानना कि कौन से नोट सबसे बड़े हैं। यदि आप क्रम का सही अनुमान लगा सकते हैं, तो आप रखने के लिए सही चीजों को चुन सकते हैं।
समाधान: प्रॉक्स की दो-चरणीय चाल
इसे हल करने के लिए, टीम ने प्रॉक्स (Prox) बनाया, जो एक स्मार्ट स्काउट और एक सटीक निर्माता की तरह कार्य करता है।
चरण 1: त्वरित स्काउट (प्रॉक्सी निर्माण)
पहले चरण में, प्रॉक्स गणित के एक "सस्ते" संस्करण का उपयोग करता है। यह इनपुट लेता है और इसे मस्तिष्क के एक सरलीकृत, निम्न-गुणवत्ता वाले संस्करण (क्वांटाइज्ड वेट्स का उपयोग करके, जो संपीड़ित, छोटे नंबरों की तरह हैं) के माध्यम से चलाता है। यह सटीक उत्तर पाने की कोशिश नहीं करता; यह केवल यह समझने की कोशिश करता है कि कौन से चैनल 'लाउड' हैं और कौन से 'क्वाइट'। यह एक "मास्क" बनाता है, जो मूल रूप से "रखें" (Keep) और "छोड़ें" (Discard) टैग की एक सूची है। क्योंकि इस चरण में सरलीकृत गणित का उपयोग किया जाता है, इसलिए यह बहुत तेज़ है और इसके लिए बहुत अधिक मेमोरी की आवश्यकता नहीं होती है। महत्वपूर्ण बात यह है कि इस रफ गणना में त्रुटियां अंतिम उत्तर को खराब नहीं करती हैं क्योंकि इन रफ नंबरों का उपयोग अंतिम आउटपुट के लिए कभी नहीं किया जाता है—वे केवल सूची बनाने के लिए उपयोग किए जाते हैं।
चरण 2: सटीक निर्माता (सटीक स्पार्स कम्प्यूटेशन)
एक बार सूची बन जाने के बाद, दूसरा चरण शुरू होता है। यहीं असली जादू होता है। मॉडल सूची को देखता है और कहता है, "ठीक है, हम 70% काम को अनदेखा करने जा रहे हैं और केवल शीर्ष 30% के लिए गणित करेंगे।" लेकिन यहाँ अन्य तरीकों से अंतर है: उन शीर्ष 30% के लिए, प्रॉक्स मूल, फुल-प्रिसिजन, भारी-भरकम गणित का उपयोग करता है। यह महत्वपूर्ण हिस्सों के लिए सटीक मानों की गणना करता है। यह सुनिश्चित करता है कि अंतिम उत्तर उतना ही सटीक हो जितना कि मॉडल ने सारा काम किया होता, लेकिन इसने केवल उन्हीं हिस्सों के लिए काम किया जो मायने रखते थे।
यह बेहतर क्यों काम करता है
शोधकर्ताओं ने Qwen, Mistral और Llama-3 जैसे लोकप्रिय मॉडलों सहित दस अलग-अलग लार्ज लैंग्वेज मॉडलों पर प्रॉक्स का परीक्षण किया। उन्होंने इसकी तुलना अन्य तरीकों से की जो बिना रिट्रेनिंग के काम को छोड़ने की कोशिश करते हैं।
परिणाम स्पष्ट थे: प्रॉक्स विजेता था। उच्च स्तर की स्पर्सिटी (जैसे 70% स्पर्सिटी) पर, अन्य तरीके गलतियाँ करने लगे, और AI के उत्तर खराब होने लगे। हालाँकि, प्रॉक्स ने उत्तरों को सटीक बनाए रखा। वास्तव में, 70% स्पर्सिटी पर, प्रॉक्स एक मानक ग्राफिक्स कार्ड पर डिकोडिंग प्रक्रिया (जिस गति से AI टेक्स्ट जेनरेट करता है) को 1.99 गुना तक तेज़ करने में सक्षम था। इसका मतलब है कि AI अपनी बुद्धिमत्ता खोए बिना लगभग दोगुना तेज़ बात कर सकता था।
टीम ने यह भी जांचा कि क्या यह नया तरीका तब भी काम करेगा यदि आप इसे अन्य स्पीड-अप ट्रिक्स, जैसे कि नंबरों को छोटा करना (क्वांटाइजेशन) या अटेंशन मैकेनिज्म के हिस्सों को छोड़ना, के साथ जोड़ते हैं। उन्होंने पाया कि प्रॉक्स इन अन्य तरीकों के साथ भी पूरी तरह से काम करता है, जैसे कि एक यूनिवर्सल एडेप्टर जो किसी भी सेटअप में फिट हो जाता है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि प्रॉक्स एक शक्तिशाली, ट्रेनिंग-फ्री तरीका है जिससे AI को तेज़ बनाया जा सकता है। यह साबित करता है कि आपको एक विशाल मॉडल को कुशल बनाने के लिए उसे फिर से प्रशिक्षित करने की आवश्यकता नहीं है। इसके बजाय, आप एक चतुर दो-चरणीय प्रक्रिया का उपयोग कर सकते हैं: महत्वपूर्ण हिस्सों को खोजने के लिए एक तेज़, रफ अनुमान का उपयोग करें, और फिर केवल उन हिस्सों पर भारी काम करें। यह दृष्टिकोण उस "अनुमान लगाने के खेल" से बचता है जिसके कारण अन्य तरीके विफल हो गए थे, यह सुनिश्चित करता है कि रोबोट मस्तिष्क तेज़ और स्मार्ट बना रहे, भले ही वह एक छोटे डिवाइस पर चल रहा हो। हालांकि वर्तमान संस्करण एकल-उपयोगकर्ता बातचीत (जैसे फोन पर चैट करना) के लिए सबसे अच्छा है, शोधकर्ता सुझाव देते हैं कि कुछ और काम के साथ, यह विचार अंततः बड़े समूहों के उपयोगकर्ताओं को कुशलतापूर्वक चलाने में मदद कर सकता है। फिलहाल, यह बिना बुद्धिमत्ता से समझौता किए AI को तेज़ बनाने की दिशा में एक बड़ा कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।