Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution
यह शोध पत्र प्रकट करता है कि मौजूदा प्री-ट्रेन्ड मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स स्वाभाविक रूप से पर्याप्त इंट्रा-एक्सपर्ट एक्टिवेशन स्पैरसिटीिटी (intra-expert activation sparsity) रखते हैं, जिसका लाभ vLLM एक्जीक्यूशन पाइपलाइन में संशोधन करके निष्क्रिय न्यूरॉन गणनाओं को स्किप करने के लिए उठाया जा सकता है, जिससे बिना किसी मॉडल रिट्रेनिंग या पैरामीटर संशोधन के MoE लेयर एक्जीक्यूशन में 2.5x तक की स्पीडअप और एंड-टू-एंड स्पीडअप में 1.2x की वृद्धि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: AI में "सोते हुए दिग्गजों" को खोजना
कल्पना कीजिए कि एक विशाल, हाई-एंड रेस्टोरेंट की रसोई (AI मॉडल) है जिसमें सैकड़ों विशेषज्ञ शेफ (जिन्हें Experts कहा जाता है) हैं। एक मानक "मिक्सचर ऑफ एक्सपर्ट्स" (MoE) सेटअप में, जब कोई ग्राहक किसी व्यंजन का ऑर्डर देता है, तो हेड शेफ (Router) उस ऑर्डर पर काम करने के लिए केवल कुछ विशिष्ट विशेषज्ञों को ही जगाता है। उदाहरण के लिए, यदि ऑर्डर "स्पाइसी करी" का है, तो राउटर "स्पाइस एक्सपर्ट" और "करी एक्सपर्ट" को जगा सकता है, जबकि "डेजर्ट एक्सपर्ट" और "ब्रेड एक्सपर्ट" सोते रहेंगे।
यह पहले से ही कुशल है क्योंकि रसोई हर एक ऑर्डर के लिए उन सभी 100 शेफों को नहीं चलाती है। हालांकि, इस पेपर के शोधकर्ताओं ने एक नया सवाल पूछा: "भले ही एक शेफ जाग रहा हो और काम कर रहा हो, क्या वे अपनी पूरी ऊर्जा का उपयोग कर रहे हैं?"
उन्होंने पाया कि "जागे हुए" शेफ भी ज्यादातर समय बस खड़े रहते हैं और कुछ नहीं करते। उन्होंने पाया कि एक एकल एक्सपर्ट के भीतर, 90% तक न्यूरॉन्स (AI के व्यक्तिगत मस्तिष्क कोशिकाएं) वास्तव में "सो रहे" होते हैं या किसी दिए गए इनपुट के लिए शून्य आउटपुट दे रहे होते हैं।
समस्या: हम अधिक शेफ क्यों नहीं जोड़ सकते?
पहले, AI को तेज़ बनाने के लिए, शोधकर्ताओं ने रसोई को अधिक कुशल बनाने की कोशिश की—अधिक शेफ जोड़कर और उनमें से कम को जगाकर (जिसे "इंटर-एक्सपर्ट स्पर्सिटी" कहा जाता है)। लेकिन यह बहुत कठिन होता जा रहा है।
- प्रशिक्षण का संघर्ष (The Training Struggle): यदि आपके पास बहुत अधिक शेफ हैं और आप केवल कुछ को ही जगाते हैं, तो रसोई में अराजकता फैल सकती है। कुछ शेफ सारा काम पा लेते हैं (लोड इम्बैलेंस), जबकि अन्य कभी प्रशिक्षित ही नहीं हो पाते और बेकार हो जाते हैं (एक्सपर्ट कोलैप्स)।
- सीमा (The Limit): हम एक ऐसी दीवार से टकरा रहे हैं जहाँ हम मॉडल को तोड़े बिना "किसे काम करना चाहिए" के चयन को अधिक कुशल बनाना आसान नहीं रह गया है।
समाधान: "आलसी शेफ" की रणनीति
कम शेफ चुनने के बजाय, लेखकों ने व्यक्तिगत शेफ को अधिक कुशल बनाने का निर्णय लिया। उन्होंने महसूस किया कि जब एक शेफ काम कर रहा होता है, तब भी उसे अपने टूलबॉक्स के हर एक औज़ार की ज़रूरत नहीं होती।
उपमा (Analogy):
कल्पना कीजिए कि एक मास्टर बढ़ई (एक एक्सपर्ट) एक कुर्सी बना रहा है।
- पुराना तरीका: बढ़ई शेड से हर एक हथौड़ा, आरी और पेचकस उठा लेता है, भले ही उसे केवल एक हथौड़े और एक पेचकस की आवश्यकता हो। वह पूरे शेड को कार्यस्थल पर ले जाता है।
- नया तरीका (यह पेपर): बढ़ई काम को देखता है, महसूस करता है कि उसे केवल हथौड़े और पेचकस की आवश्यकता है, और आरी और अन्य 90% औज़ारों को शेड में ही छोड़ देता है। वह केवल वही ले जाता है जिसकी उसे आवश्यकता है।
शोधकर्ताओं ने पाया कि मौजूदा, प्री-ट्रेन्ड AI मॉडल्स (जैसे Qwen, Llama, और DeepSeek) में यह "आलसी" व्यवहार स्वाभाविक रूप से पहले से ही हो रहा है। मॉडल के अंदर की गणित स्वाभाविक रूप से अधिकांश काम को शून्य कर देती है। उन्हें बस कंप्यूटर को इस बेकार काम को छोड़ने (skip) के लिए सिखाने की आवश्यकता थी।
उन्होंने इसे कैसे किया: "स्किप-लिस्ट" सिस्टम
टीम ने एक लोकप्रिय, हाई-स्पीड AI इंजन लिया जिसे vLLM कहा जाता है (इसे उस डिलीवरी सर्विस की तरह समझें जो रसोई से ग्राहक तक भोजन पहुँचाती है) और इसे अपग्रेड किया।
- चेक (The Check): इससे पहले कि "शेफ" खाना बनाना शुरू करे, सिस्टम जल्दी से जांच करता है कि किन औज़ारों (न्यूरॉन्स) की वास्तव में आवश्यकता है।
- स्किप (The Skip): यदि किसी औज़ार की आवश्यकता नहीं है (उसका मान बहुत कम है), तो सिस्टम उसे मेमोरी में लोड भी नहीं करता और न ही उसका उपयोग करने की कोशिश करता है। यह सीधे तौर पर गणना (calculation) को छोड़ देता है।
- परिणाम (The Result): उन्होंने सॉफ्टवेयर में एक विशेष "फास्ट लेन" बनाई। यदि ऑर्डरों का बैच छोटा है (जैसे कि दोपहर के शांत समय में), तो सिस्टम इस फास्ट लेन का उपयोग करता है और भारी काम को स्किप कर देता है। यदि रसोई बहुत व्यस्त है (जैसे कि रात के भारी डिनर के समय), तो यह स्थिरता बनाए रखने के लिए वापस मानक, भारी-भरकम मोड पर स्विच हो जाता है।
उन्हें क्या मिला (परिणाम)
उन्होंने आठ अलग-अलग विशाल AI मॉडल्स पर इसका परीक्षण किया, जो छोटे (1 बिलियन पैरामीटर्स) से लेकर विशाल (400 बिलियन पैरामीटर्स) तक थे।
- सटीकता (Accuracy): वे एक एक्सपर्ट के भीतर 90% तक काम को स्किप कर सके और फिर भी AI 95% बार सही उत्तर देता रहा। यह ऐसा था जैसे किसी रेसिपी में 90% सामग्री को छोड़ दिया जाए और डिश फिर भी 95% उतनी ही स्वादिष्ट लगे।
- गति (Speed):
- AI के विशिष्ट "कुकिंग" भाग (MoE लेयर) के लिए, उन्होंने 2.5 गुना तक की स्पीडअप देखी।
- पूरे सिस्टम (एंड-टू-एंड) के लिए, उन्होंने 1.2 गुना की स्पीडअप देखी।
- हार्डवेयर: स्पीडअप सबसे अधिक कम शक्तिशाली ग्राफिक्स कार्ड (जैसे कि उपभोक्ता गेमिंग कार्ड) पर देखा गया, जिससे यह साबित हुआ कि यह बड़े AI मॉडल्स को सस्ते हार्डवेयर पर चलाने का एक शानदार तरीका है।
कमी (सीमाएँ)
पेपर अपनी सीमाओं के बारे में ईमानदार है:
- गेटकीपर (The Gatekeeper): सिस्टम को अभी भी यह जांचना होगा कि किन औज़ारों की आवश्यकता है, इससे पहले कि वह उन्हें स्किप कर सके। यह "चेक" करने में कुछ समय लगता है और इसे अभी तक हटाया नहीं जा सका है। यह ऐसा है जैसे मैनेजर को अभी भी रसोई में घूमकर शेफ को बताना पड़ता है कि उन्हें कौन से औज़ार उठाने हैं, भले ही वे उनका उपयोग न करें।
- बैच साइज (Batch Size): स्पीडअप तब सबसे अच्छा होता है जब AI एक समय में कुछ ही अनुरोधों (requests) को प्रोसेस कर रहा होता है। यदि आप एक साथ हजारों अनुरोधों को प्रोसेस कर रहे हैं, तो "चेकिंग" का ओवरहेड एक बाधा बन जाता है, और स्पीडअप कम हो जाता है।
सारांश
इस पेपर ने कोई नया प्रकार का AI नहीं बनाया या कोई नया मॉडल स्क्रैच से ट्रेन नहीं किया। इसके बजाय, उन्होंने मौजूदा, शक्तिशाली AI मॉडल्स को देखा और महसूस किया, "अरे, ये मॉडल्स पहले से ही बहुत सारा अनावश्यक काम कर रहे हैं, भले ही वे 'एक्टिव' हों।"
एक ऐसा सिस्टम बनाकर जो इस बेकार प्रयास को पहचान सके और इसे बस स्किप कर सके, उन्होंने इन विशाल AI मॉडल्स को काफी तेज़ और अधिक कुशल बना दिया, विशेष रूप से ऐसे हार्डवेयर पर जो बहुत महंगे नहीं हैं। यह एक "स्मार्ट स्किपिंग" तकनीक है जो वर्तमान पीढ़ी के AI मॉडल्स को चलाना अधिक व्यावहारिक बनाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।