SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs
SHAPE एक टास्क-ड्रिवन एक्सपर्ट प्रूनिंग फ्रेमवर्क है जो स्पार्स मिक्स्चर-ऑफ-एक्सपर्ट्स (Sparse Mixture-of-Experts) LLMs के लिए है, जो इंट्रा-लेयर एक्सपर्ट को-ऑपरेशन को एक को-ऑपरेटिव गेम के रूप में मॉडल करता है ताकि शैप्ली-स्टाइल एट्रिब्यूशन (Shapley-style attribution) के माध्यम से आवश्यक सहयोगी उपसमुच्चयों (collaborative subsets) की पहचान और उन्हें बनाए रखा जा सके, जिससे बिना किसी अतिरिक्त प्रशिक्षण के सटीकता बनाए रखते हुए मेमोरी फुटप्रिंट को कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, उच्च-शक्तिशाली रसोई (एक लार्ज लैंग्वेज मॉडल) है जिसे जटिल उत्तर तैयार करने के लिए बनाया गया है। इसके बजाय कि एक ही विशाल शेफ सब कुछ करे, यह रसोई एक मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) सिस्टम का उपयोग करती है। इसे 100 विशिष्ट सहायक शेफ (विशेषज्ञों) की एक टीम के रूप में सोचें।
जब कोई ग्राहक एक व्यंजन ऑर्डर करता है (एक प्रॉम्प्ट), तो एक मुख्य वेटर (एक राउटर) ऑर्डर को देखता है और उस पर काम करने के लिए शीर्ष 3 शेफ को चुनता है। जादू यह है कि रसोई को एक साथ सभी 100 शेफों की आवश्यकता नहीं होती है; यह केवल उस क्षण के लिए आवश्यक विशिष्ट 3 शेफों का उपयोग करती है। यह रसोई को बहुत तेज़ और कुशल बनाता है।
समस्या: "मेमोरी वॉल" (स्मृति की दीवार)
भले ही किसी भी सेकंड में केवल 3 शेफ ही खाना बना रहे हों, लेकिन रसोई के मालिक को उन सभी 100 शेफों को कमरे में तैयार खड़ा रखना पड़ता है। क्यों? क्योंकि अगले ऑर्डर के लिए वेटर को उनमें से किसी भी शेफ की आवश्यकता हो सकती है।
- समस्या: यदि आपके पास 100-शेफ वाली रसोई है, तो आपको उन सभी को फिट करने के लिए एक बहुत बड़ा, महंगा कमरा (GPU मेमोरी) चाहिए। यह इन शक्तिशाली रसोईओं को छोटे, सस्ते स्थानों (जैसे एक लैपटॉप या एक छोटे सर्वर) पर चलाना असंभव बनाता है।
- पुराना समाधान: रसोई को छोटा करने के पिछले प्रयास एक मैनेजर द्वारा यह कहने जैसा थे, "आइए उन शेफ को निकाल दें जिन्होंने इस सप्ताह बहुत कम काम किया है।" यह दोषपूर्ण है क्योंकि एक शेफ शायद अक्सर खाना न बनाए, लेकिन जब वे एक विशिष्ट साथी के साथ मिलकर काम करते हैं, तो वे एक उत्कृष्ट कृति बनाते हैं। उन्हें निकालना उस विशेष टीम वर्क को तोड़ देता है।
समाधान: SHAPE (टीमवर्क का जासूस)
यह पेपर SHAPE को पेश करता है, जो भोजन का स्वाद खराब किए बिना रसोई को छोटा करने का एक नया तरीका है। केवल यह गिनने के बजाय कि एक शेफ कितनी बार बुलाया जाता है, SHAPE इस बात पर नज़र रखता है कि वे एक साथ कितनी अच्छी तरह काम करते हैं।
SHAPE कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:
- "गेम" का अवलोकन: SHAPE कुछ समय के लिए रसोई की निगरानी करता है (एक छोटे "कैलिब्रेशन सेट" का उपयोग करके)। यह केवल यह नहीं देखता कि किसे बुलाया जाता है; यह देखता है कि शेफ के कौन से समूह एक साथ बुलाए जाते हैं और वे समूह कितनी बार सफल होते हैं।
- "शैपली" स्कोर (निष्पक्षता): कल्पना कीजिए कि 3 शेफों का एक समूह एक बेहतरीन व्यंजन बनाता है। प्रत्येक शेफ को कितना श्रेय मिलता है?
- यदि शेफ A अकेले महान है लेकिन शेफ B, शेफ C के बिना बेकार है, तो एक साधारण गिनती इसे मिस कर सकती है।
- SHAPE एक गणितीय अवधारणा शैपली वैल्यू (एक "निष्पक्षता कैलकुलेटर" के रूप में सोचें) का उपयोग करता है। यह पूछता है: "यदि हम इस विशिष्ट तिकड़ी से शेफ A को हटा दें, तो क्या व्यंजन बिगड़ जाएगा?"
- यदि व्यंजन बिना शेफ A के बिगड़ जाता है, तो शेफ A उस टीम के लिए अनिवार्य है, भले ही वे सबसे प्रसिद्ध शेफ न हों।
- यदि शेफ A के बिना भी व्यंजन का स्वाद वैसा ही रहता है, तो शेफ A अनावश्यक है और उन्हें हटाया जा सकता है।
- "क्वालिटी कवरेज" नियम: SHAPE केवल एक स्कोर के आधार पर निचले 20% शेफ को नहीं निकालता है। यह सुनिश्चित करता है कि रसोई का हर "फ्लोर" (मॉडल का प्रत्येक स्तर) सबसे महत्वपूर्ण टीमवर्क संयोजनों को कवर करने के लिए पर्याप्त शेफ रखता है। यह एक "बाइसेक्शन" विधि (एक स्मार्ट अनुमान लगाने वाला खेल) का उपयोग करता है ताकि यह पाया जा सके कि कितने शेफ रखने से रसोई छोटी रहती है और फिर भी 99% समान व्यंजन पूरी तरह से बनाती है।
परिणाम
शोधकर्ताओं ने तीन अलग-अलग आधुनिक "रसोईओं" (Qwen, GPT-OSS, और DeepSeek) पर इसका परीक्षण किया।
- परिणाम: वे 20% से 40% शेफ को निकालने में सक्षम रहे (जिससे मेमोरी की आवश्यकता काफी कम हो गई) बिना भोजन के स्वाद को खराब किए।
- यह क्यों काम कर गया: क्योंकि उन्होंने केवल उन शेफ को रखने के बजाय जो टीमवर्क के लिए अनिवार्य थे जो केवल "व्यस्त" थे, रसोई स्थिर रही।
- बोनस: चूंकि उन्होंने इतने सारे शेफ को निकाल दिया, इसलिए रसोई चलाने के लिए आवश्यक कमरा (GPU मेमोरी) बहुत छोटा हो गया, जिससे इन शक्तिशाली मॉडलों को कम महंगे हार्डवेयर पर चलाना संभव हो गया।
संक्षेप में
SHAPE एक स्मार्ट मैनेजर की तरह है जो यह समझता है कि उस "शांत" शेफ को निकालना जो एक जीतने वाली टीम का गुप्त आधार है, एक बुरा विचार है। इसके बजाय, यह उन "शोर मचाने वाले" शेफ को निकालता है जिन्हें आसानी से बदला जा सकता है। यह टीम के आकार और आवश्यक कार्यालय स्थान को कम करता है, जबकि काम की गुणवत्ता को बिल्कुल वैसा ही रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।