ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

तकनीकी सारांश: ConMoE: प्रोटोटाइप पुनर्नियुक्ति के माध्यम से विशेषज्ञ-पूल समेकन (Expert-Pool Consolidation) द्वारा MoE संपीड़न

1. समस्या विवरण

Mixture-of-Experts (MoE) भाषा मॉडल केवल प्रति टोकन विशेषज्ञों के एक छोटे उपसमुच्चय (subset) को सक्रिय करके स्केलेबिलिटी प्राप्त करते हैं, जिससे प्रति-टोकन गणना कम हो जाती है। हालाँकि, पूर्ण रूटेड विशेषज्ञ पूल (full routed expert pool) को अभी भी स्टोर और सर्व करना पड़ता है, जो परिनियोजन (deployment) के लिए एक महत्वपूर्ण मेमोरी बाधा उत्पन्न करता है। मौजूदा पोस्ट-ट्रेनिंग संपीड़न विधियाँ मुख्य रूप से एक्सपर्ट प्रूनिंग (उपयोग या महत्व के आधार पर विशेषज्ञों को हटाना) या एक्सपर्ट मर्जिंग (कई विशेषज्ञों को नए, फ्यूज्ड मॉड्यूल में संयोजित करना) के माध्यम से इसे संबोधित करती हैं।

लेखक तर्क देते हैं कि ये दृष्टिकोण अक्सर दो अलग-अलग निर्णयों को मिला देते हैं:

1. किन विशेषज्ञ मापदंडों (parameters) को रखा जाना चाहिए?
2. संपीड़न के बाद राउटर के मूल विशेषज्ञ संदर्भों (expert references) का प्रतिनिधित्व कैसे किया जाना चाहिए?

प्रूनिंग मापदंडों को हटा देती है, जबकि मर्जिंग नए वेट्स (weights) का निर्माण करती है, जिसके लिए अक्सर संपीड़न के बाद फाइन-ट्यूनिंग या जटिल फ्यूजन ऑपरेटरों की आवश्यकता होती है। यह शोध पत्र एक पूरक दृष्टिकोण प्रस्तुत करता है: एक्सपर्ट-पूल कंसोलिडेशन (Expert-Pool Consolidation)। यह दृष्टिकोण पुन: प्रयोज्य प्रोटोटाइप (prototypes) के रूप में कम संख्या में प्री-ट्रेन्ड विशेषज्ञों को बनाए रखता है और प्रत्येक मूल विशेषज्ञ संदर्भ को चुनी गई प्रोटोटाइप में नियत रूप से (deterministically) मैप करता है। यह कम किए गए पूल के स्टोरेज को 'री-यूज़ स्ट्रक्चर' से अलग करता है, जिससे मूल राउटर इंटरफेस बिना वेट अपडेट के अपरिवर्तित रहता है।

2. कार्यप्रणाली: ConMoE

प्रस्तावित फ्रेमवर्क, ConMoE, एक 'ट्रेन-फ्री' (train-free), वन-शॉट संपीड़न विधि है जो प्रोटोटाइप चयन और नियतात्मक पुनर्नियुक्ति (deterministic reassignment) के माध्यम से कार्य करती है।

A. समस्या का सूत्रण (Problem Formulation)
यह विधि एक स्थानीय स्कोप $G$ को परिभाषित करती है जिसमें एक या अधिक पड़ोसी MoE लेयर्स शामिल हैं। एक रिडक्शन रेशियो $\rho$ के साथ, लक्ष्य मूल विशेषज्ञ पूल $E_G$ से आकार $K$ का एक छोटा प्रोटोटाइप पूल $P_G$ बनाना है। एक पुनर्नियुक्ति मानचित्र $m_G: E_G \to P_G$ स्थापित किया जाता है, जहाँ प्रत्येक मूल विशेषज्ञ $e$ को एक चयनित प्रोटोटाइप $p$ पर मैप किया जाता है।
आदर्श उद्देश्य पुनर्नियुक्ति लागत $L_G(P)$ को न्यूनतम करना है, जो रिटेन किए गए विशेषज्ञों के महत्व और रीमैपिंग से उत्पन्न त्रुटि के बीच संतुलन बनाता है।

B. प्रोटोटाइप स्कोरिंग और चयन
कॉम्बिनेटरियल ऑप्टिमाइज़ेशन समस्या को सीधे हल करने के बजाय, ConMoE शीर्ष-$K$ विशेषज्ञों को प्रोटोटाइप के रूप में चुनने के लिए एक ह्यूरिस्टिक स्कोरिंग नियम का उपयोग करता है। प्रत्येक विशेषज्ञ $e$ के लिए, कैलिब्रेशन डेटा का उपयोग करके दो स्कोर की गणना की जाती है:

1. रूटिंग-कंडीशन्ड कंट्रीब्यूशन ($a_e$): यह विशेषज्ञ के औसत योगदान को मापता है जब उसे राउटर द्वारा चुना जाता है, जिसे रूटिंग संभावनाओं और आउटपुट नॉर्म्स द्वारा भारित (weighted) किया जाता है।
2. रिप्लेसैबिलिटी (Replaceability) ($b_e$): यह स्कोप के भीतर निकटतम पड़ोसी से दूरी को मापता है। अधिक दूरी का अर्थ है कि विशेषज्ञ को बदलना कठिन है।

अंतिम स्कोर सामान्यीकृत योगदान और रिप्लेसैबिलिटी स्कोर का गुणनफल है ($s_e = \bar{a}_e \bar{b}_e$)। शीर्ष-$K$ विशेषज्ञों को प्रोटोटाइप पूल $P_G$ के रूप में चुना जाता है।

C. नियतात्मक पुनर्नियुक्ति (Deterministic Reassignment)
एक बार प्रोटोटाइप चुने जाने के बाद, प्रत्येक मूल विशेषज्ञ को $P_G$ में अपने निकटतम प्रोटोटाइप पर असाइन किया जाता है।

• कोई वेट अपडेट नहीं: चयनित प्रोटोटाइप को सीधे प्री-ट्रेन्ड विशेषज्ञों के रूप में पुन: उपयोग किया जाता है; कोई वेट फ्यूजन या फाइन-ट्यूनिंग नहीं होती है।
• राउटर का संरक्षण: मूल राउटर अपरिवर्तित रहता है। जब राउटर किसी टोकन के लिए विशेषज्ञों का एक सेट चुनता है, तो कंसोलिडेटेड ऑपरेटर इन कॉल्स को उनके असाइन किए गए प्रोटोटाइप पर रीडायरेक्ट करता है। यदि कई रूटेड विशेषज्ञ एक ही प्रोटोटाइप पर मैप होते हैं, तो उनके रूटिंग वेट्स को एक एकल गुणांक (coefficient) में एकत्रित किया जाता है।

D. स्कोप और क्रॉस-लेयर पुन: उपयोग
ConMoE लोकल क्रॉस-लेयर शेयरिंग का समर्थन करता है। एक स्कोप में कई पड़ोसी लेयर्स हो सकती हैं, जिससे प्रोटोटाइप को उनके बीच साझा किया जा सकता है यदि वे रेडंडेंसी प्रदर्शित करते हैं। हालाँकि, दूरस्थ परतों में पाए जाने वाले डेप्थ-विशिष्ट रूपांतरणों के मिसमैच से बचने के लिए स्कोप को सीमित रखा जाता है।

3. प्रमुख योगदान

1. सूत्रण (Formulation): यह शोध पत्र वन-शॉट MoE संपीड़न को एक्सपर्ट-पूल कंसोलिडेशन के रूप में सूत्रित करता है, जो स्पष्ट रूप से यह तय करता है कि कौन से पैरामीटर स्टोर किए जाने चाहिए और मूल राउटर स्लॉट्स का प्रतिनिधित्व कैसे किया जाना चाहिए।
2. फ्रेमवर्क (ConMoE): यह एक ट्रेन-फ्री रीमैपिंग विधि है जो मूल राउटर इंटरफेस को सुरक्षित रखते हुए लॉजिकल रूटेड-एक्सपर्ट पूल को कम करती है। यह ग्रेडिएंट अपडेट के बिना प्रोटोटाइप चुनने के लिए कैलिब्रेशन-आधारित कंट्रीब्यूशन और रिप्लेसैबिलिटी संकेतों पर निर्भर करती है।
3. अनुभवजन्य सत्यापन (Empirical Validation): लेखक कई प्री-ट्रेन्ड MoE मॉडल्स (Qwen3, DeepSeekMoE, OLMoE) पर प्रूनिंग और मर्जिंग बेसलाइन्स के विकल्प के रूप में रीमैपिंग-आधारित कंसोलिडेशन की प्रभावकारिता को सिद्ध करते हैं।
4. एब्लेशन अंतर्दृष्टि (Ablation Insights):
   • नियतात्मक पुनर्नियुक्ति को फ्रेमवर्क के सबसे स्थिर घटक के रूप में पहचाना गया है।
   • क्रॉस-लेयर शेयरिंग फायदेमंद है लेकिन सख्ती से स्थानीय है; स्कोप को बहुत अधिक विस्तृत करने (जैसे, 8–16 लेयर्स) से डेप्थ मिसमैच के कारण प्रदर्शन गिर जाता है।
   • पोस्ट-हॉक वेट फ्यूजन (जैसे, Arcee, वेटेड एवरेजिंग) को डायरेक्ट प्रोटोटाइप री-यूज़ की तुलना में कम स्थिर पाया गया है।

4. प्रायोगिक परिणाम

प्रयोग तीन मॉडलों पर किए गए: Qwen3-30B-A3B, deepseek-moe-16b-base, और OLMoE-1B-7B-0125। संपीड़न का मूल्यांकन छह मल्टीपल-चॉइस बेंचमार्क्स (WinoGrande, ARC-C, ARC-E, BoolQ, HellaSwag, PIQA) का उपयोग करके 25% और 50% लॉजिकल रूटेड-एक्सपर्ट रिडक्शन रेश्यो पर किया गया।

• प्रदर्शन: ConMoE मजबूत प्रूनिंग (Frequency, REAP) और मर्जिंग (M-SMoE, HC-SMoE) बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन करता है।
  • DeepSeekMoE पर, ConMoE ने 25% और 50% रिडक्शन दोनों पर सर्वश्रेष्ठ औसत स्कोर प्राप्त किया।
  • OLMoE पर, इसने 25% रिडक्शन पर सर्वश्रेष्ठ प्रदर्शन किया और 50% पर प्रतिस्पर्धी बना रहा।
  • Qwen3 पर, हालांकि प्रूनिंग मजबूत थी (विशेष रूप से 50% पर), ConMoE प्रतिस्पर्धी बना रहा और WinoGrande और BoolQ जैसे विशिष्ट कार्यों पर मजबूत प्रदर्शन बनाए रखा।
• एब्लेशन:
  • स्कोप साइज: छोटे स्कोप (1–4 लेयर्स) ने तुलनीय या सर्वश्रेष्ठ परिणाम दिए। बड़े स्कोप (8–16 लेयर्स) ने प्रदर्शन में भारी गिरावट दर्ज की, जो पुष्टि करता है कि विशेषज्ञ की प्रतिस्थापन क्षमता (substitutability) स्थानीय होती है।
  • सिलेक्शन पॉलिसी: रूटिंग-कंडीशन्ड कंट्रीब्यूशन प्रमुख सिग्नल था। केवल डिस्टेंस-आधारित चयन खराब रहा, और रिप्लेसैबिलिटी ने क्षमता आवंटन के लिए एक रेगुलराइज़र के रूप में सबसे अच्छा काम किया।
  • फ्यूजन: डायरेक्ट प्रोटोटाइप रीमैपिंग ने पोस्ट-हॉक वेट फ्यूजन लागू करने वाले तरीकों से बेहतर प्रदर्शन किया, जिससे पता चलता है कि लाभ वेट मर्जिंग से नहीं बल्कि रीमैपिंग स्ट्रक्चर से आता है।

5. महत्व और दावे

शोध पत्र दावा करता है कि नियतात्मक प्रोटोटाइप पुनर्नियुक्ति पारंपरिक प्रूनिंग और मर्जिंग के लिए एक मजबूत, ट्रेन-फ्री विकल्प प्रदान करती है। विशेषज्ञ पूल को पुन: प्रयोज्य प्रोटोटाइप में कंसोलिडेट करके, ConMoE मूल मॉडल के राउटर इंटरफेस को बनाए रखते हुए और वेट फ्यूजन या फाइन-ट्यूनिंग से जुड़ी अस्थिरता से बचते हुए महत्वपूर्ण मेमोरी बचत (लॉजिकल रिडक्शन) प्राप्त करता है।

लेखक अपने दृष्टिकोण के दायरे के संबंध में विनम्र (modest) हैं:

• यह ट्रेन-फ्री है लेकिन रूटिंग सांख्यिकी के लिए कैलिब्रेशन डेटा पर निर्भर है।
• क्रॉस-लेयर पुन: उपयोग स्थानीय (local) है; यह पूरी मॉडल डेप्थ में विशेषज्ञों के वैश्विक विनिमय (global interchangeability) को नहीं मानता है।
• रिपोर्ट की गई बचत लॉजिकल (logical) है; परिनियोजन में भौतिक मेमोरी बचत प्राप्त करने के लिए एक शेयर्ड-प्रोटोटाइप रनटाइम या चेकपॉइंट फॉर्मेट की आवश्यकता होती है, न कि केवल एक मटेरियललाइज्ड चेकपॉइंट की।

यह कार्य यह दिखाने के मामले में खुद को अलग करता है कि "री-यूज़ स्ट्रक्चर" को डिलीशन या फ्यूजन के उप-उत्पाद के बजाय एक स्पष्ट हिस्से के रूप में उपयोग किया जा सकता है, जो MoE संपीड़न के लिए एक स्थिर आधार प्रदान करता है।