तकनीकी सारांश: डेंस लैंग्वेज मॉडल्स में मिक्सचर-ऑफ-एक्सपर्ट्स का प्रूनिंग और डिस्टिलेशन

समस्या विवरण

फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर एक प्रमुख प्रतिमान बन गए हैं क्योंकि वे प्रशिक्षण और सर्विंग दक्षता बनाए रखते हुए कुल पैरामीटर गणना को स्केल करने की क्षमता रखते हैं। हालांकि, एक मौलिक सीमा बनी हुई है: प्रत्येक टोकन के लिए केवल कुछ ही पैरामीटर सक्रिय होने के बावजूद, MoE मॉडल्स को मेमोरी में सभी एक्सपर्ट पैरामीटर्स को लोड करने की आवश्यकता होती है। यह मेमोरी फुटप्रिंट उन्हें मेमोरी-बाधित परिनियोजन परिदृश्यों (deployment scenarios), जैसे कि ऑन-डिवाइस इन्फरेंस या सिंगल-जीपीयू सर्विंग के लिए अनुपयुक्त बनाता है।

वर्तमान समाधान स्क्रैच से प्रशिक्षित या बड़े डेंस टीचर्स के कैस्केडेड प्रूनिंग के माध्यम से जारी किए गए अलग-अलग छोटे डेंस मॉडल्स को शामिल करते हैं। ये दृष्टिकोण कम्प्यूटेशनल रूप से महंगे हैं और प्रशिक्षित MoE मॉडल में पहले से मौजूद समृद्ध क्षमताओं का लाभ उठाने में विफल रहते हैं। मौजूदा MoE संपीड़न विधियां (जैसे, MC-SMoE, HC-SMoE) विशेषज्ञों की संख्या को कम करती हैं लेकिन स्पार्स MoE संरचना को बनाए रखती हैं, जिससे मेमोरी अक्षमता बनी रहती है। एक प्रशिक्षित MoE मॉडल को एक मानक, पूरी तरह से डेंस आर्किटेक्चर में बदलने के लिए व्यवस्थित फ्रेमवर्क की कमी है।

कार्यप्रणाली (Methodology)

लेखक एक तीन-चरणीय पाइपलाइन के माध्यम से एक प्रशिक्षित MoE लैंग्वेज मॉडल को पूरी तरह से डेंस आर्किटेक्चर में बदलने के लिए पहले व्यवस्थित फ्रेमवर्क को प्रस्तुत करते हैं: एक्सपर्ट स्कोरिंग और चयन (Expert Scoring & Selection), ग्रुपिंग और कॉनकैटिनेशन (Grouping & Concatenation), और नॉलेज डिस्टिलेशन (Knowledge Distillation)।

1. एक्सपर्ट स्कोरिंग और चयन

विधि का मुख्य भाग एक लेयर में सभी $E$ विशेषज्ञों को स्कोर करना है ताकि आकार $K$ का एक उपसमूह चुना जा सके ($K \ge k$, जहाँ $k$ प्रति टोकन सक्रिय विशेषज्ञ है)। पेपर सात स्कोरिंग विधियों का मूल्यांकन करता है:

• फ्रीक्वेंसी-आधारित (Frequency-based): सिलेक्शन फ्रीक्वेंसी (SF), प्री-सिलेक्शन प्रोबेबिलिटी (PP), पोस्ट-सिलेक्शन प्रोबेबिलिटी (PS)। ये जनरलइस्ट (generalist) विशेषज्ञों का पक्ष लेते हैं।
• कंडीशनल प्रोबेबिलिटी (CP): रूटिंग कॉन्फिडेंस पर ध्यान केंद्रित करता है, जो स्पेशलिस्ट (specialists) का पक्ष लेता है।
• एक्टिवेशन-वेटेड CP (ACP): रूटिंग कॉन्फिडेंस को आउटपुट मैग्नीट्यूड के साथ जोड़ता है।
• डी-ऑप्टिमल सिलेक्शन (DO): एक नवीन मानदंड जो विशेषज्ञ महत्व और आपसी विविधता (mutual diversity) को संयुक्त रूप से अधिकतम करता है। यह एक उपसमूह $S$ चुनता है जो महत्व-भारित ग्राम मैट्रिक्स (importance-weighted Gram matrix) के लॉग-डिटरमिनेंट को अधिकतम करता है:
  $$S^* = \arg \max_{|S|=K} \log \det(\mathcal{K}_S + \lambda_{reg} I)$$
  जहाँ $\mathcal{K}_{ij} = \sqrt{I_i I_j} \cdot \mathbb{E}_t[\langle f_i(t), f_j(t) \rangle]$। इसे ग्रीडी (greedily) तरीके से हल किया जाता है। लेखक DO-ACP (ACP स्कोर पर आधारित DO चयन) को इष्टतम रणनीति के रूप में प्रस्तावित करते हैं।

2. ग्रुपिंग और कॉनकैटिनेशन

चुने गए विशेषज्ञों को $k$ समूहों में असाइन किया जाता है।

• प्योर प्रूनिंग ($K=k$): प्रत्येक समूह में ठीक एक विशेषज्ञ होता है; कोई वेट एवरेजिंग नहीं होती है।
• मर्जिंग ($K>k$): एक समूह में विशेषज्ञों को उनके पैरामीटर्स के स्कोर-वेटेड एवरेजिंग के माध्यम से मर्ज किया जाता है।
  परिणामी $k$ समूहों को एक एकल डेंस फीड-फॉरवर्ड नेटवर्क (FFN) में कॉनकैटिनेट किया जाता है जिसका इंटरमीडिएट डायमेंशन $d_{dense} = k \times d_{expert}$ होता है। डाउन-प्रोजेक्शन मैट्रिसेस को $\alpha_g$ (यूनिफॉर्म या आनुपातिक) कारकों द्वारा स्केल किया जाता है ताकि मूल MoE के औसत रूटिंग व्यवहार का अनुमान लगाया जा सके।

3. नॉलेज डिस्टिलेशन

प्रशिक्षित डेंस मॉडल को MoE टीचर से नॉलेज डिस्टिलेशन के माध्यम से रिफाइन किया जाता है। ऑब्जेक्टिव टीचर और स्टूडेंट आउटपुट डिस्ट्रीब्यूशन के बीच फॉरवर्ड KL डायवर्जेंस को कम करना है। लेखक डिस्टिलेशन के दौरान टीचर की रूटिंग को विस्तारित करने का भी पता लगाते हैं ( $k' > k$ विशेषज्ञों को सक्रिय करना) ताकि स्टूडेंट को गैर-चयनित विशेषज्ञों से ज्ञान प्राप्त हो सके।

मुख्य योगदान

1. पहला MoE-टू-डेंस फ्रेमवर्क: यह पेपर एक प्रशिक्षित MoE को पूरी तरह से डेंस आर्किटेक्चर में बदलने के लिए पहले एंड-टू-एंड सिस्टम को पेश करता है, जो छोटे स्पार्स MoE मॉडल बनाने की सीमा से आगे बढ़ता है।
2. डाइवर्सिटी-अवेयर एक्सपर्ट सिलेक्शन: लेखक एक डी-ऑप्टिमल चयन मानदंड (DO-ACP) पेश करते हैं जो महत्व-भारित ग्राम मैट्रिक्स के लॉग-डिटरमिनेंट को अधिकतम करता है। यह विधि स्पष्ट रूप से रेडंडेंसी (redundancy) को दंडित करती है, ऐसे विशेषज्ञों का चयन करती है जो महत्वपूर्ण और विविध दोनों हों।
3. व्यापक मूल्यांकन: अध्ययन Qwen3-30B-A3B पर 350 कॉन्फ़िगरेशन (7 स्कोरिंग $\times$ 5 ग्रुपिंग $\times$ 2 स्केलिंग $\times$ 5 $K$ के मान) का मूल्यांकन करता है और DeepSeek-V2-Lite तथा GPT-OSS-20B पर निष्कर्षों को मान्य करता है।

परिणाम

Qwen3-30B-A3B पर प्रदर्शन

• स्कोरिंग डोमिनेंस: स्कोरिंग विधि का चुनाव सबसे प्रभावशाली कारक है, जो सर्वश्रेष्ठ और सबसे खराब विधियों के बीच औसत डाउनस्ट्रीम सटीकता में 5.7 प्रतिशत अंक (pp) का अंतर पैदा करता है। ग्रुपिंग रणनीतियाँ केवल $\sim$1 pp का योगदान देती हैं।
• DO-ACP की श्रेष्ठता: DO-ACP विधि लगातार अन्य सभी कॉन्फ़िगरेशन से बेहतर प्रदर्शन करती है। $K=8$ (प्योर प्रूनिंग) पर, यह डाउनस्ट्रीम बेंचमार्क (Winogrande, HellaSwag, ARC-E/C, MMLU) पर 43.41% औसत सटीकता प्राप्त करती है।
• प्योर प्रूनिंग बनाम मर्जिंग: विविधता-जागरूक स्कोरिंग (DO-ACP, ACP) के लिए, प्योर प्रूनिंग ($K=k$) मर्जिंग ($K>k$) से बेहतर प्रदर्शन करती है। फ्रीक्वेंसी-आधारित विधियाँ (SF) मर्जिंग से लाभान्वित होती हैं, लेकिन DO-ACP विशेषज्ञ व्यक्तिगत रूप से इतने मजबूत होते हैं कि वे अकेले खड़े हो सकें।
• बेसलाइन के साथ तुलना:
  • MoE कम्प्रेशन के विरुद्ध: पुनरुद्देश्यित MoE कम्प्रेशन मेट्रिक्स (जैसे, MC-SMoE, HC-SMoE) से 5.9–7.1 pp बेहतर है।
  • Dense-to-Dense (D2D) प्रूनिंग के विरुद्ध: एक मैच-पैरामीटर डेंस टीचर (Qwen3-32B $\to$ 3.4B student) के साथ नियंत्रित तुलना में, MoE-to-dense (DO-ACP) $\sim$4B-टोकन डिस्टिलेशन के बाद D2D प्रूनिंग से +6.3 pp (58.10% बनाम 51.84%) बेहतर है।
  • रैंडम इनिशियलाइजेशन के विरुद्ध: रैंडम FFN इनिशियलाइजेशन से +12.7 pp बेहतर है, जो दर्शाता है कि एक्सपर्ट स्ट्रक्चर एक शक्तिशाली इनिशियलाइजेशन प्रदान करता है।

विस्तारित प्रशिक्षण और क्रॉस-मॉडल वैलिडेशन

• स्केलिंग: DO-ACP का प्रदर्शन लाभ विस्तारित प्रशिक्षण ($\sim$4B टोकन) के साथ बना रहता है और बढ़ता है।
• सामान्यीकरण (Generalization): निष्कर्ष DeepSeek-V2-Lite (64 विशेषज्ञ) और GPT-OSS-20B (32 विशेषज्ञ) पर सामान्यीकृत होते हैं। हालांकि विशेषज्ञ पूल का आकार कम होने पर स्कोरिंग विधियों के बीच का अंतर कम हो जाता है, फिर भी DO-ACP शीर्ष प्रदर्शन करने वाला बना रहता है।
• दक्षता: MoE-to-dense डिस्टिलेशन वॉल-क्लॉक समय में D2D प्रूनिंग की तुलना में 1.6$\times$ तेज़ है क्योंकि MoE टीचर डिस्टिलेशन चरण के दौरान कम पैरामीटर सक्रिय करता है।

गुणात्मक विश्लेषण

MMLU चेन-ऑफ-थॉट कार्यों पर त्रुटि विश्लेषण से पता चलता है कि DO-ACP मॉडल्स में D2D और फ्रीक्वेंसी-आधारित विधियों की तुलना में विनाशकारी विफलताओं (असंगति, दोहराव वाले लूप) और ज्ञान संबंधी त्रुटियों की दर सबसे कम है। विविधता-जागरूक चयन विशेष रूप से मानविकी और सामाजिक विज्ञानों में तथ्यात्मक और सांस्कृतिक ज्ञान को अधिक प्रभावी ढंग से संरक्षित करता प्रतीत होता है।

महत्व और दावे

यह पेपर मेमोरी-बाधित वातावरण में MoE क्षमताओं को तैनात करने के लिए एक सरल, प्रभावी रेसिपी प्रदान करने का दावा करता है: DO-ACP के साथ स्कोर करें, प्रति लेयर ठीक शीर्ष-$k$ विशेषज्ञों को बनाए रखें (प्योर प्र्युनिटी), और फॉरवर्ड KL के साथ डिस्टिल करें।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण MoE की "मेमोरी अक्षमता" को विशेषज्ञ संरचना से प्राप्त प्रदर्शन लाभों से समझौता किए बिना "डेंस दक्षता" में बदल देता है। वे दावा करते हैं कि MoE मॉडल्स, समान पैरामीटर संख्या वाले डेंस टीचर्स की तुलना में डिस्टिलेशन के लिए एक मजबूत शुरुआती बिंदु प्रदान करते हैं, जो मैच-पैरामीटर डेंस मॉडल्स को स्क्रैच से प्रशिक्षित करने या डेंस टीचर्स को प्रून करने की आवश्यकता को चुनौती देता है। यह कार्य स्थापित करता है कि विशेषज्ञ विविधता, न कि केवल आवृत्ति या परिमाण, MoE मॉडल्स को डेंस आर्किटेक्चर में संपीड़ित करने के लिए महत्वपूर्ण कारक है।