Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

तकनीकी सारांश: सख्त समान संसाधनों के तहत Mixture-of-Experts (MoE) डेंस LLMs से बेहतर प्रदर्शन कर सकता है

समस्या का विवरण
जबकि Mixture-of-Experts (MoE) भाषा मॉडलों को प्रति-टोकन कंप्यूट (per-token compute) बढ़ाए बिना मॉडल क्षमता विस्तार के लिए व्यापक रूप से मान्यता प्राप्त है, एक महत्वपूर्ण प्रश्न अनसुलझा बना हुआ है: क्या MoE आर्किटेक्चरएं तब भी बेहतर प्रदर्शन कर सकती हैं जब उन्हें समान कुल पैरामीटर्स ($N$), कुल प्रशिक्षण कंप्यूट ($C$), और कुल डेटा बजट ($D$) के तहत सख्ती से सीमित किया जाए? पिछले तुलनात्मक अध्ययन अक्सर इन बाधाओं को शिथिल करके (जैसे, MoE को अधिक डेटा उपयोग करने की अनुमति देकर या बहुत अलग पैरामीटर गणना वाले मॉडलों की तुलना करके) MoE का पक्ष लेते हैं। यह शोध पत्र समान $N, C,$ और $D$ के तहत वास्तुशिल्प (architectural) लाभों के माध्यम से श्रेष्ठ प्रदर्शन प्राप्त करने की समझ के अंतर को संबोधित करता है।

कार्यप्रणाली
लेखक एक नवीन दृष्टिकोण और एक कठोर तीन-चरणीय प्रयोगात्मक कार्यप्रणाली प्रस्तावित करते हैं ताकि निश्चित $N, C,$ और $D$ के तहत निष्पक्ष तुलना सुनिश्चित की जा सके:

1. अनुकूलित आर्किटेक्चर खोज (Optimized Architecture Search): एक्टिवेशन दरों की तुलना करने से पहले, लेखक MoE बैकबोन को व्यवस्थित रूप से अनुकूलित करते हैं। वे लेयर व्यवस्था (फुल MoE, इंटरलीव्ड, या 1-डेंस + MoE), गेट स्कोर नॉर्मलाइजेशन, पैरामीटर आवंटन (Top-$K$ सेटिंग्स), और स्ट्रक्चरल हाइपरपैरामीटर्स (मॉडल आस्पेक्ट रेश्यो $\zeta$ और FFN एक्सपेंशन रेश्यो) की जांच करते हैं। वे एक विशिष्ट स्ट्रक्चरल रेश्यो ($\zeta \approx 88, \mu \approx 22$) के साथ एक "1dense + Shared Expert" कॉन्फ़िगरेशन की पहचान करते हैं जो इष्टतम बैकबोन है।
2. निश्चित $N$ और $C$ के तहत एक्टिवेशन रेट (AR) विश्लेषण: अनुकूलित बैकबोन का उपयोग करते हुए, लेखक विभिन्न एक्टिवेशन दरों ($r_a$, सक्रिय पैरामीटर्स और कुल पैरामीटर्स का अनुपात) के साथ MoE मॉडल प्रशिक्षित करते हैं, जबकि एक डेंस बेसलाइन के कुल प्रशिक्षण कंप्यूट के बराबर रहते हैं। समान $C$ बनाए रखने के लिए, MoE मॉडलों को (जिनमें कम प्रति-टोकन कंप्यूट होता है) शुरू में आनुपातिक रूप से अधिक टोकन पर प्रशिक्षित किया जाता है।
3. डेटा पुन: उपयोग रणनीति (Data Reuse Strategy): सख्त रूप से समान अद्वितीय डेटा बजट ($D$) को समान करने के लिए, लेखक एक डेटा पुन: उपयोग रणनीति पेश करते हैं। वे एक छोटे, निश्चित अद्वितीय डेटासेट $\hat{D}$ पर कई इपोच (epochs) के लिए मॉडल को प्रशिक्षित करते हैं। वे "स्ट्रिक्ट" पुन: उपयोग (जो $N, C, D$ को सटीक रूप से मिलाता है) और "लूज" पुन: उपयोग (इपोच को 2 पर स्थिर करना) की डेंस बेसलाइन के विरुद्ध तुलना करते हैं, जिन्हें अद्वितीय डेटा पर प्रशिक्षित किया गया था।

मुख्य परिणाम
इस अध्ययन में 2B स्केल पर लगभग 200 मॉडल और 7B स्केल पर 50 से अधिक मॉडल प्रशिक्षित किए गए, जिनमें कुल मिलाकर 50 ट्रिलियन टोकन प्रोसेस किए गए।

• एक इष्टतम एक्टिवेशन रेट का अस्तित्व: प्रयोगों से एक स्थिर "इष्टतम एक्टिवेशन रेट" क्षेत्र ($R^*_a$) का पता चलता है जहाँ MoE मॉडल लगातार अपने डेंस समकक्षों से बेहतर प्रदर्शन करते हैं। यह इष्टतम दर लगभग 20% ($r_a \approx 0.2$) है।
• प्रदर्शन श्रेष्ठता: निश्चित $N$ और $C$ के तहत, $r_a \approx 20\%$ वाले MoE मॉडल डेंस समकक्षों की तुलना में कम लॉस (बेहतर प्रदर्शन) प्राप्त करते हैं। विशेष रूप से, एक 2B MoE मॉडल जो इष्टतम AR के साथ है, समान कंप्यूट के साथ प्रशिक्षित डेंस मॉडल से बेहतर प्रदर्शन करता है, और दोगुने कंप्यूट के साथ प्रशिक्षित डेंस मॉडल के प्रदर्शन के करीब पहुँच जाता है।
• स्केल केAcross निरंतरता: ~20% का इष्टतम एक्टिवेशन रेट विभिन्न मॉडल आकारों (2B, 3B, और 7B) में सुसंगत रहता है, जो यह सुझाव देता है कि यह निष्कर्ष परीक्षण किए गए रेंज के भीतर स्केल से स्वतंत्र है। यह इस पूर्व धारणा के विपरीत है कि इष्टतम स्पर्सिटी (sparsity) मॉडल के आकार के साथ बढ़ती है।
• डेटा पुन: उपयोग प्रभावकारिता: डेटा पुन: उपयोग रणनीति MoE मॉडलों की अतिरिक्त डेटा आवश्यकताओं को सफलतापूर्वक संतुलित करती है। हालांकि डेटा पुन: उपयोग से अद्वितीय डेटा पर प्रशिक्षण की तुलना में प्रदर्शन में मामूली गिरावट आती है, फिर भी इष्टतम AR वाले MoE मॉडल सख्त डेटा बाधाओं के तहत भी डेंस बेसलाइन से बेहतर प्रदर्शन करते हैं।
• डाउनस्ट्रीम जनरलाइजेशन: $r_a \approx 20\%$ वाले MoE मॉडलों की श्रेष्ठता रीजनिंग, नॉलेज, मैथ और कोड बेंचमार्क में डाउनस्ट्रीम कार्यों (SFT) में सामान्य होती है। विशेष रूप से, डेटा पुन: उपयोग का रीजनिंग कार्यों पर न्यूनतम नकारात्मक प्रभाव पड़ता है लेकिन यह नॉलेज प्रदर्शन को कम करता है; हालाँकि, इष्टतम AR पर, पुन: उपयोग किए गए डेटा वाले SFT-ed MoEs अभी भी अद्वितीय डेटा पर प्रशिक्षित डेंस मॉडलों से बेहतर प्रदर्शन करते हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह पहली बार में निश्चित प्रमाण प्रदान करता है कि MoE आर्किटेक्चरएं सख्ती से समान संसाधन बाधाओं ($N, C, D$) के तहत डेंस LLMs से बेहतर हो सकती हैं, बशर्ते कि आर्किटेक्चर अनुकूलित हो और एक्टिवेशन रेट पहचाने गए इष्टतम क्षेत्र में हो।

• वास्तुशिल्प लाभ (Architectural Advantage): प्रदर्शन लाभ को पैरामीटर संख्या या कंप्यूट बजट में असमानताओं के बजाय केवल वास्तुशिल्प लाभों के कारण माना गया है।
• संसाधन दक्षता: निष्कर्ष इस पारंपरिक धारणा को चुनौती देते हैं कि संसाधन निश्चित होने पर डेंस मॉडल बेहतर होते हैं, जिससे अगली पीढ़ी के NLP सिस्टमों के लिए अधिक संसाधन-कुशल आर्किटेक्चर का मार्ग प्रशस्त होता है।
• व्यावहारिक रणनीति: डेटा पुन: उपयोग रणनीति का परिचय यह प्रदर्शित करता है कि MoE मॉडलों की अतिरिक्त डेटा मांग को कम किया जा सकता है, जिससे बेहतर प्रदर्शन को डेंस मॉडलों की तुलना में काफी बड़े अद्वितीय डेटा बजट की आवश्यकता के बिना भी प्राप्त करना संभव हो जाता है।

लेखक अपनी सीमाओं को स्वीकार करते हैं, जिसमें कम्प्यूटेशनल लागत के कारण 7B से बड़े मॉडल को प्रशिक्षित न कर पाना और अन्य घटकों को स्थिर रखते हुए विशिष्ट MoE घटकों पर ध्यान केंद्रित करना शामिल है। वे सुझाव देते हैं कि भविष्य के कार्य यह पता लगा सकते हैं कि कैसे इष्टतम एक्टिवेशन दरें अपसाइक्लिंग (upcycling) और MoEfication जैसे अन्य प्रशिक्षण प्रतिमानों में क्षमताओं को बढ़ाती हैं।