💬 NLP

$\infty$ -MoE: Generalizing Mixture of Experts to Infinite Experts

यह शोध पत्र $\infty$ -MoE का प्रस्ताव करता है, जो एक नवीन आर्किटेक्चर है जो प्रत्येक टोकन के लिए बड़े फीड-फॉरवर्ड नेटवर्क मापदंडों के निरंतर अंशों का चयन करके 'मिक्सचर ऑफ एक्सपर्ट्स' को एक अनंत स्थान तक सामान्यीकृत करता है, जिससे विशेषज्ञों की एक विशाल संख्या के साथ प्रभावी प्रशिक्षण सक्षम होता है और बहुत बड़े डेंस मॉडल्स के तुलनीय प्रदर्शन प्राप्त करने के साथ-साथ एक लचीला सटीकता-गति ट्रेड-ऑफ भी प्रदान करता है।

मूल लेखक: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

प्रकाशित 2026-01-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हाई-टेक लाइब्रेरी चला रहे हैं जहाँ हर किताब ज्ञान का एक हिस्सा है। एक पारंपरिक लाइब्रेरी (एक मानक AI मॉडल) में, आपके पास कुछ बहुत बड़े, सामान्य उद्देश्य वाले लाइब्रेरियन होते हैं। जब आप कोई प्रश्न पूछते हैं, तो प्रत्येक लाइब्रेरियन उसका उत्तर देने की कोशिश करता है, और उनके उत्तरों को मिला दिया जाता है। यह सटीक तो है लेकिन धीमा और महंगा है क्योंकि आप हर एक प्रश्न के लिए उन सभी को काम करने के लिए भुगतान कर रहे हैं।

इसे ठीक करने के लिए, शोधकर्ताओं ने Mixture of Experts (MoE) का आविष्कार किया। इसमें सभी को काम पर लगाने के बजाय, आपके पास एक "हेड लाइब्रेरियन" (जिसे राउटर कहा जाता है) है जो आपके प्रश्न को देखता है और आपके उत्तर के लिए केवल दो विशिष्ट लाइब्रेरियनों को चुनता है। यह बहुत तेज़ और सस्ता है। हालाँकि, एक पेंच है: इस पारंपरिक सेटअप में, आपको यह तय करना होता है कि आप वास्तव में कितने लाइब्रेरियन नियुक्त करेंगे (जैसे, 16 या 100)। यदि आप बहुत अधिक नियुक्त करते हैं, तो हेड लाइब्रेरियन यह चुनने में भ्रमित हो जाता है कि किसे चुना जाए, और पूरे सिस्टम को प्रशिक्षित करना एक दुःस्वप्न बन जाता है। यह एक टीम के 1,000 लोगों को प्रबंधित करने जैसा है जब आप एक समय में केवल दो से ही बात कर सकते हैं।

नया विचार: ∞-MoE (इनफिनिट मिक्सचर ऑफ एक्सपर्ट्स)

टोक्यो विश्वविद्यालय के इस शोध पत्र के लेखकों ने एक साहसिक प्रश्न पूछा: क्या होगा यदि हमारे पास विशेषज्ञों की एक निश्चित संख्या न हो? क्या होगा यदि हमारे पास अनंत संख्या में विशेषज्ञ हों?

वे अपने नए सिस्टम को ∞-MoE कहते हैं। यह कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

1. निरंतर "एक्सपर्ट स्पेस" (Continuous Expert Space)

इसमें यह नहीं है कि लाइब्रेरियन #1, लाइब्रेरियन #2 और लाइब्रेरियन #3 एक पंक्ति में बैठे हैं, बल्कि कल्पना करें कि लाइब्रेरियन एक अनंत, निरंतर मानचित्र (continuous map) पर फैले हुए हैं।

पुराने सिस्टम में, आपको मानचित्र पर विशिष्ट बिंदु चुनने होते थे (जैसे "निर्देशांक 5 पर लाइब्रेरियन")।
नए सिस्टम में, हेड लाइब्रेरियन आपके द्वारा पूछे गए प्रत्येक प्रश्न के लिए एक बादल (cloud) बनाता है। यह बादल उन विशेषज्ञों की एक सीमा (range) का प्रतिनिधित्व करता है जो मददगार हो सकते हैं।

2. सैंपलिंग बनाम चयन (Sampling Instead of Picking)

जब आप एक प्रश्न पूछते हैं, तो हेड लाइब्रेरियन केवल दो विशिष्ट लोगों को नहीं चुनता है। इसके बजाय, वे उस बादल से एक "स्नैपशॉट" (नमूना) लेते हैं।

वे निर्देशांक 5.2 पर एक बिंदु चुन सकते हैं।
वे निर्देशांक 5.3 पर एक बिंदु चुन सकते हैं।
क्योंकि मानचित्र निरंतर है, हर बार जब वे एक स्नैपशॉट लेते हैं, तो उन्हें एक अद्वितीय (unique) विशेषज्ञ मिलता है जो पहले कभी अस्तित्व में नहीं रहा है।

3. "मास्क" (न्यूरॉन्स को चालू और बंद करना)

आप अनंत विशेषज्ञों के साथ बिना अनंत कंप्यूटर बनाए कैसे काम कर सकते हैं? इसका रहस्य मास्क (mask) में है।
AI के मस्तिष्क को बल्बों (न्यूरॉन्स) का एक विशाल ग्रिड मानिए।

एक मानक AI में, सभी बल्ब चालू होते हैं।
पुराने MoE में, राउटर विशेषज्ञ #1 के लिए बल्बों का एक विशिष्ट ब्लॉक और विशेषज्ञ #2 के लिए एक अलग ब्लॉक चालू करता है।
∞-MoE में, "सैंपल" (मानचित्र पर निर्देशांक) एक स्टेंसिल (stencil) की तरह काम करता है। सिस्टम बल्बों के विशाल ग्रिड को लेता है और स्टेंसिल का उपयोग करके उस विशिष्ट प्रश्न के लिए केवल शीर्ष 25% सबसे चमकीले बल्बों को चालू करता है।
क्योंकि स्टेंसिल एक निरंतर संख्या पर आधारित है, इसलिए हर प्रश्न के लिए बल्बों का एक थोड़ा अलग पैटर्न चालू होता है। यह ऐसा है जैसे आपके द्वारा लिखे गए प्रत्येक वाक्य के लिए एक अद्वितीय, कस्टम-मेड टूल बनाना, लेकिन आप उस टूल को पहले से मौजूद हिस्सों से ही बनाते हैं।

यह एक बड़ी बात क्यों है?

शोधकर्ताओं ने इस परीक्षण को दो मॉडलों (GPT-2 Small और Medium) पर किया और कुछ प्रभावशाली परिणाम पाए:

कम "सक्रिय" मस्तिष्क के साथ बेहतर प्रदर्शन:
∞-MoE मॉडल, जिसमें 129 मिलियन सक्रिय पैरामीटर (वे हिस्से जो वास्तव में काम कर रहे हैं) थे, एक मानक, डेंस मॉडल के समान प्रदर्शन करता है जिसके 350 मिलियन पैरामीटर थे। यह एक विशाल मस्तिष्क की बुद्धिमत्ता प्राप्त करने जैसा है जबकि आप केवल एक छोटे मस्तिष्क की ऊर्जा का उपयोग कर रहे हैं।
लचीलापन (Flexibility):
पुराने MoE में, यदि आप तेज़ जाना चाहते थे, तो आपको पूरे मॉडल को फिर से प्रशिक्षित करना पड़ता था। ∞-MoE में, आप प्रश्न पूछते समय बस "सैंपल्स" (स्नैपशॉट्स) की संख्या बदल सकते हैं।

गति चाहिए? कम सैंपल लें (कम विशेषज्ञ)।
अधिकतम सटीकता चाहिए? अधिक सैंपल लें।
शोध पत्र दिखाता है कि आप इस सेटिंग को बदले बिना, मॉडल को बदले बिना, केवल इसे ट्यून करके मानक MoE की तुलना में 2.5% सटीकता वृद्धि प्राप्त कर सकते हैं।

स्थिरता (Stability):
पुराने सिस्टम में अधिक विशेषज्ञ जोड़ने के साथ एक बड़ी समस्या यह है कि वे अस्थिर हो जाते हैं और उन्हें प्रशिक्षित करना कठिन होता है। क्योंकि ∞-MoE विशेषज्ञों को अलग-अलग लोगों की एक कूदती हुई सूची के बजाय एक सुचारू, निरंतर स्थान के रूप में मानता है, इसलिए प्रशिक्षण स्थिर रहता है भले ही विशेषज्ञों की "संख्या" अनंत की ओर बढ़ती जाए।

कमी (सीमाएं)

लेखक ईमानदार हैं कि उन्होंने अभी तक क्या हल नहीं किया है:

स्केलिंग अप (Scaling Up): उन्होंने इसका परीक्षण मध्यम आकार के मॉडलों पर किया है। उन्हें 100% यकीन नहीं है कि यह आज की कंपनियों द्वारा उपयोग किए जाने वाले विशाल मॉडलों (जैसे GPT-4 स्केल) पर कैसा व्यवहार करेगा, हालांकि उन्हें उम्मीद है कि यह काम करेगा।
हार्डवेयर की गति: हालांकि गणित कहता है कि यह तेज़ होना चाहिए, लेकिन वास्तविक कंप्यूटर कोड जटिल है। क्योंकि चालू होने वाले "बल्ब" हर शब्द के साथ बदलते हैं, इसलिए मानक कंप्यूटर चिप्स के लिए उन्हें एक साथ कुशलतापूर्वक प्रोसेस करना कठिन होता है। उन्हें इसे तेज़ चलाने के लिए विशेष कोड लिखना पड़ा, और अभी भी सुधार की गुंजाइश है।

सारांश

∞-MoE एक निश्चित विशेषज्ञ टीम से एक आकार बदलने वाली, अनंत टीम में अपग्रेड करने जैसा है। विशिष्ट लोगों को काम पर रखने के बजाय, आपके पास एक जादुई मशीन है जो आपके द्वारा पूछे गए प्रत्येक प्रश्न के लिए तुरंत एक अद्वितीय, पूर्ण विशेषज्ञ बना सकती है, और वह भी कंप्यूटर की केवल एक अंश शक्ति का उपयोग करके। यह AI को एक विशाल, स्थिर मस्तिष्क के खर्च के बिना स्मार्ट और अधिक लचीला बनाने की अनुमति देता है।

तकनीकी सारांश: ∞-MoE: अनंत विशेषज्ञों (Infinite Experts) के लिए Mixture of Experts का सामान्यीकरण

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने पैरामीटर्स, डेटा और कंप्यूट को स्केल करने के माध्यम से महत्वपूर्ण प्रदर्शन लाभ प्राप्त किए हैं। हालाँकि, केवल मॉडल के आकार को बढ़ाने से भारी कंप्यूटेशनल और मेमोरी ओवरहेड होता है। Mixture of Experts (MoE) आर्किटेक्चर प्रत्येक टोकन को विशेषज्ञता प्राप्त उपसमुच्चय (specialized subset) में रूट करके इस समस्या का समाधान करता है, जिससे प्रति-टोकन कंप्यूट लागत में रैखिक वृद्धि के बिना पैरामीटर क्षमता का विस्तार होता है।

इन लाभों के बावजूद, पारंपरिक MoE विशेषज्ञों की संख्या बढ़ाने पर कुछ सीमाओं का सामना करता है:

डिस्क्रीट बाधाएं (Discrete Constraints): विशेषज्ञों को एक डिस्क्रीट स्पेस में पूरी तरह से स्वतंत्र संस्थाओं के रूप में माना जाता है।
प्रशिक्षण अस्थिरता (Training Instability): जैसे-जैसे विशेषज्ञों की संख्या बढ़ती है, प्रत्येक विशेषज्ञ को प्रभावी ढंग से प्रशिक्षित करना कठिन हो जाता है।
रूटर ओवरहेड (Router Overhead): विशेषज्ञ पूल को आक्रामक रूप से बढ़ाने (जैसे, लाखों तक) से रूटर ओवरहेड बढ़ सकता है या अत्यधिक संकुचित विशेषज्ञ सटीकता को कम कर सकते हैं।

मुख्य प्रश्न यह है कि क्या एक सीमित विशेषज्ञों के सेट से आगे बढ़कर, एक प्रभावी रूप से अनंत संख्या में विशेषज्ञों की ओर बढ़ते हुए, कंप्यूटेशनल दक्षता बनाए रखते हुए प्रदर्शन में सुधार किया जा सकता है।

2. कार्यप्रणाली (Methodology): ∞-MoE

लेखक ∞-MoE प्रस्तावित करते हैं, जो MoE को डिस्क्रीट विशेषज्ञों के सेट से एक निरंतर (continuous), संभावित रूप से अनगिनत (uncountably infinite) विशेषज्ञ स्थान में सामान्यीकृत करता है।

2.1 निरंतर विशेषज्ञ स्थान (Continuous Expert Space)

मानक MoE के विपरीत, जहाँ एक रूटर $Z = \{1, \dots, n\}$ के सेट से एक डिस्क्रीट इंडेक्स $i$ चुनता है, ∞-MoE विशेषज्ञ स्थान को एक निरंतर डोमेन $Z \subseteq \mathbb{R}^{d_z}$ के रूप में परिभाषित करता है।

रूटर (Router): रूटर निरंतर स्थान पर एक संभाव्यता घनत्व (probability density) $p(z|x)$ आउटपुट करता है, जिसे गाऊसी वितरण (Gaussian distribution) $\mathcal{N}(z | \mu(x), \Sigma(x))$ के रूप में मॉडल किया गया है।
सैंपलिंग (Sampling): प्रशिक्षण और अनुमान (inference) के दौरान, मॉडल $K$ निरंतर विशेषज्ञ इंडेक्स $z^{(k)} \sim p(z|x)$ को सैंपल करता है।
एकीकरण (Integration): आउटपुट को मोंटे कार्लो सैंपलिंग (Monte Carlo sampling) के माध्यम से अनुमानित किया जाता है: $y \approx \frac{1}{K} \sum_{k=1}^K f(x, z^{(k)})$ ।

2.2 डायनेमिक मास्किंग के माध्यम से विशेषज्ञ डिज़ाइन (Expert Design via Dynamic Masking)

एक निश्चित पैरामीटर बजट के भीतर अनंत विशेषज्ञों को साकार करने के लिए, लेखक एक एकल फीड-फॉरवर्ड नेटवर्क (FFN) को सैंपल किए गए निरंतर इंडेक्स $z$ का उपयोग करके मॉड्युलेट करते हैं।

तंत्र (Mechanism): सैंपल किए गए $z$ का उपयोग एक मास्क उत्पन्न करने के लिए किया जाता है जो FFN की इंटरमीडिएट लेयर में न्यूरॉन्स के एक उपसमुच्चय को गतिशील रूप से चुनता है।
कार्यान्वयन (Implementation):
1. इंटरमीडिएट वैल्यूज $\hat{m} = W_z z$ की गणना करें।
2. केवल सबसे बड़े $N\%$ नोड्स को बनाए रखने के लिए एक top- $N\%$ ऑपरेटर लागू करें, बाकी को शून्य पर सेट करें।
3. अंतिम विशेषज्ञ आउटपुट $f(x, z) = W_2 (\text{Act}(W_1 x) \odot \text{mask}(z))$ है।
प्रभाव (Effect): प्रत्येक विशिष्ट सैंपल किया गया $z$ , FFN के पैरामीटर्स के एक अद्वितीय उपसमुच्चय को सक्रिय करता है, जिससे एक निरंतर कंटिनमम से एक विशिष्ट "विशेषज्ञ" बनता है, जबकि पारंपरिक MoE की स्पार्सिटी विशेषता बनी रहती है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक सामान्यीकरण (Theoretical Generalization): यह पेपर MoE को डिस्क्रीट विशेषज्ञ पूल से निरंतर डोमेन तक विस्तारित करने वाला एक फॉर्मूलेशन पेश करता है, जो सैद्धांतिक रूप से अनबाउंडेड विशेषज्ञों की संख्या की अनुमति देता है।
कुशल कार्यान्वयन (Efficient Implementation): निरंतर सैंपलिंग को डायनेमिक न्यूरॉन मास्किंग के साथ जोड़कर, यह विधि अनंत विशेषज्ञों की क्षमता प्राप्त करती है जबकि स्पार्स रूटिंग (प्रति टोकन केवल सक्रिय पैरामीटर्स का एक छोटा हिस्सा) की कंप्यूटेशनल दक्षता को बनाए रखती है।
लचीला अनुमान (Flexible Inference): यह दृष्टिकोण अनुमान के समय नमूनों की संख्या $K$ को समायोजित करके सटीकता और गति के बीच एक लचीला ट्रेड-ऑफ प्रदान करता है।
कस्टम कर्नेल ऑप्टिमाइज़ेशन (Custom Kernel Optimization): लेखकों ने मास्किंग और रिडक्शन ऑपरेशन्स को कुशलतापूर्वक संभालने के लिए एक फ्यूज्ड CUDA कर्नेल विकसित किया है, जिससे मानक PyTorch कार्यान्वयन की तुलना में 1.25 गुना स्पीडअप प्राप्त हुआ है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न ज़ीरो-शॉट NLP बेंचमार्क (BoolQ, HellaSwag, WinoGrande, ARC, OpenBookQA, RACE) पर GPT-2 Small और GPT-2 Medium आर्किटेक्चर पर ∞-MoE का मूल्यांकन किया।

Dense मॉडल्स के विरुद्ध प्रदर्शन: एक GPT-2 Small-आधारित ∞-MoE (129M एक्टिव, 186M टोटल पैरामीटर्स) ने औसतन 39.8 का स्कोर प्राप्त किया, जो डेंस GPT-2 Medium (350M पैरामीटर्स) को पछाड़ते हुए बराबरी (39.8) पर रहा (हालाँकि ∞-MoE ने कम एक्टिव पैरामीटर्स का उपयोग किया)। विशेष रूप से, ∞-MoE ने डेंस GPT-2 Small (38.5) और मानक MoE वेरिएंट्स को पीछे छोड़ दिया।
Standard MoE के विरुद्ध प्रदर्शन: ∞-MoE ने सभी बेंचमार्क में Switch Transformer (Top-1) और मानक MoE (Top-2) को लगातार पछाड़ दिया। GPT-2 Small के लिए, इसने औसत स्कोर को MoE (38.8) से बढ़ाकर 39.8 कर दिया।
$K$ के साथ स्केलिंग: अनुमान के दौरान नमूनों की संख्या $K$ को बढ़ाने से अतिरिक्त सटीकता लाभ प्राप्त हुआ। न्यूनतम सैंपलिंग ( $K=1$ ) के साथ भी, मॉडल ने मानक MoE की तुलना में 2.5% सटीकता सुधार बनाए रखा।
स्थिरता (Stability): रूटिंग एंट्रॉपी माप ने संकेत दिया कि मॉडल प्रशिक्षण के दौरान तेजी से स्थिर हो गया, जिसमें उच्च नॉर्मलाइज्ड रूटिंग एंट्रॉपी ( $\approx 0.9$ ) देखी गई, जो विशेषज्ञ स्थान के समान उपयोग (uniform utilization) का सुझाव देती है।
एब्लेशन अध्ययन (Ablation Studies):
- डेटासेट का आकार: HellaSwag पर प्रदर्शन 100 बिलियन टोकन तक प्रशिक्षण डेटा के आकार के साथ सकारात्मक रूप से स्केल हुआ।
- इंडेक्स डायमेंशन: निरंतर इंडेक्स $z$ के डायमेंशन को बढ़ाने से $d_z=128$ तक प्रदर्शन में सुधार हुआ, इसके बाद कोई और लाभ नहीं देखा गया।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि ∞-MoE सफलतापूर्वक डेंस मॉडल्स की उच्च क्षमता और स्पार्स MoE की दक्षता के बीच के अंतर को पाटता है। विशेषज्ञों को एक निरंतर स्थान के रूप में मानकर, यह विधि विशाल डिस्क्रीट विशेषज्ञ पूलों से जुड़ी प्रशिक्षण अस्थिरता के बिना "अनंत" विशेषज्ञता की अनुमति देता है।

लेखक इस बात पर जोर देते हैं कि यह फ्रेमवर्क एक लचीला स्पीड-एक्यूरेसी ट्रेड-ऑफ प्रदान करता है: उपयोगकर्ता बिना रिट्रेनिंग के विशिष्ट लेटेंसी या हार्डवेयर बाधाओं को पूरा करने के लिए अनुमान के समय सैंपल किए गए विशेषज्ञों की संख्या ( $K$ ) को समायोजित कर सकते हैं।

6. सीमाएं और भविष्य का कार्य (Limitations and Future Work)

लेखकों ने स्पष्ट रूप से कई सीमाओं और खुली चुनौतियों का उल्लेख किया है:

बड़े मॉडल्स तक स्केलिंग: GPT-2 Medium (जैसे, GPT-3 स्केल) से बड़े मॉडल्स पर ∞-MoE का व्यवहार अभी तक पूरी तरह से समझा नहीं गया है, विशेष रूप से कुल पैरामीटर्स और एक्टिव पैरामीटर्स के बीच के ट्रेड-ऑफ के संबंध में।
रूटर डिस्ट्रीब्यूशन: वर्तमान कार्यान्वयन एक यूनिमोडल गाऊसी (unimodal Gaussian) रूटर का उपयोग करता है। अधिक जटिल डिस्ट्रीब्यूशन (जैसे, मिश्रण गाऊसी/Mixtures of Gaussians) बेहतर कवरेज प्रदान कर सकते हैं लेकिन प्रशिक्षण विचरण (variance) और सैंपलिंग जटिलता को बढ़ा सकते हैं।
डोमेन जनरलाइजेशन: गैर-NLP डोमेन (जैसे, विजन ट्रांसफॉर्मर या मल्टीमॉडल मॉडल्स) में इसकी प्रयोज्यता अभी भी अनोखखी है।
हार्डवेयर दक्षता: हालांकि सैद्धांतिक FLOPs कम हैं, सक्रिय न्यूरॉन सेट्स की गतिशील प्रकृति व्यावहारिक थ्रूपुट को बाधित कर सकती है, जो बैचिंग और फिक्स्ड-शेप GEMMs के उपयोग को जटिल बनाती है। लेखक नोट करते हैं कि उनका वर्तमान कार्यान्वयन मास्क किए गए डेंस मैट्रिक्स मल्टीप्लिकेशन के माध्यम से थ्रूपुट को प्राथमिकता देता है, लेकिन सैद्धांतिक कंप्यूट बचत और व्यावहारिक गति के बीच के अंतर को पाटने के लिए और अधिक सिस्टम-स्तरीय अनुकूलन की आवश्यकता है।