🤖 machine learning

Routing-Free Mixture-of-Experts

यह शोध पत्र 'रूटिंग-फ्री मिक्स्चर-ऑफ़-एक्सपर्ट्स' प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो केंद्रीकृत रूटिंग तंत्र को समाप्त करके व्यक्तिगत विशेषज्ञों को निरंतर ग्रेडिएंट प्रवाह के माध्यम से स्वयं-सक्रिय होने के लिए सशक्त बनाता है और विशेषज्ञ एवं टोकन संतुलन दोनों को अनुकूलित करने के लिए एक एकीकृत अनुकूलन ढांचे का उपयोग करता है, जिसके परिणामस्वरूप मानक बेसलाइन की तुलना में बेहतर स्केलेबिलिटी और मजबूती प्राप्त होती है।

मूल लेखक: Yilun Liu, Jinru Han, Sikuan Yan, Volker Tresp, Yunpu Ma

प्रकाशित 2026-04-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yilun Liu, Jinru Han, Sikuan Yan, Volker Tresp, Yunpu Ma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ट्रांसफॉर्मर किचन (Transformer Kitchen) नामक एक विशाल, उच्च श्रेणी का रेस्तरां चलाते हैं। यह किचन लाखों अलग-अलग व्यंजन बनाने के लिए डिज़ाइन किया गया है (सवालों के जवाब देना, कहानियाँ लिखना, गणित की समस्याओं को हल करना) जिसमें विशेषज्ञों (विशेषज्ञों/Experts) की एक टीम काम करती है।

पुराना तरीका: एक थका हुआ मैनेजर

स्टैंडर्ड AI मॉडल्स (Standard MoE) में, हर बार जब कोई ग्राहक कोई डिश ऑर्डर करता है, तो एक केंद्रीकृत मैनेजर (राउटर/Router) किचन के सामने खड़ा होता है।

मैनेजर ऑर्डर को देखता है।
मैनेजर को यह तय करने के लिए जल्दी से सोचना पड़ता है कि 100 शेफ में से कौन से 2 या 3 इस विशिष्ट डिश के लिए सबसे उपयुक्त हैं।
मैनेजर चिल्लाकर कहता है, "तुम दोनों, इसे पकाओ!" और बाकी सबको अनदेखा कर देता है।

समस्या:

बॉटलनेक (रुकावट): मैनेजर ही निर्णय लेने वाला एकमात्र व्यक्ति है। यदि किचन बहुत व्यस्त हो जाता है, तो मैनेजर काम के बोझ से दब जाता है, जिससे सब कुछ धीमा हो जाता है।
गलत अनुमान: मैनेजर को वास्तव में खाना बनाना नहीं आता; वह केवल एक छोटे नोट कार्ड के आधार पर अनुमान लगाता है। कभी-कभी वह गलत शेफ चुन लेता है, जिससे समय और सामग्री बर्बाद होती है।
कठोर नियम: मैनेजर को हर बार ठीक 2 शेफ चुनने के लिए मजबूर किया जाता है, भले ही डिश सरल हो जिसके लिए केवल 1 की आवश्यकता हो, या जटिल हो जिसके लिए 5 की आवश्यकता हो।
तनाव: शेफ लगातार मैनेजर का ध्यान खींचने के लिए लड़ते रहते हैं, जिससे एक अराजक और तनावपूर्ण वातावरण बन जाता है जहाँ कुछ शेफ अत्यधिक काम कर रहे होते हैं और अन्य खाली बैठे रहते हैं।

नया तरीका: "रूटिंग-फ्री" (Routing-Free) किचन

लेखकों ने एक क्रांतिकारी विचार प्रस्तावित किया है: मैनेजर को नौकरी से निकाल दो।

Routing-Free MoE में, कोई केंद्रीय निर्णय लेने वाला नहीं है। इसके बजाय, प्रत्येक शेफ को एक स्मार्ट, आत्म-जागरूक एप्रन दिया जाता है।

स्व-सक्रियता (Self-Activation): जब कोई ऑर्डर आता है, तो प्रत्येक शेफ सामग्रियों को देखता है और खुद से पूछता है, "क्या मैं यह पकाना जानता हूँ? क्या मैं इसमें आत्मविश्वास महसूस कर रहा हूँ?"
थ्रेशोल्ड (सीमा): यदि एक शेफ का आत्मविश्वास एक निश्चित स्तर (लाइन) को पार कर जाता है, तो वह आगे आता है और खाना बनाना शुरू कर देता है। यदि वह आत्मविश्वास महसूस नहीं करता, तो वह बैठा रहता है।
कोई चिल्लाना नहीं: कोई किसी को नहीं बताता कि क्या करना है। किचन खुद को इस आधार पर व्यवस्थित करता है कि कौन सक्षम महसूस कर रहा है।

यह बेहतर क्यों है?

कोई बॉटलनेक नहीं: चूंकि कोई भी मैनेजर की अनुमति का इंतज़ार नहीं कर रहा है, इसलिए किचन बहुत तेज़ी से चलता है।
बेहतर तालमेल: शेफ अपने कौशल को मैनेजर की तुलना में बेहतर जानते हैं। वे केवल तभी आगे आते हैं जब वे वास्तव में उपयोगी हों, जिससे उच्च गुणवत्ता वाले व्यंजन बनते हैं।
लचीलापन: कुछ दिनों में, 5 शेफ आगे आ सकते हैं; अन्य दिनों में, केवल 1। किचन जटिलता के अनुसार स्वाभाविक रूप से ढल जाता है।

सीक्रेट सॉस: "फेयरनेस" (निष्पक्षता) सिस्टम

आप पूछ सकते हैं, "यदि हर कोई अपने निर्णय स्वयं लेता है, तो क्या वही 5 शेफ सारा काम नहीं करेंगे जबकि अन्य भूखे मर जाएंगे?"

लेखकों ने एक चतुर फेयरनेस सिस्टम (यूनिफाइड एडेप्टिव लोड-बैलेंसिंग फ्रेमवर्क) जोड़ा है।

इसे एक स्मार्ट टाइमर के रूप में सोचें जो किचन को धीरे से दिशा देता है।
यदि शेफ A बहुत अधिक काम कर रहा है, तो सिस्टम उनके आत्मविश्वास के थ्रेशोल्ड को थोड़ा कम कर देता है, जिससे अगली बार उनके लिए "हाँ" कहना कठिन हो जाता है।
यदि शेफ B खाली बैठा रहा है, तो सिस्टम धीरे से उनका आत्मविश्वास बढ़ाता है, जिससे उन्हें आगे आने के लिए प्रोत्साहन मिलता है।
जादू: यह सिस्टम एक साथ दो लक्ष्यों को संतुलित करता है:
1. एक्सपर्ट बैलेंसिंग: यह सुनिश्चित करना कि कोई भी अकेला शेफ अत्यधिक काम न करे।
2. टोकन बैलेंसिंग: यह सुनिश्चित करना कि हर डिश को सही मात्रा में ध्यान मिले।
इस सिस्टम को किसी भी स्थिति के लिए सही संतुलन खोजने हेतु एक वॉल्यूम नॉब की तरह ट्यून किया जा सकता है।

परिणाम: एक सुचारू, तेज़ किचन

शोधकर्ताओं ने विभिन्न आकारों (छोटे, मध्यम और बड़े) के मॉडल्स के साथ इस नए किचन डिज़ाइन का परीक्षण किया।

बेहतर स्वाद: भोजन (AI के उत्तर) पुराने मैनेजर-आधारित किचनों की तुलना में लगातार बेहतर और अधिक सटीक था।
तेज़ सेवा: किचन प्रति सेकंड अधिक ऑर्डर संभाल सकता था, विशेष रूप से जब रेस्तरां बहुत भीड़भाड़ वाला हो (स्केलिंग अप)।
अधिक मजबूत: भले ही शेफ को थोड़े अलग निर्देश दिए गए हों या किचन अराजक हो गया हो, नया सिस्टम सुचारू रूप से काम करता रहा, जबकि पुराना सिस्टम अक्सर क्रैश हो जाता या गलतियाँ करता।

बड़ी तस्वीर

यह पेपर इस खोज की तरह है कि आपको हाईवे प्रबंधित करने के लिए ट्रैफिक पुलिस की आवश्यकता नहीं है। यदि आप प्रत्येक कार को एक स्मार्ट नेविगेशन सिस्टम देते हैं जो जानता है कि कब मर्ज होना है और कब धीमा होना है, तो ट्रैफिक बेहतर, तेज़ और कम दुर्घटनाओं के साथ चलता है।

Routing-Free MoE मॉडल के भीतर मौजूद कठोर, केंद्रीकृत नियंत्रण को हटा देता है और "विशेषज्ञों" को यह तय करने देता है कि उन्हें कब काम करना है। परिणाम एक स्मार्ट, तेज़ और अधिक कुशल AI है जो बिना थके विशाल कार्यों को संभालने के लिए स्केल अप हो सकता है।

यहाँ शोध पत्र "Routing-Free Mixture-of-Experts" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मानक Mixture-of-Experts (MoE) मॉडल, हालांकि स्केलेबल हैं, फिर भी केंद्रीकृत रूटिंग तंत्र (centralized routing mechanisms) पर निर्भर करते हैं जो कठोर इंडक्टिव बायस (inductive biases) और संरचनात्मक सीमाएँ उत्पन्न करते हैं:

रूटर बॉटलनेक (Router Bottleneck): मानक MoEs टोकन को विशेषज्ञों (experts) को सौंपने के लिए छोटे, बाहरी रूटर्स (गेटिंग नेटवर्क) का उपयोग करते हैं। इन रूटर्स में विशेषज्ञ क्षमताओं को संग्रहीत करने के लिए पर्याप्त क्षमता नहीं होती है, जिससे उन्हें अप्रत्यक्ष परीक्षण-और-त्रुटि (trial-and-error) के माध्यम से प्राथमिकताओं को सीखना पड़ता है, जिसके परिणामस्वरूप उप-इष्टतम रूटिंग और अस्थिर प्रारंभिक प्रशिक्षण होता है।
कठोर स्पर्सिटी (Rigid Sparsity - Top-K): पारंपरिक MoEs एक निश्चित Top-K चयन लागू करते हैं, जो इनपुट की जटिलता या विशेषज्ञ की क्षमता के बावजूद समान स्पर्सिटी (sparsity) थोपते हैं। यह उन एडेप्टिव एक्टिवेशन पैटर्न को रोकता है जहाँ कुछ इनपुट को अधिक या कम विशेषज्ञों से लाभ हो सकता है।
सूचना की हानि (Information Loss - Softmax): सॉफ़्टमैक्स (Softmax) ऑपरेशन एक प्रतिस्पर्धी प्रायिकता वितरण (competitive probability distribution) को लागू करता है, जो विशेषज्ञ सक्रियण स्कोर के पूर्ण परिमाण (absolute magnitude) को त्याग देता है। यह अत्यधिक उपयुक्त विशेषज्ञों के योगदान को दबा देता है यदि अन्य विशेषज्ञों का स्कोर थोड़ा अधिक हो जाता है।
संतुलन संघर्ष (Balancing Conflicts): मौजूदा लोड-बैलेंसिंग रणनीतियाँ (Token-Choice बनाम Expert-Choice) अक्सर संतुलन उद्देश्यों को परस्पर अनन्य (mutually exclusive) मानती हैं, जिससे पूर्व-निर्धारित सक्रियण पैटर्न थोपे जाते हैं जो गतिशील वर्कलोड के अनुकूल नहीं हो पाते हैं।

2. कार्यप्रणाली: रूटिंग-फ्री MoE (Methodology: Routing-Free MoE)

लेखक Routing-Free MoE का प्रस्ताव करते हैं, जो एक बॉटम-अप आर्किटेक्चर है जो सभी केंद्रीकृत रूटिंग घटकों (रूटर्स, सॉफ़्टमैक्स, टॉप-के, और हार्ड-कोडेड लोड बैलेंसिंग) को समाप्त कर देता है।

मुख्य आर्किटेक्चर (Core Architecture)

विकेंद्रीकृत सक्रियण (Decentralized Activation): प्रत्येक विशेषज्ञ अपने आंतरिक राज्य (internal state) के आधार पर अपना स्वयं का सक्रियण निर्धारित करता है।
आंतरिक स्कोरिंग (Internal Scoring): एक बाहरी राउटर के बजाय, मॉडल Autonomy-of-Experts (AoE) डिज़ाइन को अपनाता है। प्रत्येक विशेषज्ञ इनपुट हिडन स्टेट $x$ को एक सीख योग्य मैट्रिक्स $A_{gate}$ का उपयोग करके एक लो-रैंक स्पेस ( $r \ll D$ ) में प्रोजेक्ट करता है और इस प्रोजेक्शन के नॉर्म (norm) के आधार पर एक आंतरिक प्राथमिकता स्कोर कंप्यूट करता है: $\|x A_{gate}\|^2$ ।
सीख योग्य बायस और थ्रेशोल्डिंग (Learnable Bias & Thresholding):
- प्रत्येक विशेषज्ञ के लिए व्यक्तिगत रूप से सक्रियण थ्रेशोल्ड को समायोजित करने के लिए एक सीख योग्य प्रति-विशेषज्ञ बायस $b_i$ पेश किया गया है।
- सक्रियण स्कोर की गणना $G_i(x) = \text{ReLU}(\|x A_{gate,i}\|^2 - b_i)$ के रूप में की जाती है।
- एक वैश्विक पोस्ट-एक्टिवेशन थ्रेशोल्ड $\theta$ एक बाइनरी निर्णय लेने के लिए लागू किया जाता है: $f_i(x) = \mathbb{1}\{G_i(x) - \theta \geq 0\}$ ।
परिणाम: विशेषज्ञ पूरी तरह से अपने आंतरिक आत्मविश्वास स्कोर के आधार पर सक्रिय होते हैं। यदि स्कोर थ्रेशोल्ड से अधिक है, तो विशेषज्ञ सक्रिय हो जाता है; अन्यथा, वह निष्क्रिय रहता है। यह एक पूरी तरह से विकेंद्रीकृत प्रणाली बनाता है जहाँ वैश्विक सक्रियण पैटर्न सामूहिक आत्म-समायोजन (collective self-adjustment) से उभरता है।

एकीकृत अनुकूलन लोड-बैलेंसिंग फ्रेमवर्क (Unified Adaptive Load-Balancing Framework)

केंद्रीकृत नियंत्रण की कमी को दूर करने के लिए, लेखक एक एकीकृत फ्रेमवर्क पेश करते हैं जो बिना किसी हार्ड बाधा के टोकन-बैलेंसिंग (प्रत्येक टोकन के लिए समान विशेषज्ञ उपयोग) और एक्सपर्ट-बैलेंसिंग (विशेषज्ञों में समान टोकन वितरण) को संयुक्त रूप से अनुकूलित करता है।

डिफरेंशिएबल प्रॉक्सी (Differentiable Proxy): चूंकि बाइनरी एक्टिवेशन $f_i(x)$ नॉन-डिफरेंशिएबल है, इसलिए ग्रेडिएंट फ्लो के लिए प्री-थ्रेशोल्ड स्कोर $G_i(x)$ का उपयोग एक डिफरेंशिएबल प्रॉक्सी के रूप में किया जाता है।
कंपोजिट लॉस (Composite Loss): लोड-बैलेंसिंग लॉस $L_{LB}$ $L_{L B}$ दो पदों का एक कॉन्फ़िगर करने योग्य इंटरपोलेशन है:
- $L_{EB}$ (Expert-Balancing): उन विशेषज्ञों को दंडित करता है जिन्हें बहुत अधिक या बहुत कम टोकन प्राप्त होते हैं।
- $L_{TB}$ (Token-Balancing): उन टोकनों को दंडित करता है जो बहुत अधिक या बहुत कम विशेषज्ञों को सक्रिय करते हैं।
- सूत्र: $L_{LB} = \mu L_{EB} + (1-\mu) L_{TB}$ , जहाँ $\mu \in [0, 1]$ एक ट्यूनेबल पैरामीटर है।
अनुकूली गुणांक (Adaptive Coefficient): लोड-बैलेंसिंग लॉस का भार $\lambda_t$ प्रशिक्षण के दौरान वर्तमान सक्रियण घनत्व (activation density) और लक्षित घनत्व $\rho_\infty$ के विचलन के आधार पर गतिशील रूप से समायोजित किया जाता है। यह सुनिश्चित करता है कि मॉडल मैनुअल हाइपरपैरामीटर ट्यूनिंग के बिना वांछित स्पर्सिटी की ओर अभिसरण (converge) करे।

3. प्रमुख योगदान (Key Contributions)

रूटिंग-फ्री आर्किटेक्चर: एक नवीन MoE डिज़ाइन जो बाहरी रूटर्स, सॉफ़्टमैक्स, टॉप-के और हार्ड-कोडेड बैलेंसिंग को पूरी तरह से हटा देता है, जिससे विशेषज्ञ अपने आंतरिक आत्मविश्वास के आधार पर स्वयं को सक्रिय कर सकते हैं।
एकीकृत लोड-बैलेंसिंग: एक लचीला फ्रेमवर्क जो टोकन-बैलेंसिंग और एक्सपर्ट-बैलेंसिंग उद्देश्यों के बीच इंटरपोलेट करता है, जिससे अनुकूलन योग्य संसाधन आवंटन और प्रशिक्षण के दौरान अनुकूलित अनुकूलन (adaptive optimization) संभव होता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): कई स्केल्स और बेंचमार्क पर मानक MoE, AoE और ReMoE बेसलाइन्स की तुलना में निरंतर बेहतर प्रदर्शन प्रदर्शित करने वाले व्यापक प्रयोग।
स्केलेबिलिटी और मजबूती (Scalability & Robustness): यह विधि पारंपरिक रूटिंग तंत्रों की तुलना में बेहतर प्रशिक्षण स्थिरता, लर्निंग रेट विविधताओं के प्रति बेहतर सहनशीलता और बेहतर स्केलेबिलिटी दिखाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने OpenWebText पर प्रशिक्षित तीन मॉडल स्केल्स (Small, Medium, Large, ~0.8B पैरामीटर्स तक) पर Routing-Free MoE का मूल्यांकन किया।

प्रदर्शन (Performance):
- लैंग्वेज मॉडलिंग: Routing-Free MoE ने सभी स्केल्स पर मानक MoE, AoE और ReMoE की तुलना में लगातार कम परप्लेक्सिटी (PPL) प्राप्त की (उदाहरण के लिए, स्केल L पर, PPL 24.58 से गिरकर 19.97 हो गया)।
- डाउनस्ट्रीम टास्क: इसने 9 बेंचमार्क (PIQA, HellaSwag, ARC, और GLUE कार्यों सहित) पर बेसलाइन्स को पछाड़ दिया, जिसमें औसतन +0.77 प्रतिशत अंक की सांख्यिकीय रूप से महत्वपूर्ण सुधार देखा गया।
प्रशिक्षण गतिशीलता (Training Dynamics):
- स्थिरता: जहाँ मानक MoE विफल हो गए, वहाँ Routing-Free MoE उच्च लर्निंग रेट पर भी स्थिर रहा (उदाहरण के लिए, स्केल S पर, $\alpha=2\times10^{-3}$ पर MoE विफल हो गया जबकि RFMoE स्थिर रहा)।
- उभरती संरचना (Emergent Structure): प्रति-लेयर डेंसिटी बाधाओं को हटाने से मॉडल को स्व-संगठित होने की अनुमति मिली, जिसमें शुरुआती लेयर्स उच्च सक्रियण विचरण (activation variance) दिखाते हैं और बाद की लेयर्स तीव्र वृद्धि दिखाती हैं, जो LLMs में कार्यात्मक भूमिकाओं के साथ संरेखित है।
दक्षता और परिनियोजन (Efficiency & Deployment):
- एक्सपर्ट पैरेललिज्म: मल्टी-डिवाइस सेटिंग्स में, Routing-Free MoE मानक MoE के ब्लॉकिंग All-to-All कम्युनिकेशन बॉटलनेक को समाप्त करता है। यह 4 डिवाइस पर 1.19x उच्च प्रीफिल थ्रूपुट और 1.12x उच्च डिकोड थ्रूपुट प्राप्त करता है।
- थ्रेशोल्ड अनुकूलन: वैश्विक थ्रेशोल्ड $\theta$ इन्फरेंस-टाइम पर कंप्यूट और सटीकता के बीच ट्रेड-ऑफ की अनुमति देता है। मॉडल न्यूनतम प्रदर्शन गिरावट के साथ अत्यधिक स्पर्सिटी (4% सक्रियण घनत्व तक) के साथ भी मजबूत बना रहता है।

5. महत्व (Significance)

यह कार्य MoE डिज़ाइन के प्रतिमान को केंद्रीकृत ऑर्केस्ट्रेशन से विकेंद्रीकृत स्वायत्तता (decentralized autonomy) की ओर मौलिक रूप से बदल देता है।

सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित करता है कि विशेषज्ञ विशेषज्ञता (expert specialization) और लोड बैलेंसिंग वैश्विक समन्वय के बिना स्थानीय अनुकूलन से स्वाभाविक रूप से उभर सकती है, जो जटिल रूटिंग तंत्रों की आवश्यकता को चुनौती देती है।
व्यावहारिक प्रभाव: रूटिंग बॉटलनेक्स को हटाने से इन्फरेंस लेटेंसी और थ्रूपुट में काफी सुधार होता है, विशेष रूप से वितरित सेटिंग्स में। अनुकूलन योग्य लोड-बैलेंसिंग फ्रेमवर्क स्थिर Top-K रणनीतियों की तुलना में संसाधन आवंटन के लिए अधिक लचीला दृष्टिकोण प्रदान करता है।
भविष्य की दिशा: पेपर सुझाव देता है कि भविष्य के MoE डिजाइनों को वैश्विक रूटिंग एल्गोरिदम को सुधारने के बजाय विशेषज्ञ स्वायत्तता और स्थानीय निर्णय लेने की क्षमता बढ़ाने पर ध्यान केंद्रित करना चाहिए, जो अधिक कुशल और स्केलेबल लार्ज लैंग्वेज मॉडल्स के लिए नए रास्ते खोलता है।