💬 NLP

Do Domain-specific Experts exist in MoE-based LLMs?

यह शोध पत्र अनुभवजन्य रूप से मिक्सचर ऑफ एक्सपर्ट्स (MoE) आधारित लार्ज लैंग्वेज मॉडल्स में डोमेन-विशिष्ट विशेषज्ञों के अस्तित्व को प्रदर्शित करता है और इस निष्कर्ष का लाभ उठाते हुए DSMoE का प्रस्ताव देता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो बिना इन्फरेंस लागत बढ़ाए या पुन: प्रशिक्षण की आवश्यकता के बिना डोमेन प्रदर्शन को बढ़ाता है।

मूल लेखक: Giang Do, Hung Le, Truyen Tran

प्रकाशित 2026-04-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giang Do, Hung Le, Truyen Tran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर का स्पष्टीकरण दिया गया है।

मुख्य विचार: एक विशाल मस्तिष्क में "विशेषज्ञों" को खोजना

एक विशाल, सुपर-स्मार्ट लाइब्रेरी (एक लार्ज लैंग्वेज मॉडल) की कल्पना करें जो कुकिंग रेसिपी से लेकर क्वांटम फिजिक्स तक सब कुछ जानती है। इस लाइब्रेरी के अंदर केवल एक लाइब्रेरियन नहीं है; बल्कि सैकड़ों अलग-अलग विशेषज्ञ (जिन्हें पेपर में "एक्सपर्ट्स" कहा गया है) आपके सवालों के जवाब देने के लिए मिलकर काम कर रहे हैं। इस सेटअप को Mixture of Experts (MoE) कहा जाता है।

आमतौर पर, जब आप कोई सवाल पूछते हैं, तो एक "मैनेजर" (राउटर) तय करता है कि मदद के लिए कौन से कुछ विशेषज्ञ आगे आएंगे। लेखकों ने जो बड़ा सवाल पूछा वह यह था: "क्या ये विशेषज्ञ वास्तव में विशेषज्ञ (स्पेशलिस्ट) हैं? क्या कोई विशिष्ट विशेषज्ञ गणित का जीनियस है, और कोई जीव विज्ञान का जादूगर है, या वे सभी थोड़ा-बहुत सब कुछ जानते हैं?"

खोज: हाँ, विशेषज्ञ मौजूद हैं!

लेखकों ने छोटे से लेकर विशाल तक दस अलग-अलग "लाइब्रेरीज़" (AI मॉडल) का परीक्षण किया। उन्होंने पाया कि हाँ, डोमेन-विशिष्ट विशेषज्ञ वास्तव में मौजूद हैं।

उदाहरण: एक अस्पताल के बारे में सोचें। आपके पास एक जनरल प्रैक्टिशनर, एक हार्ट सर्जन और एक न्यूरोलॉजिस्ट होता है। यदि आपको दिल की समस्या है, तो आप नहीं चाहेंगे कि न्यूरोलॉजिस्ट उसे ठीक करने की कोशिश करे।
निष्कर्ष: इन AI मॉडल्स में, कुछ "न्यूरॉन्स" (विशेषज्ञ) स्वाभाविक रूप से गणित की समस्याओं के लिए "हार्ट सर्जन" बन जाते हैं, जबकि अन्य जीव विज्ञान के सवालों के लिए "न्यूरोलॉजिस्ट" बन जाते हैं। उन्हें यह जानने के लिए फिर से प्रशिक्षित करने की आवश्यकता नहीं है; उन्होंने यह कौशल अपनी शुरुआती सीख के दौरान स्वाभाविक रूप से विकसित कर लिया है।

समस्या: मैनेजर कभी-कभी सुस्त होता है

भले ही ये विशेषज्ञ मौजूद हैं, लेकिन "मैनेजर" (राउटर) हमेशा परफेक्ट नहीं होता। कभी-कभी, जब आप गणित का कठिन सवाल पूछते हैं, तो मैनेजर गलती से सवाल को एक ऐसे "जनरलिस्ट" विशेषज्ञ के पास भेज सकता है जिसे उसका उत्तर अच्छी तरह से नहीं पता, या वह काम को बहुत अधिक फैला सकता है।

परिणाम: AI अटक जाता है, गलत उत्तर देता है, या इसे समझने में लंबा समय लेता है (जैसे पेपर के उदाहरण में "बेसलाइन", जो गणित की समस्या से भ्रमित हो गया था)।

समाधान: DSMoE (एक "डोमेन स्टीयरिंग" सिस्टम)

लेखकों ने एक नया, मुफ्त टूल बनाया जिसे DSMoE (डोमेन स्टीयरिंग मिक्सचर ऑफ एक्सपर्ट्स) कहा जाता है।

यह कैसे काम करता है: पूरी लाइब्रेरी को फिर से प्रशिक्षित (retrain) करने के बजाय (जो महंगा और धीमा है), DSMoE बस मैनेजर को थोड़ा सा इशारा (nudge) देता है।
उदाहरण: कल्पना करें कि आप एक बुफे (buffet) में हैं। मैनेजर आमतौर पर आपको कुछ भी चुनने देता है। DSMoE एक मिलनसार गाइड की तरह है जो फुसफुसाता है, "हे, चूंकि आपने गणित के बारे में पूछा है, आइए सुनिश्चित करें कि गणित का शेफ ही आपकी प्लेट पर खाना परोस रहा है, और चलिए उन्हें खाने का एक बड़ा हिस्सा देते हैं।"
जादू: यह तब होता है जब वह गणित के सवाल आने पर गणित के विशेषज्ञों की "आवाज़" (volume) को थोड़ा बढ़ा देता है। यह शेफ को नहीं बदलता; यह बस यह बदलता है कि किसे मेज पर बुलाया जाए।

यह एक बड़ी बात क्यों है?

यह मुफ्त है (ट्रेनिंग-फ्री): आमतौर पर, किसी AI को किसी विशेष विषय में बेहतर बनाने के लिए, आपको उसे "फाइन-ट्यून" करना पड़ता है। यह एक ट्यूटर को पूरी लाइब्रेरी को हफ्तों तक दोबारा पढ़ाने के लिए नियुक्त करने जैसा है। DSMoE के लिए शून्य पुन: प्रशिक्षण (zero retraining) की आवश्यकता होती है। यह तुरंत काम करता है।
यह तेज़ है (कोई अतिरिक्त लागत नहीं): क्योंकि यह उत्तर जेनरेट करने से पहले बस एक सेटिंग को टवीक (tweak) करता है, इसलिए यह कंप्यूटर को धीमा नहीं करता है। वास्तव में, क्योंकि यह सही विशेषज्ञ को तेज़ी से चुनता है, इसलिए यह कभी-कभी काम को और भी जल्दी पूरा कर देता है।
यह हर जगह काम करता है: उन्होंने गणित, जीव विज्ञान, भौतिकी और रसायन विज्ञान पर इसका परीक्षण किया। यह मूल AI से बेहतर और यहाँ तक कि महंगे "फाइन-ट्यून्ड" वर्ज़न्स से भी बेहतर काम करता है।

प्रमाण: गणित का टेस्ट

पेपर एक दिलचस्प उदाहरण दिखाता है जहाँ एक मानक AI ने एक पेचीदा गणितीय समस्या को हल करने की कोशिश की और एक लूप में फंस गया, अंततः गलत उत्तर (0) दिया।

जब उन्होंने DSMoE का उपयोग किया, तो AI ने तुरंत पैटर्न को पहचान लिया, "गणित विशेषज्ञ" विशेषज्ञ को चुना, और सही ढंग से हल किया (25)। यह ऐसा था जैसे AI अचानक "जाग गया" हो और उसे याद आ गया हो कि वह गणित का विशेषज्ञ है।

सारांश

पुराना तरीका: AI को गणित में अच्छा बनाने के लिए, आपको हफ्तों तक और लाखों डॉलर खर्च करके उसे फिर से प्रशिक्षित करना पड़ता है।
नया तरीका (DSMoE): बस AI को कहें, "हे, इस सवाल के लिए, कृपया गणित विशेषज्ञ की बात सुनें।"
परिणाम: AI बिना एक भी अतिरिक्त पैसा या कंप्यूटिंग समय खर्च किए अधिक स्मार्ट, तेज़ और सटीक हो जाता है।

लेखकों ने साबित किया कि ये "विशेषज्ञ मस्तिष्क" AI के अंदर पहले से ही छिपे हुए थे; उन्हें बस अपना काम दिखाने के लिए थोड़े से इशारे की आवश्यकता थी।

यहाँ Giang Do et al. के शोध पत्र "Do Domain-specific Experts exist in MoE-based LLMs?" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि Mixture of Experts (MoE) आर्किटेक्चर कुशल रूप से Large Language Models (LLMs) को स्केल करने के लिए मानक बन गए हैं, लेकिन इनके आंतरिक विशेषज्ञ विशेषज्ञता (expert specialization) के तंत्र अभी भी कम समझ में आए हैं। विशेष रूप से, यह स्पष्ट नहीं है कि क्या MoE मॉडल के भीतर विशिष्ट "विशेषज्ञ" (experts) स्वाभाविक रूप से विशिष्ट डोमेन (जैसे, गणित, जीव विज्ञान) में विशेषज्ञता रखते हैं या वे केवल सामान्य प्रोसेसर हैं। इसके अलावा, मॉडल के व्यवहार को विशिष्ट डोमेन की ओर मोड़ने के मौजूदा तरीकों के लिए अक्सर कम्प्यूटेशनल रूप से महंगे फाइन-ट्यूनिंग (Supervised Fine-Tuning या SFT) या जटिल, सैंपल-विशिष्ट स्टीयरिंग तंत्र (जैसे RICE) की आवश्यकता होती है, जो उच्च इन्फरेंस लागत (inference cost) उत्पन्न करते हैं।

लेखक एक मौलिक अनुसंधान प्रश्न पूछते हैं: क्या MoE-आधारित LLMs में डोमेन-विशिष्ट विशेषज्ञ मौजूद हैं? यदि वे मौजूद हैं, तो क्या उन्हें बिना पुनरप्रशिक्षण (retraining) के पहचाना और लाभ उठाया जा सकता है?

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक तीन-चरणीय ढांचे का प्रस्ताव करता है: पहचान (Identification), परिमाणीकरण (Quantification), और स्टीयरिंग (Steering)।

A. डोमेन-विशिष्ट टोकन की पहचान (Identifying Domain-Specific Tokens)

विशेषज्ञों को खोजने के लिए, लेखक पहले यह परिभाषित करते हैं कि एक "डोमेन-विशिष्ट टोकन" क्या है।

परिभाषा: एक टोकन "डोमेन-विशिष्ट" है यदि उसे हटाने से मॉडल के टास्क मेट्रिक (जैसे, क्रॉस-एन्ट्रॉपी लॉस) में महत्वपूर्ण गिरावट आती है, जो एक थ्रेशोल्ड $\epsilon$ से अधिक हो।
कार्यान्वयन: कम्प्यूटेशनल रूप से महंगे Leave-One-Out (LOO) वैलिडेशन के बजाय, वे ग्रेडिएंट-आधारित एट्रिब्यूशन (gradient-based attribution) का उपयोग करते हैं। वे प्रत्येक टोकन के लिए एक रैंकिंग स्कोर $r_i$ की गणना करते हैं जो टोकन एम्बेडिंग और लॉस के सापेक्ष उसके ग्रेडिएंट के बीच एलिमेंट-वाइज प्रोडक्ट के L2 नॉर्म पर आधारित होता है ( $r_i = \|e_i \odot \nabla_{e_i} L\|_2$ )।
थ्रेशोल्डिंग: वे जिन टोकन के स्कोर क्वांटाइल-आधारित थ्रेशोल्ड $t_p$ से ऊपर होते हैं, उन्हें डोमेन-विशिष्ट के रूप में वर्गीकृत किया जाता है।

B. डोमेन-विशिष्ट विशेषज्ञों का परिमाणीकरण (Quantifying Domain-Specific Experts)

लेखकों का अनुमान है कि कुछ विशेषज्ञ एक डोमेन के भीतर बार-बार सक्रिय होते हैं और अधिमानतः डोमेन-विशिष्ट टोकन को प्रोसेस करते हैं।

स्कोरिंग: प्रत्येक विशेषज्ञ $e_j$ के लिए, एक डोमेन-विशिष्ट स्कोर $g(e_j)$ की गणना की जाती है:
$g(e_j) = P(e_j|D) \cdot [P(s \in S | e_j) - P(s \in C | e_j)]$
जहाँ $P(e_j|D)$ डोमेन $D$ पर सक्रियण आवृत्ति (activation frequency) है, और दूसरा पद सामान्य टोकन ( $C$ ) की तुलना में डोमेन-विशिष्ट टोकन ( $S$ ) के प्रति प्राथमिकता को मापता है।
चयन: उच्चतम स्कोर वाले शीर्ष- $K$ विशेषज्ञों को डोमेन-विशिष्ट विशेषज्ञ ( $E^*$ ) के रूप में चुना जाता है।

C. डोमने स्टीयरिंग मिक्स्चर ऑफ एक्सपर्ट्स (DSMoE)

मुख्य योगदान DSMoE है, जो एक ट्रेनिंग-फ्री (training-free) इन्फरेंस फ्रेमवर्क है।

तंत्र: इन्फरेंस के दौरान, पहचाने गए डोमेन-विशिष्ट विशेषज्ञों ( $E^*$ ) को दिए गए राउटर वेट्स ( $w_j$ ) को एक स्टीयरिंग गुणांक $\alpha$ (जहाँ $\alpha > 1$ ) द्वारा बढ़ाया जाता है।
$\tilde{w}_j = \begin{cases} \alpha \cdot w_j & \text{यदि } e_j \in E^* \\ w_j & \text{अन्यथा} \end{cases}$
नॉर्मलाइजेशन: एक वैध प्रोबेबिलिटी डिस्ट्रीब्यूशन सुनिश्चित करने के लिए संशोधित वेट्स को पुन: नॉर्मलाइज़ (Softmax के माध्यम से) किया जाता है।
लागत: इस प्रक्रिया के लिए शून्य अतिरिक्त इन्फरेंस लागत (स्टीयरिंग गुणांक पूर्व-निर्धारित हैं) और शून्य पैरामीटर अपडेट की आवश्यकता होती है।

3. मुख्य योगदान (Key Contributions)

अनुभवजन्य सत्यापन (Empirical Verification): लेखक पहली व्यवस्थित साक्ष्य प्रदान करते हैं कि MoE-आधारित LLMs में डोमेन-विशिष्ट विशेषज्ञ मौजूद हैं। उन्होंने 3.8B से 120B पैरामीटर्स तक के 10 मॉडल्स (GPT-OSS, Qwen, और DeepSeek वेरिएंट सहित) का मूल्यांकन किया और पाया कि प्रत्येक डोमेन के लिए कम से कम एक विशेषज्ञ लगातार विशिष्ट (specialized) है।
DSMoE फ्रेमवर्क: उन्होंने इन विशिष्ट विशेषज्ञों के सक्रियण को बढ़ाकर मॉडल्स को लक्षित डोमेन की ओर मोड़ने के लिए एक नया, ट्रेनिंग-फ्री तरीका पेश किया।
श्रेष्ठ प्रदर्शन और दक्षता: DSMoE, बिना किसी पुनरप्रशिक्षण लागत या अतिरिक्त इन्फरेंस ओवरहेड के, मूल बेस मॉडल्स और मजबूत बेसलाइन्स (SFT और RICE सहित) से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार अत्याधुनिक MoE मॉडल्स पर MMLU-Pro, GPQA-Diamond, AIME जैसे कई बेंचमार्क्स पर DSMoE का मूल्यांकन किया।

लक्षित डोमेन प्रदर्शन (Target Domain Performance):
- DSMoE ने लगातार मूल मॉडल्स और RICE बेसलाइन से बेहतर प्रदर्शन किया।
- लाभ: MMLU-Pro बेंचमार्क पर, DSMoE ने आर्किटेक्चर के आधार पर बेस मॉडल्स की तुलना में औसतन +1.5% से +14.5% का सुधार हासिल किया।
- SFT के साथ तुलना: DSMoE ने अक्सर सुपरवाइज्ड फाइन-ट्यूनिंग (LoRA) से बेहतर प्रदर्शन किया, जबकि SFT लगभग 2.7% पैरामीटर्स को अपडेट करता है और DSMoE 0% अपडेट करता है।
- विशिष्ट उदाहरण: GPT-OSS-120B मॉडल पर, DSMoE ने केमिस्ट्री की सटीकता में +29.1% और गणित में +13.5% का सुधार किया।
सामान्यीकरण (गैर-लक्षित डोमेन) (Generalization - Non-Target Domains):
- MMLU-Pro पर पहचाने गए विशेषज्ञ GPQA-Diamond (स्नातक स्तर का विज्ञान) और AIME (गणित प्रतियोगिता) बेंचमार्क्स पर सफलतापूर्वक सामान्यीकृत हुए।
- DSMoE ने मजबूत ट्रांसफर दिखाया, जिसने AIME 2024/2025 पर बेसलाइन्स की तुलना में +12.3% से +27.3% का सुधार किया।
गुणात्मक विश्लेषण (Qualitative Analysis):
- एक गणितीय समस्या (तालिका 1) में, बेसलाइन मॉडल समीकरणों के सिस्टम को हल करने में विफल रहा, और संख्यात्मक सन्निकटन (numerical approximation) में फंस गया। DSMoE ने विशिष्ट विशेषज्ञ का लाभ उठाकर पूर्णांक संबंध ($xy=25$) को सफलतापूर्वक पहचाना, जिससे बेहतर तर्क क्षमता का प्रदर्शन हुआ।
दक्षता (Efficiency):
- एकमुश्त लागत (One-time Cost): विशेषज्ञों की पहचान करना रैखिक $O(L)$ है और RICE ( $O(L \times M)$ ) की तुलना में काफी सस्ता है।
- इन्फरेंस लागत: DSMoE मूल मॉडल के समान ही इन्फरेंस लागत बनाए रखता है, जबकि RICE प्रति-सैंपल स्टीयरिंग के कारण उच्च लागत लेता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र MoE मॉडल्स के लिए डोमेन अनुकूलन (domain adaptation) के प्रतिमान (paradigm) को मौलिक रूप से बदल देता है। यह प्रदर्शित करता है कि आंतरिक विशेषज्ञ विशेषज्ञता (intrinsic expert specialization) एक अंतर्निहित गुण है जिसे बिना पुनरप्रशिक्षण के अनलॉक किया जा सकता है।

व्यावहारिक प्रभाव: DSMoE, SFT के लिए एक अत्यधिक कुशल विकल्प प्रदान करता है, जिससे संगठन विशाल मॉडल्स को विशिष्ट डोमेन (जैसे, चिकित्सा, कानून, गणित) के लिए बिना किसी अतिरिक्त कम्प्यूटेशनल ओवरहेड के तुरंत अनुकूलित कर सकते हैं।
वैज्ञानिक अंतर्दृष्टि: यह कार्य MoE आर्किटेक्चर में "विशेषज्ञता परिकल्पना" (specialization hypothesis) को प्रमाणित करता है, जो यह सुझाव देता है कि ये मॉडल केवल मोनोलिथिक ब्लॉक्स नहीं हैं बल्कि विभिन्न ज्ञान डोमेन के लिए अलग, व्याख्या योग्य कार्यात्मक इकाइयाँ (functional units) रखते हैं।
भावी कार्य: लेखक इसे 400B से अधिक बड़े मॉडल्स तक विस्तारित करने और पहचान के लिए उपयोग किए गए वेब-सोर्स डेटा में संभावित पूर्वाग्रहों (biases) को कम करने की रणनीतियों का पता लगाने का सुझाव देते हैं।

संक्षेप में, यह शोध पत्र सिद्ध करता है कि MoE LLMs के भीतर "डोमेन विशेषज्ञ" मौजूद हैं और यह उन्हें सक्रिय करने के लिए एक सरल, लागत-मुक्त तंत्र प्रदान करता है, जिससे बेस मॉडल्स और फाइन-ट्यून्ड समकक्षों दोनों पर अत्याधुनिक प्रदर्शन लाभ प्राप्त होता है।