💬 NLP

MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping

यह शोध पत्र MoDES को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो वैश्विक रूप से-मॉड्यूलेटेड स्थानीय गेटिंग तंत्र और दोहरी-मोडैलिटी थ्रेशोल्डिंग का उपयोग करके Mixture-of-Experts मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को त्वरित करता है, जिससे अनावश्यक विशेषज्ञों को अनुकूल रूप से स्किप किया जा सकता है, और इस प्रकार मौजूदा विधियों की तुलना में अनुमान गति (inference speed) और सटीकता दोनों में महत्वपूर्ण सुधार करता है।

मूल लेखक: Yushi Huang, Zining Wang, Zhihang Yuan, Yifu Ding, Ruihao Gong, Jinyang Guo, Xianglong Liu, Jun Zhang

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yushi Huang, Zining Wang, Zhihang Yuan, Yifu Ding, Ruihao Gong, Jinyang Guo, Xianglong Liu, Jun Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ MoDES पेपर का सरल भाषा में अनुवाद दिया गया है, जिसमें रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।

बड़ी समस्या: अत्यधिक कर्मचारियों वाली रसोई (The Over-Staffed Kitchen)

एक विशाल, उच्च श्रेणी के रेस्तरां की कल्पना करें (जो एक Multimodal Large Language Model या MLLM है) जो कुछ भी बना सकता है: कविताएँ लिख सकता है, एक्स-रे का विश्लेषण कर सकता है, या वीडियो का वर्णन कर सकता है। इसे संभालने के लिए, रसोई "Mixture of Experts" (MoE) सिस्टम का उपयोग करती है।

एक विशाल शेफ के बजाय जो सब कुछ करता है, रसोई में सैकड़ों विशेषज्ञ शेफ (जिन्हें Experts कहा जाता है) होते हैं।

एक शेफ सब्जियां काटने में माहिर है (Text)।
एक डेसर्ट सजाने में माहिर है (Images)।
एक रेसिपी पढ़ने में माहिर है (Videos)।

पेंच (The Catch): वर्तमान सेटअप में, हर एक ऑर्डर के लिए (हर शब्द या पिक्सेल के लिए), रसोई प्रबंधक सभी शेफ को वहां उपस्थित होने और व्यंजन चखने के लिए मजबूर करता है, भले ही उनमें से केवल दो ही वास्तव में जानते हों कि क्या करना है। यह अविश्वसनीय रूप से धीमा, महंगा और बर्बादी भरा है। यह ऐसा है जैसे एक अकेला सुर बजाने के लिए पूरे ऑर्केस्ट्रा को बुला लिया जाए।

असफल समाधान: "एक ही नियम सबके लिए" (The "One-Size-Fits-All" Rule)

वैज्ञानिकों ने इस नियम को बनाकर इसे ठीक करने की कोशिश की: "यदि कोई शेफ ऑर्डर में बहुत अधिक दिलचस्पी नहीं ले रहा है, तो उन्हें घर भेज दो।" इसे Expert Skipping कहा जाता है।

हालाँकि, जब उन्होंने इस नियम को मल्टीमॉडल रसोई पर लागू किया, तो यह उल्टा पड़ गया। प्रदर्शन गिर गया क्योंकि नियम बहुत बेवकूफी भरा था। इसने एक "टेक्स्ट ऑर्डर" और एक "वीडियो ऑर्डर" के साथ बिल्कुल एक जैसा व्यवहार किया, और "जूनियर शेफ" (शुरुआती लेयर्स) के साथ "हेड शेफ" (गहरी लेयर्स) जैसा ही व्यवहार किया।

समाधान: MoDES (स्मार्ट किचन मैनेजर)

लेखकों ने MoDES (Multimodal Dynamic Expert Skipping) बनाया। MoDES को एक सुपर-स्मार्ट, अनुकूलन योग्य (adaptive) किचन मैनेजर के रूप में सोचें जो दो महत्वपूर्ण टिप्पणियाँ करता है:

1. सभी शेफ समान नहीं होते (The "Layer" Insight)

अंतर्दत (Insight): खाना पकाने के शुरुआती चरणों में (shallow layers), शेफ तैयारी का भारी काम कर रहे होते हैं। यदि आप उन्हें छोड़ देते हैं, तो पूरा व्यंजन विफल हो जाएगा। बाद के चरणों में (deep layers), शेफ केवल अंतिम सजावट जोड़ रहे होते हैं। उन्हें छोड़ने से ज्यादा फर्क नहीं पड़ता।
उपमा: घर बनाने की कल्पना करें। यदि आप फाउंडेशन (नींव) टीम को छोड़ देते हैं (shallow layers), तो घर ढह जाएगा। यदि आप ट्रिम पेंट करने वाले कुछ लोगों को छोड़ देते हैं (deep layers), तो भी घर खड़ा रहेगा।
MoDES का समाधान: यह एक Global-Modulated Local Gating सिस्टम का उपयोग करता है। यह जानता है कि "फाउंडेशन शेफ" "ट्रिम शेफ" की तुलना में अधिक महत्वपूर्ण हैं और यह महत्वपूर्ण लोगों की रक्षा करता है जबकि कम महत्वपूर्ण लोगों को जाने देता है।

2. टेक्स्ट और इमेज के लिए अलग नियम चाहिए (The "Modality" Insight)

अंतर्दत (Insight): टेक्स्ट टोकन और इमेज टोकन अलग तरह से व्यवहार करते हैं। टेक्स्ट एक नाजुक 'सुफ्ले' (soufflé) की तरह है; इसे कई विशेषज्ञों द्वारा सटीक, सावधानीपूर्वक हैंडलिंग की आवश्यकता होती है। इमेज 'सूप के एक बड़े बर्तन' की तरह है; वे अधिक मजबूत हैं, और कई विशेषज्ञ वास्तव में केवल "अनावश्यक" (redundant) हैं।
उपमा: यदि आप एक कानूनी अनुबंध (Text) को एडिट कर रहे हैं, तो आपको एक सख्त, विस्तृत समीक्षा की आवश्यकता है। यदि आप पत्थरों के ढेर को व्यवस्थित कर रहे हैं (Images), तो आप थोड़ा अनौपचारिक हो सकते हैं।
MoDES का समाधान: यह Dual-Modality Thresholding का उपयोग करता है। इसके पास दो अलग-अलग नियम हैं:
- नियम A (Text): "सख्त रहें। केवल उन शेफ को घर भेजें जो 90% सुनिश्चित हैं कि उनकी जरूरत नहीं है।"
- नियम B (Images): "ढीले रहें। उन सभी को घर भेजें जो 50% सुनिश्चित नहीं हैं कि उनकी जरूरत है।"
- यह सिस्टम को बिना परिणाम बिगाड़े इमेज के लिए बहुत अधिक विशेषज्ञों को स्किप करने की अनुमति देता है।

गुप्त हथियार: "फ्रंटियर सर्च" (The "Frontier Search")

यह पता लगाने के लिए कि ये नियम कितने सख्त या ढीले होने चाहिए, टीम को "गोल्डिलॉक्स" ज़ोन (सही संतुलन) खोजना था: इतना छोड़ें कि काम तेज़ हो, लेकिन इतना भी नहीं कि खाना खराब हो जाए।

आमतौर पर, इस सही संतुलन को खोजने में दिनों का परीक्षण और त्रुटि (trial and error) लगता है। MoDES एक Frontier Search Algorithm का उपयोग करता है।

उपमा: कल्पना करें कि आप शॉवर के लिए सही तापमान खोज रहे हैं। एक सामान्य व्यक्ति तब तक गर्म और ठंडे नॉब को बेतरतीब ढंग से घुमाता रहता है जब तक कि उसे सही तापमान न मिल जाए (इसमें बहुत समय लगता है)। MoDES एक ऐसे रोबोट की तरह है जो जानता है कि नॉब को एक तरफ घुमाने पर पानी गर्म होगा और दूसरी तरफ ठंडा। यह तुरंत सही ज़ोन के किनारे (edge) पर फिसल जाता है।
परिणाम: जिसे कैलकुलेट करने में 2 दिन लगते थे, अब उसमें केवल 2 घंटे लगते हैं।

परिणाम: तेज़, सस्ता और स्वादिष्ट

जब उन्होंने वास्तविक दुनिया के मॉडल्स (जैसे Qwen3-VL और Kimi-VL) पर MoDES का परीक्षण किया:

गति (Speed): इसने मॉडल्स को इनपुट पढ़ने में 2 गुना तेज़ और जवाब लिखने में 1.2 गुना तेज़ बना दिया।
दक्षता (Efficiency): इसने सफलतापूर्वक 88% विशेषज्ञों को स्किप कर दिया (88% शेफ को घर भेज दिया!) और कुछ मामलों में सटीकता में वास्तव में सुधार भी किया।
क्यों? क्योंकि "भटकाने वाले" या "अनावश्यक" शेफ को हटाने से, शेष विशेषज्ञ बेहतर ध्यान केंद्रित कर सके और कंप्यूटर ने अनावश्यक काम पर ऊर्जा बर्बाद नहीं की।

सारांश

MoDES एक स्मार्ट सिस्टम है जो मल्टीमॉडल AI मॉडल्स को ऊर्जा बर्बाद करने से रोकता है। हर कार्य के साथ एक जैसा व्यवहार करने के बजाय, यह महसूस करता है कि:

शुरुआती चरण बाद के चरणों की तुलना में अधिक महत्वपूर्ण हैं।
इमेज को स्किप करना टेक्स्ट की तुलना में आसान है।
सही संतुलन बनाना तुरंत किया जा सकता है।

यह एक अराजक रसोई से एक सुव्यवस्थित, हाई-स्पीड रसोई में अपग्रेड करने जैसा है जहाँ केवल सही काम के लिए सही शेफ आते हैं, जिससे भोजन तेज़ और अधिक स्वादिष्ट बनता है।

यहाँ शोध पत्र "MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Mixture-of-Experts (MoE) मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने स्पार्स एक्टिवेशन के माध्यम से मॉडल के आकार को कंप्यूटेशनल लागत से अलग करके विजन-लैंग्वेज कार्यों में अत्याधुनिक प्रदर्शन हासिल किया है। हालांकि, वे अभी भी महत्वपूर्ण इन्फरेंस अक्षमताओं से जूझ रहे हैं क्योंकि आवश्यकता के बावजूद हर टोकन के लिए एक निश्चित संख्या में विशेषज्ञों (experts) को सक्रिय किया जाता है।

मौजूदा एक्सपर्ट स्किपिंग विधियाँ (जो मुख्य रूप से यूनिमोडल LLMs के लिए डिज़ाइन की गई हैं) स्थानीय रूटिंग संभावनाओं के आधार पर अनावश्यक विशेषज्ञों को निष्क्रिय करने का प्रयास करती हैं। जब इन्हें सीधे MLLMs पर लागू किया जाता है, तो ये गंभीर प्रदर्शन गिरावट (जैसे, उच्च स्किपिंग अनुपात पर >10% सटीकता की कमी) का कारण बनती हैं। शोध पत्र इस विफलता के दो महत्वपूर्ण कारणों की पहचान करता है:

ग्लोबल कॉन्ट्रिब्यूशन डिस्रेगार्ड (Global Contribution Disregard): मौजूदा विधियाँ केवल एक एकल परत (single layer) के भीतर स्थानीय रूटिंग संभावनाओं पर निर्भर करती हैं। वे इस तथ्य को अनदेखा करती हैं कि उथली परतों (shallow layers) के विशेषज्ञों का प्रभाव गहरी परतों के विशेषज्ञों की तुलना में बहुत अधिक होता है। उथले विशेषज्ञों को आक्रामक रूप से स्किप करने से त्रुटियों का विस्फोट (error explosion) होता है।
मोडैलिटी गैप (Modality Gap): टेक्स्ट और विजन टोकन फीड-फॉरवर्ड नेटवर्क (FFNs) से गुजरते समय अलग-अलग व्यवहार प्रदर्शित करते हैं। विजन टोकन छोटे अपडेट प्रेरित करते हैं (FFN से पहले/बाद में उच्च कोसाइन समानता) और वेट्स (weights) के प्रति अधिक ऑर्थोगोनल होते हैं, जिसका अर्थ है अधिक रेडंडेंसी (redundancy)। टेक्स्ट टोकन बड़े अपडेट होते हैं। दोनों मोडैलिटीज के लिए एक समान स्किपिंग रणनीति अपनाना इन अंतरों को समझने में विफल रहता है।

2. कार्यप्रणाली: MoDES

लेखक MoDES (मल्टीमॉडल डायनेमिक एक्सपर्ट स्किपिंग) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो सटीकता बनाए रखते हुए अनुकूल रूप से विशेषज्ञों को स्किप करता है। इसमें तीन मुख्य घटक शामिल हैं:

A. ग्लोबली-मॉड्यूलेटेड लोकल गेटिंग (Globally-Modulated Local Gating - GMLG)

लेयर-वाइज योगदान असंतुलन को संबोधित करने के लिए, MoDES एक तंत्र पेश करता है जो ग्लोबल लेयर इम्पॉर्टेंस को लोकल रूटिंग प्रोबेबिलिटी के साथ जोड़ता है।

ऑफलाइन कैलिब्रेशन: सिस्टम प्रत्येक परत $l$ के लिए एक ग्लोबल इम्पॉर्टेंस वेट, $\alpha^{(l)}$ , मूल मॉडल के आउटपुट और उस संस्करण के बीच KL डाइवर्जेंस (Kullback-Leibler divergence) को मापकर गणना करता है जहाँ उस विशिष्ट परत के विशेषज्ञों को स्किप किया गया है।
इम्पॉर्टेंस स्कोरिंग: परत $l$ में विशेषज्ञ $i$ के लिए अंतिम इम्पॉर्टेंस स्कोर $s^{(l)}_i$ की गणना इस प्रकार की जाती है:
$s^{(l)}_i = \alpha^{(l)} \cdot \pi^{(l)}_i$
जहाँ $\pi^{(l)}_i$ एक स्थानीय रूटिंग प्रोबेबिलिटी है। यह सुनिश्चित करता है कि महत्वपूर्ण उथली परतों के विशेषज्ञों को तब भी संरक्षित किया जाए जब उनकी स्थानीय प्रोबेबिलिटी मध्यम हो, जबकि गहरी परतों को अधिक आक्रामक रूप से स्किप किया जा सकता है।

B. डुअल-मोडैलिटी थ्रेशोल्डिंग (Dual-Modality Thresholding - DMT)

मोडैलिटी गैप को संबोधित करने के लिए, MoDES टेक्स्ट और विजन टोकन के लिए अलग-अलग थ्रेशोल्ड का उपयोग करता है।

तंत्र: एक एकल ग्लोबल थ्रेशोल्ड के बजाय, विधि दो थ्रेशोल्ड परिभाषित करती है: टेक्स्ट टोकन के लिए $\tau_t$ और विजन टोकन के लिए $\tau_v$ ।
निर्णय नियम: एक विशेषज्ञ को तब स्किप किया जाता है यदि उसका इम्पॉर्टेंस स्कोर संबंधित मोडैलिटी के थ्रेशोल्ड से कम हो:
$\text{Skip if } s^{(l)}_i < (\tau_t \cdot I_t + \tau_v \cdot I_v)$
जहाँ $I_t$ और $I_v$ इंडिकेटर फंक्शन हैं। यह सिस्टम को अधिक विजन विशेषज्ञों (जो अधिक रेडंडेंट हैं) को स्किप करने और अधिक टेक्स्ट विशेषज्ञों को बनाए रखने की अनुमति देता है।

C. फ्रंटियर सर्च एल्गोरिदम (Frontier Search Algorithm)

थ्रेशोल्ड के अनुकूलतम जोड़े $(\tau_t, \tau_v)$ को निर्धारित करना एक कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या है।

उद्देश्य: लक्ष्य विशेषज्ञ स्किपिंग अनुपात $\rho$ को संतुष्ट करते हुए प्रदर्शन हानि (KL डाइवर्जेंस) को कम करना।
दक्षता: लेखक थ्रेशोल्ड के संबंध में प्रदर्शन हानि और दक्षता की मोनोटोनिसिटी (monotonicity) का लाभ उठाते हैं। एक व्यापक खोज ( $O(N D^2)$ ) के बजाय, वे एक फ्रंटियर सर्च एल्गोरिदम ( $O(N D)$ ) का उपयोग करते हैं।
परिणाम: यह समाधान की इष्टतमता से समझौता किए बिना थ्रेशोल्ड खोज समय को कई दिनों से घटाकर कुछ घंटों (लगभग 45x स्पीडअप) में कम कर देता है।

3. प्रमुख योगदान (Key Contributions)

MoE MLLMs के लिए पहला ट्रेनिंग-फ्री फ्रेमवर्क: MoDES पहला ऐसा तरीका है जो बिना रिट्रेनिंग के विशेष रूप से मल्टीमॉडल मॉडल्स के लिए कुशल एक्सपर्ट स्किपिंग को सक्षम बनाता है।
नवीन अंतर्दृष्टि: शोध पत्र अनुभवजन्य प्रमाण प्रदान करता है कि विशेषज्ञ योगदान लेयर-डिपेंडेंट (उथला > गहरा) और मोडैलिटी-डिपेंडेंट (विजन > टेक्स्ट रेडंडेंसी) होते हैं, ऐसी अंतर्दृष्टि जिन्हें यूनिमोडल स्किपिंग साहित्य में अनदेखा किया गया था।
एल्गोरिदमिक नवाचार: थ्रेशोल्ड चयन के लिए फ्रंटियर सर्च एल्गोरिदम का परिचय थ्रेशोल्ड चयन की हाइपरपैरामीटर ट्यूनिंग प्रक्रिया को काफी तेज करता है।
इम्प्लीमेंटेशन दक्षता: विधि को ब्रांच-फ्री मास्क तुलना और ग्रुपेड GEMM के साथ सीधे राउटर कर्नेल में एकीकृत किया गया है, जो इन्फरेंस के दौरान न्यूनतम ओवरहेड सुनिश्चित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 13 बेंचमार्क (MMBench, VideoMME, और ChartQA जैसे इमेज और वीडियो अंडरस्टैंडिंग कार्यों सहित) पर 3 मॉडल सीरीज़ (Kimi-VL, Qwen3-VL-MoE, InternVL-3.5) पर MoDES का मूल्यांकन किया।

सटीकता संरक्षण (Accuracy Preservation):
- Qwen3-VL-MoE-30B-A3B-Instruct पर 88% एक्सपर्ट स्किपिंग अनुपात पर, MoDES ने मूल मॉडल के प्रदर्शन का 97.33% बनाए रखा, जबकि पिछले तरीकों (NAEE, MC-MoE, DiEP) में ~86.66% की गिरावट आई।
- MoDES ने उच्च स्किपिंग अनुपातों पर बेसलाइन्स की तुलना में 10.67% तक प्रदर्शन वृद्धि हासिल की।
इन्फरेंस स्पीड:
- प्रीफिल चरण (Prefill Phase): 2.16× स्पीडअप प्राप्त किया।
- डिकोडिंग चरण (Decoding Phase): 1.26× स्पीडअप प्राप्त किया।
क्वांटाइजेशन कम्पैटिबिलिटी: MoDS, क्वांटाइजेशन (जैसे 1.5-बिट और 2.5-बिट) के साथ प्रभावी ढंग से जुड़ता है, जो चरम संपीड़न के तहत सटीकता बनाए रखने में MC-MoE जैसे बेसलाइन्स से बेहतर प्रदर्शन करता है।
सर्च एफिशिएंसी: फ्रंटियर सर्च ने 30B पैरामीटर मॉडल्स के लिए थ्रेशोल्ड ऑप्टिमाइज़ेशन समय को ~2 दिन से घटाकर <2 घंटे कर दिया।

5. महत्व (Significance)

MoDES बड़े पैमाने के MoE MLLMs की तैनाती में एक महत्वपूर्ण बाधा को संबोधित करता है। "वन-साइज़-फिट्स-ऑल" स्किपिंग रणनीतियों से आगे बढ़कर, यह प्रदर्शित करता है कि मल्टीमॉडल सेटिंग्स में उच्च प्रदर्शन बनाए रखने के लिए कॉन्टेक्स्ट-अवेयर (लेयर-विशिष्ट) और मोडैलिटी-अवेयर प्रूनिंग आवश्यक है। यह फ्रेमवर्क अगली पीढ़ी के विजन-लैंग्वेज मॉडल्स के लिए इन्फरेंस लागत (विलंबता और कंप्यूट दोनों) को काफी कम करने के लिए एक व्यावहारिक, ट्रेनिंग-फ्री मार्ग प्रदान करता है, जिससे वे वास्तविक समय के अनुप्रयोगों और संसाधन-बाधित वातावरणों के लिए अधिक व्यवहार्य बन जाते हैं।