MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models

यहाँ शोध पत्र "MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ (Context): विजन-लैंग्वेज मॉडल्स (VLMs) में Mixture-of-Experts (MoE) आर्किटेक्चर का व्यापक रूप से उपयोग किया जाता है ताकि प्रत्येक टोकन के लिए मापदंडों (experts) के एक उपसमुच्चय (subset) को स्पार्सली (sparsely) सक्रिय करके कम्प्यूटेशनल दक्षता बनाए रखते हुए मॉडल की क्षमता को बढ़ाया जा सके।
सीमा (The Limitation): विशेषज्ञों को सक्रिय करने का मानक दृष्टिकोण डिटरमिनिस्टिक टॉप-K रूटिंग (deterministic Top-K routing) है, जहाँ प्रत्येक टोकन के लिए उच्चतम गेटिंग स्कोर वाले $K$ विशेषज्ञों का चयन किया जाता है।
मुख्य समस्याएँ (The Core Issues):

1. सीमित अन्वेषण (Limited Exploration): डिटरमिनिस्टिक चयन मॉडल को एक एकल "लालची" (greedy) पथ तक सीमित कर देता है, जिससे संभावित रूप से अधिक इष्टतम विशेषज्ञ संयोजनों की खोज नहीं हो पाती।
2. विशेषज्ञ ओवरफिटिंग (Expert Overfitting): मॉडल विशेषज्ञों के एक छोटे उपसमुच्चय पर ओवरफिट होने की प्रवृत्ति रखता है, जिससे खराब सामान्यीकरण (generalization) और कार्य-स्तर के विशिष्टता (task-level specialization) की कमी होती है।
3. उप-इष्टतम नीति (Suboptimal Policy): मौजूदा स्टोकेस्टिक विधियाँ (जैसे, गॉसियन शोर जोड़ना) केवल अन्वेषण को आंशिक रूप से संबोधित करती हैं लेकिन स्वयं विशेषज्ञ चयन नीति (policy) को स्पष्ट रूप से अनुकूलित नहीं करती हैं।

2. कार्यप्रणाली: MoE-GRPO (Methodology: MoE-GRPO)

लेखक MoE-GRPO प्रस्तावित करते हैं, जो एक रिइन्फोर्समेंट लर्निंग (RL) फ्रेमवर्क है जो विशेषज्ञ चयन को एक अनुक्रमिक निर्णय लेने की समस्या (sequential decision-making problem) के रूप में मानता है, जिसे ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके अनुकूलित किया जाता है।

A. अनुक्रमिक निर्णय लेने के रूप में सूत्रीकरण (Formulation as Sequential Decision Making)

मानक GRPO के विपरीत, जहाँ "एक्शन" अगले आउटपुट टोकन का नमूना लेना है, MoE-GRGRO सभी टोकनों और परतों (layers) में विशेषज्ञ रूटिंग निर्णयों को शामिल करने के लिए एक्शन स्पेस का विस्तार करता है।

• एक्शन स्पेस (Action Space): $T$ टोकनों और $L$ परतों को कवर करने वाला विशेषज्ञों के चयन का एक अनुक्रम $[o_{1,1}, o_{1,2}, \dots, o_{T,L}]$।
• उद्देश्य (Objective): मॉडल विविध विशेषज्ञ संयोजनों को चुनने के लिए सीखता है जो एक सत्यापन योग्य इनाम (verifiable reward) (जैसे, उत्तर की सटीकता) को अधिकतम करते हैं।

B. दोहरी-उद्देश्य प्रशिक्षण रूपरेखा (Dual-Objective Training Framework)

टोकन जनरेशन और विशेषज्ञ रूटिंग को संयुक्त रूप से अनुकूलित करने के लिए, MoE-GRPO दो उप-उद्देश्यों को परिभाषित करता है:

1. टोकन-GRPO (Token-GRPO): चुने गए विशेषज्ञों ($E$) के आधार पर उत्पन्न आउटपुट अनुक्रम ($y$) की गुणवत्ता को अनुकूलित करता है। यह उन विशेषज्ञ चयन नीतियों को सुदृढ़ करता है जो उच्च-इनाम वाले आउटपुट की ओर ले जाते हैं।
2. गेट-GRPO (Gate-GRPO): प्रत्येक परत पर गेटिंग नेटवर्क ($g$) को सीधे अनुकूलित करता है। यह विशिष्ट विशेषज्ञ चयन ($E_{t,l}$) को पुरस्कृत करके सघन (dense), सूक्ष्म पर्यवेक्षण प्रदान करता है जो उच्च-इनाम परिणामों में योगदान देते हैं, जिससे प्रभावी रूप से राउटर को रिवॉर्ड-अलाइन्ड उपयोगिता की ओर निर्देशित किया जाता है।
   • कुल हानि (Total Loss): $\mathcal{L}_{\text{MoE-GRPO}} = \mathcal{L}_{\text{Token-GRPO}} + \mathcal{L}_{\text{Gate-GRPO}}$

C. मोडैलिटी-अवेयर राउटर मार्गदर्शन (Modality-Aware Router Guidance)

मल्टी-मोडल सेटिंग्स में विशाल सर्च स्पेस के अन्वेषण की अक्षमता को दूर करने के लिए, लेखक एक मार्गदर्शन तंत्र पेश करते हैं:

• तंत्र (Mechanism): सिस्टम ऐतिहासिक सक्रियण आवृत्तियों (historical activation frequencies) के आधार पर प्रत्येक विशेषज्ञ के लिए मोडैलिटी-अवेयरनेस स्कोर ($\hat{s}_v$ विजन के लिए, $\hat{s}_t$ टेक्स्ट के लिए) की गणना करता है।
• प्रतिबंध (Constraint): प्रशिक्षण के दौरान, वर्तमान इनपुट मोडैलिटी (जैसे, इमेज टोकन के लिए विजुअल एक्सपर्ट्स) के लिए सबसे कम प्रासंगिक निचले $P\%$ (जैसे, 25%) विशेषज्ञों को निष्क्रिय कर दिया जाता है (गेटिंग स्कोर को $-\infty$ पर सेट किया जाता है)।
• लाभ (Benefit): यह अप्रासंगिक विशेषज्ञों के अनावश्यक अन्वेषण को कम करता है, जिससे प्रशिक्षण स्थिर होता है और अभिसरण (convergence) की गति में सुधार होता है, जबकि प्रासंगिक मोडैलिटी स्पेस के भीतर विविधता बनी रहती है।

3. प्रमुख योगदान (Key Contributions)

1. प्रथम RL-आधारित विशेषज्ञ चयन: यह पहला कार्य है जो MoE-आधारित VLMs में विशेषज्ञ चयन को एक अनुक्रमिक निर्णय लेने की समस्या के रूप में तैयार करता है और इसे RL (विशेष रूप से GRPO) के माध्यम से अनुकूलित करता है।
2. नया प्रशिक्षण उद्देश्य: Gate-GRPO का परिचय विशेषज्ञ रूटिंग नीति के प्रत्यक्ष अनुकूलन की अनुमति देता है, जो मानक टोकन-स्तरीय जनरेशन अनुकूलन का पूरक है।
3. मोडैलिटी-अवेयर मार्गदर्शन: एक तंत्र जो मोडैलिटी-प्रासंगिक विशेषज्ञों तक सर्च स्पेस को सीमित करके विविधता से समझौता किए बिना अन्वेषण दक्षता और स्थिरता को संतुलित करता है।
4. व्यापक मूल्यांकन: प्रयोगों का विस्तृत परीक्षण जो दर्शाता है कि RL-आधारित रूटिंग, डिटरमिनिस्टिक और ह्यूरिस्टिक स्टोकेस्टिक बेसलाइन की तुलना में बेहतर प्रदर्शन करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने InternVL3.5-1B को MoE आर्किटेक्चर (2.9B कुल में से 1.3B सक्रिय पैरामीटर) में परिवर्तित किया और इसे MoE-GRPO का उपयोग करके प्रशिक्षित किया।

• मल्टी-मोडल बेंचमार्क: MoE-GRPO ने 9 इमेज/वीडियो बेंचमार्क (जैसे, MMBench, VideoMME) में औसत सटीकता में मानक Top-K (Deterministic FT) और स्टोकेस्टिक वेरिएंट (Noise/Multinomial) की तुलना में 2.0% – 2.3% से अधिक प्रदर्शन किया।
• क्रॉस-डेटासेट सामान्यीकरण (Cross-Dataset Generalization): जब इसे इमेज क्लासिफिकेशन के लिए CLIP-MoE पर लागू किया गया, तो MoE-GRPO ने डिटरमिनिस्टिक फाइन-ट्यूनिंग पर 3.1% औसत सटीकता लाभ प्राप्त किया, जिससे ओवरफिटिंग काफी कम हो गई।
• डोमेन सामान्यीकरण (Domain Generalization): आउट-ऑफ-डोमेन डेटासेट्स (ImageNet-V2, ImageNet-S, आदि) पर, MoE-GRPO ने बेस CLIP-MoE पर 4.1% और Det-FT पर 1.5% के लाभ के साथ लगातार बेहतर प्रदर्शन किया।
• एब्लेशन अध्ययन (Ablation Studies):
  • दोनों Token-GRPO और Gate-GRPO आवश्यक हैं; Gate-GRPO को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई (55.7% $\to$ 50.9%)।
  • मोडैलिटी-अवेयर मार्गदर्शन ने मोडैलिटी-एग्नोस्टिक शोर/मल्टीनोमियल सैंपलिंग की तुलना में 1.5% बेहतर प्रदर्शन किया।
  • यह विधि विभिन्न RL एल्गोरिदम (GRPO, DAPO, SAPO) में सुदृढ़ (robust) है।

5. महत्व और विश्लेषण (Significance and Analysis)

• विविधता और विशिष्टता (Diversity & Specialization): विश्लेषण से पता चलता है कि MoE-GRPO रूटिंग वितरण की एंट्रॉपी (entropy) को बढ़ाता है (1.05 से 1.82), जो अधिक विविध विशेषज्ञ उपयोग का संकेत देता है। यह कार्य-स्तर की विशिष्टता (task-level specialization) भी प्रेरित करता है, जहाँ विभिन्न कार्यों के लिए अलग-अलग विशेषज्ञ सक्रिय होते हैं (JSD 0.06 से बढ़कर 0.20 हो गया)।
• ओवरफिटिंग को कम करना: विविध विशेषज्ञ संयोजनों का अन्वेषण करके (बजाय एक लालची Top-K पथ पर टिके रहने के), मॉडल विशिष्ट विशेषज्ञों पर अत्यधिक निर्भरता से बचता है, जिससे बेहतर सामान्यीकरण होता है।
• गुणात्मक सुधार: विज़ुअलाइज़ेशन दिखाते हैं कि MoE-GRPO परतों में अधिक अनुकूलन योग्य (adaptive) रूटिंग निर्णय लेता है, जिससे मॉडल जटिल तर्क कार्यों (जैसे, वस्तुओं की गिनती करना) को हल करने में सक्षम होता है जहाँ डिटरमिनिस्टिक बेसलाइन विफल हो जाते हैं।

निष्कर्ष: MoE-GRPO यह प्रदर्शित करता है कि मोडैलिटी बाधाओं द्वारा निर्देशित, रिइन्फोर्समेंट लर्निंग के माध्यम से एक सीखने योग्य नीति के रूप में विशेषज्ञ रूटिंग को मानने से बड़े पैमाने के विजन-लैंग्वेज मॉडल्स के प्रदर्शन, सामान्यीकरण और दक्षता में उल्लेखनीय वृद्धि होती है।