Unveiling Language Routing Isolation in Multilingual MoE Models for Interpretable Subnetwork Adaptation

यहाँ शोध पत्र "Unveiling Language Routing Isolation in Multilingual MoE Models for Interpretable Subnetwork Adaptation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Mixture-of-Experts (MoE) मॉडल, इन्फरेंस दक्षता बनाए रखते हुए विशाल पैरामीटर गणना को संभालने की अपनी क्षमता के कारण, लार्ज लैंग्वेज मॉडल्स (LLMs) को स्केल करने के लिए एक प्रमुख आर्किटेक्चर बन गए हैं। हालाँकि, ये मॉडल विभिन्न भाषाओं में प्रदर्शन संबंधी असमानताएँ (performance disparities) प्रदर्शित करते हैं। उच्च-संसाधन वाली भाषाएँ (जैसे अंग्रेजी, चीनी) उच्च सटीकता प्राप्त करती हैं, जबकि कम-संसाधन वाली भाषाओं (जैसे बंगाली, स्वाहिली) में भारी गिरावट देखी जाती है।

मौजूदा शोध ने विशेषज्ञ सक्रियण आवृत्तियों (expert activation frequencies) या परत-वार वितरणों (layer-wise distributions) का अलग से विश्लेषण किया है, लेकिन वे इन अंतरों को चलाने वाले आंतरिक तंत्रों (internal mechanisms) को समझाने में विफल रहे हैं। विशेष रूप से, यह स्पष्ट नहीं है कि MoE मॉडल विभिन्न भाषाओं को अपने विशेषज्ञ नेटवर्क के माध्यम से कैसे रूट करते हैं और क्या विशिष्ट भाषाओं के लिए विशिष्ट सबनेटवर्क मौजूद हैं जिन्हें अन्य क्षमताओं के विनाशकारी विस्मरण (catastrophic forgetting) के बिना अनुकूलित किया जा सकता है।

2. मुख्य अनुभवजन्य निष्कर्ष (Key Empirical Findings)

लेखकों ने बहुभाषी MoE मॉडलों (विशेष रूप से Qwen3-30B-A3B और Phi-3.5-MoE-Instruct) में रूटिंग पैटर्न का व्यवस्थित विश्लेषण किया और दो महत्वपूर्ण घटनाओं का पता लगाया:

• भाषा रूटिंग अलगाव (Language Routing Isolation): उच्च-संसाधन और कम-संसाधन वाली भाषाएँ काफी हद तक विलग (disjoint) विशेषज्ञ सेटों को सक्रिय करती हैं।
  • उच्च-संसाधन वाली भाषाएँ (जैसे अंग्रेजी) विशेषज्ञों के एक लचीले, विविध सेट का उपयोग करती हैं, जिनमें उनके टॉप-30 विकल्पों में बहुत कम ओवरलैप होता है।
  • कम-संसाधन वाली भाषाएँ बार-बार विशेषज्ञों के एक छोटे, निश्चित उपसमूह को ट्रिगर करती हैं, जो संभवतः सीमित प्रशिक्षण डेटा के कारण होता है।
  • उच्च- और निम्न-संसाधन समूहों के बीच विशेषज्ञ सेटों का प्रतिच्छेदन (intersection) नगण्य (लगभग ऑर्थोगोनल) है, जो यह सुझाव देता है कि कम-संसाधन वाली भाषाएँ एक विशिष्ट, अलग सबनेटवर्क पर निर्भर करती हैं।
• परत-वार अभिसरण-अपसरण पैटर्न (Layer-wise Convergence–Divergence Pattern): रूटिंग व्यवहार मॉडल की गहराई के साथ व्यवस्थित रूप से बदलता है:
  • उथली परतें (Shallow Layers): उच्च अपसरण (divergence); विशेषज्ञ भाषा-विशिष्ट होते हैं (एन्कोडिंग)।
  • मध्यवर्ती परतें (Middle Layers): उच्च अभिसरण (convergence); विशेषज्ञ भाषाओं के बीच साझा किए जाते हैं (भाषा-अज्ञेय भाषा संबंधी अर्थ प्रसंस्करण/language-agnostic semantic processing)।
  • गहरी परतें (Deep Layers): उच्च अपसरण; विशेषज्ञ फिर से भाषा-विशिष्ट होते हैं (जेनरेशन)।

3. कार्यप्रणाली: RISE (Routing Isolation-guided Subnetwork Enhancement)

इन निष्कर्षों के आधार पर, लेखक RISE प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जिसे विशिष्ट विशेषज्ञ सबनेटवर्क की पहचान करके और उन्हें प्रशिक्षित करके कम-संसाधन वाली भाषाओं को अनुकूलित करने के लिए डिज़ाइन किया गया है, जबकि शेष मॉडल को फ्रीज (freeze) रखा जाता है।

मुख्य तंत्र (Core Mechanism):
RISE परत-जागरूक विश्लेषण के आधार पर एक त्रिपक्षीय चयन रणनीति (tripartite selection strategy) का उपयोग करता है:

1. उथली और गहरी परतें (भाषा-विशिष्ट):
   • यह एक विशिष्टता स्कोर (Specificity Score) का उपयोग करता है ताकि उन विशेषज्ञों की पहचान की जा सके जो मुख्य रूप से लक्षित कम-संसाधन भाषा द्वारा सक्रिय होते हैं।
   • यह स्कोर सभी भाषाओं में एक विशेषज्ञ के औसत सक्रियण की तुलना लक्षित भाषा पर उसके सक्रियण संभाव्यता से करता है।
2. मध्यवर्ती परतें (भाषा-अज्ञेय/Language-Agnostic):
   • यह एक ओवरलैप स्कोर (Overlap Score) (विचरण गुणांक/coefficient of variation पर आधारित) का उपयोग करता है ताकि उन विशेषज्ञों को चुना जा सके जो भाषाओं के बीच साझा किए जाते हैं।
   • यह मॉडल की सामान्य अर्थ संबंधी समझ और क्रॉस-लिंगुअल क्षमताओं को सुरक्षित रखता है।
3. मिश्रित स्कोरिंग (Composite Scoring):
   • यह सुनिश्चित करने के लिए कि चयनित विशेषज्ञ केवल विशिष्ट ही नहीं बल्कि अत्यधिक सक्रिय भी हैं, लेखक विशिष्टता/ओवरलैप स्कोर को पूर्ण सक्रियण परिमाण (absolute activation magnitudes) के साथ जोड़ते हैं।
   • तीन परत समूहों (उथली, मध्य, गहरी) में $K$ विशेषज्ञों का कुल बजट पूर्वनिर्धारित अनुपातों का उपयोग करके आवंटित किया जाता है।

प्रशिक्षण प्रोटोकॉल (Training Protocol):

• केवल चयनित विशेषज्ञ सबनेटवर्क के मापदंडों को लक्षित भाषा डेटा पर मानक कॉज़ल लैंग्वेज मॉडलिंग लॉस के माध्यम से अपडेट किया जाता है।
• अन्य सभी मापदंड (गैर-चयनित विशेषज्ञों और साझा परतों सहित) फ्रीज रहते हैं।
• सैद्धांतिक गारंटी: शोध पत्र ग्रेडिएंट आइसोलेशन (Gradient Isolation) के माध्यम से एक गणितीय प्रमाण प्रदान करता है कि यदि रूटिंग सपोर्ट लक्षित और गैर-लक्षित भाषाओं के लिए विलग (disjoint) है, तो लक्षित सबनेटवर्क को प्रशिक्षित करने से गैर-लक्षित भाषाओं के लिए शून्य ग्रेडिएंट अपडेट प्रेरित होता है, जो सैद्धांतिक रूप से विनाशकारी विस्मरण (catastrophic forgetting) को रोकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो बेंचमार्क का उपयोग करके 10 भाषाओं पर RISE का मूल्यांकन किया: TyDiQA-GoldP (प्रश्नोत्तरी) और MGSM (गणितीय तर्क)।

• लक्षित भाषा प्रदर्शन: RISE ने कम-संसाधन वाली भाषाओं के लिए F1 स्कोर में महत्वपूर्ण सुधार हासिल किया।
  • Phi-3.5-MoE-Instruct पर, बंगाली F1 वैनिला बेसलाइन की तुलना में 10.85% सुधरा।
  • Qwen3-30B-A3B पर, RISE ने सभी प्रतिस्पर्धी तरीकों (Random selection, Top-K, ESFT, LoRA) में सर्वश्रेष्ठ प्रदर्शन किया।
• क्रॉस-लिंगुअल और क्रॉस-टास्क संरक्षण:
  • LoRA के विपरीत, जिसने गंभीर हस्तक्षेप (जैसे, Phi-3 पर थाई सटीकता में 16.5% की गिरावट) किया, RISE ने गैर-लक्षित भाषाओं पर प्रदर्शन बनाए रखा।
  • सामान्य क्षमताएं (TriviaQA, MMLU, HellaSwag, ARC) स्थिर रहीं, जिनमें 1% से कम का परिवर्तन हुआ।
  • TyDiQA (QA) पर प्रशिक्षित मॉडल ने MGSM (Math) पर प्रदर्शन में गिरावट नहीं की, जो पुष्टि करता है कि सबनेटवर्क भाषा-विशिष्ट हैं न कि कार्य-सामान्य (task-general)।
• एब्लेशन अध्ययन (Ablation Studies):
  • उथली या गहरी परतों के विशेषज्ञों को हटाने से सबसे बड़ी गिरावट आई, जो उनकी महत्वपूर्ण भूमिका (एन्कोडिंग/जेनरेशन के लिए) की पुष्टि करती है।
  • यह विधि हाइपरपैरामीटर विकल्पों (सक्रियण स्केल फैक्टर $\alpha$, बजट आवंटन अनुपात) के प्रति मजबूत है।

5. मुख्य योगदान (Key Contributions)

1. अनुभवजन्य खोज: बहुभाषी MoE मॉडलों में भाषा रूटिंग अलगाव (Language Routing Isolation) और परत-वार अभिसरण-अपसरण (Layer-wise Convergence–Divergence) पैटर्न को व्यवस्थित रूप से पहचानने वाला पहला कार्य।
2. पद्धतिगत नवाचार: RISE प्रस्तावित किया गया, जो एक व्याख्या योग्य, परत-स्तरीकृत विशेषज्ञ चयन विधि है जो केवल प्रासंगिक सबनेटवर्क को प्रशिक्षित करके कम-संसाधन वाली भाषाओं को अनुकूलित करती है।
3. सैद्धांतिक अंतर्दृष्टि: ग्रेडिएंट आइसोलेशन का एक औपचारिक प्रमाण प्रदान किया, जो दर्शाता है कि रूटिंग आइसोलेशन कार्यात्मक अलगाव (functional decoupling) की ओर ले जाता है, जिससे विनाशकारी विस्मरण के बिना लक्षित अनुकूलन संभव होता है।
4. दक्षता: यह प्रदर्शित किया गया कि विशेषज्ञों के एक बहुत छोटे अंश (जैसे, Qwen3 में 2.1% विशेषज्ञ) को प्रशिक्षित करने से कम-संसाधन वाली भाषाओं के लिए भारी लाभ मिलता है जबकि वैश्विक क्षमताओं को सुरक्षित रखा जाता है।

6. महत्व (Significance)

यह कार्य बहुभाषी MoE मॉडलों को अनुकूलित करने के प्रतिमान को "पूरे मॉडल को फाइन-ट्यून करने" या "जेनेरिक पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT)" से बदलकर मैकेनिस्टिक, रूटिंग-अवेयर सबनेटवर्क अनुकूलन की ओर स्थानांतरित करता है।

• समता (Equity): यह MoE मॉडलों में "कम-संसाधन भाषा अंतराल" के लिए एक व्यावहारिक समाधान प्रदान करता है, जिससे पूरे मॉडल को पुन: प्रशिक्षित किए बिना भाषाओं के बीच समान प्रदर्शन सक्षम होता है।
• व्याख्यात्मकता (Interpretability): यह प्रमाणित करता है कि MoE मॉडलों में एक व्याख्या योग्य आंतरिक टोपोलॉजी होती है जहाँ भाषाओं को अलग-अलग पथों द्वारा संसाधित किया जाता है, जिसका उपयोग कुशल अनुकूलन के लिए किया जा सकता है।
• स्केलेबिलिटी (Scalability): जैसे-जैसे MoE मॉडल ट्रिलियन पैरामीटर्स तक स्केल होंगे, RISE मानक PEFT विधियों जैसे LoRA के हस्तक्षेप जोखिमों या पूर्ण फाइन-ट्यूनिंग की कम्प्यूटेशनल लागत के बिना विशिष्ट भाषाई क्षमताओं को कुशलतापूर्वक अपडेट करने के लिए एक ब्लूप्रिंट प्रदान करता है।