💬 NLP

LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts

LD-MoLE, Mixture of LoRA Experts के लिए एक सीखने योग्य (learnable), अवकलनीय (differentiable) डायनेमिक रूटिंग तंत्र पेश करता है जो बिना हाइपरपैरामीटर ट्यूनिंग के प्रति टोकन और परत (layer) के सक्रिय विशेषज्ञों की संख्या को अनुकूल रूप से निर्धारित करता है, और LLM बेंचमार्क पर अत्याधुनिक (state-of-the-art) प्रदर्शन प्राप्त करता है।

मूल लेखक: Yuan Zhuang, Yi Shen, Yuexin Bian, Qing Su, Shihao Ji, Yuanyuan Shi, Fei Miao

प्रकाशित 2026-02-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuan Zhuang, Yi Shen, Yuexin Bian, Qing Su, Shihao Ji, Yuanyuan Shi, Fei Miao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक Large Language Model) जो दुनिया के बारे में सब कुछ जानता है। हालाँकि, आपके द्वारा पूछे गए हर एक प्रश्न के लिए उस पुस्तकालय की हर एक किताब को पढ़ना धीमा, महंगा और बर्बादी भरा है।

इसे ठीक करने के लिए, शोधकर्ता एक तकनीक का उपयोग करते हैं जिसे LoRA (Low-Rank Adaptation) कहा जाता है, जो पुस्तकालय में एक छोटी, विशिष्ट "चीट शीट" (cheat sheet) जोड़ने जैसा है। पूरे पुस्तकालय को फिर से लिखने के बजाय, आप बस कुछ स्टिकी नोट्स जोड़ते हैं ताकि यह विशिष्ट प्रश्नों के उत्तर देने में बेहतर मदद कर सके।

लेकिन यहाँ एक समस्या है: क्या होगा यदि आपके पास 8 अलग-अलग विषयों (जैसे गणित, इतिहास, कोडिंग और कविता) के लिए 8 अलग-अलग चीट शीट्स (विशेषज्ञ) हों?

पुराना तरीका: "Top-K" नियम

अधिकांश वर्तमान विधियाँ एक कठोर नियम का उपयोग करती हैं जिसे Top-K routing कहा जाता है। एक सख्त लाइब्रेरियन की कल्पना करें जो कहता है, "चाहे आप कुछ भी पूछें, मैं आपको हमेशा ठीक 2 चीट शीट्स दूँगा।"

दोष: यदि आप "2+2 क्या है?" जैसा सरल प्रश्न पूछते हैं, तो लाइब्रेरियन अभी भी आपको 2 चीट शीट्स थमा देता है। आपको शायद एक "गणित" के लिए और एक "प्राचीन इतिहास" के लिए मिल सकती है, भले ही आपको केवल गणित की आवश्यकता थी। यह बर्बादी है।
ट्यूनिंग की समस्या: लाइब्रेरियन को यह बताया जाना चाहिए कि उसे कितने शीट्स चुनने हैं (1? 2? 3?)। यदि आप गलत संख्या चुनते हैं, तो सिस्टम खराब प्रदर्शन करता है। यह बिना चखे सूप में नमक की सही मात्रा का अनुमान लगाने की कोशिश करने जैसा है।

नया तरीका: LD-MoLE (स्मार्ट, अनुकूलन योग्य लाइब्रेरियन)

यह पेपर LD-MoLE (Mixture of LoRA Experts के लिए Learnable Dynamic routing) पेश करता है। इसे एक स्मार्ट AI असिस्टेंट के रूप में सोचें जो आपका मन पढ़ सकता है और मौके पर खुद को ढाल सकता है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "स्मार्ट मेनू" (Learnable Dynamic Routing)

एक निश्चित नियम के बजाय, LD-MoLE लाइब्रेरियन आपके प्रश्न को देखता है और पूछता है, "यह कितना कठिन है?"

सरल प्रश्न: "फ्रांस की राजधानी क्या है?" -> लाइब्रेरियन सोचता है, "बहुत आसान।" वह केवल एक चीट शीट (भूगोल वाली) उठाता है।
कठिन प्रश्न: "बेकिंग के बारेक एक रूपक (metaphor) का उपयोग करके ब्लैक होल के क्वांटम मैकेनिक्स को समझाएं।" -> लाइब्रेरियन सोचता है, "वाह, यह जटिल है!" वह ज्ञान को मिलाने के लिए तीन या चार चीट शीट्स (भौतिकी, रूपक, कुकिंग और शायद दर्शनशास्त्र) उठा लेता है।

इसे Token-Dependent Allocation कहा जाता है। सिस्टम तय करता है कि प्रत्येक शब्द (टोकन) को कितनी मदद की आवश्यकता है।

2. "मैजिक डायल" (Sparsity Factor $\lambda$ )

लाइब्रेरियन को कैसे पता चलता है कि कितनी शीट्स चुननी हैं?
पुराने दिनों में, इंसानों को एक डायल को मैन्युअल रूप से घुमाना पड़ता था ताकि संख्या सेट की जा सके। LD-MoLE में, एक मैजिक डायल (जिसे $\lambda$ कहा जाता है) है जिसे सिस्टम खुद घुमाना सीख जाता है।

छोटा डायल सेटिंग = कई शीट्स उठाना (कठिन कार्यों के लिए)।
बड़ा डायल सेटिंग = कम शीट्स उठाना (आसान कार्यों के लिए)।
नवाचार: सिस्टम एक विशेष गणितीय ट्रिक (जिसे Sparsegen कहा जाता है) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि डायल हमेशा कम से कम एक शीट चुने। यह सुनिश्चित करता है कि लाइब्रेरियन कभी यह न कहे, "मैं आपकी बिल्कुल मदद नहीं कर रहा हूँ," जो पिछले "स्मार्ट" सिस्टमों के साथ एक समस्या थी जो कभी-कभी क्रैश हो जाते थे या प्रश्नों को अनदेखा कर देते थे।

3. "ट्रैफिक पुलिस" (Sparsity Control)

सिस्टम में एक इन-बिल्ट ट्रैफिक पुलिस भी है। भले ही लाइब्रेरियन कठिन प्रश्नों के लिए कई शीट्स उठा सकता है, ट्रैफिक पुलिस कह सकती है, "हे, हम ऊर्जा बचाने की कोशिश कर रहे हैं। यदि संभव हो तो शीट्स की संख्या को 2 से कम रखने की कोशिश करें।"
यह शोधकर्ताओं को यह बताने की अनुमति देता है: "जितनी जरूरत हो उतनी स्मार्ट बनें, लेकिन बहुत अधिक बिजली बर्बाद न करें।"

यह एक बड़ी बात क्यों है?

इस पेपर ने विभिन्न "मस्तिष्क" (जैसे Llama और Qwen मॉडल) पर परीक्षण किया और पाया कि:

यह अधिक स्मार्ट है: यह कठिन तर्क कार्यों पर बेहतर स्कोर प्राप्त करता है क्योंकि यह जानता है कि कब बड़े खिलाड़ियों (heavy hitters) को बुलाना है।
यह अधिक कुशल है: यह सरल कार्यों के लिए अतिरिक्त संसाधनों का उपयोग न करके पैसा और समय बचाता है।
यह स्व-शिक्षण (Self-Learning) है: आपको सही सेटिंग्स का अनुमान लगाने की आवश्यकता नहीं है। सिस्टम "कितने विशेषज्ञों का उपयोग करना है" का सही संतुलन सीखते हुए खुद ही तय कर लेता है।

निचोड़ (The Bottom Line)

LD-MoLE एक कठोर असेंबली लाइन से एक लचीली, बुद्धिमान कार्यशाला में अपग्रेड होने जैसा है। हर उत्पाद को समान संख्या में स्टेशनों से गुजारने के बजाय, यह उत्पाद का निरीक्षण करता है और उसे ठीक उतने ही विशेषज्ञों के पास भेजता है जितने उसे ठीक करने के लिए आवश्यक हैं। यह AI को तेज़, सस्ता और कठिन समस्याओं को हल करने में आश्चर्यजनक रूप से बेहतर बनाता है।

यहाँ पेपर "LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि LoRA जैसे पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) तरीके लार्ज लैंग्वेज मॉडल्स (LLMs) को अनुकूलित करने के लिए प्रभावी हैं, लेकिन एक एकल LoRA मॉड्यूल पर निर्भर रहने से अक्सर एक समझौता (trade-off) करना पड़ता है: उच्च-रैंक (high-rank) कॉन्फ़िगरेशन ओवरफिटिंग का जोखिम पैदा करते हैं और उच्च कंप्यूट लागत लेते हैं, जबकि निम्न-रैंक (low-rank) कॉन्फ़िगरेशन कम प्रदर्शन करते हैं। Mixture of LoRA Experts (MoLE) फ्रेमवर्क कई LoRA विशेषज्ञों का उपयोग करके इस समस्या का समाधान करता है।

हालाँकि, मौजूदा MoLE दृष्टिकोण अपने रूटिंग तंत्र (routing mechanisms) में महत्वपूर्ण सीमाओं से ग्रस्त हैं:

कठोर Top-K रूटिंग (Rigid Top-K Routing): अधिकांश तरीके (जैसे, MoLA) एक गैर-डिफरेंशिएबल (non-differentiable) Top-K चयन का उपयोग करते हैं जहाँ प्रत्येक टोकन को विशेषज्ञों की एक निश्चित संख्या ( $k$ ) आवंटित की जाती है। इसके लिए मैनुअल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता होती है और यह मॉडल को टोकन की जटिलता के आधार पर संसाधन आवंटन को अनुकूलित करने से रोकता है।
डायनेमिक रूटिंग में अस्थिरता (Instability in Dynamic Routing): रूटिंग को डायनेमिक और डिफरेंशिएबल बनाने के नवीनतम प्रयास (जैसे, ReLU का उपयोग करके ReMoE) अक्सर अस्थिरता से ग्रस्त होते हैं। विशेष रूप से, ReLU-आधारित राउटर कुछ टोकनों को शून्य विशेषज्ञ (zero experts) आवंटित कर सकता है, जिससे डिजेनरेट रिप्रेजेंटेशन और ग्रेडिएंट फ्लो की समस्याएँ उत्पन्न होती हैं।
स्पर्सिटी कंट्रोल का अभाव (Lack of Sparsity Control): दक्षता और प्रदर्शन के बीच संतुलन बनाने के लिए सक्रिय विशेषज्ञों की संख्या को स्पष्ट रूप से नियंत्रित करने का कोई सिद्धांत-आधारित तरीका नहीं है।

2. कार्यप्रणाली: LD-MoLE (Methodology: LD-MoLE)

लेखक LD-MoLE (Learnable Dynamic routing for Mixture of LoRA Experts) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो discrete Top-K चयन को Sparsegen पर आधारित एक डिफरेंशिएबल, क्लोज्ड-फॉर्म रूटिंग फंक्शन से बदल देता है।

मुख्य घटक (Core Components):

Sparsegen रूटिंग (Differentiable Projection):
- Discrete Top-K चयन के बजाय, LD-MoLE राउटर लॉजिट्स ( $u$ ) को Sparsegen से प्राप्त क्लोज्ड-फॉर्म समाधान का उपयोग करके प्रोबेबिलिटी सिम्प्लेक्स (probability simplex) पर प्रोजेक्ट करता है।
- रूटिंग प्रोबेबिलिटी $p$ की गणना इस प्रकार की जाती है:
  $p = \arg\min_{p \in \Delta} \|p - u\|_2^2 - \lambda \|p\|_2^2$
  जहाँ $\Delta$ एक प्रोबेबिलिटी सिम्प्लेक्स है, और $\lambda$ एक स्पर्सिटी स्केलर है।
- मुख्य गुण: यह फॉर्मूलेशन गारंटी देता है कि प्रत्येक टोकन के लिए कम से कम एक विशेषज्ञ हमेशा सक्रिय रहता है (ReLU रूटिंग के विपरीत), जिससे स्थिर ग्रेडिएंट फ्लो सुनिश्चित होता है और ज़ीरो-एक्टिवेशन समस्याओं को रोका जा जाता है।
लर्न करने योग्य स्पर्सिटी फैक्टर ( $\lambda$ ) (Learnable Sparsity Factor):
- स्पर्सिटी पैरामीटर $\lambda$ एक स्थिर हाइपरपैरामीटर नहीं है, बल्कि इसे एक हल्के, साझा मल्टी-लेयर पर्सेप्ट्रॉन (MLP) द्वारा प्रत्येक टोकन के लिए डायनेमिक रूप से प्रेडिक्ट (predict) किया जाता है।
- MLP टोकन एम्बेडिंग $x$ को इनपुट के रूप में लेता है और $\lambda = f(x)$ आउटपुट देता है।
- यह मॉडल को टोकन की जटिलता और विशिष्ट लेयर के आधार पर सक्रिय विशेषज्ञों की संख्या को अनुकूलित करने की अनुमति देता है, जिससे कठिन टोकनों के लिए अधिक क्षमता और सरल टोकनों के लिए कम क्षमता आवंटित होती है।
एनालिटिकल स्पर्सिटी कंट्रोल लॉस (Analytical Sparsity Control Loss):
- Sparsegen की क्लोज्ड-फॉर्म प्रकृति का लाभ उठाते हुए, लेखक $\lambda$ और सक्रिय विशेषज्ञों की संख्या ( $k$ ) के बीच एक एनालिटिकल संबंध निकालते हैं।
- वे एक स्पर्सिटी लॉस ( $L_{sparse}$ ) पेश करते हैं जो $\lambda$ को दंडित करता है यदि वह लक्षित संख्या में सक्रिय विशेषज्ञों (जैसे, $\le k$ ) को सक्रिय करने के लिए आवश्यक रेंज से बाहर गिर जाता है।
- यह हीयुरिस्टिक थ्रेसहोल्ड पर निर्भर रहने के बजाय स्पर्सिटी लेवल के स्पष्ट रेगुलाइजेशन को सक्षम बनाता है।
आर्किटेक्चर (Architecture):
- बेस LLM फ्रीज़ (frozen) रहता है।
- MoE लेयर्स स्टैंडर्ड फीड-फॉरवर्ड नेटवर्क की जगह लेती हैं। प्रत्येक विशेषज्ञ एक LoRA मॉड्यूल ( $\Delta W = A B$ ) है।
- आउटपुट रूटिंग प्रोबेबिलिटी $p$ के आधार पर LoRA विशेषज्ञों का भारित योग (weighted sum) है।

3. मुख्य योगदान (Key Contributions)

नया रूटिंग तंत्र: LD-MoLE का परिचय, जो पूर्णतः डिफरेंशिएबल, क्लोज्ड-फॉर्म रूटिंग तंत्र (Sparsegen) का उपयोग करने वाला पहला MoLE फ्रेमवर्क है जो सभी टोकनों के लिए नॉन-ज़ीरो एक्सपर्ट एक्टिवेशन की गारंटी देता है।
लर्न करने योग्य डायनेमिक एलोकेशन: एक साझा MLP टोकन-विशिष्ट स्पर्सिटी फैक्टर $\lambda$ की भविष्यवाणी करता है, जो मैनुअल $k$ ट्यूनिंग के बिना लेयर्स और टोकन्स के बीच एडैप्टिव एक्सपर्ट एलोकेशन को सक्षम बनाता है।
एनालिटिकल स्पर्सिटी कंट्रोल: Sparsegen के गणितीय गुणों पर आधारित एक स्पर्सिटी लॉस फंक्शन का व्युत्पन्न (derivation), जो प्रशिक्षण के दौरान सक्रिय विशेषज्ञों की संख्या पर सीधा नियंत्रण प्रदान करता है।
व्यापक अनुभवजन्य सत्यापन (Comprehensive Empirical Validation): विभिन्न मॉडल्स (Llama-3.2-3B/8B, Qwen3-1.7B) और विविध बेंचमार्क पर LD-MoLE को स्टेट-ऑफ-द-आर्ट बेसलाइन्स (MoLA के साथ Top-K, ReLU के साथ ReMoE) से बेहतर प्रदर्शन करते हुए दिखाने वाले व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Llama-3.2-3B, Llama-3.2-8B, और Qwen3-1.7B पर इंस्ट्रक्शन ट्यूनिंग और सीक्वेंस क्लासिफिकेशन बेंचमार्क (MMLU-Pro, ARC, CommonsenseQA, GLUE, आदि) पर LD-MoLE का मूल्यांकन किया।

प्रदर्शन (Performance): LD-MoLE ने सभी मॉडल्स और टास्क पर उच्चतम औसत स्कोर प्राप्त किया, जो फिक्स्ड Top-K रूटिंग (MoLA) और ReLU-आधारित डायनेमिक रूटिंग (ReMoE) दोनों से बेहतर रहा।
- रीजनिंग-हैवी टास्क में उल्लेखनीय लाभ देखे गए (जैसे, ARC-E, SWAG, HellaSWAG पर +3.5%)।
- इसने सीक्वेंस क्लासिफिकेशन टास्क में स्थिरता बनाए रखी जहाँ डायनेमिक रूटिंग अक्सर संघर्ष करती है।
एडैप्टिव व्यवहार (Adaptive Behavior): विश्लेषण से पता चला कि सीखा गया $\lambda$ लेयर्स और टोकन्स के बीच काफी भिन्न होता है। मॉडल ने दुर्लभ या जटिल टोकनों के लिए अधिक विशेषज्ञों को और बार-बार आने वाले/अनुमानित टोकनों के लिए कम विशेषज्ञों को सफलतापूर्वक सक्रिय किया।
स्पर्सिटी कंट्रोल (Sparsity Control): स्पर्सिटी लॉस ने सक्रिय विशेषज्ञों की संख्या को प्रभावी ढंग से कम किया। हालांकि आक्रामक स्पर्सिटी (बहुत कम $\beta$ ) प्रदर्शन को थोड़ा नुकसान पहुँचा सकती थी, मध्यम स्पर्सिटी कंट्रोल ने न्यूनतम प्रदर्शन हानि के साथ दक्षता में सुधार किया।
ज़ीरो-एक्टिवेशन समस्या (Zero-Activation Issue): ReMoE के विपरीत, जो कभी-कभी टोकनों को शून्य विशेषज्ञ आवंटित करता है (विशेष रूप से गहरी लेयर्स में), LD-लेडी ने लगातार कम से कम एक विशेषज्ञ को सक्रिय किया, जिससे अधिक मजबूत रिप्रेजेंटेशन प्राप्त हुआ।

5. महत्व (Significance)

सैद्धांतिक प्रगति: यह पेपर एक गैर-डिफरेंशिएबल, डिस्क्रीट रूटिंग और अस्थिर डायनेमिक रूटिंग के बीच के अंतर को पाटता है, जो एक गणितीय रूप से सुदृढ़, डिफरेंशिएबल विकल्प (Sparsegen) प्रदान करता है जो नॉन-ज़ीरो सपोर्ट की गारंटी देता है।
व्यावहारिक दक्षता: यह मॉडल को यह सीखने में सक्षम बनाकर कि कितने विशेषज्ञों का उपयोग करना है (बजाय इसके कि एक निश्चित संख्या को मजबूर किया जाए), LD-MoLE अधिक कुशल पैरामीटर उपयोग प्रदान करता है, विशेष रूप से उन जटिल रीजनिंग कार्यों के लिए जहाँ डायनेमिक कैपेसिटी एलोकेशन महत्वपूर्ण है।
स्केलेबिलिटी: $\lambda$ की भविष्यवाणी करने के लिए एक साझा MLP का उपयोग करने से पैरामीटर ओवरहेड कम रहता है, जिससे यह दृष्टिकोण बड़े LLMs के लिए स्केलेबल बनता है।
भविष्य की दिशा: यह कार्य कंट्रोलेबल स्पर्सिटी के लिए नए रास्ते खोलता है और सुझाव देता है कि फाइन-ट्यूनिंग परिदृश्यों में डिफरेंशिएबल रूटिंग तंत्र पारंपरिक हीयुरिस्टिक-आधारित रूटिंग से बेहतर प्रदर्शन कर सकते हैं।

संक्षेप में, LD-MoLE एक मजबूत, लर्न करने योग्य फ्रेमवर्क प्रस्तुत करता है जो Top-K की कठोरता और ReLU-आधारित रूटिंग की अस्थिरता को दूर करता है, और एडैप्टिव, टोकन-डिपेंडेंट एक्सपर्ट एलोकेशन के माध्यम से बेहतर प्रदर्शन प्राप्त करता है।