💬 NLP

RotMoLE: Enhancing Mixture of Low-Rank Experts through Rotational Gating Mechanism

यह शोध पत्र RotMoLE का प्रस्ताव करता है, जो एक नवीन 'मिक्सचर ऑफ लो-रैंक एक्सपर्ट्स' फ्रेमवर्क है, जो पारंपरिक MoE आर्किटेक्चर की स्केलर रीवेइंग (scalar reweighing) सीमाओं से आगे जाने के लिए एक रोटेशनल गेटिंग मैकेनिज्म पेश करके जटिल परिदृश्यों में प्रतिनिधित्व क्षमता और सामान्यीकरण को बढ़ाता है।

मूल लेखक: Mengyang Sun, Maochuan Dou, Tao Feng, Dan Zhang, Yihao Wang, Junpeng Liu, Yifan Zhu, Jie Tang

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mengyang Sun, Maochuan Dou, Tao Feng, Dan Zhang, Yihao Wang, Junpeng Liu, Yifan Zhu, Jie Tang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र RotMoLE की व्याख्या दी गई है।

बड़ी तस्वीर: एक स्मार्ट रोबोट को कई नए कौशल सिखाना

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) है जो दुनिया के बारे में पहले से ही बहुत कुछ जानता है। अब, आप उसे विशिष्ट नए कौशल सिखाना चाहते हैं, जैसे कि चिकित्सा संबंधी प्रश्नों के उत्तर देना, कविता लिखना, या भाषाओं का अनुवाद करना।

आमतौर पर, उसे ये नए कौशल सिखाने के लिए, आपको:

पूरे रोबोट को फिर से प्रशिक्षित (Retrain) करना होगा (जो बहुत महंगा और धीमा है)।
उसके मस्तिष्क में छोटे "स्टिकर" मॉड्यूल जोड़ने होंगे (इसे LoRA या लो-रैंक अडैप्टेशन कहा जाता है)।

यह शोध पत्र इन "स्टिकर्स" का उपयोग करने का एक नया तरीका पेश करता है ताकि आपका रोबोट बिना भ्रमित हुए एक साथ कई जटिल कौशल सीख सके।

समस्या: "वॉल्यूम नॉब" (Volume Knob) की सीमा

शोधकर्ताओं ने MoE-LoRA (मिक्सचर ऑफ लो-रैंक एक्सपर्ट्स) नामक एक लोकप्रिय विधि का अध्ययन किया। इसे रोबोट के दिमाग के अंदर विशेषज्ञ ट्यूटर्स (विशेषज्ञों) की एक टीम के रूप में समझें। जब रोब melalui सवाल आता है, तो एक "मैनेजर" (जिसे Gate कहा जाता है) यह तय करता है कि किन ट्यूटर्स की बात सुननी है।

पुराना तरीका (पारंपरिक MoE):
मैनेजर के पास केवल एक उपकरण है: एक वॉल्यूम नॉब (Volume Knob)।

यदि रोबोट को गणित का प्रश्न हल करने की आवश्यकता है, तो मैनेजर गणित के ट्यूटर का वॉल्यूम बढ़ा देगा और कविता के ट्यूटर का वॉल्यूम कम कर देगा।
दोष: यह केवल यह बदलता है कि ट्यूटर कितनी ज़ोर से बोलता है। यह इस बात को नहीं बदलता कि ट्यूटर क्या कहता है या वह कैसे सोचता है। यदि गणित का ट्यूटर किसी अवधारणा को इस तरह समझाने की कोशिश कर रहा है जो कविता की तरह सुनाई देती है, तो वॉल्यूम नॉब उस चीज़ को ठीक नहीं कर सकता। यह केवल "गलत" स्पष्टीकरण को तेज़ या धीमा कर देता है।

यह सरल कार्यों के लिए ठीक काम करता है, लेकिन जब आपके पास कई कठिन कार्य हों (जैसे एक साथ 5 अलग-अलग भाषाएँ सीखना) और ट्यूटर्स की संख्या कम हो, तो रोबोट अटक जाता है। ट्यूटर्स अपनी सोचने की शैली को अनुकूलित नहीं कर पाते, वे केवल अपना वॉल्यूम बदल सकते हैं।

समाधान: "स्विवल चेयर" (Swivel Chair - घूमने वाली कुर्सी) (RotMoLE)

लेखकों ने, जिनका नेतृत्व मेंगयांग सुन (Mengyang Sun) ने किया, RotMoLE नामक एक नया सिस्टम प्रस्तावित किया।

मैनेजर को केवल एक वॉल्यूम नॉब देने के बजाय, उन्होंने उन्हें एक स्विवल चेयर (Rotation Gate) दी।

यह कैसे काम करता है:

वॉल्यूम नॉब अभी भी वहीं है: मैनेजर अभी भी तय करता है कि कौन सा ट्यूटर सबसे महत्वपूर्ण है (Scaling)।
स्विवल चेयर नई है: मैनेजर अब ट्यूटर की सोच को भौतिक रूप से घुमा (Rotate) सकता है।

उपमा (Analogy):
कल्पte हैं कि एक ट्यूटर हाथ में एक नक्शा पकड़े हुए है।

पुराना तरीका: मैनेजर बस ट्यूटर को नक्शे के निर्देश ज़ोर से चिल्लाने या फुसफुसाने के लिए कहता है।
RotMoLE: मैनेजर ट्यूटर से कह सकता है, "उस नक्शे को बाईं ओर 45 डिग्री घुमाओ।" अचानक, नक्शा पूरी तरह से एक अलग दिशा में संकेत करता है, जिससे एक नया रास्ता दिखाई देता जो पहले छिपा हुआ था।

विशेषज्ञों के "सोचने के स्थान" (Thinking Space) को घुमाकर, रोबोट ट्यूटर्स की संख्या कम होने पर भी उनसे बहुत अधिक मूल्य प्राप्त कर सकता है। भले ही केवल दो ट्यूटर हों, वे दस अलग-अलग विशेषज्ञों की तरह काम कर सकते हैं क्योंकि वे विशिष्ट कार्य के अनुसार अपना दृष्टिकोण घुमा सकते हैं।

यह विशेष क्यों है?

शोध पत्र का दावा है कि यह रोटेशन गणितीय रूप से कुशल है।

चुनौती: आमतौर पर, यदि आप एक जटिल विचार को घुमाना चाहते हैं, तो आपको बहुत अधिक मेमोरी (जैसे निर्देशों का एक विशाल पुस्तकालय) की आवश्यकता होती है।
ट्रिक: क्योंकि ये "ट्यूटर्स" पहले से ही छोटे और सरल (Low-Rank) हैं, इसलिए रोटेशन को केवल एक बहुत ही सरल निर्देश (एक एकल कोण संख्या) की आवश्यकता होती है। यह एक पूरी किताब को फिर से लिखने के बजाय एक डायल घुमाने जैसा है।

उन्होंने क्या परीक्षण किया?

शोधकर्ताओं ने इस "स्विवल चेयर" सिस्टम का दो मुख्य परिदृश्यों में परीक्षण किया:

मल्टी-टास्क लर्निंग: रोबोट को एक ही समय में तीन अलग-अलग प्रकार के प्रश्न (कॉमन सेंस, विज्ञान और सामाजिक) करने के लिए सिखाना।
मल्टीलिंगुअल लर्निंग: रोबोट को एक साथ पाँच अलग-अलग भाषाओं (अंग्रेजी, चीनी, स्पेनिश, फ्रेंच, जर्मन) में शीर्षक बनाना सिखाना।

परिणाम:
लगभग हर परीक्षण में, स्विवल चेयर (RotMoLE) वाला रोबोट, केवल वॉल्यूम नॉब वाले रोबोट की तुलना में बेहतर प्रदर्शन करता है।

इसने तेज़ी से सीखा।
भाषाओं या कार्यों के बीच स्विच करते समय यह कम भ्रमित हुआ।
यह विशेष रूप से तब अच्छा था जब रोबोट के पास काम करने के लिए बहुत कम ट्यूटर्स थे ("संसाधन-सीमित" परिदृश्य)।

सारांश

RotMoLE एआई मॉडल को फाइन-ट्यून करने का एक नया तरीका है। अलग-अलग विशेषज्ञों का वॉल्यूम ऊपर या नीचे करने के बजाय, यह एआई को विशेषज्ञों के दृष्टिकोण को घुमाने (Rotate) की अनुमति देता है। इससे विशेषज्ञों की एक छोटी टीम, पहले की तुलना में बहुत अधिक प्रभावी ढंग से विविध और जटिल कार्यों को संभाल सकती है, बिना अतिरिक्त मेमोरी जोड़े या मॉडल को बड़ा किए।

तकनीकी सारांश: RotMoLE – रोटेशनल गेटिंग के माध्यम से लो-रैंक एक्सपर्ट्स के मिश्रण को बेहतर बनाना

समस्या विवरण

जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) विविध कार्यों को संभालने के लिए मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर और पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) तकनीकों जैसे LoRA का उपयोग करते हैं, मौजूदा मिक्सचर-ऑफ-लो-रैंक एक्सपर्ट्स (MoE-LoRA) फ्रेमवर्क जटिल, मल्टी-टास्क या मल्टीलिंगुअल परिदृश्यों में सीमाओं का सामना करते हैं।

पहचानी गई मुख्य समस्या पारंपरिक गेटिंग मैकेनिज्म की सीमा है जो MoE में उपयोग की जाती है। मानक राउटर चयनित विशेषज्ञों के योगदान को केवल एक स्केलर रीवेइंगिंग (स्केलिंग) के माध्यम से लागू करते हैं। जबकि यह विशेषज्ञ के योगदान के परिमाण (magnitude) को नियंत्रित करता है, इसमें विशेषज्ञ आउटपुट पर जटिल स्थानिक रूपांतरण (spatial transformations) करने की क्षमता का अभाव है। फलस्वरूप, विशेषज्ञों के भारित एकत्रीकरण (weighted aggregation) द्वारा निर्मित समाधान स्थान (solution space) निश्चित स्थानिक दिशाओं में एक लीनियर कॉम्बिनेशन तक ही सीमित रहता है। यह सीमा विशेष रूप से तब स्पष्ट होती है जब उपलब्ध विशेषज्ञों की संख्या कार्यों की संख्या के सापेक्ष सीमित होती है (जैसे, संसाधन-बाधित परिदृश्यों में जहाँ विशेषज्ञों को कई डोमेन के लिए साझा किया जाना चाहिए), क्योंकि राउटर साधारण परिमाण स्केलिंग से परे साझा विशेषज्ञों को पर्याप्त रूप से विशिष्ट या अलग नहीं कर पाता है।

इसके अतिरिक्त, गेटिंग मॉड्यूल के माध्यम से जटिल रूपांतरणों (जैसे कि फुल लीनियर ट्रांसफॉर्मेशन) को लागू करने के लिए अत्यधिक संख्या में प्रशिक्षित पैरामीटर्स (उदाहरण के लिए, हिडन डायमेंशन $d$ के लिए $d \times d$ मैट्रिसेस) की आवश्यकता होती है, जो PEFT की पैरामीटर दक्षता को समाप्त कर देता है।

कार्यप्रणाली: RotMoLE

लेखक RotMoLE (रोटेबल मिक्सचर ऑफ लो-रैंक एक्सपर्ट्स) का प्रस्ताव करते हैं, जो एक विशेष MoE-LoRA फ्रेमवर्क है जो पारंपरिक स्केलिंग गेट के साथ एक रोटेशनल गेटिंग मैकेनिज्म पेश करता है।

सैद्धांतिक आधार

यह विधि इस अवलोकन पर आधारित है कि दो गैर-शून्य वेक्टर्स के बीच कोई भी रूपांतरण, उन वेक्टर्स द्वारा स्पैन किए गए 2D सब-प्लेन के भीतर एक शुद्ध स्केलिंग ऑपरेशन और एक शुद्ध रोटेशन में विभाजित किया जा सकता है। LoRA की लो-रैंक संरचना (जहाँ रैंक $r \ll d$ ) का लाभ उठाते हुए, RotMoLE इन रूपांतरणों को पूर्ण हिडन डायमेंशन के बजाय विशेषज्ञ एडेप्टर के $r$ -डायमेंशनल स्पेस के भीतर लागू करता है।

आर्किटेक्चर घटक

मॉडल के वेट अपडेट को इस प्रकार तैयार किया गया है:
$W = W_0 + \sum_{i \in TopK(x)} g_i B_i R_i A_i$
जहाँ:

$W_0$ प्री-ट्रेन्ड वेट मैट्रिक्स है।
$A_i$ और $B_i$ , $i$ -वें विशेषज्ञ के लो-रैंक मैट्रिसेस हैं।
$g_i$ एक स्केलिंग गेट मान है (मानक स्केलर वेट)।
$R_i$ , $i$ -वें विशेषज्ञ के लिए विशिष्ट रोटेशन मैट्रिक्स है।

फ्रेवर्क LoRA रैंक $r$ के आधार पर दो मोड में कार्य करता है:

रैंक $r = 2$ (2D रोटेशन):
- रोटेशन को एक एकल सीखने योग्य कोण $\theta_i$ का उपयोग करके मॉडल किया जाता है।
- रोटेशन मैट्रिक्स $R_i$ एक मानक 2D रोटेशन मैट्रिक्स है:
  $R_i = \begin{pmatrix} \cos \theta_i & -\sin \theta_i \\ \sin \theta_i & \cos \theta_i \end{pmatrix}$
- कोण $\theta_i$ एक रोटेशन गेट $\Theta(x)$ द्वारा उत्पन्न किया जाता है, जो स्थिरता और आवधिकता सुनिश्चित करने के लिए सिग्मॉइड-आधारित नॉर्मलाइजेशन का उपयोग करके $[-\pi, \pi]$ के बीच मान आउटपुट करता है।
रैंक $r > 2$ (हाई-डायमेंशनल रोटेशन):
- चूंकि एक एकल कोण $>2$ आयामों में रोटेशन को परिभाषित नहीं कर सकता, इसलिए यह विधि प्रत्येक विशेषज्ञ के लिए एक विशिष्ट रोटेशन प्लेन $P_i$ का निर्माण करती है।
- प्लेन को दो बेसिस वेक्टर्स द्वारा परिभाषित किया जाता है:
  1. विशेषज्ञ के लिए नॉर्मलाइज्ड इनपुट एम्बेडिंग ( $e_1 = A_i x / |A_i x|$ )।
  2. एक विशेषज्ञ-विशिष्ट सीखने योग्य क्लस्टर सेंटर वेक्टर $q_i$ , जो उस विशेषज्ञ को रूट किए गए इनपुट्स के एकत्रित केंद्र का प्रतिनिधित्व करता है। दूसरा बेसिस वेक्टर $e_2$ है, जिसे $e_1$ के ऑर्थोगोनल घटक से प्राप्त किया जाता है।
- रोटेशन मैट्रिक्स $R_i$ को $e_1$ और $e_2$ द्वारा स्पैन किए गए $r$ -डायमेंशनल प्लेन पर 2D रोटेशन (परिभाषित $\theta_i$ द्वारा) को प्रोजेक्ट करके बनाया जाता है।

पैरामीटर दक्षता

RotMoLE उच्च पैरामीटर दक्षता बनाए रखता है। पेश किए गए अतिरिक्त पैरामीटर्स हैं:

$r=2$ के लिए: $d \times n$ पैरामीटर्स (रोटेशन गेट वेट के लिए)।
$r>2$ के लिए: $(d + r) \times n$ पैरामीटर्स (रोटेशन गेट और क्लस्टर सेंटर वेक्टर्स $q$ के लिए)।
यह $d^2 \times n$ पैरामीटर्स की तुलना में काफी छोटा है जो फुल लीनियर ट्रांसफॉर्मेशन के लिए आवश्यक हैं, जिससे इसका ओवरहेड विशेषज्ञ मॉड्यूल के समान ही रहता है।

मुख्य योगदान

सीमाओं की पहचान: पेपर इस बात पर प्रकाश डालता है कि मौजूदा MoE राउटर केवल नॉर्म स्केलिंग तक सीमित हैं, जिनमें विविध परिदृश्यों के लिए आवश्यक जटिल स्थानिक रूपांतरण करने की क्षमता नहीं है जब विशेषज्ञों की संख्या सीमित हो।
RotMoLE फ्रेमवर्क: एक विशेष MoE-LoRA फ्रेमवर्क का प्रस्ताव, जो एक रोटेशन गेट को एकीकृत करता है, जिससे विशेषज्ञों के भारित संयोजनों के समाधान स्थान को विस्तारित करने के लिए विशेषज्ञों के लो-रैंक स्पेस के भीतर 2D रोटेशन सक्षम होता है।
अनुभवजन्य सत्यापन: मल्टी-टास्क और मल्टीलिंगुअल जॉइंट लर्निंग परिदृश्यों में व्यापक प्रयोगों के माध्यम से यह प्रदर्शित किया गया है कि RotMoLE पारंपरिक MoE-LoRA बेसलाइन्स और अन्य हालिया वेरिएंट्स को पछाड़ देता है।

प्रयोगात्मक परिणाम

लेखकों ने Llama-3.2-3B, Qwen-2.5-3B, और GLM-4-9B पर कई बेंचमार्क के माध्यम से RotMoLE का मूल्यांकन किया:

मल्टी-टास्क जॉइंट लर्निंग (QA & GLUE):
- तीन QA कार्यों (CommonsenseQA, OpenBookQA, SocialIQA) के मिश्रण पर, RotMoLE ने लगातार MoE-LoRA बेसलाइन को पछाड़ा, औसत सटीकता में 1% से 10% (औसत ~5%) का सुधार हासिल किया।
- सुधार सबसे अधिक तब देखे गए जब विशेषज्ञों की संख्या सीमित थी (जैसे, $n=2$ ), जो इस परिकल्पना की पुष्टि करता है कि रोटेशन साझा विशेषज्ञों को अलग करने में मदद करता है।
- GLUE कार्यों (SST-2, MRPC, QNLI) पर भी समान लाभ देखे गए।
मल्टीलिंगुअल जॉइंट लर्निंग:
- मल्टीलिंगुअल टेक्स्ट जनरेशन (MTG) और XNLI (नेचुरल लैंग्वेज इन्फरेंस) पर, RotMoLE ने बेसलाइन्स की तुलना में उच्च औसत और प्रति-भाषा स्कोर प्राप्त किया।
- कन्वर्जेंस विश्लेषण ने संकेत दिया कि RotMoLE बेहतर एंटी-ओवरफिटिंग गुणों को प्रदर्शित करता है, जो शुरुआत में धीरे-धीरे कन्वर्ज होता है लेकिन बेसलाइन्स में देखी गई अर्ली सैचुरेशन के बिना बेहतर अंतिम प्रदर्शन प्राप्त करता है।
वैरिएंट्स के साथ तुलना:
- RotMoLE ने समग्र और प्रति-कार्य सटीकता के मामले में फॉरवर्ड रूटिंग (MoCLE, MoLA, AdaMoLE) पर ध्यान केंद्रित करने वाले अन्य MoE-LoRA वेरिएंट्स को पछाड़ दिया।
एब्लेशन स्टडीज:
- प्रयोगों ने पुष्टि की कि प्रदर्शन में सुधार रोटेशनल स्ट्रक्चर के कारण है, न कि केवल पैरामीटर काउंट में वृद्धि के कारण। समान आकार के बेसलाइन का उपयोग करने वाला MLP गेट खराब प्रदर्शन करता है, जिससे पता चलता है कि रोटेशन मैकेनिज्म अतिरिक्त पैरामीटर्स का उपयोग विविधता के लिए अधिक प्रभावी ढंग से करता है।

महत्व और दावे

पेपर का दावा है कि RotMoLE सरल स्केलिंग से परे लो-रैंक विशेषज्ञों के लिए एक अधिक शक्तिशाली ट्रांसफॉर्मेशन फंक्शन प्रदान करता है। एक रोटेशन गेट पेश करके, फ्रेमवर्क MoE के ग्लोबल सॉल्यूशन स्पेस को महत्वपूर्ण रूप से विस्तारित करता है, जिससे विशेषज्ञों का बेहतर दोहन और विशिष्टीकरण संभव होता है, विशेष रूप से उन परिदृश्यों में जहाँ विशेषज्ञ कई कार्यों या भाषाओं के लिए साझा किए जाते हैं।

लेखक इस दृष्टिकोण पर जोर देते हैं कि यह वर्तमान PEFT-MoE शोध के एक विशिष्ट अंतर को संबोधित करता: जब विशेषज्ञों की संख्या सीमित होती है, तो उम्मीदवार विशेषज्ञों के लिए विविध शोषण रणनीतियों (exploitation strategies) को मॉडल करने में असमर्थता। परिणाम बताते हैं कि RotMoLE पूर्ण-रैंक ट्रांसफॉर्मेशन की कम्प्यूटेशनल लागत के बिना, जटिल, बहु-डोमेन अनुप्रयोगों में LLMs की प्रतिनिधि क्षमता (representational capacity) को बढ़ाने के लिए एक मजबूत, पैरामीटर-कुशल तरीका प्रदान करता है।