📊 statistics

Expert Merging in Sparse Mixture of Experts with Nash Bargaining

यह शोध पत्र NAMEx को प्रस्तुत करता है, जो एक स्पार्स मिक्स्चर ऑफ एक्सपर्ट्स (Sparse Mixture of Experts) के लिए एक नवीन एक्सपर्ट मर्जिंग फ्रेमवर्क है, जो संतुलित सहयोग और त्वरित अभिसरण (convergence) प्राप्त करने के लिए नैश बारगेनिंग (Nash Bargaining) और कॉम्प्लेक्स मोमेंटम का लाभ उठाता है, जो विभिन्न कार्यों और बड़े पैमाने के मॉडलों में उत्कृष्ट प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने कठिन समस्याओं को हल करने के लिए विशेषज्ञों की एक विशाल, अत्यंत बुद्धिमान टीम (विशेषज्ञों या "Experts" कहा जाता है) बनाई है। आधुनिक AI में, इन टीमों को अक्सर स्पार्स मिक्सचर ऑफ एक्सपर्ट्स (Sparse Mixture of Experts - SMoE) के रूप में व्यवस्थित किया जाता है। इसे एक विशाल अस्पताल के रूप में सोचें जहाँ, प्रत्येक मरीज के लिए, केवल कुछ विशिष्ट डॉक्टरों को मदद के लिए बुलाया जाता है, जबकि बाकी आराम करते हैं। यह ऊर्जा और पैसा बचाता है, लेकिन यह एक नई समस्या पैदा करता है: जब हमें मॉडल को तैनात (deploy) करना हो, तो हम इन सभी विशेषज्ञों के ज्ञान को एक एकल, सुपर-डॉक्टर में कैसे मिला सकते हैं?

वर्तमान में, अधिकांश AI टीमें विशेषज्ञों की सलाह का एक "साधारण औसत" (simple average) लेती हैं। यह दस शेफ से उनकी गुप्त रेसिपी लिखने के लिए कहने जैसा है, फिर उन सामग्रियों को एक बड़े बर्तन में मिला देना और यह उम्मीद करना कि परिणाम स्वादिष्ट होगा। अक्सर, ऐसा नहीं होता है। कुछ शेफ सूप बनाने में माहिर हो सकते हैं लेकिन मिठाई बनाने में बहुत खराब, और उन्हें औसत निकालने से दोनों का स्वाद बिगड़ जाता है।

यह शोध पत्र विशेषज्ञों को मिलाने का एक नया तरीका पेश करता है जिसे NAMEx (नेम-एक्स) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "औसत" एक बुरा समझौता है

लेखकों का तर्क है कि विशेषज्ञों का औसत निकालना एक खराब बातचीत (negotiation) जैसा है। यदि एक विशेषज्ञ कहता है "नमक डालें" और दूसरा कहता है "चीनी डालें," तो एक साधारण औसत आपको "थोड़ा सा दोनों डालें" दे सकता है, जिसके परिणामस्वरूप नमकीन-मीठा सूप मिलता है। इसमें कोई भी नहीं जीतता।

2. समाधान: "निष्पक्ष बातचीत" का खेल

औसत निकालने के बजाय, लेखक विशेषज्ञों को एक खेल (विशेष रूप से, एक "नैश बारगेनिंग" गेम) के खिलाड़ियों के रूप में देखते हैं।

खिलाड़ी: प्रत्येक विशेषज्ञ एक अद्वितीय "उपयोगिता" (utility - वे किस चीज़ में अच्छे हैं) वाला एक खिलाड़ी है।
लक्ष्य: उन्हें निर्देशों का एक एकल सेट (विलित मॉडल) पर सहमत होना है जो सभी को यथासंभव खुश रखे बिना किसी को ऐसा कुछ करने के लिए मजबूर किए बिना जो वे करने में बहुत खराब हैं।
परिणाम: सिस्टम एक "पारेटो ऑप्टिमल" (Pareto optimal) बिंदु खोजता है। दोस्तों के एक समूह द्वारा खाना खाने की जगह तय करने की कल्पना करें। एक साधारण औसत एक ऐसी जगह चुन सकता है जो सभी के लिए "ठीक" हो लेकिन किसी के लिए भी महान न हो। नैश बारगेनिंग समाधान एक ऐसा रेस्तरां ढूंढता है जहाँ हर कोई वास्तव में खुश है क्योंकि उनकी विशिष्ट आवश्यकताओं का सम्मान किया गया था।

शोध पत्र में, वे गणितीय रूप से सिद्ध करते हैं कि यह "निष्पक्ष बातचीत" औसत निकालने की तुलना में एक बेहतर अंतिम मॉडल की ओर ले जाती है।

3. गति वृद्धि: "कॉम्प्लेक्स मोमेंटम" (Complex Momentum)

एक पिछला तरीका (जिसे EP-CAMEx कहा जाता है) था जिसने कुछ ऐसा ही करने की कोशिश की थी, लेकिन वह सीखने में धीमा था, जैसे कि एक छात्र जो बिना समझे एक ही पन्ने को बार-बार पढ़ता रहता है।

लेखकों ने NAMEx में कॉम्प्लेक्स मोमेंटम जोड़ा है।

उपमा: कल्पना कीजिए कि आप एक भारी शॉपिंग कार्ट को धक्का दे रहे हैं।
- स्टैंडर्ड मोमेंटम (Standard Momentum): आप इसे आगे धकेलते हैं, और यह थोड़ा आगे लुढ़कता रहता है।
- कॉम्प्लेक्स मोमेंटम (Complex Momentum): कल्पना कीजिए कि कार्ट एक ऐसे ट्रैक पर है जो इसे न केवल आगे/पीछे, बल्कि "तिरछे" (sideways) या एक जटिल, सर्पिल (spiraling) तरीके से भी चलने की अनुमति देता है। यह कार्ट को कठिन मोड़ों (विशेषज्ञों के बीच संघर्ष) को बहुत तेज़ी से और अधिक सुचारू रूप से नेविगेट करने में मदद करता है ताकि वह फंस न जाए।
दावा: यह गणितीय ट्रिक विशेषज्ञों को अंतिम मॉडल पर बहुत तेज़ी से और अधिक स्थिरता के साथ "सहमत" होने में मदद करती है, विशेष रूपकर जब विशेषज्ञों के विचार बहुत अलग या विरोधाभासी हों।

4. उन्होंने क्या परीक्षण किया (परिणाम)

टीम ने इस नई "नेगोशिएशन टीम" का कई वास्तविक दुनिया के कार्यों पर परीक्षण किया:

भाषा (Language): AI को बेहतर टेक्स्ट लिखने में मदद करना (WikiText-103)।
समझ (Understanding): सवालों के जवाब देना और वाक्यों को समझना (GLUE बेंचमार्क)।
दृष्टि (Vision): तस्वीरों में वस्तुओं को पहचानना (ImageNet), भले ही तस्वीरें धुंधली, कलात्मक या अजीब (corrupted data) हों।
बड़े मॉडल (Big Models): उन्होंने DeepSeek-MoE और Qwen1.5-MoE (अरबों पैरामीटर वाले मॉडल) जैसे विशाल, वास्तविक दुनिया के AI सिस्टम पर इसका परीक्षण किया।

परिणाम:
लगभग हर परीक्षण में, "नेगोशिएशन टीम" (NAMEx) "सिंपल एवरेज टीम" और "पुरानी धीमी टीम" को मात देती है। यह लिखने, समझने और तस्वीरों को पहचानने में बेहतर थी। यहाँ तक कि जब तस्वीरें अव्यवस्थित थीं या सवाल कठिन थे, तब भी NAMEx अन्य लोगों की तुलना में बेहतर स्थिति में रही।

सारांश

यह शोध पत्र प्रस्तावित करता है कि AI विशेषज्ञों को बस एक साथ मिलाने के बजाय, हमें उन्हें गेम थ्योरी (game theory) का उपयोग करके बातचीत (negotiate) करने देना चाहिए। इन मॉडलों को मर्ज करने की प्रक्रिया को एक निष्पक्ष सौदेबाजी के खेल के रूप में देखने और चीजों को तेज़ करने के लिए एक विशेष "कॉम्प्लेक्स मोमेंटम" जोड़ने के माध्यम से, उन्होंने एक ऐसी विधि बनाई है जो अधिक मजबूत AI मॉडल बनाती है जो भाषा, दृष्टि और बड़े पैमाने के कार्यों में बेहतर प्रदर्शन करती है।

नोट: शोध पत्र पूरी तरह से इन AI मॉडलों को मर्ज करने की गणितीय विधि और उनके प्रदर्शन के परीक्षण पर केंद्रित है। यह दावा नहीं करता है कि इसके चिकित्सा अनुप्रयोग, नैदानिक उपयोग या इन AI सिस्टम को बनाने और मर्ज करने के तरीके में सुधार के अलावा कोई विशिष्ट भविष्य के निहितार्थ हैं।

तकनीकी सारांश: स्पार्स मिक्सचर ऑफ एक्सपर्ट्स (SMoE) में नैश बारगेनिंग के साथ एक्सपर्ट मर्जिंग

समस्या विवरण

स्पार्स मिक्सचर ऑफ एक्सपर्ट्स (SMoE) आर्किटेक्चर, प्रत्येक इनपुट के लिए विशेषज्ञ मॉड्यूल के एक उपसमुच्चय (subset) को सक्रिय करके न्यूरल नेटवर्क को कुशलतापूर्वक स्केल करने के लिए एक आधार स्तंभ बन गए हैं। जबकि महत्वपूर्ण शोध रूटिंग तंत्र (जैसे लोड बैलेंसिंग, स्थिरता) को बेहतर बनाने पर केंद्रित रहा है, विशेषज्ञ विलय (expert merging)—अर्थात तैनाती या अनुमान (inference) के लिए सभी विशेषज्ञ मापदंडों को एक एकीकृत मॉडल में संयोजित करना—एक अनछुआ क्षेत्र बना हुआ है।

मौजूदा विलय रणनीतियाँ आमतौर पर हीयुरिस्टिक वेटिंग स्कीम्स पर निर्भर करती हैं, जैसे कि सरल इनपुट-स्वतंत्र औसत या टॉप- $k$ एकत्रीकरण। ये विधियाँ विशेषज्ञों के बीच जटिल सहकारी और प्रतिस्पर्धी गतिशीलता की अनदेखी करती हैं। इसके अलावा, हाल के दृष्टिकोण जैसे कर्वेचर-अवेयर मर्जिंग ऑफ एक्सपर्ट्स (CAMEx) और इसका डायनेमिक वेरिएंट (EP-CAMEx), जो विशेषज्ञों को संरेखित करने के लिए नेचुरल ग्रेडिएंट का उपयोग करते हैं, सीमाओं को दर्शाते हैं। विशेष रूप से, EP-CAMEx अपने स्टैटिक समकक्ष के मुकाबले कम प्रदर्शन करता है, जो संभवतः विशेषज्ञ योगदान के बीच अपर्याप्त समन्वय और प्रसार (propagation) में धीमी अभिसरण (convergence) के कारण है। मुख्य चुनौती यह है कि विशेषज्ञ विलय को केवल एक रैखिक औसत के रूप में नहीं, बल्कि विविध विशेषज्ञों के अद्वितीय योगदान को संतुलित करने वाले एक संरचित इंटरैक्शन के रूप में व्याख्या करना है।

कार्यप्रणाली: NAMEx

लेखक NAMEx (Nash Merging of Experts) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो विशेषज्ञ विलय को गेम थ्योरी के लेंस से, विशेष रूप से नैश बारगेनिंग सॉल्यूशन (NBS) का उपयोग करके पुनर्व्याख्या करता है।

1. विशेषज्ञ विलय एक बारगेनिंग गेम के रूप में

लेखक विशेषज्ञ विलय प्रक्रिया को विशेषज्ञों के बीच एक सहकारी-प्रतिस्पर्धी खेल (cooperative-competitive game) के रूप में देखते हैं।

खिलाड़ी (Players): SMoE लेयर में प्रत्येक विशेषज्ञ $i$ ।
उपयोगिता फलन (Utility Function): इसे $u_i(\Delta E) = \tau_i^\top \Delta E$ के रूप में परिभाषित किया गया है, जहाँ $\tau_i = E_i - E_m$ "डोमेन-वेक्टर" है जो बेस एक्सपर्ट $E_m$ से $i$ -वें विशेषज्ञ के विचलन का प्रतिनिधित्व करता है। यह वेक्टर विशेषज्ञ के अद्वितीय योगदान को कैप्चर करता है।
असहमति बिंदु (Disagreement Point): 0 पर सेट है, जो बेस एक्सपर्ट में किसी भी अपडेट के बिना को दर्शाता है।
उद्देश्य: एक बॉल $B_\epsilon$ के भीतर एक अपडेट दिशा $\Delta E$ खोजना जो असहमति बिंदु पर व्यक्तिगत लाभ के गुणनफल को अधिकतम करता हो:
$\Delta E^* = \arg\max_{\Delta E \in B_\epsilon} \prod_{i=1}^N (\Delta E^\top \tau_i)$
लीनियरली इंडिपेंडेंट डोमेन वेक्टर्स की धारणा के तहत, समाधान को डोमेन वेक्टर्स के भारित योग (weighted sum) के रूप में निकाला जाता है:
$\Delta E = \sum_{i=1}^N \alpha_i \tau_i$
जहाँ भार $\alpha$ नैश बारगेनिंग समीकरण को संतुष्ट करते हैं: $G^\top G \alpha = 1/\alpha$ , जहाँ $G$ डोमेन वेक्टर्स का मैट्रिक्स है और $1/\alpha$ एलिमेंट-वाइज रेसिप्रोकल (व्युत्क्रम) है।

2. एक्सपर्ट प्रोपेगेशन के साथ एकीकरण

NAMEx को EP-CAMEx फ्रेमवर्क में एकीकृत किया गया है। बेस एक्सपर्ट प्रोपेगेशन के लिए फिक्स्ड ग्रेडिएंट डिसेंट स्टेप का उपयोग करने के बजाय, NAMEx प्रत्येक लेयर $l$ पर नैश सॉल्यूशन का उपयोग करके इष्टतम अपडेट दिशा $\Delta E^{(l)}$ की गणना करता है। बेस एक्सपर्ट $E_m$ को इस प्रकार अपडेट किया जाता है:
$E_m^{(l+1)} = E_m^{(l)} + \gamma \sum_{i=1}^N \alpha_i^{(l)} \tau_i^{(l)}$
जहाँ $\gamma$ स्टेप साइज है।

3. कॉम्प्लेक्स मोमेंटम (Complex Momentum)

EP-CAMEx में देखी गई धीमी अभिसरण की समस्या को दूर करने के लिए, लेखक NAMEx फ्रेमवर्क में कॉम्प्लेक्स मोमेंटम को एकीकृत करते हैं (NAMEx-Momentum)।

एक कॉम्प्लेक्स मोमेंटम बफर $\mu^{(j)} \in \mathbb{C}^d$ दिशात्मक अपडेट को संचित करता है।
अपडेट नियम में एक कॉम्प्लेक्स मोमेंटम गुणांक $\beta \in \mathbb{C}$ शामिल है:
$\mu^{(j+1)} = \beta \mu^{(j)} + \Delta E^{(j)}$
$E_m^{(j+1)} = E_m^{(j)} + \Re(\gamma \mu^{(j+1)})$
सैद्धांतिक विश्लेषण (प्रपोजिशन 3.5 और थ्योरम C.3) अभिसरण गारंटी प्रदान करता है, जो दिखाता है कि सौम्य शर्तों के तहत, सिस्टम मैट्रिक्स का स्पेक्ट्रल रेडियस 1 से कम रखा जा सकता है, जिससे लीनियर कन्वर्जेंस सुनिश्चित होता है।

मुख्य योगदान

NAMEx फ्रेमवर्क: एक नवीन विशेषज्ञ विलय विधि जो विशेषज्ञ प्रोपेगेशन में नैश बारगेनिंग ऑप्टिमाइज़ेशन फ्रेमवर्क को एकीकृत करती है, जो विशेषज्ञ डोमेन वेक्टर्स को उपयोगिता फलनों के रूप में मानकर निष्पक्ष और कुशल विलय गुणांक प्राप्त करती है।
कॉम्प्लेक्स मोमेंटम एकीकरण: अभिसरण को तेज करने और स्थिरता बढ़ाने के लिए (विशेष रूप से प्रतिकूल या संघर्षपूर्ण विशेषज्ञ गतिशीलता वाले परिदृश्यों में) NAMEx में कॉम्प्लेक्स मोमेंटम को शामिल करना। लेखक NAMEx-Momentum के लिए अभिसरण दर के लिए सैद्धांतिक प्रमाण प्रदान करते हैं।
स्केलेबिलिटी और अनुभवजन्य सत्यापन: विविध कार्यों (भाषा मॉडलिंग, टेक्स्ट क्लासिफिकेशन, इमेज क्लासिफिकेशन) में NAMEx की प्रभावशीलता का प्रदर्शन, जिसमें बड़े पैमाने के सिस्टम (Qwen1.5-MoE 14B, DeepSeek-MoE 16B) शामिल हैं।

प्रयोगात्मक परिणाम

लेखकों ने कई बेंचमार्क पर SMoE, CAMEx, EP-CAMEx के विरुद्ध NAMEx का मूल्यांकन किया:

भाषा मॉडलिंग (WikiText-103): NAMEx-Full-Mom ने छोटे और मध्यम स्तर के प्री-ट्रेनिंग के लिए दोनों वैलिडेशन और टेस्ट परप्लेक्सिटी में सबसे कम स्कोर प्राप्त किया, जो सभी बेसलाइन्स से बेहतर है।
टेक्स्ट क्लासिफिकेशन (GLUE): T5-Base का उपयोग करके GLUE बेंचमार्क पर, NAMEx-Full-Mom ने सभी कार्यों (SST-2, MRPC, CoLA, आदि) में सर्वश्रेष्ठ परिणाम प्राप्त किए, जो SMoE और कर्वेचर-अवेयर विधियों पर निरंतर सुधार दिखाते हैं।
इमेज क्लासिफिकेशन (ImageNet-1k और मजबूती): Swin-MoE पर, NAMEx-Mom ने Top-1 एक्यूरेसी में सभी बेसलाइन्स को पछाड़ दिया। महत्वपूर्ण रूप से, इसने दूषित डेटासेट (ImageNet-A, Imageकट-O, ImageNet-R) पर बेहतर मजबूती प्रदर्शित की, जहाँ मोमेंटम वेरिएंट्स ने सबसे अधिक लाभ दिखाया।
बड़े पैमाने के मॉडल: DeepSeek-MoE (16B) और Qwen1.5-MoE (14B) पर लागू होने पर, NAMEx-Full ने MMLU, GSM8K और ARC बेंचमार्क पर ज़ीरो-शॉट और फाइन-ट्यून्ड (SmolTalk) दोनों सेटिंग्स में बेसलाइन्स और EP-CAMEx दोनों को लगातार पीछे छोड़ दिया।
एब्लेशन स्टडीज (Ablation Studies):
- मोमेंटम: कॉम्प्लेक्स मोमेंटम ने रियल-वैल्यूड मोमेंटम की तुलना में अभिसरण गति और प्रदर्शन में काफी सुधार किया।
- इट्रेशन्स (Iterations): प्रति लेयर 2 इट्रेशन्स के साथ नैश सिस्टम को हल करना कुशल और प्रभावी पाया गया, और उच्च इट्रेशन काउंट पर इसके लाभ सीमित रहे।
- असहमति बिंदु: मीन (mean) का उपयोग करने के बजाय 0 का उपयोग करना अधिक मजबूत और स्थिर पाया गया।

महत्व और दावे

लेख का दावा है कि NAMEx हीयुरिस्टिक एक्सपर्ट मर्ज़िंग के लिए एक सिद्धांत-आधारित विकल्प (principled alternative) प्रदान करता है। विशेषज्ञों के बीच एक बारगेनिंग गेम के रूप में उनकी अंतःक्रिया को मॉडल करके, NAMEx एक पारेटो-कुशल (Pareto-efficient) विलय प्रक्रिया सुनिश्चित करता है जो विशेषज्ञों के बीच सहयोग और प्रतिस्पर्धा दोनों को ध्यान में रखता है। कॉम्प्लेक्स मोमेंटम का एकीकरण डायनेमिक मर्ज़िंग परिदृश्यों में अभिसरण बाधाओं को दूर करता है।

लेखक इस बात पर जोर देते हैं कि NAMEx:

प्रदर्शन में सुधार करता है: विजन और लैंग्वेज टास्क में मौजूदा विलय रणनीतियों से लगातार बेहतर प्रदर्शन करता है।
मजबूती बढ़ाता है: डेटा भ्रष्टाचार और वितरण बदलाव (distribution shifts) के तहत बेहतर सामान्यीकरण प्रदर्शित करता है।
प्रभावी ढंग से स्केल करता है: यह सिद्ध करता है कि बिना इन्फरेंस लागत को प्रभावित किए, यह बड़े पैमाने के MoE आर्किटेक्चर (16B पैरामीटर्स तक) के लिए व्यवहार्य है, क्योंकि प्रशिक्षण ओवरहेड प्रबंधनीय है।
सैद्धांतिक आधार: यह केवल अनुभवजन्य हीयुरिस्टिक्स से आगे बढ़कर, मोमेंटम-एन्हांस्ड वेरिएंट के लिए अभिसरण गारंटी प्रदान करता है।

यह कार्य सुझाव देता है कि विशेषज्ञ विलय को गेम थ्योरी के माध्यम से देखना मॉड्यूलर डीप लर्निंग सिस्टम को अनुकूलित करने के नए रास्ते खोलता है, जिसका संभावित अनुप्रयोग फेडरेटेड लर्निंग और ट्रांसफर लर्निंग में है जहाँ निष्पक्ष विशेषज्ञ संयोजन महत्वपूर्ण है।