💻 computer science

The Three-Force Phase Diagram of Mixture-of Experts: Gradient Alignment Theory and Causal Veri cation on Mixtral 8×7B

यह शोध पत्र क्रॉस-एक्सपर्ट ग्रेडिएंट अलाइनमेंट मीट्रिक (Γ) को पेश करता है ताकि यह प्रदर्शित किया जा सके कि मानक मिश्रण-ऑफ़-एक्सपर्ट्स (Mixture-of-Experts) प्रशिक्षण, विशेष रूप से Mixtral 8×7B में, सॉफ्टमैक्स कपलिंग (softmax coupling) और टॉप-k नॉर्मलाइजेशन (top-k normalization) के संयुक्त नकारात्मक प्रभावों के कारण उत्पन्न एक संरचनात्मक शून्य-योग प्रतिस्पर्धा (zero-sum competition) द्वारा मौलिक रूप से संचालित होता है, जो एक निरंतर नकारात्मक अलाइनमेंट अट्रैक्टर (negative alignment attractor) बनाता है जिसे केवल इन विशिष्ट वास्तुशिल्प बाधाओं को हटाकर ही दूर किया जा सकता है।

मूल लेखक: 庆君张

प्रकाशित 2026-07-22

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: 庆君张

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

महान विशेषज्ञ मुकाबला: AI मॉडल आपस में क्यों लड़ते हैं

कल्पना कीजिए कि आप एक रोबोट को बोलना सिखाने के लिए एक विशाल पुस्तकालय बना रहे हैं। एक विशाल, सर्वज्ञ लाइब्रेरियन को काम पर रखने के बजाय जो सब कुछ याद रखने की कोशिश करता है, आप आठ विशिष्ट विशेषज्ञों की एक टीम को काम पर रखते हैं। शायद एक गणित में माहिर है, दूसरा कविता में, और तीसरा इतिहास में। यह Mixture-of-Experts (MoE) के पीछे का विचार है, जो आधुनिक AI में उपयोग की जाने वाली एक चतुर तकनीक है ताकि मॉडलों को बहुत धीमा बनाए बिना उन्हें विशाल और स्मार्ट बनाया जा सके। कंप्यूटर एक स्मार्ट मैनेजर (जिसे "रूटर" कहा जाता है) की तरह काम करता है जो एक प्रश्न को देखता है और तय करता है कि कौन से दो विशेषज्ञ उसका उत्तर देंगे।

लेकिन पेचीदा हिस्सा यह है: ये विशेषज्ञ कैसे सीखते हैं? एक आदर्श दुनिया में, वे एक सुव्यवस्थित मशीन की तरह मिलकर काम करेंगे, जहाँ प्रत्येक विशेषज्ञ दूसरों को परेशान किए बिना अपने काम में बेहतर होता जाएगा। हालाँकि, AI ट्रेनिंग की अव्यवस्थपूर्ण वास्तविकता में, "मैनेजर" को चुनाव करने होते हैं। यदि मैनेजर गणित विशेषज्ञ को अधिक ध्यान देने का निर्णय लेता है, तो उसे इतिहास विशेषज्ञ से ध्यान हटाने के लिए मजबूर होना पड़ सकता है। यह एक खींचतान पैदा करता है। वैज्ञानिक लंबे समय से सोच रहे हैं: क्या यह टीम सहयोग करना सीख रही है, या वे एक निरंतर, ज़ीरो-सम (zero-sum) लड़ाई में फंसी हुई है जहाँ एक व्यक्ति का लाभ दूसरे का नुकसान है? इसे समझना महत्वपूर्ण है क्योंकि यदि विशेषज्ञ बहुत अधिक लड़ते हैं, तो वे नई चीजें सीखना बंद कर सकते हैं या बिल्कुल एक जैसा व्यवहार करना शुरू कर सकते हैं, जिससे उनकी बुद्धिमत्ता नष्ट हो सकती है।

शोध की खोज: तीन तरफा खींचतान

इस शोध में, झांग किंगजुन नामक एक वैज्ञानिक ने एक प्रसिद्ध AI मॉडल जिसे Mixtral 8×7B कहा जाता है, के पर्दे के पीछे झाँकने का फैसला किया ताकि यह देख सके कि ये विशेषज्ञ वास्तव में कैसे लड़ रहे हैं। केवल अनुमान लगाने के बजाय, उन्होंने गामा (Γ) नामक एक नया "थर्मामीटर" बनाया। यह उपकरण विशेषज्ञों के सीखने के संकेतों के बीच के संबंध को मापता है। यदि गामा सकारात्मक है, तो विशेषज्ञ एक "अशांत" (turbulent) अवस्था में हैं जहाँ वे सहक्रियात्मक रूप से एक-दूसरे को मजबूत कर रहे हैं, जो विरोधाभासी रूप से उनके एक जैसे व्यवहार में ढलने की प्रक्रिया को तेज करता है। यदि यह शून्य है, तो वे एक-दूसरे को अनदेखा कर रहे हैं और स्वतंत्र रूप से सीख रहे हैं (एक शांत "लैमिनार" अवस्था)। यदि गामा नकारात्मक है, तो वे एक ज़ीरो-सम लड़ाई में हैं, जहाँ एक विशेषज्ञ की मदद करना दूसरों को नुकसान पहुँचाता है।

अध्ययन में पाया गया कि मानक Mixtral मॉडल एक नकारात्मक अवस्था (Γ = -0.107) में फंसा हुआ है। इसका मतलब है कि सामान्य सेटिंग्स के तहत, मॉडल मौलिक रूप से एक ज़ीरो-सम गेम है। हर बार जब "मैनेजर" एक विशेषज्ञ के लिए रूटिंग में सुधार करता है, तो यह अनजाने में दूसरों के लिए सीखना कठिन बना देता है। शोधकर्ता ने यह पता लगाने के लिए कि क्यों ऐसा होता है और क्या वे इसे ठीक कर सकते हैं, सात अलग-अलग प्रयोग चलाए।

काम करने वाले तीन बल
यह शोध इस नकारात्मक लड़ाई को तीन विशिष्ट बलों में विभाजित करता है, जैसे कि भौतिकी का कोई समीकरण हो:

अच्छा बल (+0.030): क्योंकि सभी विशेषज्ञ एक ही बुनियादी मस्तिष्क संरचना साझा करते हैं, उनमें स्वाभाविक रूप से थोड़ा सकारात्मक संरेखण होता है। वे एक-दूसरे की मदद करना चाहते हैं।
कोमल बल (-0.044): "मैनेजर" विशेषज्ञों को चुनने के लिए सॉफ्टमैक्स (softmax) नामक एक गणितीय उपकरण का उपयोग करता है। यह उपकरण एक सूक्ष्म प्रतिस्पर्धा पैदा करता है क्योंकि संभावनाओं को 100% तक जुड़ना चाहिए।
भारी बल (-0.124): सबसे बड़ा अपराधी वह नियम है जो मॉडल को ठीक 2 विशेषज्ञों (top-2) को चुनने के लिए मजबूर करता है और उनके भार (weights) को 1 तक जोड़ने के लिए कहता है। यह एक सख्त "ज़ीरो-सम" बाधा बनाता है: यदि विशेषज्ञ A को पाई (pie) का एक बड़ा टुकड़ा मिलता है, तो विशेषज्ञ B को अनिवार्य रूप से एक छोटा टुकड़ा मिलेगा। यही मुख्य कारण है कि विशेषज्ञ लड़ रहे हैं।

जब आप इन सबको जोड़ते हैं, तो भारी लड़ने वाला बल जीत जाता है, जिससे मॉडल का शुद्ध नकारात्मक स्कोर -0.107 हो जाता है। अध्ययन साबित करता है कि यह केवल विशिष्ट डेटा या वेट्स का संयोग नहीं है; यह सिस्टम का एक संरचनात्मक नियम है। यहाँ तक कि जब शोधकर्ता ने शोर (noise) जोड़कर, सीखने के कार्यों को बदलकर, या मस्तिष्क के कुछ हिस्सों को फ्रीज करके मॉडल के साथ छेड़छाड़ करने की कोशिश की, तब भी लड़ाई जारी रही। नकारात्मक अवस्था एक "स्ट्रक्चरल अट्रैक्टर" (structural attractor) है—एक जाल जिसमें मॉडल डिज़ाइन के कारण ही गिर जाता है।

"इनवर्टेड-यू" (उल्टा-U) आश्चर्य
सबसे दिलचस्प खोज यह है कि चुने गए विशेषज्ञों की संख्या लड़ाई को कैसे बदलती है। शोधकर्ता ने 1, 2, 3, 4, 6, या 8 विशेषज्ञों को चुनने का परीक्षण किया।

1 विशेषज्ञ चुनना (k=1): लड़ाई पूरी तरह से रुक जाती है! गामा 0.000 हो जाता है। केवल एक विशेषज्ञ के साथ, लड़ने के लिए कोई नहीं है, इसलिए मॉडल एक पूर्ण "लैमिनार" (शांत) अवस्था में प्रवेश करता है।
2 विशेषज्ञ चुनना (k=2): लड़ाई अपने चरम (सबसे अधिक नकारात्मक) पर है। यही मूल Mixtral सेटिंग है।
अधिक विशेषज्ञ चुनना (k=8): लड़ाई फिर से कमजोर हो जाती है (गामा बढ़कर -0.045 हो जाता है)। क्यों? क्योंकि "पाई" को इतने सारे लोगों के बीच बांटा जा रहा है कि किसी भी दो विशिष्ट विशेषज्ञों के बीच की प्रतिस्पर्धा कम हो जाती है।

यह एक इनवर्टेड-यू आकार बनाता है: प्रतिस्पर्धा सबसे कमजोर होती है जब आप केवल एक चुनते हैं, जब आप दो चुनते हैं तो सबसे अधिक होती है, और जैसे-जैसे आप अधिक चुनते हैं, यह फीकी पड़ती जाती है।

क्या हम इसे ठीक कर सकते हैं?
शोध पत्र इस लड़ाई के जाल से बचने के दो तरीके सुझाता है:

केवल एक विशेषज्ञ चुनें (k=1): यह प्रतिस्पर्धा को पूरी तरह से समाप्त कर देता है, जिससे सीखने का एक शांत वातावरण बनता है। हालाँकि, शोध पत्र नोट करता है कि इसके साथ एक समझौता (trade-off) भी है: यह समग्र मॉडल की गुणवत्ता को कम कर सकता है क्योंकि प्रति टोकन कम विशेषज्ञ सक्रिय होते हैं, भले ही सीखने की प्रक्रिया स्वयं अधिक स्वच्छ हो।
"हार्ड रूटिंग" (Hard Routing) का उपयोग करें: मैनेजर को विशेषज्ञ चुनने देने के बजाय, आप विशेषज्ञों को स्थायी रूप से विशिष्ट विषयों के लिए असाइन कर सकते हैं (जैसे एक निश्चित शेड्यूल)। अध्ययन ने एक छोटे विजन मॉडल पर इसका परीक्षण किया और पाया कि इसने लड़ाई को लगभग शून्य (-0.009) तक कम कर दिया, जिससे एक लगभग पूर्ण शांत अवस्था बन गई।

इसका क्या अर्थ है
शोध पत्र एक "प्रतिस्पर्धी रूटिंग लेम्मा" (Competitive Routing Lemma) के साथ समाप्त होता है: यदि आप एक ऐसा सिस्टम बनाते हैं जो 2 या अधिक विशेषज्ञों को चुनता है और उनके विकल्पों को एक निश्चित कुल योग में जोड़ने के लिए मजबूर करता है, तो आप गणितीय रूप से एक ज़ीरो-सम लड़ाई बनाने की गारंटी देते हैं। लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल मॉडल की 32 परतों में इसे मापा और साबित किया कि यह सच है। हालाँकि मॉडल अभी भी सीखता है (यह विफल नहीं है), यह आंतरिक लड़ाई विशेषज्ञों को विशिष्ट होने से कठिन बनाती है और समस्या पैदा कर सकती है जब मॉडल बाद में नए कार्यों को सीखने की कोशिश करता है। समाधान, शोध पत्र सुझाव देता है, यह है कि "मैनेजर" द्वारा विशेषज्ञों को चुनने के तरीके को फिर से डिज़ाइन किया जाए ताकि इस अंतर्निहित संघर्ष से बचा जा सके।

तकनीकी सारांश: Mixture-of-Experts का थ्री-फोर्स फेज डायग्राम (Three-Force Phase Diagram)

1. समस्या विवरण (Problem Statement)

Mixture-of-Experts (MoE) आर्किटेक्चर प्रत्येक टोकन के लिए उप-नेटवर्कों (sub-networks) के एक समूह को सक्रिय करके मॉडल की क्षमता को बढ़ाते हैं, फिर भी वे "एक्सपर्ट कोलैप्स" (expert collapse) से ग्रस्त होते हैं, जहाँ विशेषज्ञ कार्यात्मक रूप से समान निरूपणों (representations) की ओर अभिसरित हो जाते हैं। जबकि मौजूदा साहित्य सहायक नुकसान (auxiliary losses) या क्षमता बाधाओं (capacity constraints) के माध्यम से सतही लक्षणों जैसे लोड असंतुलन को संबोधित करता है, विशेषज्ञों के संरेखण (alignment) को संचालित करने वाले अंतर्निहित ग्रेडिएंट डायनेमिक्स अभी भी निदान योग्य नहीं हैं। विशेष रूप से, यह स्पष्ट नहीं है कि उत्पादन-स्तर के भाषा मॉडलों (जैसे, Mixtral 8×7B) में विशेषज्ञों के बीच का जुड़ाव सहक्रियात्मक (synergistic), स्वतंत्र, या प्रतिस्पर्धी (competitive) है, और कौन से संरचनात्मक बल इस जुड़ाव को नियंत्रित करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक $\Gamma$ (गामा) को पेश करते हैं, जो एक नैदानिक मीट्रिक (diagnostic metric) है जिसे सभी विशेषज्ञ युग्मों (expert pairs) के बीच राउटर-लॉगिट ग्रेडिएंट्स के औसत युग्म कोसाइन समानता (mean pairwise cosine similarity) के रूप में परिभाषित किया गया है। यह मीट्रिक अंतर-विशेषज्ञ जुड़ाव (inter-expert coupling) को परिमाणित करता है:

$\Gamma > 0$ (टर्बुलेंट/विक्षुब्ध): सहक्रियात्मक सुदृढ़ीकरण (Synergistic reinforcement)।
$\Gamma \approx 0$ (लैमिनार/सुव्यवस्थित): स्वतंत्र शिक्षण (Independent learning)।
$\Gamma < 0$ (नेगेटिव-अलाइन्ड): जीरो-सम प्रतियोगिता (Zero-sum competition)।

यह अध्ययन Mixtral 8×7B (47B पैरामीटर्स, 32 लेयर्स, सॉफ्टमैक्स टॉप-2 राउटिंग) पर बिना मॉडल वेट्स को संशोधित किए, मंकी-पैचिंग (monkey-patching) और ग्रेडिएंट हुक्स (gradient hooks) के माध्यम से सात विशिष्ट प्रयोगों का उपयोग करके एक व्यवस्थित कारणत्मक निदान (systematic causal diagnosis) नियोजित करता है:

बेसलाइन माप: मूल $\Gamma$ की स्थापना।
परटर्बेशन टेस्ट (Perturbation Tests): वेट्स की निर्भरता का परीक्षण करने के लिए LoRA निरंतर शिक्षण (continual learning), गेट अनफ्रीजिंग, और नॉइज़ स्वीप (0–100% रैंडम टोकन) लागू करना।
2×2 फैक्टोरियल डिकंपोजिशन: एक्टिवेशन फंक्शन (softmax बनाम sigmoid) और टॉप-k वेट नॉर्मलाइजेशन (ऑन बनाम ऑफ) के प्रभावों को अलग करना।
टॉप-k एब्लेशन (Top-k Ablation): प्रतिस्पर्धा की तीव्रता को देखने के लिए $k$ को 1 से 8 तक बदलना।
क्रॉस-आर्किटेक्चर वैलिडेशन: सॉफ्टमैक्स और हार्ड राउटिंग के साथ एक विजन-आधारित "टाइल मोज़ेक मॉडल" (Tile MosaicModel) का परीक्षण करना ताकि सार्वभौमिकता को सत्यापित किया जा सके।

3. मुख्य परिणाम (Key Results)

A. प्रतिस्पर्धा की संरचनात्मक प्रकृति

नेटिव स्टेट (Native State): बेसलाइन Mixtral 8×7B सभी 32 लेयर्स में एक समान $\Gamma = -0.107$ प्रदर्शित करता है।
स्ट्रक्चरल अट्रैक्टर (Structural Attractor): परटर्बेशन प्रयोगों (LoRA, गेट अनफ्रीजिंग, नॉइज़ इंजेक्शन) ने $\Gamma$ को शून्य से हटाने में विफल रहे। 100% रैंडम इनपुट टोकन के साथ भी, $\Gamma$ केवल थोड़ा (+0.015) ही बदला। यह पुष्टि करता है कि नेगेटिव-अलाइन्ड अवस्था टॉप-2 सॉफ्टमैक्स राउटिंग तंत्र का एक स्ट्रक्चरल अट्रैक्टर है, जो विशिष्ट वेट वैल्यूज या डेटा वितरण से स्वतंत्र है।

B. थ्री-फोर्स डिकंपोजिशन (The Three-Force Decomposition)

एक 2×2 फैक्टोरियल विश्लेषण ने शुद्ध $\Gamma$ को तीन विरोधी बलों में विभाजित किया:

आर्किटेक्चरल पॉजिटिव अलाइनमेंट (+0.030): साझा FFN बैकबोन से उत्पन्न होता है, जहाँ सभी विशेषज्ञ समान हिडन स्टेट्स को प्रोसेस करते हैं।
सॉफ्टमैक्स डिनोमिनेटर कपलिंग (−0.044): डेरिवेटिव $\partial\sigma_i/\partial z_j = -\sigma_i\sigma_j$ के कारण होता है, जो ग्लोबल नेगेटिव कपलिंग बनाता है।
टॉप-k जीरो-सम नॉर्मलाइजेशन (−0.124): प्रमुख बल, जो बाधा $\sum w_i = 1$ से उत्पन्न होता है, जिसका अर्थ है $\partial w_i/\partial w_j = -1$ ।

शुद्ध प्रभाव है: $+0.030 - 0.044 - 0.124 = -0.107$ । महत्वपूर्ण रूप से, केवल तभी जब दोनों सॉफ्टमैक्स कपलिंग और टॉप-k नॉर्मलाइजेशन को हटा दिया जाता है (कंडीशन C), $\Gamma$ सकारात्मक क्षेत्र में प्रवेश करता है (+0.030)।

C. इनवर्टेड-U संबंध (The Inverted-U Relationship)

टॉप-k एब्लेशन ने सक्रिय विशेषज्ञों की संख्या ( $k$ ) और प्रतिस्पर्धा की तीव्रता के बीच एक इनवर्टेड-U संबंध का खुलासा किया:

$k=1$ : $\Gamma = 0.000$ (परफेक्ट लैमिनार)। कोई प्रतियोगिता पूल मौजूद नहीं है।
$k=2$ (नेटिव): $\Gamma = -0.107$ (अधिकतम प्रतिस्पर्धा)। जीरो-सम बाधा दो विशेषज्ञों के बीच सबसे अधिक केंद्रित है।
$k \to 8$ : $\Gamma$ कमजोर होता है (जैसे, $k=8$ पर $-0.045$), क्योंकि जीरो-सम बाधा एक बड़े पूल में फैल जाती है, हालांकि यह नकारात्मक ही रहता है।

D. क्रॉस-आर्किटेक्चर वैलिडेशन

"टाइल मोज़ेक मॉडल" (विजन टास्क) ने इन डायनेमिक्स की सार्वभौमिकता की पुष्टि की:

सॉफ्टमैक्स राउटिंग (नो टॉप-k): $\Gamma = -0.031$ , जो Mixtral में सॉफ्टमैक्स कपलिंग टर्म के परिमाण से मेल खाता है।
हार्ड राउटिंग (फिक्स्ड वेट्स): $\Gamma \approx -0.009$ , यह पुष्टि करता है कि सीखा गया राउटिंग कॉम्पिटिशन को समाप्त करने से लैमिनार रिजीम (laminar regime) बहाल हो जाता है।

4. मुख्य योगदान (Key Contributions)

$\Gamma$ डायग्नोस्टिक: बिना वेट मॉडिफिकेशन के किसी भी MoE आर्किटेक्चर पर लागू होने वाला एक ग्रेडिएंट-लेवल मीट्रिक, जो अंतर-विशेषज्ञ जुड़ाव की शक्ति को परिमाणित करता है।
थ्री-फोर्स मॉडल: MoE ग्रेडिएंट अलाइनमेंट के कारणत्मक डिकंपोजिशन: आर्किटेक्चरल पॉजिटिव अलाइनमेंट, सॉफ्टमैक्स डिनोमिनेटर कपलिंग, और टॉप-k जीरो-सम नॉर्मलाइजेशन।
कॉम्पिटिटिव राउटिंग लेम्मा (Competitive Routing Lemma): एक औपचारिक परिणाम जो बताता है कि कोई भी राउटिंग तंत्र जो $k \ge 2$ विशेषज्ञों को नॉर्मलाइज्ड वेट्स के साथ चुनता है, अनिवार्य रूप से $\Gamma < 0$ उत्पन्न करता है, जिसकी तीव्रता $k=2$ पर चरम पर होती है।
यूनिफाइड फेज डायग्राम: एक स्पेक्ट्रम जो दर्शाता है कि ये डायनेमिक्स विभिन्न स्केल (36M से 47B), मोडालिटी (विजन बनाम लैंग्वेज), और आर्किटेक्चर (ट्रांसफॉर्मर बनाम WRN) में भी बने रहते हैं।
डिज़ाइन इम्प्लिकेशंस: यह पहचानना कि $k=1$ राउटिंग और हार्ड/फिक्स्ड राउटिंग लैमिनार रिजीम ( $\Gamma \approx 0$ ) प्राप्त करने के लिए पर्याप्त स्थितियाँ हैं।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह MoE ट्रेनिंग डायनेमिक्स के लिए एक यूनिफाइड ग्रेडिएंट-अलाइनमेंट स्पष्टीकरण प्रदान करता है। यह इस धारणा को चुनौती देता है कि एक्सपर्ट कोलैप्स केवल लोड असंतुलन का लक्षण है, और इसे नॉर्मलाइज्ड राउटिंग ग्रेडिएंट्स की जीरो-सम प्रकृति के परिणाम के रूप में पुनर्गठित करता है।

ट्रेनिंग विफलता पर स्पष्टीकरण: लेखक स्पष्ट रूप से कहते हैं कि $\Gamma < 0$ का अर्थ ट्रेनिंग की विफलता नहीं है; Mixtral सफलतापूर्वक प्रशिक्षित होता है क्योंकि प्रतिस्पर्धा कमजोर है ( $|\Gamma| \ll 1$ ) और यह सीधे विशेषज्ञ आउटपुट्स को लॉक करने के बजाय राउटिंग वेट्स को प्रभावित करती है।
निरंतर शिक्षण (Continual Learning) के लिए निहितार्थ: पेपर सुझाव देता है कि जीरो-सम प्रतियोगिता निरंतर शिक्षण सेटिंग्स में घातक (pathological) हो जाती है, जहाँ नए कार्यों के लिए राउटिंग में सुधार करना स्वाभाविक रूप से पुराने कार्यों के लिए राउटिंग को खराब करता है, जिससे कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) बढ़ जाता है।
सीमित दायरा: लेखक स्वीकार करते हैं कि कारणत्मक श्रृंखला मुख्य रूप से Mixtral 8×7B पर स्थापित की गई है। Qwen1.5-MoE और DeepSeek-V2-Lite पर क्रॉस-मॉडल वैलिडेशन चल रहा है। अध्ययन फ्रोजन वेट्स के साथ स्टैटिक मेजरमेंट्स पर केंद्रित है, जिससे पूर्ण ऑप्टिमाइज़ेशन के दौरान डायनेमिक ट्रैकिंग भविष्य की दिशा के रूप में छोड़ी गई है।

निष्कर्षतः, पेपर यह स्थापित करता है कि MoE में "जीरो-सम ट्रैप" $k \ge 2$ नॉर्मलाइज्ड राउटिंग का एक संरचनात्मक अपरिहार्य परिणाम है, और इस रिजीम से बचने के लिए ऐसे आर्किटेक्चरल हस्तक्षेप की आवश्यकता है जो या तो प्रतियोगिता पूल ( $k=1$ ) को हटा दें या सीखी गई प्रतियोगिता (hard routing) को हटा दें।