🤖 machine learning

Sticky Routing: Training MoE Models for Memory-Efficient Inference

यह शोधपत्र StickyMoE का प्रस्ताव करता है, जो एक डिफरेंशियल योग्य (differentiable) रूटिंग कंसिस्टेंसी लॉस है जो Mixture-of-Experts मॉडल्स को अर्थपूर्ण रूप से सुसंगत टोकन स्पैन (token spans) में विशेषज्ञ असाइनमेंट बनाए रखने के लिए प्रशिक्षित करता है, जिससे एज डिवाइसेस पर मेमोरी-गहन वेट स्वैपिंग (weight swapping) को न्यूनतम परप्लेक्सिटी डिग्रेडेशन के साथ काफी कम किया जा सकता है।

मूल लेखक: Ali Kayyam

प्रकाशित 2026-07-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ali Kayyam

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास 64 अलग-अलग विशेषज्ञ पुस्तकालयाध्यक्षों (librarians) का एक विशाल पुस्तकालय है, लेकिन आपके छोटे से एज डिवाइस (जैसे कि फोन या स्मार्ट स्पीकर) के पास केवल इतनी शेल्फ स्पेस है कि वह एक समय में डेस्क पर केवल 2 विशेषज्ञों को रख सके। बाकी सभी बेसमेंट में रखे गए हैं।

एक मानक "मिक्सचर-ऑफ-एक्सपर्ट्स" (MoE) मॉडल में, हर बार जब AI एक नया शब्द पढ़ता है, तो वह यह तय करने के लिए सिक्का उछालता है कि किस पुस्तकालयाध्यक्ष से पूछना है। समस्या यह है कि वह हर एक शब्द के लिए सिक्का उछालता है। इसलिए, वह "एप्पल" के लिए पुस्तकालयाध्यक्ष A से पूछता है, फिर "पाई" के लिए पुस्तकालध्यक्ष B से, फिर "क्रस्ट" के लिए पुस्तकालध्यक्ष C से। हर बार जब वह स्विच करता है, तो उसे बेसमेंट में दौड़ना पड़ता है, पुस्तकालध्यक्ष B को बाहर निकालना पड़ता है, और पुस्तकालध्यक्ष C को घसीटकर ऊपर लाना पड़ता है। यह "दौड़-भाग" इतनी धीमी है कि AI कहानी पढ़ने के बजाय पुस्तकालयाध्यक्षों को लाने-ले जाने में अधिक समय बिता देता है।

यह शोध पत्र StickyMoE नामक एक नया तरीका पेश करता है, जिससे इन मॉडल्स को इस तरह प्रशिक्षित किया जाता है कि वे सिक्के उछालने की इस पागलपन भरी प्रक्रिया को रोक सकें। इसके बजाय, मॉडल "चिपचिपा" (sticky) होना सीख जाता है। यदि वह "एप्पल" के लिए पुस्तकालध्यक्ष A से पूछता है, तो उसे "पाई" और "क्रस्ट" के लिए भी पुस्तकालध्यक्ष A से ही पूछते रहने के लिए प्रोत्साहित किया जाता है, जब तक कि विषय तर्कसंगत हो।

बड़ी खोज: इसे सही तरीके से प्रशिक्षित करें, बाद में ठीक न करें

लेखकों ने इस "दौड़-भाग" की समस्या को ठीक करने के लिए कुछ चीजें आजमाईं, और उन्हें यह पता चला:

"पोस्ट-हॉक" (बाद में किया गया) सुधार विफल रहा: उन्होंने एक मॉडल लिया जो पहले से ही प्रशिक्षित था और फिर उसके सिक्का उछालने वाले तंत्र (राउटर) को कम यादृच्छिक (random) बनाने के लिए उसे "फाइन-ट्यूनिंग" करने की कोशिश की। उन्होंने इसे ReMoE कहा। परिणाम? यह काम नहीं आया। स्विच दर (switch rate) में बहुत कम बदलाव आया (0.5% से भी कम पूर्ण परिवर्तन)। लेखक तर्क देते हैं कि ऐसा इसलिए हुआ क्योंकि पुस्तकालयाध्यक्ष (विशेषज्ञ) पहले से ही विशिष्ट, अलग-थलग शब्दों के लिए विशेषज्ञ के रूप में प्रशिक्षित थे। आप सिक्के उछालने वाले को "चिपचिपा" होने के लिए केवल तभी नहीं कह सकते यदि पुस्तकालयाध्यक्ष स्वयं लंबे, निरंतर विषयों को संभालने के लिए तैयार न हों। यह एक स्प्रिंटर (तेज धावक) को केवल उसकी शुरुआती मुद्रा बदलकर मैराथन धावक सिखाने जैसा है; मांसपेशियां (विशेषज्ञ भार/weights) छोटी दौड़ के लिए बनी हैं, लंबी दौड़ के लिए नहीं।
"हार्ड" (कठोर) सुधार बहुत अनम्य था: उन्होंने एक और तरीका भी आजमाया जिसमें एक सख्त नियम (एक "हार्ड-विंडो") का उपयोग करके मॉडल को कुछ शब्दों के लिए एक ही पुस्तकालध्यक्ष पर टिके रहने के लिए मजबूर किया गया। हालांकि इससे स्विचिंग कम हुई, लेकिन इसने AI के उत्तरों को बहुत खराब कर दिया (मध्यम मॉडल पर "परप्लेक्सिटी" को 6.8% तक बढ़ा दिया)। यह एक पुस्तकालध्यक्ष को एक पूरा उपन्यास पढ़ने के लिए मजबूर करने जैसा था, भले ही विषय पूरी तरह से अलग शैली में बदल गया हो; कहानी की गुणवत्ता प्रभावित हुई।
"स्टिकी" (चिपचिपा) समाधान काम कर गया: जीतने वाला तरीका, StickyMoE, प्रशिक्षण के सबसे पहले चरण में एक सौम्य "निरंतरता दंड" (consistency penalty) जोड़ता है। यह मॉडल को बताता है: "हे, यदि आप दो लगातार शब्दों के बीच विशेषज्ञों को बदलते हैं, तो यह थोड़ा दंडनीय है।" यह मॉडल को भाषा सीखते समय ही यह सीखने के लिए प्रोत्साहित करता है।

परिणाम: चिपचिपा होना बेहतर है

जब उन्होंने WikiText-2 डेटासेट (विकिपीडिया लेखों का एक संग्रह) का उपयोग करके छोटे और मध्यम आकार के मॉडल्स पर इसका परीक्षण किया, तो परिणाम स्पष्ट थे:

कम स्विचिंग: एक एकल नॉब (जिसे λ कहा जाता है) को ट्यून करके, वे विशेषज्ञों को बदलने की संख्या को 59% तक कम कर सके। उदाहरण के लिए, मध्यम मॉडल पर, स्विचिंग 0.71 (लग हर बार स्विच करना) से गिरकर 0.29 रह गई।
बेहतर गति (सिमुलेटेड): चूंकि मॉडल कम स्विच करता था, इसलिए उन्होंने एक कैश (डेस्क शेल्फ) का सिमुलेशन किया जो 2 विशेषज्ञों को रख सकता है। "कैश हिट रेट" (कितनी बार सही पुस्तकालध्यक्ष डेस्क पर पहले से मौजूद था) 0.54 से बढ़कर 0.88 हो गया। इसका मतलब है कि मॉडल को पहले की तुलना में 3.92 गुना कम बार बेसमेंट में दौड़ना पड़ेगा।
बेहतर गुणवत्ता: आश्चर्यजनक रूप से, मध्यम मॉडल पर, मध्यम मात्रा में "चिपचिपाहट" (λ = 0.05) का उपयोग करने से वास्तव में AI अधिक स्मार्ट हो गया, जिससे इसकी "परप्लेक्सिटी" (भ्रम का एक माप) 4.1% कम हो गई। मॉडल ने सीखा कि विषय पर टिके रहने से संदर्भ को समझने में मदद मिलती है।
कोई पतन (Collapse) नहीं: एक बड़ा डर था कि मॉडल "आलसी" हो जाएगा और हर चीज़ के लिए एक ही पुस्तकालध्यक्ष का उपयोग करेगा। लेकिन "यूटिलाइजेशन एंट्रॉपी" (Utilisation Entropy) उच्च रही (अधिकतम 2.0 में से 1.92 बिट्स से ऊपर), जिसका अर्थ है कि सभी 4 विशेषज्ञों का अभी भी निष्पक्ष रूप से उपयोग किया जा रहा था। मॉडल आलसी नहीं हुआ; वह बस व्यवस्थित हो गया।

क्या काम नहीं आया (और क्यों)

शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि आप मॉडल बनने के बाद इस समस्या को ठीक कर सकते हैं। ReMoE दृष्टिकोण (एक पुराने मॉडल को फाइन-ट्यून करना) अप्रभावी साबित हुआ क्योंकि "विशेषज्ञ प्रतिनिधित्व" (पुस्तकालयाध्यक्षों के मस्तिष्क) पहले से ही एक ऐसी प्रशिक्षण प्रक्रिया द्वारा आकार ले चुके थे जिसे विषयों पर टिके रहने की परवाह नहीं थी। आप बाद में स्थानीयता (locality) को जोड़ नहीं सकते; आपको इसे शुरुआत से ही शामिल करना होगा।

उन्होंने यह भी नोट किया कि मॉडल की पहली परत (लेयर 0) को "चिपचिपा" बनाना सबसे कठिन है। सर्वोत्तम सेटिंग्स के बावजूद, वहां स्विच दर 0.49 से ऊपर रही। ऐसा इसलिए है क्योंकि पहली परत कच्चे शब्दों को देखती है इससे पहले कि उन्हें संदर्भ के साथ मिलाया जाए, इसलिए "एप्पल" और "पाई" इस स्तर पर वास्तव में बहुत अलग दिख सकते हैं।

मुख्य निष्कर्ष

शोध पत्र सुझाव देता है कि यदि आप चाहते हैं कि आपका AI सीमित मेमोरी वाले डिवाइस पर तेजी से चले, तो आपको केवल कैशिंग नियमों के साथ चालाक होने या मॉडल को बाद में ठीक करने की कोशिश नहीं करनी चाहिए। इसके बजाय, आपको मॉडल को पहले दिन से ही "चिपचिपा" बनाने के लिए प्रशिक्षित करना चाहिए। दो आसन्न शब्दों के बीच विशेषज्ञों को बहुत अधिक बार बदलने के लिए एक साधारण दंड जोड़कर, आप एक ऐसा मॉडल प्राप्त करते हैं जो स्वाभाविक रूप से विषय पर टिका रहता है, उसे धीमे बेसमेंट में कम चक्कर लगाने पड़ते हैं, और वास्तव में कहानी को बेहतर ढंग से समझता है।

लेखक स्वीकार करते हैं कि यह सिमुलेशन और विशिष्ट डेटासेट्स (WikiText-2) के साथ छोटे और मध्यम मॉडल्स (अधिकतम 22M पैरामीटर्स) पर आधारित है। वे सुझाव देते हैं कि जैसे-जैसे मॉडल बड़े होंगे, यह "चिपचिपाहट" और भी बेहतर काम कर सकती है, लेकिन उन्होंने अभी तक बड़े बिलियन-पैरामीटर वाले मॉडल्स का परीक्षण नहीं किया है। वे यह भी नोट करते हैं कि वर्तमान में उनका तरीका यह नहीं जानता कि वाक्य कब समाप्त होता है, इसलिए यह पैराग्राफ ब्रेक के दौरान "बहुत अधिक चिपचिपा" हो सकता है, जो भविष्य के कार्य के लिए एक समस्या है।

तकनीकी सारांश: मेमोरी-कुशल MoE इन्फरेंस के लिए स्टिकी रूटिंग (Sticky Routing)

1. समस्या विवरण: एक्सपर्ट-स्वैपिंग बॉटलनेक (The Expert-Swapping Bottleneck)

Mixture-of-Experts (MoE) मॉडल बड़े भाषा मॉडलों (LLMs) को स्केल करने के लिए डिज़ाइन किए गए हैं, जहाँ प्रत्येक टोकन के लिए केवल विशेषज्ञों (experts) के एक सूक्ष्म उपसमुच्चय (subset) को सक्रिय किया जाता है। सैद्धांतिक रूप से, यह विशाल पैरामीटर गणनाओं के साथ कम प्रति-टोकन गणना की अनुमति देता है, जो इसे एज डिप्लॉयमेंट (edge deployment) के लिए आकर्षक बनाता है जहाँ किसी भी समय केवल कुछ ही विशेषज्ञों को फास्ट मेमोरी (VRAM/SRAM) में रखने की आवश्यकता होती है।

हालाँकि, शोध पत्र एक महत्वपूर्ण विफलता मोड की पहचान करता है: टेम्पोरल रूटिंग इनकंसिस्टेंसी (temporal routing inconsistency)। मानक MoE राउटर प्रत्येक टोकन के लिए केवल उस टोकन के हिडन रिप्रेजेंटेशन के आधार पर स्वतंत्र निर्णय लेते हैं। नतीजतन, लगातार आने वाले टोकन अक्सर पूरी तरह से अलग विशेषज्ञों को सक्रिय करते हैं। मेमोरी-प्रतिबंधित हार्डवेयर पर, प्रत्येक स्विच के लिए कैश किए गए एक्सपर्ट वेट्स को हटाने और नए वेट्स को धीमी स्टोरेज (CPU RAM/Flash) से लोड करने की आवश्यकता होती है। चूंकि PCIe/NVमे (NVMe) बैंडविडविड्थ GPU मेमोरी बैंडविड्थ की तुलना में कई गुना कम है, इसलिए ये बार-बार होने वाले "एक्सपर्ट स्वैप" इन्फरेंस लेटेंसी पर हावी हो जाते हैं, जिससे अक्सर MoE मॉडल तुलनात्मक आकार के डेंस (dense) मॉडलों की तुलना में धीमे हो जाते हैं।

मौजूदा समाधान अपर्याप्त माने गए हैं:

सिस्टम-लेवल दृष्टिकोण (जैसे, कैशिंग ह्यूरिस्टिक्स, प्रीफेचर): ये रिएक्टिव (reactive) हैं; वे जो भी लोकैलिटी (locality) मौजूद है उसका लाभ उठाते हैं लेकिन मूल रूप से असंगत राउटरों को ठीक नहीं कर सकते।
पोस्ट-हॉक दृष्टिकोण (जैसे, केवल राउटर को फाइन-ट्यून करना): ये विफल रहते हैं क्योंकि विशेषज्ञ रिप्रेजेंटेशन को एक ऐसे ट्रेनिंग रिजीम द्वारा आकार दिया गया था जिसने कभी भी लोकैलिटी को प्रोत्साहित नहीं किया। राउटर उन निर्णयों को एक ऐसे रिप्रेजेंटेशन स्पेस में पुन: संरेखित (re-align) नहीं कर सकता जिसे इसके लिए डिज़ाइन नहीं किया गया था।
आर्किटेक्चरल रीडिज़ाइन (जैसे, Oracle-MoE): इनके लिए मॉडल या ट्रेनिंग पाइपलाइन में महत्वपूर्ण संरचनात्मक परिवर्तनों की आवश्यकता होती है।

2. कार्यप्रणाली: StickyMoE

लेखक StickyMoE का प्रस्ताव करते हैं, जो एक ट्रेनिंग-टाइम दृष्टिकोण है जो रूटिंग टेम्पोरल लोकैलिटी को एक स्पष्ट उद्देश्य (objective) के रूप में मानता है। मुख्य नवाचार एक डिफरेंशिएबल रूटिंग कंसिस्टेंसी लॉस ( $L_{cons}$ ) है जो आस-पास के टोकनों के बीच विशेषज्ञ असाइनमेंट में अचानक बदलाव को दंडित करता है।

रूटिंग कंसिस्टेंसी लॉस (The Routing Consistency Loss)

लॉस फंक्शन लगातार टोकनों के सॉफ्टमैक्स गेट प्रोबेबिलिटी वेक्टर्स ( $g_t$ ) के बीच $\ell_2$ दूरी को कम करता है:
$L_{cons} = \frac{1}{T-1} \sum_{t=2}^{T} \| g_t - g_{t-1} \|_2^2$
जहाँ $g_t \in \mathbb{R}^N$ टोकन $t$ के लिए राउटर का आउटपुट है।

इस लॉस को स्टैंडर्ड क्रॉस-एन्ट्रॉपी ( $L_{CE}$ ) और लोड-बैलेंसिंग ( $L_{bal}$ ) लॉस के साथ कुल ट्रेनिंग ऑब्जेक्टिव में एकीकृत किया गया है:
$L = L_{CE} + \lambda L_{cons} + \mu L_{bal}$

मुख्य तंत्र (Key Mechanisms)

को-एडैप्टेशन (Co-adaptation): पोस्ट-हॉक विधियों के विपरीत, StickyMoE राउटर और विशेषज्ञ रिप्रेजेंटेशन को एक साथ प्रशिक्षित करता है। $L_{cons}$ को कम करने से राउटर वेट्स ( $W_r$ ) अपडेट होते हैं और हिडन स्टेट्स ( $h_t$ ) के माध्यम से बैकप्रोपैगेट होता है, जिससे मॉडल को ऐसे रिप्रेजेंटेशन सीखने के लिए प्रोत्साहित किया जाता है जो स्वाभाविक रूप से अर्थपूर्ण स्पैन (semantically coherent spans) में सुसंगत हों।
सॉफ्ट-हार्ड वेरिएंट (Soft-Hard Variant): "लॉन्ग-रेंज ड्रिफ्ट" (जहाँ छोटे स्टेप-बाय-स्टेप बदलाव एक दूर के स्विच में बदल जाते हैं) को संबोधित करने के लिए, लेखक एक एंकर कंस्ट्रेंट पेश करते हैं। सीक्वेंस को विंडोज़ में विभाजित किया जाता है; एक विंडो का पहला टोकन एक एंकर सेट करता है, और बाद के टोकनों को इस एंकर से विचलित होने के लिए दंडित किया जाता है, जिसमें दंड का भार विंडो की शुरुआत से दूरी के साथ रैखिक रूप से बढ़ता है।
अनुकूलता (Compatibility): इस पद्धति के लिए कोई आर्किटेक्चरल परिवर्तन आवश्यक नहीं है और यह नगण्य कंप्यूटेशनल ओवरहेड जोड़ता है। यह किसी भी मानक टॉप- $k$ MoE और मौजूदा लोड-बैलेंसिंग तकनीकों के साथ संगत है।

3. प्रमुख योगदान

रूटिंग कंसिस्टेंसी लॉस: एक सरल, डिफरेंशिएबल ट्रेनिंग ऑब्जेक्टिव जो सीधे आस-पास के टोकनों के बीच विशेषज्ञ स्विचिंग को दंडित करता है, जिसके लिए केवल एक हाइपरपैरामीटर ( $\lambda$ ) की आवश्यकता होती है।
लोड बैलेंसिंग के साथ पूरकता: अनुभवजन्य प्रमाण दिखाते हैं कि कंसिस्टेंसी लॉस और लोड-बैलेंसिंग लॉस पूरक हैं। कंसिस्टेंसी लॉस यह निर्धारित करता है कि विशेषज्ञों का उपयोग कब किया जाता है, बिना "एक्सपर्ट कोलैप्स" (उपयोगिता एंट्रॉपी उच्च रहती है, सैद्धांतिक अधिकतम के करीब) के।
सॉफ्ट-हार्ड वेरिएंट: प्रति-स्टेप सॉफ्ट पेनल्टी और सेगमेंट-लेवल एंकर कंस्ट्रेंट्स का एक संयोजन जो अतिरिक्त गुणवत्ता लागत के बिना मजबूत लोकैलिटी की गारंटी देता है।
व्यापक मूल्यांकन: छोटे (~~8.8M params) और मध्यम (~~22M params) MoE मॉडलों पर वैनिला MoE, पोस्ट-हॉक राउटर फाइन-ट्यूनिंग (ReMoE), और आर्किटेक्चरल बेसलाइन्स (Oracle-MoE) के विरुद्ध WikiText-2 पर नियंत्रित प्रयोग।

4. प्रयोगात्मक परिणाम

प्रयोग WikiText-2 पर छोटे (~~8.8M params) और मध्यम (~~22M params) MoE मॉडलों पर किए गए।

एक्सपर्ट स्विच रेट (SR): StickyMoE विशेषज्ञ स्विच दर को 59% तक कम कर देता है (उदाहरण के लिए, मीडियम मॉडल पर 0.71 से 0.29 तक)।
कैश हिट रेट (CHR): स्विचिंग में कमी कैश मिस में 3.92× की कमी में अनुवादित होती है (मीडियम मॉडल पर 2-एक्सपर्ट स्लॉट कैश के साथ CHR ~0.54 से बढ़कर ~0.88 हो गया)।
परप्लेक्सिटी (गुणवत्ता):
- मध्यम $\lambda$ मानों (जैसे, 0.05) पर, StickyMoE बेसलाइन की तुलना में परप्लेक्सिटी में सुधार करता है (जैसे, मीडियम मॉडल पर -4.1%), जो बताता है कि कंसिस्टेंसी लॉस एक लाभकारी रेगुलराइज़र के रूप में कार्य करता है।
- आक्रामक $\lambda$ मान ट्रेड-ऑफ पेश करते हैं, लेकिन StickyMoE का पारेटो फ्रंटियर (Pareto frontier) अन्य तरीकों पर स्पष्ट रूप से हावी है।
पोस्ट-हॉक फाइन-ट्यूनिंग की विफलता: ReMoE बेसलाइन (एक प्री-ट्रेंड मॉडल पर केवल राउटर को फाइन-ट्यून करना) स्विच रेट को सार्थक रूप से कम करने में विफल रहा (<0.5% परिवर्तन), जो पुष्टि करता है कि एक बार रिप्रेजेंटेशन स्थिर हो जाने के बाद लोकैलिटी को रेट्रोफिट नहीं किया जा सकता है।
लेयर-वाइज विश्लेषण: कंसिस्टेंसी लॉस गहरे लेयर्स (L1–L3) में सबसे प्रभावी है। इनपुट लेयर (L0) लोकैलिटी सुधारों के प्रति प्रतिरोधी रहती है, संभवतः इसलिए क्योंकि टोकन एम्बेडिंग्स में कॉन्टेक्स्ट मिक्सिंग का अभाव होता है।

5. महत्व और दावे

शोध पत्र तर्क देता है कि रूटिंग टेम्पोरल लोकैलिटी एक वैध ट्रेनिंग ऑब्जेक्टिव है जिसे प्री-ट्रेनिंग के दौरान स्थापित किया जाना चाहिए, न कि इसे सिस्टम-लेवल के बाद के विचार (afterthought) के रूप में छोड़ दिया जाना चाहिए।

पैराडाइम शिफ्ट: जिस तरह क्वांटाइजेशन-अवेयर ट्रेनिंग मानक बन गई है, लेखक तर्क देते हैं कि "लोकैलिटी-अवेयर ट्रेनिंग" को मेमोरी-प्रतिबंधित डिप्लॉयमेंट के लिए लक्षित MoE मॉडलों के लिए डिफॉल्ट होना चाहिए।
मूल कारण का समाधान: StickyMoE लक्षणों (कैश मिस) के बजाय मूल कारण (असंगत रूटिंग निर्णय) को संबोधित करता है। रिप्रेजेंटेशन और रूटिंग निर्णयों को सह-प्रशिक्षित करके, यह उस रिप्रेजेंटेशन मिसमैच से बचता है जो पोस्ट-हॉक विधियों को परेशान करता है।
व्यावहारिकता: यह पद्धति आर्किटेक्चर-अज्ञेय (architecture-agnostic) है और इसमें इन्फरेंस पाइपलाइन में कोई बदलाव की आवश्यकता नहीं है। प्रशिक्षित राउटर स्वाभाविक रूप से सुसंगत गेट डिस्ट्रीब्यूशन उत्पन्न करता है, जिससे मानक कैशिंग रणनीतियाँ (LRU, LFU) बिना किसी अतिरिक्त इंजीनियरिंग के काफी अधिक कुशलता से कार्य कर सकती हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि सिस्टम-लेवल ऑप्टिमाइज़ेशन और पोस्ट-हॉक समायोजन उपयोगी पूरक बने रहेंगे, वे उस मॉडल का स्थान नहीं ले सकते जिसे पहले से ही कैश-फ्रेंडली होने के लिए प्रशिक्षित नहीं किया गया था। StickyMoE एज डिवाइसेस पर MoE आर्किटेक्चर की सैद्धांतिक मेमोरी दक्षता को साकार करने का एक मार्ग प्रदान करता है।