💬 NLP

MobileMoE: Scaling On-Device Mixture of Experts

यह शोधपत्र MobileMoE को पेश करता है, जो एक बिलियन से कम पैरामीटर वाले ऑन-डिवाइस मिक्स्चर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) भाषा मॉडलों का एक परिवार है, जो मौजूदा डेंस और MoE बेसलाइनों की तुलना में बेहतर प्रदर्शन और दक्षता प्राप्त करने के लिए आर्किटेक्चर और प्रशिक्षण को अनुकूलित करता है, जिससे साधारण स्मार्टफोन पर तेज़ इन्फरेंस (inference) सक्षम होता है।

मूल लेखक: Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ MobileMoE पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ समझाया गया है।

मुख्य विचार: आपकी जेब में "सुपर-ब्रेन" लाना

कल्पना कीजिए कि आपके पास ज्ञान का एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल या LLM) है। आमतौर पर, सबसे अच्छे उत्तर पाने के लिए, आपको अपने प्रश्न एक विशाल, क्लाउड-आधारित सर्वर फार्म को भेजने पड़ते हैं। लेकिन क्या होगा अगर आप बिना इंटरनेट के, अपने फोन पर अपनी जेब में वह दिमाग लेकर चल सकें?

लंबे समय तक, फोन पर एक स्मार्ट दिमाग फिट करने का एकमात्र तरीका उसे "डेंस" (dense) बनाना था—जैसे कि एक अकेला, बहुत मेहनती छात्र जो हर सवाल के लिए सब कुछ याद रखने और सब कुछ करने की कोशिश करता है। यह धीमा है और बहुत अधिक जगह घेरता है।

MobileMoE मेटा (Meta) का एक नया AI मॉडल परिवार है जो खेल बदल देता है। एक मेहनती छात्र के बजाय, वे विशेषज्ञों की एक टीम का उपयोग करते हैं। इस दृष्टिकोण को मिक्सचर ऑफ एक्सपर्ट्स (Mixture of Experts - MoE) कहा जाता है, जो फोन को एक बहुत अधिक स्मार्ट दिमाग चलाने की अनुमति देता है जो तेज़ है, कम बैटरी खर्च करता है, और आधुनिक स्मार्टफोन की मेमोरी में समा जाता है।

1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) की बाधा

एक मानक फोन AI (जैसे कि वर्तमान में बाजार में मौजूद हैं) को एक जनरलिस्ट (सामान्यज्ञ) के रूप में सोचें।

उदाहरण: कल्पना कीजिए कि एक छोटे से किचन में एक अकेला शेफ है। यदि आप सुशी मांगते हैं, तो वह मछली काटता है। यदि आप केक मांगते हैं, तो वह उसे बेक करता है। यदि आप स्टेक मांगते हैं, तो वह उसे ग्रिल करता है। उसे हर काम में अच्छा होना पड़ता है, इसलिए वह हर काम के लिए रसोई के हर औज़ार को अपने साथ रखता है।
समस्या: यह शेफ धीमा है क्योंकि उसे हर कार्य के लिए औजार बदलने पड़ते हैं, और किचन (आपका फोन मेमोरी) उन सभी औजारों से भर जाता है जिनकी उसे शायद ज़रूरत हो, भले ही अभी उनका उपयोग न किया जा रहा हो।

2. समाधान: "विशेषज्ञों की टीम" (MoE)

MobileMoE एकल शेफ को विशेषज्ञों की एक टीम से बदल देता है।

उदाहरण: अब, एक किचन की कल्पना करें जिसमें एक राउटर (मैनेजर) और 64 अलग-अलग विशेषज्ञ शेफ हैं।
- एक शेफ केवल केक बनाना जानता है।
- एक केवल स्टेक ग्रिल करना जानता है।
- एक केवल सुशी बनाना जानता है।
यह कैसे काम करता है: जब आप कोई प्रश्न पूछते हैं, तो राउटर जल्दी से उसे देखता है और कहता है, "ओह, यह गणित का सवाल है! इसे मैथ शेफ के पास भेज दो।" मैथ शेफ काम करता है, और बाकी 63 शेफ आराम करते हैं।
लाभ: भले ही पूरी टीम बहुत बड़ी है (कुल ज्ञान बहुत अधिक है), लेकिन किसी भी दिए गए समय में केवल उनके एक बहुत छोटे हिस्से ही वास्तव में काम कर रहे होते हैं। इसका मतलब है कि फोन को बहुत अधिक भारी काम नहीं करना पड़ता, जिससे बैटरी और समय बचता है।

3. "स्वीट स्पॉट": सही टीम साइज का पता लगाना

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने फोन के लिए सही टीम साइज खोजने के लिए एक स्केलिंग लॉ (Scaling Law) (एक गणितीय रेसिपी) का उपयोग किया।

खोज: उन्होंने पाया कि फोन के लिए, आप ऐसी टीम नहीं चाहते जो बहुत छोटी हो (पर्याप्त स्मार्ट नहीं) या बहुत बड़ी (बहुत भारी)।
परिणाम: उन्होंने 8 मुख्य विशेषज्ञों के साथ एक "स्वीट स्पॉट" पाया, जहाँ प्रत्येक विशेषज्ञ वास्तव में 8 छोटे उप-विशेषज्ञों (fine-grained) से बना है, साथ ही एक "जनरलिस्ट" (सामान्यज्ञ) विशेषज्ञ भी है जो हमेशा किसी भी चीज़ को संभालने के लिए तैयार रहता है।
यह क्यों मायने रखता है: यह विशिष्ट मिश्रण इस बात की अनुमति देता है कि मॉडल अविश्वसनीय रूप से स्मार्ट हो सके जबकि यह इतना छोटा बना रहे कि फोन की 3-5 GB मेमोरी (जो iPhone 16 Pro या Samsung S25 जैसे फोन में मानक है) में समा सके।

4. प्रशिक्षण: एक चार-चरणों वाला बूट कैंप

इस टीम को पूरी तरह से काम करने के योग्य बनाने के लिए, उन्होंने उन्हें चार विशिष्ट चरणों में प्रशिक्षित किया, जो एक कठोर बूट कैंप की तरह है:

प्री-ट्रेनिंग (Pre-training): टीम सामान्य भाषा सीखने के लिए किताबों के एक विशाल पुस्तकालय (6 ट्रिलियन शब्द) को पढ़ती है।
मिड-ट्रेनिंग (Mid-training): वे अपने कौशल को तेज करने के लिए गणित, कोड और विज्ञान जैसे विशिष्ट, उच्च-गुणवत्ता वाले विषयों पर ध्यान केंद्रित करते हैं।
इंस्ट्रक्शन फाइन-ट्यूनिंग (Instruction Fine-Tuning): वे मानव निर्देशों (जैसे "एक कविता लिखें" या "इस समीकरण को हल करें") का पालन करना सीखते हैं।
क्वांटाइजेशन (Quantization - संपीड़न): यह एक जादुई ट्रिक है। वे मॉडल के मेमोरी फुटप्रिंट को 4 गुना कम कर देते हैं (इसे "INT4" फॉर्मेट में बदलकर) बिना बहुत अधिक बुद्धिमत्ता खोए, ताकि यह आसानी से फोन में फिट हो सके।

5. परिणाम: वास्तविक फोन पर तेज़ और स्मार्ट

टीम ने असली फ्लैगशिप फोन (Samsung Galaxy S25 और iPhone 16 Pro) पर MobileMoE का परीक्षण किया और इसकी तुलना सबसे अच्छे मौजूदा फोन AI (MobileLLM-Pro) से की।

गति: MobileMoE, डेंस मॉडल्स की तुलना में टेक्स्ट जेनरेट करने में 2 से 4 गुना तेज़ है।
- उदाहरण: यदि पुराना मॉडल ट्रैफिक में फंसा हुआ डिलीवरी ट्रक था, तो MobileMoE ट्रैफिक के बीच से रास्ता बनाती एक मोटरसाइकिल है।
स्मार्टनेस: यह बहुत बड़े मॉडल्स के प्रदर्शन के बराबर है या उनसे बेहतर है। उदाहरण के लिए, MobileMoE का "मीडियम" वर्जन उन मॉडल्स से अधिक स्मार्ट है जो उससे 3-4 गुना बड़े हैं।
दक्षता (Efficiency): यह कम बैटरी और मेमोरी का उपयोग करता है क्योंकि यह केवल कार्य के लिए आवश्यक विशिष्ट विशेषज्ञों को ही "जगाता" है।

6. "लास्ट माइल": इसे आपके फोन पर चलाना

पेपर एक प्रमुख बाधा पर प्रकाश डालता है: अधिकांश फोन इस "विशेषज्ञों की टीम" को कुशलतापूर्वक चलाने के लिए इन-बिल्ट सॉफ्टवेयर नहीं रखते हैं।

समाधान: शोधकर्ताओं ने एक कस्टम इंजन (एक विशेष सॉफ्टवेयर कर्नेल) बनाया जो एक ट्रैफिक कंट्रोलर की तरह काम करता है। यह डेटा को व्यवस्थित करता है ताकि फोन का प्रोसेसर विशेषज्ञों को कुशलतापूर्वक संभाल सके।
प्रमाण: उन्होंने साबित किया कि यह हार्डवेयर पर काम करता है। iPhone 16 Pro पर, नए मॉडल ने पुराने डेंस मॉडल की तुलना में 3.4 गुना तेज़ टेक्स्ट जेनरेट किया, जबकि कम मेमोरी का उपयोग किया।

सारांश

MobileMoE यह सिद्ध करता है कि आपके फोन पर एक स्मार्ट AI होने के लिए आपको एक विशाल क्लाउड सर्वर की आवश्यकता नहीं है। एक विशेषज्ञों की टीम का उपयोग करके, न कि एक एकल जनरलिस्ट का, और टीम के आकार और प्रशिक्षण प्रक्रिया को सावधानीपूर्वक ट्यून करके, उन्होंने एक ऐसा AI बनाया है जो:

वर्तमान फोन मॉडल्स से अधिक स्मार्ट है।
तेज़ है (4 गुना तक की स्पीड वृद्धि)।
कुशल है (यह आपके फोन की मेमोरी में फिट होता है और बैटरी बचाता है)।

यह पूरी तरह से आपके डिवाइस पर रहने वाले शक्तिशाली, निजी और इंस्टेंट AI असिस्टेंट के लिए नए दरवाजे खोलता है, जिसके लिए इंटरनेट से जुड़ने की आवश्यकता नहीं है।

तकनीकी सारांश: MobileMoE: ऑन-डिवाइस मिक्सचर ऑफ एक्सपर्ट्स का स्केलिंग

समस्या विवरण

जबकि मिक्सचर ऑफ एक्सपर्ट्स (MoE) आर्किटेक्चर क्लाउड सर्वर पर सैकड़ों अरबों पैरामीटर्स तक बड़े भाषा मॉडलों (LLMs) को स्केल करने के लिए मानक बन गए हैं, उनके सब-बिलियन स्केल पर ऑन-डिवाइस परिनियोजन (deployment) की क्षमता अभी भी काफी हद तक अनछुए क्षेत्र में है। मौजूदा ऑन-डिवाइस LLMs (जैसे, MobileLLM, MobileLLM-Pro) अत्यधिक सघन (dense) हैं, जिन्हें गुणवत्ता सुधारने के लिए बढ़े हुए सक्रिय पैरामीटर काउंट और इन्फरेंस कंप्यूट की आवश्यकता होती है। यह एज एआई (edge AI) के लिए एक बाधा उत्पन्न करता है, जहाँ डिवाइस मेमोरी (DRAM) और कंप्यूट (बैटरी लाइफ, लेटेंसी) की सख्त सीमाओं का सामना करते हैं। हालांकि हाल के स्मार्टफोन DRAM क्षमताओं में वृद्धि हुई है (जैसे, 12–16 GB), मोबाइल बाधाओं के तहत—कुल मॉडल आकार, सक्रिय पैरामीटर और इन्फरेंस लागत के बीच संतुलन बनाते हुए—MoE आर्किटेक्चर को स्केल करने के लिए एक सिद्धांत आधारित पद्धति स्थापित नहीं की गई है।

कार्यप्रणाली

1. ऑन-डिवाइस MoE स्केलिंग लॉ

लेखक मेमोरी और कंप्यूट बाधाओं के तहत आर्किटेक्चर को संयुक्त रूप से अनुकूलित करने के लिए एक सामान्यीकृत ऑन-डिवाइस MoE स्केलिंग लॉ का प्रतिपादन करते हैं। लॉस फंक्शन $L$ को सक्रिय पैरामीटर्स ( $N_{act}$ ), ट्रेनिंग डेटा साइज ( $D$ ), एक्सपर्ट काउंट के एक मोनोटोनिक ट्रांसफॉर्मेशन ( $\hat{E}$ ), और आर्किटेक्चरल चॉइस ( $x$ , जिसमें एक्सपर्ट ग्रेनुलैरिटी $g$ और शेयर्ड एक्सपर्ट $s$ शामिल हैं) के फलन के रूप में मॉडल किया गया है।

ऑप्टिमाइज़ेशन ऑब्जेक्टिव निम्नलिखित के अधीन लॉस को कम करता है:

कंप्यूट बाधाएं: ट्रेनिंग FLOPs ( $F_{train} = 6N_{act}D$ ) और प्रति-टोकन इन्फरेंस FLOPs ( $F_{inf} = 2N_{act}$ )।
मेमोरी बाधाएं: कुल मेमोरी फुटप्रिंट $M(N_{total}, T)$ , जिसमें क्वांटाइज्ड वेट्स ( $b_w$ -bit) और कॉन्टेक्स्ट लेंथ $T$ पर KV कैश ( $b_{kv}$ -bit) शामिल है।

2. डिवाइड-एंड-कॉन्कर के माध्यम से आर्किटेक्चरल डिज़ाइन

स्केलिंग लॉ का उपयोग करते हुए, लेखक तीन नियंत्रित एब्लेशन अध्ययनों के माध्यम से ऑन-डिवाइस MoE के लिए एक इष्टतम "स्वीट स्पॉट" की पहचान करते हैं:

एक्सपर्ट्स की संख्या ( $E$ ): मध्यम स्पर्सिटी (sparsity) इष्टतम है। $E$ बढ़ाने से लॉस कम होता है लेकिन $E=8$ के बाद इसके लाभ घटते जाते हैं। मेमोरी-बाधित डिवाइस के लिए $E=8$ को व्यावहारिक स्वीट स्पॉट के रूप में चुना गया है।
एक्सपर्ट ग्रेनुलैरिटी ( $g$ ): फाइन-ग्रेन्ड एक्सपर्ट्स (प्रत्येक एक्सपर्ट को $g$ सब-एक्सपर्ट्स में विभाजित करना) अधिक विविध रूटिंग पाथ की अनुमति देते हैं। अध्ययन पाता है कि $g=8$ कंप्यूट-इष्टतम ग्रेनुलैरिटी है, जो अत्यधिक ओवरहेड के बिना कोर्स-ग्रेन्ड एक्सपर्ट्स की तुलना में महत्वपूर्ण लॉस रिडक्शन प्रदान करती है।
शेयर्ड एक्सपर्ट ( $s$ ): एक शेयर्ड, हमेशा-ऑन एक्सपर्ट (एक डेंस पाथवे) को शामिल करना रूटेड स्पेशलिस्ट्स के पूरक के रूप में कार्य करता है। शेयर्ड एक्सपर्ट ( $s=\checkmark$ ) वाला कॉन्फ़िगरेशन फिक्स्ड कंप्यूट के तहत रूटेड-ओनली के मुकाबले कम लॉस प्राप्त करता है।

परिणामी आर्किटेक्चर: व्युत्पन्न MobileMoE परिवार में तीन स्केल (S, M, L) शामिल हैं जिनमें क्रमशः 0.3B, 0.5B, और 0.9B के सक्रिय पैरामीटर्स और 1.3B, 2.8B, और 5.3B के कुल पैरामीटर्स हैं। यह डिज़ाइन $E=8$ , $g=8$ (64 फाइन-ग्रेन्ड रूटेड एक्सपर्ट्स), और टॉप-4 रूटिंग के साथ शेयर्ड एक्सपर्ट का उपयोग करता है।

3. चार-चरणीय प्रशिक्षण रेसिपी

इन आर्किटेक्चरल लाभों को साकार करने के लिए, ओपन-सोर्स डेटासेट्स पर एक व्यापक ट्रेनिंग पाइपलाइन का उपयोग किया गया है:

प्री-ट्रेनिंग: व्यापक भाषाई कवरेज और एक्सपर्ट स्पेशलाइजेशन सुनिश्चित करने के लिए वेब-हैवी मिश्रण के साथ ~6T टोकन्स। इसमें ऑक्जिलरी-लॉस-फ्री बैलेंसिंग, राउटर z-लॉस, और दक्षता के लिए ग्रुपड MLP (GMM) कर्नेल्स जैसी तकनीकें शामिल हैं।
मिड-ट्रेनिंग: हाई-क्वालिटी डोमेन-विशिष्ट डेटा (मैथ, कोड, नॉलेज) पर केंद्रित ~500B टोकन्स, जो 8k तक कॉन्टेक्स्ट को विस्तार देने और एक्सपर्ट स्पेशलाइजेशन को तेज करने के लिए है।
इंस्ट्रक्शन फाइन-ट्यूनिंग (SFT): विविध डोमेन में ~80M सैंपल्स, जो स्ट्रक्चर्ड इंस्ट्रक्शन सिग्नल्स को बनाए रखने के लिए ड्रॉपलेस टोकन डिस्पैचिंग का उपयोग करते हैं।
क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT): INT8 डायनेमिक एक्टिवेशन के साथ INT4 वेट क्वांटाइजेशन (ग्रुप साइज 32)। महत्वपूर्ण रूप से, रूटिंग स्थिरता बनाए रखने के लिए राउटर वेट्स को FP32 में रखा गया है, जिससे नगण्य मेमोरी ओवरहेड जुड़ता है।

4. कुशल ऑन-डिवाइस इन्फरेंस

डिप्लॉयमेंट के अंतर को पाटने के लिए, लेखक ExecuTorch में एक कस्टम फ्यूज्ड MoE कर्नेल लागू करते हैं। यह कर्नेल:

टोकन्स को रीऑर्डर करके स्पारस एक्सपर्ट डिस्पैच को डेंस ग्रुपड GEMMs में परिवर्तित करता है।
कर्नेल लॉन्च और क्वांटाइजेशन ओवरहेड को कम करने के लिए सभी सब-ऑपरेशन्स (रूटिंग, डिस्पैच, प्रोजेक्शन, एक्टिवेशन, स्कैटर) को एक सिंगल ऑपरेटर में फ्यूज करता है।
कमोडिटी स्मार्टफोन CPUs (Snapdragon 8 Elite, Apple A18 Pro) और GPUs पर कुशल इन्फरेंस सक्षम बनाता है।

मुख्य परिणाम

बेंचमार्क प्रदर्शन

14 फाउंडेशनल बेंचमार्क्स (कॉमन सेंस, नॉलेज, साइंस, रीडिंग, रीजनिंग) में, MobileMoE एक नया पारेटो फ्रंटियर (Pareto frontier) स्थापित करता है:

डेंस मॉडल्स के विरुद्ध दक्षता: MobileMoE-S/M तुलनीय मेमोरी फुटप्रिंट पर अग्रणी ऑन-डिवाइस डेंस LLMs (जैसे, MobileLLM-Pro, Llama 3.2 1B) की तुलना में 2–4× कम इन्फरेंस FLOPs का उपयोग करके उनके बराबर या उनसे बेहतर प्रदर्शन करते हैं।
MoE मॉडल्स के विरुद्ध दक्षता: MobileMoE-M, OLMo-1B-7B के साथ सटीकता का मिलान करता है, जबकि इसमें ~60% कम सक्रिय और कुल पैरामीटर्स होते हैं। MobileMoE-L, OLMo-1B-7B से 30% कम सक्रिय पैरामीटर्स और 23% छोटा मेमोरी फुटप्रिंट के साथ बेहतर प्रदर्शन करता है।
टोकन दक्षता: MobileMoE-L केवल ~6T प्री-ट्रेनिंग टोकन्स के साथ उत्कृष्ट प्रदर्शन प्राप्त करता है, जो 1.5–2× अधिक टोकन्स (जैसे, 9T पर Llama 3.2 1B) पर प्रशिक्षित डेंस बेसलाइन्स से बेहतर प्रदर्शन करता है।

ऑन-डिवाइस रनटाइम प्रोफाइलिंग

INT4 वेट्स के साथ Samsung Galaxy S25 और iPhone 16 Pro पर तैनात:

लेटेंसी: समान INT4 वेट मेमोरी वाले डेंस MobileLLM-Pro बेसलाइन की तुलना में MobileMoE-S 1.8–3.8× तेज़ प्रीफिल और 2.2–3.4× तेज़ डिकोड प्राप्त करता है।
मेमोरी: 8k कॉन्टेक्स्ट पर, MobileMoE-S डेंस बेसलाइन की तुलना में 22% कम पीक RAM का उपभोग करता है। MobileMoE-L 8k कॉन्टेक्ट पर 5 GB DRAM के भीतर फिट हो जाता है, जो आधुनिक स्मार्टफोन्स के लिए व्यवहार्यता की पुष्टि करता है।
सटीकता: MobileMoE-L केवल मध्यम रनटाइम लागत के साथ काफी उच्च सटीकता (औसत 57.8 बनाम 45.5 MobileLLM-Pro के लिए) प्रदान करता है, जो कॉन्टेक्स्ट लेंथ बढ़ने के साथ कम हो जाती है।

महत्व और दावे

यह पेपर दावा करता है कि यह विशेष रूप से एज डिप्लॉयमेंट के लिए अनुकूलित, एक नवीन ऑन-डिवाइस स्केलिंग लॉ द्वारा व्युत्पन्न, पहला सब-बिलियन-एक्टिव MoE परिवार प्रस्तुत करता है। इसका महत्व तीन मुख्य योगदानों में निहित है:

सैद्धांतिक आधार: यह संयुक्त मेमोरी और कंप्यूट बाधाओं के तहत MoE डिज़ाइन के लिए एक सिद्धांत आधारित ढांचा प्रदान करता है, जो मध्यम स्पर्सिटी ( $E=8$ ), फाइन-ग्रेन्ड एक्सपर्ट्स ( $g=8$ ), और शेयर्ड एक्सपर्ट्स के रूप में इष्टतम कॉन्फ़िगरेशन की पहचान करता है।
ट्रेनिंग दक्षता: यह प्रदर्शित करता है कि MoE आर्किटेक्चर डेंस समकक्षों की तुलना में काफी कम ट्रेनिंग टोकन्स (~6T) के साथ अत्याधुनिक ऑन-डिवाइस प्रदर्शन प्राप्त कर सकते हैं, जो सब-बिलियन स्केल पर MoE की लर्निंग एफिशिएंसी को प्रमाणित करता है।
व्यावहारिक डिप्लॉयमेंट: यह कमोडिटी स्मार्टफोन्स पर कुशल MoE इन्फरेंस प्रदान करके मोबाइल डिप्लॉयमेंट के "लास्ट माइल" को पाटता है। परिणाम पुष्टि करते हैं कि MoE केवल एक क्लाउड-स्केल आर्किटेक्चर नहीं है, बल्कि एज के लिए एक व्यावहारिक, कुशल मार्ग है, जो स्मार्टफोन और वियरेबल्स के लिए लो-लेटेंसी, प्राइवेसी-प्रिजर्विंग और लागत प्रभावी अनुप्रयोगों को सक्षम बनाता है।

लेखक निष्कर्ष निकालते हैं कि जबकि मौजूदा ऑन-डिवाइस मॉडल मुख्य रूप से डेंस बने हुए हैं, MobileMoE यह दर्शाता है कि MoE एज के लिए एक बेहतर विकल्प प्रदान करता है, जो एक नया पारेटो फ्रंटियर स्थापित करता है जो सटीकता, मेमोरी और लेटेंसी के बीच संतुलन बनाता है।