💬 NLP

MobileMoE: Scaling On-Device Mixture of Experts

تقدم الورقة البحثية MobileMoE، وهي عائلة من نماذج لغوية تعتمد على تقنية "خليط الخبراء" (Mixture-of-Experts) ذات معلمات تقل عن المليار، مصممة للعمل على الأجهزة، والتي تعمل على تحسين البنية والتدريب لتحقيق أداء وكفاءة متفوقين مقارنة بالنماذج الكثيفة ونماذج "خليط الخبراء" المرجعية الحالية، مما يتيح استنتاجاً سريعاً على الهواتف الذكية الشائعة.

المؤلفون الأصليون: Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث MobileMoE، مقسمة إلى مفاهيم بسيطة باستخدام تشبيهات من الحياة اليومية.

الفكرة الكبرى: جلب "الأدمغة الخارقة" إلى جيبك

تخيل أن لديك مكتبة ضخمة من المعرفة (نموذج لغوي كبير، أو LLM). عادةً، للحصول على أفضل الإجابات، تحتاج إلى إرسال أسئلتك إلى مزرعة خوادم عملاقة موجودة في السحابة (Cloud). ولكن ماذا لو كان بإمكانك حمل هذا العقل في جيبك، على هاتفك، دون الحاجة إلى إنترنت؟

لفترة طويلة، كانت الطريقة الوحيدة لوضع عقل ذكي على الهاتف هي جعله "كثيفاً" (Dense)—مثل طالب واحد مجتهد للغاية يحاول تذكر كل شيء والقيام بـ كل شيء لكل سؤال بمفرده. هذا الأمر بطيء ويستهلك مساحة كبيرة.

MobileMoE هي عائلة جديدة من نماذج الذكاء الاصطناعي من شركة Meta تغير قواعد اللعبة. فبدلاً من طالب واحد مجتهد، يستخدمون فريقاً من المتخصصين. هذا النهج، المسمى خليط الخبراء (Mixture of Experts - MoE)، يسمح للهاتف بتشغيل عقل أكثر ذكاءً، وأسرع، ويستهلك بطارية أقل، ويتناسب مع ذاكرة الهواتف الذكية الحديثة.

1. المشكلة: عنق الزجاجة المتمثل في "النموذج الذي يناسب الجميع"

فكر في ذكاء الهاتف القياسي (مثل تلك الموجودة حالياً في السوق) كونه عاماً.

التشبيه: تخيل طباخاً واحداً في مطبخ صغير. إذا طلبت منه سوشي، سيقطع السمك. إذا طلبت منه كعكة، سيخبزها. إذا طلبت منه شريحة لحم، سيشويها. يجب أن يكون جيداً في كل شيء، لذا يحمل معه كل الأدوات الموجودة في المطبخ.
المشكلة: هذا الطباخ بطيء لأنه يضطر لتغيير الأدوات لكل مهمة، كما أن المطبخ (ذاكرة هاتفك) يصبح مزدحماً بكل الأدوات التي قد يحتاجها، حتى لو لم يكن يستخدمها في تلك اللحظة.

2. الحل: "فريق المتخصصين" (MoE)

يستبدل MobileMoE الطباخ الواحد بـ فريق من الخبراء.

التشبيه: الآن، تخيل مطبخاً يحتوي على موجه (مدير) و64 طباخاً متخصصاً مختلفاً.
- أحد الطهاة يعرف فقط كيفية خبز الكعك.
- آخر يعرف فقط كيفية شواء شرائح اللحم.
- وثالث يعرف فقط كيفية صنع السوشي.
كيف يعمل: عندما تطرح سؤالاً، ينظر الموجه بسرعة في سؤالك ويقول: "أوه، هذا سؤال في الرياضيات! أرسله إلى طباخ الرياضيات". يقوم طباخ الرياضيات بالعمل، بينما يأخذ الـ 63 طباخاً الآخرون استراحة.
الفائدة: على الرغم من أن الفريق بأكمله ضخم (معرفة إجمالية كبيرة)، إلا أن جزءاً صغيراً جداً منهم فقط هو الذي يعمل في أي لحظة معينة. وهذا يعني أن الهاتف لا يضطر للقيام بالكثير من العمل الشاق، مما يوفر البطارية والوقت.

3. "النقطة المثالية": إيجاد حجم الفريق المثالي

لم يقم الباحثون بالتخمين فحسب؛ بل استخدموا قانون القياس (Scaling Law) (وصفة رياضية) لإيجاد حجم الفريق المثالي للهاتف.

الاكتشاف: وجدوا أنك لا تريد فريقاً صغيراً جداً (ليس ذكياً بما يكفي) أو كبيراً جداً (ثقيلاً جداً) بالنسبة للهاتف.
النتيجة: وجدوا "نقطة مثالية" مكونة من 8 خبراء رئيسيين، حيث يتكون كل خبير في الواقع من 8 خبراء فرعيين صغار (دقيقين/fine-grained)، بالإضافة إلى خبير "عام" واحد متاح دائماً للتعامل مع أي شيء قد يغفل عنه المتخصصون.
لماذا يهم ذلك: هذا المزيج المحدد يسمح للنموذج بأن يكون ذكياً للغاية مع البقاء صغيراً بما يكفي ليتناسب مع ذاكرة هاتف تبلغ 3-5 جيجابايت (وهو أمر قياسي في هواتف مثل iPhone 16 Pro أو Samsung S25).

4. التدريب: معسكر تدريبي من أربع مراحل

لجعل هذا الفريق يعمل بشكل مثالي، قاموا بتدريبهم في أربع مراحل محددة، مثل معسكر تدريبي صارم:

التدريب المسبق (Pre-training): يقرأ الفريق مكتبة ضخمة من الكتب (6 تريليونات كلمة) لتعلم اللغة العامة.
التدريب المتوسط (Mid-training): يركزون على مواضيع محددة وعالية الجودة مثل الرياضيات، البرمجة، والعلوم لصقل مهاراتهم.
ضبط التعليمات (Instruction Fine-Tuning): يتعلمون كيفية اتباع تعليمات البشر (مثل "اكتب قصيدة" أو "حل هذه المعادلة").
الكمنتة (Quantization - الضغط): هذه هي الخدعة السحرية. يقومون بتقليص بصمة ذاكرة النموذج بمقدار 4 أضعاف (تحويله إلى تنسيق "INT4") دون فقدان الكثير من الذكاء، ليتناسب بسهولة مع الهاتف.

5. النتائج: أسرع وأذكى على الهواتف الحقيقية

اختبر الفريق MobileMoE على هواتف رائدة حقيقية (Samsung Galaxy S25 و iPhone 16 Pro) وقارنوه بأفضل ذكاء اصطناك للهواتف الموجود حالياً (MobileLLM-Pro).

السرعة: MobileMoE أسرع بمرتين إلى 4 مرات في توليد النصوص من النماذج الكثيفة (Dense).
- التشبيه: إذا كان النموذج القديم عبارة عن شاحنة توصيل عالقة في الزحام، فإن MobileMoE هو دراجة نارية تشق طريقها ببراعة.
الذكاء: يضاهي أو يتفوق في الأداء على النماذج الأكبر بكال كثير. على سبيل المثال، نسخة "المتوسط" (Medium) من MobileMoE أذكى من النماذج التي تفوقها حجماً بـ 3 إلى 4 مرات.
الكفاءة: يستخدم بطارية وذاكرة أقل لأنه "يوقظ" فقط الخبراء المحددين المطلوبين للمهمة.

6. "الميل الأخير": كيف يعمل على هاتفك

تسلط الورقة البحثية الضوء على عقبة رئيسية: معظم الهواتف لا تمتلك برمجيات مدمجة لتشغيل هذا "الفريق من الخبراء" بكفاءة.

الحل: قام الباحثون ببناء محرك مخصص (نواة برمجية خاصة) يعمل كمنظم حركة مرور. يقوم بتنظيم البيانات بحيث يمكن لمعالج الهاتف التعامل مع المتخصصين بكفاءة.
الدليل: لقد أثبتوا أن هذا يعمل على الأجهزة الحقيقية. على iPhone 16 Pro، قام النموذج الجديد بتوليد النصوص أسرع بـ 3.4 مرة من النموذج الكثيف القد، مع استخدام ذاكرة أقل.

الملخص

يثبت MobileMoE أنك لست بحاجة إلى خادم سحابي ضخم لامتلاك ذكاء اصطناعي ذكي على هاتفك. من خلال استخدام فريق من المتخصصين بدلاً من متخصص عام واحد، ومن خلال ضبط حجم الفريق وعملية التدريب بعناية، أنشأوا ذكاءً اصطناعياً هو:

أذكى من نماذج الهواتف الحالية.
أسرع (زيادة في السرعة تصل إلى 4 أضعاف).
أكثر كفاءة (يتناسب مع ذاكرة هاتفك ويوفر البطارية).

هذا يفتح الباب أمام مساعدين أذكاء، أقوياء، وخصوصيين، يعيشون بالكامل على جهازك، دون الحاجة إلى الاتصال بالإنترنت.

ملخص تقني: MobileMoE: توسيع نطاق خليط الخبراء (Mixture of Experts) على الأجهزة

بيان المشكلة

بينما أصبحت بنيات "خليط الخبراء" (MoE) هي المعيار لتوسيع نماذج اللغات الكبيرة (LLMs) إلى مئات المليارات من المعلمات على خوادم السحابة، إلا أن إمكاناتها في المقاييس الأقل من مليار معلمة للنشر على الأجهزة لا تزال غير مستكشفة إلى حد كبير. النماذج الحالية المخصصة للأجهزة (مثل MobileLLM و MobileLLM-Pro) هي نماذج كثيفة (dense) بشكل مفرط، مما يتطلب زيادة في عدد المعلمات النشطة وحسابات الاستدلال لتحسين الجودة. وهذا يخلق عائقًا أمام الذكاء الاصطلاني الطرفي (edge AI)، حيث تواجه الأجهزة قيودًا صارمة على الذاكرة (DRAM) والحوسبة (عمر البطارية، زمن الاستجابة). وعلى الرغم من زيادة سعات ذاكرة DRAM في الهواتف الذكية مؤخرًا (مثل 12-16 جيجابايت)، إلا أنه لم يتم وضع منهجية مبدئية لتوسيع بنيات MoE تحت هذه القيود المتنقلة المحددة — والتي توازن بين إجمالي حجم النموذج، والمعلمات النشطة، وتكلفة الاستدلال.

المنهجية

1. قانون توسيع نطاق MoE على الأجهزة

يصيغ المؤلفون قانون توسيع نطاق عام لـ MoE على الأجهزة لتحسين البنية بشكل مشترك تحت قيود الذاكرة والحوسبة. يتم نمذجة دالة الخسارة $L$ كدالة للمعلمات النشطة ( $N_{act}$ )، وحجم بيانات التدريب ( $D$ )، وتحويل رتيب لعدد الخبراء ( $\hat{E}$ )، والخيارات المعمارية ( $x$ ، بما في ذلك دقة الخبير $g$ والخبراء المشتركين $s$ ).

هدف التحسين هو تقليل الخسارة مع مراعاة:

قيود الحوسبة: عمليات الفلوپس للتدريب ( $F_{train} = 6N_{act}D$ ) وعمليات الفلوپس للاستدلال لكل رمز ( $F_{inf} = 2N_{act}$ ).
قيود الذاكرة: بصمة الذاكرة الإجمالية $M(N_{total}, T)$ ، والتي تشمل الأوزان المكممة ( $b_w$ -bit) وذاكرة التخزين المؤقت KV ( $b_{kv}$ -bit) عند طول السياق $T$ .

2. التصميم المعماري عبر مبدأ "فرق تسد"

باستاستخدام قانون التوسيع، حدد المؤلفون "النقطة المثالية" لـ MoE على الأجهزة من خلال ثلاث دراسات استئصال محكومة:

عدد الخبراء ( $E$ ): التباعد المعتدل هو الأمثل. يؤدي زيادة $E$ إلى تقليل الخسارة ولكن مع عوائد متناقصة بعد $E=8$ . تم اختيار $E=8$ كنقطة مثالية عملية للأجهزة ذات الذاكرة المحدودة.
دقة الخبير ( $g$ ): تسمح الخبراء دقيقة الحبيبات (تقسيم كل خبير إلى $g$ من الخبراء الفرعيين) بمسارات توجيه أكثر تنوعًا. وجدت الدراسة أن $g=8$ هي الدقة المثلى للحوسبة، حيث توفر تقليلًا كبيرًا في الخسارة مقارنة بالخبراء خشني الحبيبات دون تكبد أعباء إضافية مفرطة.
الخبير المشترك ( $s$ ): إن دمج خبير مشترك يعمل دائمًا (مسار كثيف) يكمل المتخصصين الموجهين. يحقق التكوين مع خبير مشترك ( $s=\checkmark$ ) خسارة أقل من نظيره الموجه فقط تحت حوسبة ثابتة.

البنية الناتجة: تتكون عائلة MobileMoE المستمدة من ذلك من ثلاثة مقاييس (S, M, L) بمعلمات نشطة تبلغ 0.3B و 0.5B و 0.9B على التوالي، ومعلمات إجمالية تبلغ 1.3B و 2.8B و 5.3B على التوالي. يستخدم التصميم $E=8$ و $g=8$ (64 خبيرًا فرعيًا موجهًا)، وخبيرًا مشتركًا مع توجيه لأعلى 4 مسارات.

3. وصفة التدريب رباعية المراحل

لتحقيق المزايا المعمارية، تم استخدام خط تدريب شامل على مجموعات بيانات مفتوحة المصدر:

التدريب المسبق (Pre-training): حوالي 6 تريليونات رمز مع مزيج ثقيل من الويب لضمان تغطية لغوية واسعة وتخصص الخبراء. تشمل التقنيات فقدان الموازنة المساعد (auxiliary-loss-free balancing)، و z-loss للموجه، ونواة GMM (المجموعات متعددة الطبقات) لزيادة الكفاءة.
التدريب المتوسط (Mid-training): حوالي 500 مليار رمز تركز على بيانات عالية الجودة متخصصة في مجالات معينة (الرياضيات، البرمجة، المعرفة) لتوسيع السياق إلى 8k وشحذ تخصص الخبراء.
الضبط الدقيق للتعليمات (SFT): حوالي 80 مليون عينة عبر مجالات متنوعة باستخدام توزيع الرموز بدون فقدان (dropless token dispatching) للحفاظ على إشارات التعليمات المهيكلة.
التدريب الواعي بالكمية (QAT): كمية أوزان INT4 (حجم المجموعة 32) مع تنشيطات ديناميكية INT8. من المهم ملاحظة أن أوزان الموجه تُحفظ في FP32 للحفاظ على استقرار التوجيه، مما يضيف عبء ذاكرة ضئيل للغاية.

4. الاستدلال الفعال على الأجهزة

لسد الفجوة وصولاً إلى النشر، قام المؤلفون بتنفيذ نواة MoE مدمجة مخصصة في ExecuTorch. تقوم هذه النواة بـ:

تحويل التوزيع المتفرق للخبراء إلى عمليات GEMM كثيفة مجمعة عن طريق إعادة ترتيب الرموز.
دمج جميع العمليات الفرعية (التوجيه، التوزيع، الإسقاطات، التنشيط، التشتت) في عامل واحد لتقليل تكلفة إطلاق النواة والكمية.
تمكين الاستدلال الفعال على وحدات معالجة المركز (CPUs) للهواتف الذكية الشائعة (Snapdragon 8 Elite, Apple A18 Pro) ووحدات معالجة الرسومات (GPUs).

النتائج الرئيسية

أداء الاختبارات المعيارية

عبر 14 اختبارًا معياريًا أساسيًا (المنطق العام، المعرفة، العلوم، القراءة، الاستدلال)، يضع MobileMoE حدودًا جديدة لكفاءة الأداء (Pareto frontier):

الكفاءة مقابل النماذج الكثيفة: يضاهي أو يتجاوز MobileMoE-S/M نماذج الأجهزة الكثيفة الرائدة (مثل MobileLLM-Pro, Llama 3.2 1B) باستخدام أقل بـ 2-4 مرات من عمليات الفلوپس للاستدلال عند مستويات ذاكرة مماثلة.
الكفاءة مقابل نماذج MoE: يضاهي MobileMoE-M دقة نموذج OLMoE-1B-7B مع أقل بنسبة ~60% من المعلمات النشطة والإجمالية. ويتفوق MobileMoE-L على OLMoE-1B-7B بـ 30% أقل من المعلمات النشطة و بصمة ذاكرة أصغر بنسبة 23%.
كفاءة الرموز: يحقق MobileMoE-L أداءً فائقًا مع حوالي 6 تريليونات رمز فقط في التدريب المسبق، متفوقًا على النماذج الكثيفة التي تدربت على 1.5-2 ضعف عدد الرموز (مثل Llama 3.2 1B عند 9 تريليون رمز).

تحليل وقت التشغيل على الأجهزة

تم النشر على Samsung Galaxy S25 و iPhone 16 Pro مع أوزان INT4:

زمن الاستجابة (Latency): يحقق MobileMoE-S سرعة prefill أسرع بـ 1.8-3.8× و decode أسرع بـ 2.2-3.4× مقارنة بالنموذج الكثيف المرجعي MobileLLM-Pro عند نفس ذاكرة أوزان INT4.
الذاكرة: عند سياق 8k، يستهلك MobileMoE-S ما يصل إلى 22% أقل من ذروة ذاكرة الوصول العشوائي (RAM) مقارنة بالنموذج الكثيف المرجعي. كما يتسع MobileMoE-L ضمن 5 جيجابايت من ذاكرة DRAM عند سياق 8k، مما يؤكد جدوى النشر على الهواتف الذكية الحديثة.
الدقة: يقدم MobileMoE-L دقة أعلى بكثير (متوسط 57.8 مقابل 45.5 لـ MobileMoE-Pro) مع تكلفة تشغيل معتدلة، والتي تتضاءل مع زيادة طول السياق.

الأهمية والادعاءات

يدعي البحث تقديم أول عائلة MoE بأقل من مليار معلمة نشطة تم تحسينها خصيصًا للنشر الطرفي، والمستمدة من قانون توسيع نطاق جديد للأجهزة. تكمن أهميته في ثلاث مساهمات رئيسية:

الأساس النظري: يوفر إطارًا مبدئيًا لتصميم MoE تحت قيود الذاكرة والحوسبة المشتركة، حيث حدد التباعد المعتدل ( $E=8$ )، والدقة العالية ( $g=8$ )، والخبراء المشتركين كالتكوين الأمثل للأجهزة المحمولة.
كفاءة التدريب: يثبت أن بنيات MoE يمكن أن تحقق أداءً رائدًا على الأجهزة مع عدد أقل بكثير من رموز التدريب (~6T) مقارنة بالنماذج الكثيفة، مما يؤكد كفاءة التعلم لـ MoE في المقاييس الأقل من مليار.
النشر العملي: يسد الفجوة نحو "الميل الأخير" للنشر على الأجهزة من خلال توفير أول استداف MoE فعال على الهواتف الذكية الشائعة. تؤكد النتائج أن MoE ليس مجرد بنية للسحابة، بل هو مسار عملي وفعال للذكاء الاصطاني الطرفي من الجيل التالي، مما يتيح تطبيقات منخفضة زمن الاستجابة، تحافظ على الخصوصية، وفعالة من حيث التكلفة على الهواتف الذكية والأجهزة القابلة للارتداء.

يخلص المؤلفون إلى أنه بينما تظل نماذج الأجهزة الحالية كثيفة في الغالب، فإن MobileMoE يثبت أن MoE يقدم بديلًا متفوقًا للطرف، مما يضع حدودًا جديدة للتوازن بين الدقة والذاكرة وزمن الاستجابة.