💬 NLP

The Evolution of Mixture-of-Experts Architectures in Large Language Models: Routing, Topology, Load Balancing, and Expert Parallelism

تُجمّع هذه الدراسة التقنية تطور بنيات "خليط الخبراء" (Mixture-of-Experts) في النماذج اللغوية الكبيرة عبر تنظيمها في رسم بياني للتبعية وتحليلها من خلال أربعة مستويات تحكم (طوبولوجيا الخبراء، التوجيه، التوازن، وتوازي الخبراء) لتوضيح تحول المجال من مجرد تفعيل المعلمات المتفرقة نحو فك الارتباط بين التوجيه الدلالي، والميزانيات الحسابية، والتنفيذ الفيزيائي.

المؤلفون الأصليون: Jiguo Li

نُشر 2026-08-11

📖 8 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jiguo Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن عقل حاسوب فائق الذكاء هو عبارة عن مكتبة ضخمة تعج بالحركة. في الأيام الخوالي، لكي يجيب الحاسوب على سؤال واحد، كان يرسل أمين مكتبة ليقرأ كل كتاب على الرفوف، واحدًا تلو الآخر، فقط ليكون في أمان. كان هذا بطيئًا ويهدر الكثير من الطاقة. ثم اخترع المهندسون طريقة أكثر ذكاءً: "خليط من الخبراء" (Mixture of Experts). فبدلاً من أمين مكتبة واحد يقرأ كل شيء، قاموا بتعيين آلاف المتخصصين. عندما يأتي سؤال عن الطبخ، يفتح أمين مكتبة "الطاهي" كتابه فقط؛ وعندما يأتي سؤال عن الفضاء، يستيقظ "عالم الفلك". هذه هي الفكرة الجوهرية لـ "خليط الخبراء" (MoE) في النماذج اللغوية الكبيرة (LLMs): فهي تسمح لنماذج الذكاء الاصطناائي بأن تنمو لتصبح ضخمة وذكية للغاية دون إجراء كل عملية حسابية لكل كلمة تعالجها.

لكن الجزء الصعب هنا هو: إذا كان لديك مليون متخصص، فكيف تقرر من سيحصل على العمل؟ إذا أرسلت جميع أسئلة "الفضاء" إلى عالم الفلك، فسيصبح مثقلاً بالعمل ويبطئ كل شيء، بينما يجلس "الطاهي" عاطلاً عن العمل. هذه هي مشكلة "التوجيه" (routing). الأمر يشبه محاولة إدارة حفلة موسيقية ضخمة حيث يتعين عليك اتخاذ قرار فوري بشأن أي موسيقي يعزف أي نوتة، مع ضمان عدم إرهاق أحد، وعدم شعور أحد بالملل، وأن تنساب الموسيقى بشكل مثالي. إذا أخطأت في التوجيه، سيتوقف النظام بأكل.

هذه الورقة البحثية، التي كتبها "جيغو لي" (Jiguo Li) في أغسطس 2026، هي غوص عميق في كيفية تطور أنظمة "الخبراء" هذه عبر الزمن. وهي تجادل بأن تاريخ "خليط الخبراء" ليس مجرد قائمة من النماذج الأحدث والأكبر التي تم إصدارها عامًا بعد عام، بل هي قصة حل مشكلة واحدة محددة من الازدحام المروري تلو الأخرى. يشير المؤلف إلى أن المجال انتقل عبر ثماني "محطات رئيسية" كبرى، متحولاً من الحيل الإحصائية البسيطة إلى أنظمة ديناميكية معقدة حيث يمكن للحاسوب أن يقرر ليس فقط من سيساعد، بل مقدار المساعدة المطلوبة، وحتى أين توجد تلك المساعدة فعليًا في عتاد الحاسوب. وتجد الورقة أن المستقبل لا يتعلق فقط بإضافة المزيد من الخبراء، بل بفك الارتباط بين منطق "ما يفكر فيه الذكاء الاصطناعي" والواقع الفيزيائي لـ "كيف يعمل الحاسوب"، مما يسمح بذكاء اصطناعي أذكى وأسرع وأكثر كفاءة لا يعلق في زحام السير.

قصة المحطات الثمانية

تخيل تطور "خليط الخبراء" مثل تاريخ نظام نقل عام في مدينة ما. بدأ بحافلة واحدة تتوقف في كل مكان، ثم انتقل إلى نظام يمكنك من خلاله طلب سيارة أجرة، وصولاً إلى أن أصبح شبكة فائقة الكفاءة ذاتية التنظيم من الطائرات بدون طيار (الدرونز) ومترو الأنفاق. تقسم الورقة هذه الرحلة إلى ثماني مراحل متميزة، أو "محطات"، حيث حلت كل خطوة اختناقًا رئيسيًا ولكنها خلقت تحديًا جديدًا.

1. التقسيم الإحصائي للعمل (الحافلة القديمة)
في الأيام الأولى، كانت الفكرة بسيطة: وجود "بوابة" تقرر أي "خبير" (جزء صغير من الدماغ) يجب أن يتولى المهمة. لكن في البداية، كان الجميع لا يزال يساهم قليلاً. كان الأمر أشبه بحافلة حيث يتعين على كل راكب الوقوف والتلويح للسائق، حتى لو لم يكن سينزل في المحطة التالية. كان تقسيمًا إحصائيًا للعمل، لكنه لم يوفر أي طاقة. كان الحاسوب لا يزال يقوم بكل العمل؛ لكنه كان يفعله بطريقة أذكى قليلاً.

2. مفتاح "Top-K" (خدمة سيارات الأجرة)
ثم جاء الاختراق الكبير: الحوسبة الشرطية المتفرقة (Sparse Conditional Computation). تخيل مفتاحًا يقول: "فقط أفضل خبيرين سيعملان؛ والـ 98 الآخرون يمكنهم الذهال للمنزل". هذا هو توجيه Top-K. فجأة، استطاع الحاسوب امتلاك مكتبة هائلة من المعرفة (ملايين المعلمات/Parameters) ولكن استخدام جزء ضئيل منها فقط لكل كلمة. كان هذا هو "رافعة السعة": يمكنك جعل النموذج أكثر ذكاءً دون جعله أبطأ. لكن، أدى ذلك إلى مشكلة جديدة: ماذا لو تلقى "الطاهي" 1000 طلب ولم يتلقَّ "عالم الفلك" أي طلب؟ بدأ النظام يصبح غير متوازن.

3. التوسع في نطاق العنقود (شبكة مترو الأنفاق)
مع نمو النماذج لتناسب آلاف الرقائق الحاسوبية (GPUs)، أصبحت المشكلة هي نقل البيانات. إذا كان "الطاهي" يعيش في الشريحة (A) و"عالم الفلك" في الشريحة (B)، فكيف توصل المكونات إلى هناك؟ قدم هذا العصر توازي الخبراء (Expert Parallelism) وتواصل All-to-All. الأمر يشبه بناء شبكة مترو أنفاق ضخمة حيث تكون الرموز (Tokens/الكلمات) هي الركاب، ويجب عليهم ركوب القطارات للوصول إلى الخبير المناسب. تحول التحدي من "من يقوم بالعمليات الحسابية" إلى "ما مدى سرعة نقل البيانات دون أن يعلق القطار".

4. عصر الأوزان المفتوحة (تطبيق النقل العام)
بعد ذلك، أظهرت نماذج مثل Mixtral أن هذا النظام المعقد يمكن أن يعمل بالفعل للناس العاديين، وليس فقط للمختبرات العملاقة. لقد أثبتوا أنه يمكنك امتلاك "خليط خبراء" ضخم وواسع النطاق (خبراء كبار) متاح للجميع لاستخدامه. لكن، كانت "الخبراء" لا تزال كبيرة وغير رشيقة. فقد كانت تميل إلى إعادة تعلم الأشياء الأساسية نفسها (مثل كيفية قول "مرحباً")، مما كان هدرًا للمساحة.

5. الخبراء دقيقو الحبيبات والمشتركون (الأكشاك المتخصصة)
لإصلاح عدم الرشاقة، بدأ المهندسون في تقسيم الخبراء الكبار إلى العديد من الخبماء الصغيرة ودقيقة الحبيبات. إنه يشبه استبدال "متجر عام" ضخم بمئات الأكشاك الصغيرة: واحد لـ "الأطعمة الحارة"، وآخر لـ "الحلويات"، وآخر لـ "الخيارات النباتية". سمح هذا بتوجيه أكثر دقة. كما أضافوا الخبراء المشتركين (Shared Experts) — مسار دائم للأشياء التي يحتاجها الجميع (مثل القواعد الأساسية) — حتى لا يضيع نظام التوجيه الوقت في اتخاذ القرارات بشأن الأساسيات. جعل هذا النظام أسرع وأذكى، ولكنه خلق زحامًا مروريًا جديدًا: الكثير من الأكشاك الصغيرة يعني الكثير من الرحلات الصغيرة للمترو، مما يؤدي إلى إبطاء العمل.

6. التوسع فائق التشتت (مكتبة المليون خبير)
بعد ذلك، تساءل الباحثون: "ماذا لو كان لدينا عدد أكبر بكثير من الخبراء، ولكن بأسماء أصغر؟". بدأت نماذج مثل Kimi K2 وPEER في استخدام مئات الخبراء الصغار (أحيانًا أكثر من مليون!). الفكرة هي امتلاك مجموعة مرشحين ضخمة جدًا بحيث يمكن للذكاء الاصطناعي العث://الخبير المثالي لكل كلمة. لكن، تشير الورقة إلى عقبة: إذا كان لديك عدد كبير جدًا من الخبراء، فإن الحاسوب يقضي وقتًا في البحث عمن يتصل به (الاسترجاع/Retrieval) ونقل البيانات أكثر مما يقضيه في القيام بالعمل الفعلي. أصبح "إدخال/إخراج الوزن" (تحميل دماغ الخبير) هو العائق الجديد.

7. الحوسبة الديناميكية (الميزانية المرنة)
حتى الآن، كانت كل كلمة تحصل على نفس القدر من المساعدة (على سبيل المثال، "أفضل 2" من الخبراء). لكن بعض الكلمات صعبة (مثل "فيزياء الكم") وبعضها سهل (مثل "الـ"). تغيرت قواعد الحوسبة الديناميكية (Dynamic Compute): يمكن للذكاء الاصطناعي أن يقرر استخدام خبير واحد للكلمات السهلة و4 للكلمات الصعبة. حتى أن بعض النماذج تستخدم خانات "صفر حوسبة"، حيث يقول الذكاء الاصطناعي ببساطة "أنا أعرف هذا، لا داعي لاستدعاء أحد". هذا يوفر الطاقة، ولكنه يخلق خطرًا جديدًا: إذا ظهرت مجموعة من الكلمات الصعبة في نفس الوقت، فقد يثقل النظام، مما يسبب تأخيرات (Tail Latency).

8. فصل المنطق عن الفيزياء (شبكة الانتقال الآني)
الحدود النهائية هي التوجيه الدلالي المنفصل عن التنفيذ الفيزيائي (Semantic Routing Decoupled from Physical Execution). حاليًا، إذا قرر الذكاء الاصطناعي استدعاء "عالم الفلك"، فيجب أن تنتقل البيانات فيزيائيًا إلى شريحة عالم الفلك فورًا. تشير الأفكار الجديدة (مثل ScMoE أو الخبراء غير المتجانسين) إلى أنه يمكننا فصل القرار عن الحركة. ربما يقرر الذكاء الاصطناعي استخدام عالم الفلك، لكن البيانات تنتظر في مخزن مؤقت، أو قد يكون حجم عالم الفلك مختلفًا حسب المهمة. إنه يشبه امتلاك شبكة انتقال آني حيث يتم تحديد الوجهة منطقيًا، ولكن يتم تحسين النقل الفيزيائي بشكل منفصل لتجنب الازدحام المروري.

مستويات التحكم الأربعة

تنظم الورقة كل هذه التغييرات في أربعة "مستويات تحكم" (Control Planes)، والتي تشبه مستويات الإدارة المختلفة في شركة ضخمة:

طبقة الكائن (الهيكل/Topology): هذا هو "المخطط التنظيمي". يحدد من هم الخبراء، وما هو حجمهم، وهل يتشاركون في المكتب. يسأل: "هل لدينا 8 خبراء كبار أم 128 خبيرًا صغيرًا؟"
طبقة القرار (التوجيه/Routing): هذا هو "الموزع/الديسباتشر". لكل كلمة، يقرر: "بمن أتصل؟" ويستخدم قاعدة "Top-K" لاختيار المتخصصين الأفضل.
طبقة التحكم (التوازن/Balance): هذا هو "مدير الموارد البشرية". يراقب للتأكد من عدم عمل أي خبير على مدار الساعة بينما ينام الآخرون. إذا كان "الطاهي" مثقلاً، فقد يدفع النظام بلطف لإرسال بعض الطلبات إلى "الخباز" بدلاً من ذلك، باستخدام حيل رياضية خاصة (مثل Auxiliary-Loss-Free) للقيام بذلك دون إفساد تعلم الذكاء الاصطناعي.
طبقة التنفيذ (توازي الخبراء/Expert Parallelism): هذا هو "فريق اللوجستيات". يحدد كيفية نقل البيانات فعليًا عبر الرقائق الفيزيائية، والتعامل مع حركة المرور، والتأكد من إنجاز العمليات الحسابية بسرعة.

ما تستبعده الورقة وما تقترحه

المؤلف واضح جدًا بشأن ما لا يعمل كحل سحري. فهم يجادلون ضد فكرة وجود هيكل واحد "مثالي" لجميع نماذج MoE. ويقترحون أن مجرد إضافة المزيد من الخبراء ليس هو الحل إذا لم يتمكن النظام من نقل البيانات بسرعة كافية. كما يشيرون إلى أن Soft MoE (حيث يمتزج الخبراء باستمرار بدلاً من اختيار واحد) لم يثبت نجاحه بشكل جيد في الأنظمة الضخمة الواقعية التي نستخدمها اليوم، رغم أنه يبدو جيدًا من الناحية النظرية.

تقترح الورقة أن المستقبل يكمن في الفصل (Decoupling). نحن بحاجة إلى التوقف عن ربط "القرار الذكي" (أي خبير نستخدم) بـ "الواقع الفيزيائي" (على أي شريحة يعيش). وهم يقترحون أن أفضل الأنظمة ستستخدم ميزانيات ديناميكية (تغيير مقدار العمل المنجز بناءً على الصعوبة) ووضع التشغيل في الوقت الفعلي (تحريك الخبراء أثناء تشغيل الحاسوب لتجنب الزحام).

ومع ذلك، فإن الورقة حذرة من ادعاء أن هذه المشكلات قد "حُلّت". فعلى سبيل المثال، بينما تبدو الخبراء غير المتجانسين (Heterogeneous Experts) (خبراء بأحجام مختلفة) رائعة، تشير الورقة إلى أنها لا تزال في مرحلة "البحث الاستكشافي" ولم تُختبر بالكامل في النطاقات الضخمة لنماذج التريليونات من المعلمات. وبالمثل، فإن المشاركة عبر الطبقات (Cross-layer sharing) (حيث يساعد خبير من الطبقة 1 الطبقة 100) هي فكرة رائعة، لكن المؤلف يقول إننا بحاجة إلى مزيد من الأدلة لنرى ما إذا كانت تعمل حقًا دون التسبب في ارتباك.

الخلاصة

ببساطة، تخبرنا هذه الورقة أن رحلة جعل الذكاء الاصطناعي أكثر ذكاءً ليست مجرد بناء دماغ أكبر، بل هي بناء نظام مرور أفضل. لقد انتقلنا من حافلة واحدة إلى شبكة معقدة من سيارات الأجرة والمترو والدرونز. الخطوة التالية ليست مجرد إضافة المزيد من المركبات، بل تتعلق بجعل إشارات المرور أذكى، والطرق أكثر مرونة، والموزعين قادرين على التعامل مع ساعة الذروة دون تحطم. ويخلص المؤلف إلى أن "الجيل القادم" من الذكاء الاصطناعي لن يكون نموذجًا واحدًا جديدًا، بل سيكون مزيجًا من حيل التوجيه الذكية هذه، والميزانيات الديناميكية، والتحسينات الفيزيائية التي تعمل معًا. إنه تذكير بأنه في عالم الحواسيب فائقة الذكاء، أحيانًا لا يكون الجزء الأصعب هو التفكير — بل الوصول إلى الهدف.

ملخص تقني: تطور بنيات "خليط الخبراء" في النماذج اللغوية الكبيرة

تعريف المشكلة ونطاق التحليل

تتناول الورقة البحثية التحدي المتمثل في فهم التطور البنيوي لـ "خليط الخبراء" (Mixture-of-Experts - MoE) في النماذج اللغوية الكبيرة (LLMs). وبينما تعتمد المسوحات الحالية غالباً على تنظيم أبحاث MoE وفقاً لإصدارات النماذح زمنياً أو عبر تصنيفات كاملة للمكونات، تجادل هذه التقارير بأن مثل هذه المنهجيات تفشل في تفسير سبب حدوث التغييرات البنيوية. تكمن المشكلة الجوهرية في تحديد العنق الزجاجي المحدد الذي تزيله كل نسخة معمارية، وأين ينتقل عنق الزجاجة بعد ذلك.

يقتصر النطاق بصرامة على النماذج الهشة (Sparse MoE) في مرحلة التدريب المسبق للنماذج اللغوية ذات المكون الوحيد (Decoder-only) والمنتهية بـ "المُفكك" (Decoder)، مع التركيز على شبكات التغذية الأمامية (FFN MoE). ويستبعد التقرير صراحةً نماذج الـ MoE متعددة الوسائط، وMoE-LoRA، والمجموعات الخارجية (External Ensembles)، وعمليات الدمج في مرحلة ما بعد التدريب. ويفترض التقرير أن MoE ليس عملية تحسين أحادية الهدف، بل هو صراع متزامن لتعظيم إجمالي سعة المعلمات ( $P_{total}$ ) مع التحكم في عدد المعلمات النشطة لكل رمز ( $P_{active}$ )، والحفاظ على التخصص الدلالي، وضمان كفاءة النظام (تجنب المتأخرين عن الركب وعناقيد اختناق الاتصال).

المنهجية: إطار عمل ذو أربع مستويات تحكم

بدلاً من الجدول الزمني الخطي، يقترح المؤلف إطار عمل هيكلياً منظماً حول أربعة مستويات تحكم مترابطة تحدد التشغيل الداخلي لأي نظام MoE:

طوبولوجيا الخبراء (طبقة الكائن - Object Layer): تُحدد مجموعة الخبراء المنطقية ( $\mathcal{E}$ )، بما في ذلك درجة التفصيل (Granularity)، وعلاقات المشاركة، وعدم التجانس. وهي متغير بطيء التغير يتم تحديده أثناء تصميم البنية.
التوجيه (طبقة القرار - Decision Layer): يحدد مجموعة الخبراء ( $\mathcal{K}_t$ ) المختارة لكل رمز بناءً على درجات التقارب. يعمل هذا المستوى على مستوى الرمز (Token level) وهو متغير سريع.
التوازن (طبقة التحكم - Control Layer): يجمع إحصائيات الحمل ( $n_i$ ) عبر التسلسلات أو الدفعات (Batches) ويطبق التغذية الراجعة (عبر خسائر مساعدة، أو انحيازات، أو قيود السعة) لمنع الانهيار وضمان توزيع الحمل الفيزيائي.
توازي الخبراء (طبقة التنفيذ - Execution Layer): يقوم برسم خرائط اختيارات الخبراء المنطقية على الأجهزة الفيزيائية، ويتولى عمليات الإرسال (Dispatch)، واتصال الكل-إلى-الكل (All-to-All)، وتنفيذ النواة (Kernel execution).

يصيغ المؤلف هذه المستويات كمنظومة حلقة مغلقة حيث يمكن للقيود الفيزيائية (مثل طوبولوجيا الجهاز) أن تقيد بشكل رجعي التوجيه الدلالي، كما يمكن للتوزيع وقت التشغيل (Runtime placement) أن يخفف الحمل دون تغيير مخرجات الموجه (Router).

المساهمات الرئيسية: ثماني محطات تطورية

يحدد البحث ثماني محطات ليس كأجيال متعاقبة، بل كـ "رسم بياني للتبعية" (Dependency Graph) حيث تمثل العقد انتقال عنق الزجاجة المهيمن في النظام.

التطورات الرئيسية (العقد 1–6)

العقدة 1: الـ MoE الكثيفة/الناعمة (التقسيم الإحصائي للعمل): أرست قواعد آلية البوابة (Gating mechanism) والدمج الموزون، لكنها ربطت السعة بالعمليات الحسابية (FLOPs) (جميع الخبراء يتم حسابهم).
العقدة 2: الحوسبة الشرطية الهشة (Top-k): قدمها Shazeer وآخرون، حيث فصلت بين السعة الإجمالية والعمليات الحسابية لكل رمز عبر تفعيل $k \ll N$ من الخبراء فقط. وقد استلزم ذلك وجود توجيه منفصل، وتوازن حمل، وإسقاط للرموز (Token dropping).
العقدة 3: Transformer MoE وتوازي الخبراء: نظمت سلسلة التنفيذ (الموجه $\leftarrow$ الإرسال $\leftarrow$ الكل-إلى-الكل $\leftarrow$ الخبير $\leftarrow$ الدمج) وأدخلت آليات الاستقرار (مثل z-loss، وعوامل السعة) لتمكين التدريب على آلاف الأجهزة.
العقدة 4: الـ MoE مفتوحة الأوزان ذات الحبيبات الخشنة: أثبت نموذج Mixtral أن الـ MoE التقليدية ذات الحبيبات الخشنة يمكن أن تدعم دورة حياة كاملة لنماذج الـ Decoder مفتوحة الأوزان، مما نقل عنق الزجاجة إلى تكرار المعرفة والتركيب الخشن.
العقدة 5: الخبراء المشتركون + الخبراء دقيقو الحبيبات: قدمها DeepSeekMoE/V2، حيث قسمت الخبراء الكبار إلى وحدات أصغر لزيادة دقة التركيب، وأضافت "خبراء مشتركين" لعزل المعرفة الشائعة، مما قلل التكرار بين الخبراء الموجه إليهم.
العقدة 6: التوسع فائق الهشاشة (Ultra-Sparse Scaling): استكشفها PEER وKimi K2، وتبحث فيما إذا كان زيادة عدد الخبماء الإجمالي ( $N$ ) يحسن الخسارة (Loss) عند تثبيت المعلمات النشطة، مما ينقل عنق الزجاجة إلى عمليات الإدخال/الإخراج للأوزان (Weight I/O) وتكاليف الاسترجاع.

الفروع المتعامدة (العقد 7–8)

تخفف هذه العقد من الافتراضات الأساسية بدلاً من مجرد إضافة المزيد من الخبراء.

العقدة 7: الحوسبة الديناميكية: تنتقل من نظام Top-k الثابت إلى ميزانيات تعتمد على الرمز (مثل الخبراء ذوي الحوسبة الصفرية، أو $k$ -التكيفي)، مما يفصل الاختيار الدلالي عن الميزانية الحسابية.
العقدة 8: الفصل بين الدلالة والفيزياء: تفصل بين الاختيار الدلالي للخبير ومسار تنفيذه الفيزيائي المباشر. ويشمل ذلك:
- ScMoE: إعادة ترتيب تبعات التنفيذ لتداخل الاتصال مع المسارات الكثيفة.
- الخبراء غير المتجانسين: اختيار خبراء بأحجام مختلفة بناءً على صعوبة الرمز.
- المشاركة عبر الطبقات: إعادة استخدام الخبراء عبر الطبقات لتقليل التكرار.
- الاتصال المهيكل: تقليل حركة مرور All-to-All الديناميكية إلى أنماط حتمية (مثل Head Parallel).

النتائج والتصميم التجريبي

لا تقدم الورقة نتائج تدريب تجريبية جديدة، بل تلخص النتائج من التقارير السابقة (DeepSeek-V3, Qwen3, Kimi K2, إلخ) للتحقق من صحة الإطار العملي. وتسلط الضوء على أن:

تطور التوازن: يتحرك المجال من الخسائر المساعدة على مستوى التسلسل إلى استراتيجيات الخالية من الخسائر المساعدة (ALF) (باستخدام انحيازات غير تدرجية) والتوزيع وقت التشغيل لفصل توازن الحمل الفيزيائي عن تحديثات التدرج.
تحسين الاتصال: انتقل التركيز من تقليل إجمالي حجم All-to-All إلى تقليل وقت الاتصال المكشوف عبر التداخل (ScMoE, DualPipe) والطوبولوجيا المحدودة.
حبيبات الخبراء: يتجه المجال من الخبراء الكبار المتماثلين إلى تكوينات دقيقة الحبيبات، غير متجانسة، وفائقة الهشاشة.

يقترح المؤلف تصميماً تجريبياً للتدريب المسبق للنماذج التأسيسية ليحل محل مقارنات النماذج المتقاطعة. ويدعو إلى دراسات استئصال (Ablation studies) بـ "ميزانية متساوية" حيث يتم تثبيت عدد الرموز التدريبية، والمعلمات النشطة، وإعدادات المحسن (Optimizer)، مع تغيير:

حبيبات الخبراء ووجود المسار المشترك.
نطاق التوازن (تسلسل مقابل دفعة عالمية مقابل ALF).
طوبولوجيا التنفيذ (EP تسلسلي مقابل ScMoE).
آليات الحوسبة الديناميكية.

الأهمية والادعاءات

تزعم الورقة أن أهميتها الأساسية تكمن في نقل منظور تطور MoE من "قائمة زمنية لإصدارات النماذج" إلى تحليل هيكلي لانتقال عنق الزجاجة.

رؤى متكاملة: تصف المحطات الثماني الانتقال التاريخي لعنق الزماء، بينما توفر مستويات التحكم الأربعة رؤية هيكلية لنظام واحد. ويتم تقديمهما كمنهجيات متكاملة لا متنافسة.
الفصل (Decoupling): الاتجاه الرئيسي المحدد هو فصل التوجيه الدلالي، والميزانيات الحسابية، والتنفيذ الفيزيائي. الأبنية المستقبلية لا تُعرف بهيكل "الجيل القادم" الوحيد، بل بمزيج من التوجيه الأكثر حرية، والتحكم الصريح في الميزانية، والوعي بالطوبولوجيا، والتوزيع وقت التشغيل.
تحول التقييم: تجادل الورقة بأن تقييم MoE يجب أن يتوسع لما وراء "خسارة التحقق" ليشمل التحليل المشترك للتخصص، وتباين الميزانية النشطة، والاتصال المكشوف، وزمن الاستجابة في الحالات القصوى (P99).

يخلص التقرير إلى أنه لا يوجد هيكل أمثل واحد؛ بل إن "الجيل القادم" هو مزيج مرن من المحاور المعمارية المحددة المصممة خصيصاً لتناسب قيود الأجهزة وأهداف التدريب المحددة.