🤖 machine learning

Hierarchical Mixture-of-Experts with Two-Stage Optimization

تقدم الورقة البحثية Hi-MoE، وهو إطار عمل هرمي لخليط من الخبراء (Mixture-of-Experts) يستخدم استراتيجية تحسين ثنائية المراحل لفرض توازن الحمل بين المجموعات وتخصص الخبراء داخل كل مجموعة في آن واحد، مما يؤدي إلى حل المقايضة بين استقرار التوجيه والتنوع مع تحقيق تحسينات كبيرة في الأداء مقارنة بالنماذج المرجعية الحالية.

المؤلفون الأصليون: Gleb Molodtsov, Alexander Miasnikov, Aleksandr Beznosikov

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gleb Molodtsov, Alexander Miasnikov, Aleksandr Beznosikov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مركز اتصال ضخم وعالي التقنية. لديك آلاف الوكلاء الخبراء ("الخبراء") المستعدين لمساعدة العملاء ("الرموز" أو نقاط البيانات). وللحفاظ على السرعة والكفاءة، لا تريد من كل وكيل أن يستمع إلى كل المكالمات. بدلاً من ذلك، تريد موزعاً ذكياً ("الموجه") يرسل كل مكالمة إلى عدد قليل فقط من المتخصصين المناسبين تماماً لتلك المشكلة المحددة.

هكذا تعمل نماذج "خليط الخبراء" (Mixture-of-Experts - MoE) في الذكاء الاصطنا-عي. إنها قوية للغاية، ولكن لديها عيب شهير: الموجه يصبح كسولاً أو مشتتاً.

المشكلة: "الوكيل النجم" مقابل "الوكلاء الأشباح"

في الإعداد القياسي، يميل الموجه لإرسال معظم المكالمات إلى عدد قليل من "الوكلاء النجوم" لأنهم يبدون جيدين في البداية. وفي الوقت نفسه، تظل مئات الوكلاء الآخرين خاملة ولا تفعل شيئاً.

النتيجة: أنت تهدر المال على كل هؤلاء الوكلاء الخاملين، و"نجومك" يتعرضون للاحتراق الوظيفي. في مصطلحات الذكاء الاصطناعي، يُسمى هذا "انهيار التوجيه" (routing collapse). يتوقف النموذج عن تعلم مهارات متنوعة ويعتمد فقط على مجموعة فرعية صغيرة ومجهدة من دماغه.

حاولت بعض الحلول السابقة إصلاح ذلك من خلال إجبار الموجه على إرسال عدد متساوٍ من المكالمات إلى كل فريق. لكن هذا خلق مشكلة جديدة: "تأثير عقلية القطيع" (Groupthink). إذا أجبرت كل الفرق على التعامل مع نفس المزيج من المكالمات بالضبط، فستبدأ الوكلاء في الفرق المختلفة في القيام بنفس الشيء تماماً. سيصبحون نسخاً مكررة من بعضهم البعض، ويفقدون تخصصاتهم الفريدة.

الحل: Hi-MoE (نظام إدارة ثنائي المستوى)

يقترح مؤلفو هذه الورقة البحثية Hi-MoE، وهي طريقة جديدة لتنظيم مركز الاتصال. بدلاً من قائمة مسطحة واحدة من الوكلاء، يقومون بتنظيمهم في مجموعات (مثل أقسام مختلفة) ويستخدمون استراتيجية إدارة ثنائية المرحلة للحفاظ على التوازن والتنوع.

فكر في الأمر كأنه مستشفى كبير يحتوي على أربعة أجنحة متخصصة (مجموعات).

المرحلة الأولى: مدير الجناح (التوازن بين المجموعات)

الهدف: التأكد من عدم إرهاق أي جناح بينما يظل جناح آخر فارغاً.
كيف يعمل: يضمن النظام أن إجمالي عدد المرضى المرسلين إلى الجناح (أ)، والجناح (ب)، والجناح (ج)، والجناح (د) متساوٍ تقريباً.
التشبيه: إذا استقبل المستشفى 1,000 مريض، يضمن "مدير الأجنحة" ذهاب 250 إلى كل جناح. هذا يمنع مشكلة "المتخلفين عن الركب" حيث يعلق أحد معالجات الرسوميات (GPU) مع الكثير من العمل بينما ينتظر الآخرون.

المرحلة الثانية: رئيس القسم (التخصص داخل المجموعة)

الهدف: التأكد من أن الأطباء داخل كل جناح لا يفعلون جميعاً نفس الشيء تماماً.
المشكلة: إذا حصل الجناح (أ) على 250 مريضاً، وأُجبر جميع الأطباء في الجناح (أ) على علاج نفس أنواع المرضى تماماً، فسيصبحون جميعاً عامّين متطابقين.
حل Hi-MoE: يشجع النظام الأطباء داخل الجناح (أ) على التخصص. رب الله، قد يتعامل الدكتور سميث فقط مع الكسور، والدكتور جونز فقط مع الحمى، والدكتور لي فقط مع الحساسية.
التشبيه: يخبر "رئيس القسم" الأطباء: "أنتم في نفس الجناح، لذا يجب عليكم مشاركة عبء العمل، ولكن يجب أن تكونوا مختلفين عن بعضكم البعض أيضاً. لا تحاولوا جميعاً علاج نفس الكسر!"

لماذا ينجح هذا (التحسين ثنائي المستوى)

تجادل الورقة البحثية بأنك بحاجة إلى هذين المستويين يعملان معاً:

المستوى 1 (بين المجموعات): يحافظ على سعادة الأجهزة (Hardware). يضمن عدم انتظار معالجات الرسوميات (GPUs) لبعضها البعض.
المستوى 2 (داخل المجموعات): يحافظ على ذكاء الذكاء الاصطناعي. يجبر الخبراء على تعلم مهارات مختلفة ومتكاملة بدلاً من مجرد نسخ بعضهم البعض.

النتائج: ماذا وجدوا؟

اختبر المؤلفون نظام "الإدارة ثنائية المستوى" هذا في ثلاثة سيناريوهات مختلفة:

الرؤية الحاسوبية (Tiny ImageNet): قاموا بتدريب ذكاء اصطناعي للتعرف على الصور. كان Hi-MoE أفضل في تحديد الأشياء (مثل الأيدي مقابل الخلفيات) وحافظ على عمل معالجات الرسوميات بشكل متساوٍ.
اللغة (nanoGPT): قاموا بتدريب ذكاء اصطناعي لكتابة النصوص. كتب Hi-MoE نصوصاً أفضل ولم يسمح لـ "الوكلاء النجوم" بالاستحواذ على كل الاهتمام.
النطاق الواسع (OLMoE-7B): اختبروا نموذجاً ضخماً بـ 7 مليارات معلمة (parameter).
- الجودة: ارتكب النموذج أخطاءً أقل (ارتباك/perplexity أقل) عبر مواضيع مختلفة، من الرياضيات إلى مقالات ويكيبيديا.
- التوازن: كان عبء العمل أكثر توازناً بنسبة 40% من النموذج القياسي. وهذا يعني أن أجهزة الكمبيوتر تم استخدامها بكفاءة أكبر بكثير.

الخلاصة

إن Hi-MoE يشبه توظيف مدير رائع يفهم أمرين:

العدالة: الجميع يحصل على حصة عادلة من العمل حتى لا يصاب أحد بالإرهاق.
التنوع: الجميع يحصل على فرصة ليكون متخصصاً فريداً حتى يتمكن الفريق ككل من حل مشكلات أكثر تعقيداً.

من خلال تقسيم الإدارة إلى "بين المجموعات" و"داخل المجموعات"، يحصل الذكاء الاصطناعي على أفضل ما في العالمين: فهو يعمل بشكل أسر faster على الأجهزة، ويتعلم مهارات أكثر ذكاءً وتنوعاً.

ملخص تقني: خليط الخبراء الهرمي مع التحسين ثنائي المرحلة (Hi-MoE)

1. بيان المشكلة

تعمل نماذج خليط الخبراء (MoE) المتفرقة على توسيع السعة عبر توجيه الرموز (tokens) إلى مجموعة فرعية صغيرة من شبكات الخبراء. ومع ذلك، تواجه عملية تدريب هذه النماذج مقايضة جوهرية بين توازن الأحمال وتخصص الخبراء:

انهيار التوجيه (Routing Collapse): تؤدي آليات التنوع القوية غالبًا إلى "انهيار التوجيه"، حيث تهيمن مجموعة قليلة من الخبراء على اختيار الرموز بينما تظل الخبراء الأخرى خاملة. يتسبب هذا في استخدام غير فعال للسعة وعدم توازن في الأحمال عبر الأجهزة (الخلفاء أو Stragglers).
معضلة التجميع (The Grouping Dilemma): تعمل النهج الحديثة على تخفيف عدم التوازن من خلال تجميع الخبراء وفرض اختيار ثابت لكل مجموعة (على سبيل المثال، اختيار $K/M$ من الخبراء من كل مجموعة $M$ ). وبينما يضمن هذا حسابًا موحدًا على مستوى الجهاز، فإنه يقيد حرية التوجيه. غالبًا ما تؤدي هذه القيود إلى التكرار (Redundancy)، حيث تتعلم الخبراء في المجموعات المختلفة وظائف متشابهة لأنها تم تحسينها على مزيج مشابه من الرموز، مما يستبدل انهيار مستوى الخبير بـ "انهيار التنوع" عبر المجموعات.

غالبًا ما تتعارض طرق الموازنة القائمة على الخسارة (مثل GShard) مع تدرجات المهام، مما يبطئ التقارب، بينما قد تفشل الطرق الخالية من الخسارة في منع التكرار. هناك حاجة إلى إطار عمل يفرض في الوقت نفسه توازنًا متوافقًا مع الأجهزة ويعزز التخصص المكمل والمفيد.

2. المنهجية: Hi-MoE

يقترح المؤلفون Hi-MoE، وهو إطار عمل هرمي يفكك التحكم في التوجيه إلى مستويين مترابطين: التوازن بين المجموعات والتخصص داخل المجموعة.

البنية (Architecture)

البنية المجمعة: يتم تقسيم الخبراء إلى $M$ من المجموعات المنفصلة (غالبًا ما تكون متوافقة مع شرائح GPU).
قيد التوجيه: لكل رمز، يختار الموجه عددًا ثابتًا من الخبراء ( $K_m$ ) من كل مجموعة $m$ .
التحسين ثنائي المستوى: يقدم الإطار منظمات (regularizers) محددة لكل مستوى من مستويات الهرم.

المكونات الرئيسية

التنظيم بين المجموعات ( $R_{inter}$ ):
- الهدف: فرض توزيع عادل لحركة المرور عبر المجموعات لضمان استخدام متوازن للأجهزة.
- الآلية: يقلل من تركيز $\ell_2$ لأوزان التوجيه بعد الاختيار عبر المجموعات. ومن خلال معاقبة تركيز كتلة التوجيه على مجموعات محددة، فإنه يعمل كوكيل لتقليل معامل الاختلاف (CV) لأحمال المجموعات.
- الأساس النظري: يثبت القسم 4.1 أن تقليل هذا المصطلح يوفر حدًا علويًا معتمدًا لعدم التوازن على مستوى المجموعة.
التنظيم داخل المجموعة ( $R_{intra}$ ):
- الهدف: تعزيز التخصص المكمل داخل المجموعات ومنع الخبراء من تعلم وظائف مكررة.
- الآلية: يعظم تركيز $\ell_2$ لتوزيع التوجيه قبل الاختيار (وهو ما يعمل فعليًا كحد مضاد للتداخل). يشجع هذا الموجه على اتخاذ التزامات حاسمة ومتفرقة تجاه خبراء محددين داخل المجموعة بدلاً من خلط العديد من الخبراء بثقة منخفضة.
- الأساس النظري: يوضح القسم 4.2 أن تقليل تداخل التوجيه يقلل من اقتران التدرج (gradient coupling) بين الخبراء، مما يسمح لهم باتباع مسارات تحسين متميزة. ويظهر القسم 4.3 أنه في ظل وجود هوامش متوازنة، فإن زيادة تركيز التوجيه تعظم المعلومات المتبادلة بين المدخل والخبير المختار، وهو وكيل للتخصص.
آلية الاستقرار (Stabilization Mechanism):
- لمنع إشارة تنوع داخل المجموعة من الانجراف إلى أنظمة متدهورة، يستخدم المؤلفون حساب توجيه مصحح الانحياز باستخدام المتوسط المتحرك الأسي (EMA) لـ logit الخاص بالموجّه. هذا يمنع الاختيار المفرط المستمر للخبراء المفضلين تاريخيًا دون إضافة خسارة موازنة منفصلة.

دالة الهدف (Objective Function)

يجمع هدف التدريب الإجمالي بين خسارة المهمة، وخسارة موازنة الأحمال القياسية، والحدود الهرمية المقترحة:
$\mathcal{L} = \mathcal{L}_{task} + \mathcal{L}_{load} + R_{intra} + R_{inter}$
يصيغ المؤلفون هذا كمسألة تحسين مقيدة حيث تعمل المعاملات $\lambda_{intra}$ و $\lambda_{inter}$ كمتعددات لاغرانج لقيود التنوع والتوازن، على التوالي.

3. المساهمات الرئيسية

تحديد التوتر: يحدد البحث التوتر بين "التوازن والتنوع" المتأصل في تدريب MoE المتفرق.
الإطار الهرمي: يقدم Hi-MoE هدفًا معياريًا قابلًا للإضافة يفكك هذه المخاوف:
- هدف بين المجموعات للتوازن المتوافق مع الأجهزة.
- هدف داخل المجموعة للتنوع الوظيفي والتخصص.
الضمانات النظرية: يقدم البحث براهين رسمية تربط المنظمات بحدود عدم التوازن في المجموعات، وفك اقتران التدرج، وزيادة معلومات التوجيه (التخصص).
التحقق التجريبي: تحسينات متسقة عبر مجالات الرؤية واللغة، مما يثبت أن Hi-MoE يوسع جبهة باريتو (Pareto frontier) بين الدقة/الارتباك (perplexity) وتوازن الأحمال (CV).

4. النتائج التجريبية

قيم المؤلفون Hi-MoE في ثلاث بيئات تدريب مسبق متميزة:

أ. الرؤية الحاسوبية (Swin-MoE على Tiny ImageNet)

الإعداد: نموذج بـ 1 مليار معلمة مع 64 خبيرًا (4 مجموعات من 16).
النتائج: حقق Hi-MoE أعلى دقة Top-1 (59.13%) وأفضل توازن أحمال (CV 0.29) مقارنة بـ Vanilla GShard، والأساليب الخالية من الخسارة، وMoGE.
الملاحظة: كشفت رؤية خرائط الانتباه أن مجموعات Hi-MoE طورت تخصصات بصرية متميزة (على سبيل المثال، مجموعة تركز على أجزاء الجسم، وأخرى على الأسطح الخلفية)، بينما أظهرت النماذج المرجعية تكرارًا أكبر.

ب. نمذجة اللغة (nanoGPT على OpenWebText)

الإعداد: نموذج بـ 1.06 مليار معلمة مع 8 خبراء (4 مجموعات من 2).
النتائج: حقق Hi-MoE أدنى ارتباك (Perplexity 2.947) وأفضل توازن (CV 0.23).
الدراسة الاستبعادية (Ablation): أدى إزالة $R_{inter}$ إلى تدهور التوازن؛ وأدى إزالة $R_{intra}$ إلى تدهور الجودة. عمل تصحيح الانحياز كمثبت.
الكفاءة: أضاف الموجه الهرمي حِملاً ضئيلاً (1.3ms إلى 1.6ms لكل طبقة) مع تقليل عبء المزامنة بنسبة ~3 أضعاف مقارنة بالتوجيه المسطح.

ج. التدريب المسبق واسع النطاق (OLMoE-7B مقابل Hi-MoE-7B)

الإعداد: نماذج بـ 7 مليار معلمة تم تدريبها على 58.54 مليار رمز (خليط Dolma).
الارتباك (Perplexity): قلل Hi-MoE-7B الارتباك بنسبة 5.6% في المتوسط عبر 11 مجال تحقق مقارنة بخط الأساس OLMoE-7B القياسي.
المهام اللاحقة: أظهر Hi-MoE مكاسب كبيرة في شرائح MMLU (مثل +22.2% في العلوم STEM، و+11.9% في العلوم الإنسانية) ومهام الاستدلال المنطقي الشائع.
توازن الأحمال: حسن Hi-MoE توازن الخبراء (CV) بنسبة 40% (0.153 مقابل 0.257)، مما عالج مباشرة عقبة كفاءة الموارد في التدريب واسع النطاق.

5. الأهمية والادعاءات

يدعي البحث أن Hi-MoE يحل توتر "التوازن-التنوع" المتأصل في تدريب MoE المتفرق. من خلال نمذجة تسلسل التوجيه صراحةً (المجموعات مقابل الخبراء)، يسمح النهج للنماذج بـ:

التوسع بكفاءة: الحفاظ على استخدام موحد لـ GPU دون التضحية بالسعة الشرطية للنموذج.
تعلم تمثيلات متخصصة: منع "انهيار التنوع" حيث تصبح الخبراء المجمعة مكررة وظيفيًا.
تحسين الجودة: تحقيق مكاسب متسقة في الارتباك وأداء المهام اللاحقة عبر مهام الرؤية واللغة.

يضع المؤلفون Hi-MoE ليس كبديل لآليات الاستقرار الموجودة، بل كتحسين معياري مكمل يجعل تجميع الخبراء آلية تحسين مبدئية وليس مجرد قيد نظامي. يشير العمل إلى أن التنسيق الهرمي هو مسار قابل للتطبيق لفتح مكاسب نوعية موثوقة في النماذج ذات التريليونات من المعلمات.