ملخص تقني: EMO - التدريب المسبق لخليط الخبراء من أجل النمطية الناشئة

بيان المشكلة

تُنشَر نماذج اللغات الكبيرة (LLMs) عادةً كأنظمة متجانسة (monolithic)، مما يتطلب تحميل النموذج بالكامل حتى عندما يتطلب التطبيق مجموعة فرعية ضيقة فقط من القدرات (مثل توليد الكود أو الاستدلال الرياضي). هذا النموذج يتسبب في تكاليف حوسبة واستهلاك ذاكرة غير ضروريين. وبينما توفر بنيات "خليط الخبراء" (Mixture-of-Experts - MoE) حلاً محتملاً عبر تفعيل مجموعة فرعية من الخبراء لكل مدخل، إلا أن نماذج MoE القياسية تفشل في دعم النشر النمطي (modular deployment). ففي نماذج MoE الحالية، تقوم التوكنات (tokens) ضمن مدخل واحد بتفعيل خبراء متنوعين، وغالباً ما يكون ذلك مدفوعاً بأنماط معجمية منخفضة المستوى (مثل حروف الجر أو علامات الترقيم) بدلاً من المجالات الدلالية عالية المستوى. وبناءً على ذلك، فإن تقييد الاستدلال بمجموعة فرعية محددة من الخبراء لمجال معين يؤدي إلى تدهور حاد في الأداء، مما يجعل نماذج MoE غير عملية في البيئات ذات الذاكرة المحدودة حيث لا يمكن تحميل سوى جزء بسيط من النموذج.

المنهجية: EMO

يقدم المؤلفون EMO، وهي بنية MoE مصممة لاستحثاث النمطية (modularity) كهدف أساسي أثناء التدريب المسبق. الهدف الجوهري هو تدريب نموذج يمكن فيه استخدام مجموعات فرعية من الخبراء بشكل مستقل لمجالات محددة، ودمجها لتكوين نموذج عام قوي، دون الاعتماد على تسميات مجالات محددة بشرياً.

الآلية الرئيسية: مجمعات المستندات المشتركة

الحدس المركزي هو أن التوكنات داخل نفس المستند تشترك عادةً في مجال دلالي واحد. يستفيد EMO من حدود المستندات كإشارة إشرافية ضعيفة لفرض هذا الهيكل:

1. مجمع الخبراء المشترك: لكل مستند، يختار الموجه (router) مجمعاً مشتركاً من الخبراء ($D$) من إجمالي مجموعة الخبماء الموجهة.
2. التوجيه المقيد: تُقيد جميع التوكنات داخل ذلك المستند في اختيار خبرائها النشطة فقط من هذا المجمع المشترك.
3. الديناميكية في التدرج: لضمان المرونة عبر ميزانيات ذاكرة مختلفة، يتم التعامل مع حجم مجمع الخبراء ($d$) كمتغير عشوائي يتم سحبه من توزيع منتظم $U\{k, n_r\}$ أثناء التدريب المسبق، حيث $k$ هو عدد الخبراء النشطين لكل توكن و $n_r$ هو إجمالي الخبراء الموجهين.

هدف التدريب والاعتبارات التقنية

• الهدف: يتم تدريب النموذج باستخدام خسارة نمذجة اللغة ذاتية الانحدار القياسية ($L_{CE}$) مدمجة مع خسائر مساعدة.
• توازن الحمل: المساهمة التقنية الحاسمة هي اعتماد توازن الحمل العالمي. يتعارض توازن حمل الدفعة الصغيرة (micro-batch) القياسي مع قيد التوجيه على مستوى المستند (الذي يجبر التوكنات في الدفعة الصغيرة على الانتشار عبر الخبراء). يقوم EMO بتجميع إحصائيات التوجيه عبر مجموعات التوازي للبيانات (data-parallel groups) لحساب خسارة توازن الحمل، مما يضمن استخداماً موحداً للخبراء عبر كامل مجموعة البيانات مع الحفاظ على الاتساق داخل المستندات.
• البنية: قام المؤلفون بتدريب نموذج بـ 1 مليار بارامتر نشط، و14 مليار إجمالي بارامتر، مع 128 خبيراً إجمالياً (127 موجهاً، و1 مشترك) على 1 تريليون توكن. تتضمن البنية تحسينات على النماذج المرجعية السابقة، بما في ذلك pre-norm، وإزالة QK-norm، وتضمين خبير مشترك.

المساهمات الرئيسية

1. النمطية الناشئة: يثبت EMO أن الهيكل النمطي يمكن أن ينشأ مباشرة من البيانات باستخدام حدود المستندات كإشارة وحيدة، مما يلغي الحاجة إلى تسميات مجالات محددة مسبقاً أو فرضيات بشرية.
2. الاستخدام الانتقائي للخبراء: يتيح النموذج نشر مجموعات فرعية صغيرة من الخبراء (مثلاً 12.5% إلى 25% من الخبراء) التي تحتفظ بأداء يقارب أداء النموذج الكامل في المهام الخاصة بالمجال، وهي قدرة تفتقر إليها نماذج MoE القياسية.
3. التخصص الدلالي: على عكس نماذج MoE القياسية التي تتخصص في الأنماط النحوية منخفضة المستوى، تنظم خبراء EMO في مجموعات متماسكة تتخصص في مجالات دلالية عالية المستوى (مثل الرياضيات، البرمجة، الطب الحيوي، والسياسة).
4. تحسين جبهة باريتو (Pareto Frontier): تتفوق مجموعات خبراء EMO الفرعية على النماذج التي تم تدريبها من الصفر (سواء كانت كثيفة أو MoE قياسية) مع مطابقة عدد البارامترات، مما يضع جبهة باريتو جديدة للمفاضلة بين الذاكرة والدقة.

النتائج

• أداء النموذج الكامل: كنموذج كامل، يطابق EMO أداء نموذج MoE قياسي تم تدريبه على نفس البيانات (1 تريليون توكن)، محققاً نتائج تنافسية في اختبارات مثل MMLU، MMLU-Pro، وGSM8K.
• أداء المجموعات الفرعية:
  • عند الاحتفاظ بـ 25% من الخبراء، يعاني EMO من انخفاض قدره 1% فقط في دقة MMLU، بينما تتدهور نماذج MoE القياسية بأكثر من 10%.
  • عند الاحتفاظ بـ 12.5% من الخبراء، يعاني EMO من انخفاض قدره 3%، بينما تنخفض نماذج MoE القياسية بنسبة 15%.
  • تتفوق مجموعات EMO الفرعية باستمرار على النماذج الكثيفة ونماذج MoE القياسية المدربة من الصفر بنفس عدد البارامترات.
• المتانة: يتميز أداء EMO بالمتانة عبر طرق مختلفة لاختيار الخبراء (الاعتماد على الموجه مقابل تقليم Easy-EP) ويظل فعالاً حتى مع مجموعات التحقق الصغيرة للغاية لاختيار الخبراء.
• التحليل: يكشف التحليل العنقودي أن توكنات EMO من نفس المستند يتم تجميعها في نفس المجموعات الدلالية (مثل "الصحة، الطب، والعافية")، بينما تتشتت توكنات Mo_القياسية عبر المجموعات بناءً على الميزات السطحية.

الأهمية والادعاءات

يزعم البحث أن EMO يوفر مساراً نحو نشر نمطي وفعال للذاكرة للنماذج الضخمة والمتفرقة. من خلال تمكين الاستخدام المستقل والتركيب للمجموعات الفرعية من الخبراء، يعالج EMO اختناقات الذاكرة المرتبطة بتوسيع نطاق نماذج MoE. يسلط المؤلفون الضوء على عدة آثار:

• النشر الميسر: يمكن للمستخدمين تقديم فقط الخبراء ذوي الصلة بمهمة أو مجال معين، مما يقلل بشكل كبير من متطلبات الذاكرة.
• التحكم الدقيق: تتيح النمطية التحكم في تمكين أو تعطيل القدرات (مثل استبعاد الخبراء المرتبطين بالرسائل المزعجة أو المحتوى المخصص للبالغين) في وقت الاستدلال.
• التطوير النمطي: يشير الهيكل إلى نموذج محتمل للتدريب المسبق النمطي، حيث يمكن تدريب مجموعات فرعية من الخبراء خاصة بمهام معينة بشكل مستقل ثم إعادة دمجها لاحقاً.
• القابلية للمراقبة: توفر أنماط التوجيه المتميزة إشارات مهيكلة لتدقيق وفحص سلوك النموذج.

يخلص المؤلفون إلى أنه يمكن بناء النمطية في صلب التدريب المسبق نفسه، والانتقال من الأنظمة المتجانسة نحو بنيات قابلة للتركيب، يسهل نشرها وتكييفها وفحصها.