Dense vs Sparse Pretraining at Tiny Scale: Active-Parameter vs Total-Parameter Matching

ملخص تقني: التدريب المسبق الكثيف مقابل المتناثر في النطاق الصغير جداً

بيان المشكلة
تعمل نماذج المحولات القائمة على "خليط الخبراء" (Mixture-of-Experts - MoE) على فصل إجمالي عدد المعلمات عن السعة النشطة لكل رمز (token)، مما يسمح نظرياً للنماذج بتخزين سعات أكبر مع تفعيل مجموعة فرعية فقط من المعلمات. ومع ذلك، فإن معظم الأدلة التي تدعم تفوق نماذج MoE تأتي من بيئات موزعة واسعة النطاق، حيث تتداخل سلوكيات التوجيه (routing)، وتكاليف الاتصال، وتصميم الأنظمة، مما يجعل من الصعب عزل المساهمة النمذجيّة (modeling contribution). تعالج هذه الورقة سؤالاً تجريبياً أبسط: في نظام صغير جداً يمكن الوصول إليه عبر وحدة معالجة رسومية (GPU) واحدة، هل يؤدي استبدال الشبكات الأمامية (FFNs) الكثيفة بشبكات متناثرة موجهة (routed experts) إلى فائدة نمذجيّة حقيقية تحت ميزانيات محكومة بدقة؟

المنهجية
تقارن الدراسة بين نماذج المحولات الكثيفة والمتناثرة (MoE) ضمن بنية فك تشفير (decoder) من طراز LLaMA، تم تدريبها على مجموعة بيانات TinyStories. يضمن التصميم التجريبي ثبات المرمز (tokenizer)، ومسار البيانات، والمحسن (optimizer)، والجدول الزمني، وطول السياق، وأسلوب التطبيع (normalization)، وبروتوكول التقييم. يقوم التدخل المتناثر باستبدال كتل FFN الكثيفة بخبراء موجهين على طراز Mixtral.

لضمان العدالة، يستخدم المؤلفون معيارين متميزين للمقارنة، حيث يتم تغيير حجم النماذج الكثيفة المرجعية لتتطابق مع ميزانيات محددة:

1. المطابقة النشطة (Matched-Active): يتم تغيير حجم النموذج الكثيف المرجعي بحيث يتطابق عدد المعلمات النشطة لكل رمز مع المسار الموجه النشط لنموذج MoE.
2. المطابقة الإجمالية (Matched-Total): يتم تغيير حجم النموذج الكثيف المرجعي بحيث يتطابق إجمالي عدد المعلمات المخزنة مع نموذج Moe الكامل.

يستخدم التكوين المتناثر الأساسي أربعة خبراء، وتوجيهاً من نوع (top-2)، وتوزيعاً بدون إسقاط (dropless dispatch)، وتوازناً من طراز Switch، وفقدان z للراوتر (router z-loss). تجمع دالة الهدف عن التدريب بين تقاطع الإنتروبيا للرمز التالي (next-token cross-entropy) وبين حدود مساعدة لتوازن الأحمال وفقدان z للراوتر. تعمل الدراسة في نطاق أقل من 25 مليون معلمة (حوالي 14.89 مليون معلمة نشطة مقابل 21.06 مليون معلمة إجمالية لنموذج MoE).

المساهمات الرئيسية

• فك الارتباط بين معايير العدالة: توضح الورقة أن استنتاج تفوق "الكثيف مقابل المتناثر" يعتمد كلياً على معيار العدالة المستخدم. حيث تفصل التحليل إلى مقارنات "المطابقة النشطة" و"المطابقة الإجمالية"، مما يظهر وصولهما إلى نتائج مختلفة.
• استقرار التدريب المتناثر في النطاق الصغير جداً: تحدد الدراسة المكونات المحددة المطلوبة لتدريب متناثر مستقر في النماذج الصغيرة. التوجيه من نوع (top-1) الساذج ينهار فوراً؛ لذا يلزم وجود توازن من طراز Switch لمنع الانهيار، كما أن الانتقال إلى توجيه (top-2) يوفر المكسب الرئيسي في الجودة. وقد أظهر فقدان z للراوتر تحسيناً في استقرار التوجيه والتشخيص بدلاً من كونه المصدر الأساسي لخفض فقد التحقق (validation loss).
• تشخيصات التوجيه: يقدم المؤلفون تشخيصات شاملة للتوجيه (كسر أكثر خبير انشغالاً، تباين الاستخدام، الإنتروبي، log-z) لتأكيد أن المكاسب الملحوظة ليست ناتجة عن توجيه منهار أو شاذ.

النتائج
تقدم الدراسة مقارنة كاملة للبيانات عبر ثلاث بذور (seeds) عبر التكوينات الثلاثة:

• مقارنة المطابقة النشطة: يتفوق نموذج MoE (حوالي 14.77 مليون معلمة نشطة) بشكل كبير على النموذج الكثيف المرجعي المطابق للنشط (حوالي 14.89 مليون معلمة نشطة). يحقق نموذج MoE أفضل فقد تحقق قدره 1.5788 ± 0.0020، مقارنة بالنموذج الكثيف المرجعي الذي حقق 1.6545 ± 0.0012. وهذا ينتج عنه فجوة قدرها 0.0758 لصالح نموذج MoE.
• مقارنة المطابقة الإجمالية: يظل النموذج الكثيف (حوالي 21.06 مليون معلمة إجمالية) أقوى قليلاً من نموذج MoE (حوالي 21.06 مليون معلمة إجمالية). يحقق النموذج الكثي المرجعي المطابق للإجمالي 1.5608 ± 0.0025، بينما يحقق نموذج MoE 1.5788 ± 0.0020. وهذا ينتج عنه فجوة قدرها 0.0180 لصالح النموذج الكثيف.
• ديناميكيات التدريب: عبر ميزانيات التدريب (من 40.5 مليون إلى 426.3 مليون رمز)، تنمو ميزة "المطابقة النشطة" لنموذج MoE، بينما تتقلص ميزة "المطابقة الإجمالية" للنموذج الكثيف بشكل حاد. يقع نموذج MoE باستمرار بين النموذجين الكثيفين المرجعيين: أفضل من النموذج الكثيف المتساوي في النشاط، ولكنه أسوأ قليلاً من النموذج الكثيف المتساوي في الإجمالي.

الأهمية والادعاءات
تخلص الورقة إلى أنه في هذا النطاق (أقل من 25 مليون معلمة)، يحسن الحوسبة الشرطية (MoMoE) من فقد التحقق عندما تُعرف العدالة من خلال المعلمات النشطة لكل رمز، لكنه لا يتفوق على التدريب الكثيف عندما تُعرف العدالة من خلال إجمالي السعة المخزنة.

يصرح المؤلفون صراحةً بأن هذه دراسة تجريبية محكومة وليست مقترحاً لبنية جديدة. تكمن الأهمية في توضيح أن:

1. التدريب المتناثر مفيد بالفعل في النطاقات الصغيرة جداً إذا كانت المقارنة مبنية على السعة النشطة.
2. "ميزة MoE" ليست تفوقاً في السعة الإجمالية الخام، بل هي فائدة مستمدة من الاستخدام الشرطي للمعلمات الإضافية المخزنة.
3. النتائج محددة بنطاق TinyStories ولا تدعي أنها تمتد تلقائياً إلى مجموعات البيانات الأوسع، أو نطاقات المعلمات الأكبر، أو إعدادات النقل (transfer settings) دون مزيد من الدراسة.

تتجنب الورقة الادعاء بتحقيق فوز في زمن التنفيذ الفعلي (wall-clock training win)، مشيرة إلى أن تحليلات الإنتاجية (throughput) هي سياق ثانوي، وتتجنب تقديم ادعاءات سببية حول آليات السعة الخاملة، مركزة بدلاً من ذلك على ربط الاستنتاجات بمعايير العدالة.