ملخص تقني: ما وراء التكاليف الغارقة: تعزيز كفاءة التدريب المسبق لنماذج LLM عبر النمو المتعامد لخليط الخبراء (MoE)

بيان المشكلة

تتزايد المتطلبات الحسابية للتدريب المسبق لنماذج اللغات الكبيرة (LLMs)، ومع ذلك، لا تزال نقاط التحقق (checkpoints) المدربة مسبقاً غير مستغلة بشكل كافٍ بسبب القيود الهيكلية. تركز استراتيجيات نمو النماذج الحالية عادةً على توسيع النماذج خلال مراحل التدريب المبكرة، مما يفشل في الاستفاف من "التكاليف الغارقة" (الاستثمار الحسابي السابق) لنقاط التحقق التي وصلت لمرحلة التقارب الجيد. التحدي الجوهري يكمن في كيفية تحديد كيفية "إعادة تدوير" نماذج خليط الخبراء (MoE) المتقاربة بفعالية لإنشاء نماذج أكبر وأكثر قدرة دون التخلص من المعرفة المتعلمة والمعلمات المحسنة للنموذج الأساسي.

المنهجية

يقترح المؤلفون إطار عمل "النمو المتعامد" المصمم لتوسيع نماذج MoE المتقاربة عبر بُعدين مستقلين: العمق (زيادة الطبقات) والعرض (زيادة عدد الخبراء).

1. نمو العمق: التراص مقابل التداخل

تقارن الورقة بين طريقتين لتوسيع عمق النموذج:

• التراص (Stacking): دمج تسلسل الطبقات الأصلي $k$ من المرات ($l_1, \dots, l_n, l_1, \dots, l_n$).
• النمو التداخلي (Interpositional Growth): تكرار كل طبقة في مكانها ($l_1, l_1, \dots, l_2, l_2, \dots$).

رؤية جوهرية: يكشف تحليل نماذج LLM المدربة مسبقاً عن توزيع مميز لمعيار وزن الطبقات (layer-wise weight norm): تكون المعايير صغيرة في الطبقات الأولية، وتزد de تزايداً رتيباً عبر المنتصف، ثم تنخفض قليلاً بالقرب من النهاية. هذا النمط هو بصمة هيكلية للتقارب الصحي.

• التراص يقطع هذا الاتجاه الرتيب عبر وضع معايير الطبقات المبكرة بعد معايير الطبقات المتأخرة، مما يخلق انقطاعات حادة تتطلب من النموذج "إصلاحها" أثناء التدريب المستمر.
• النمو التداخلي يحافظ على مسار معيار الوزن المتعلم عبر تكرار الطبقات في مكانها، مما يحافظ على التقدم الهيكلي السلس.
• العتبة: تصبح تفوق طريقة النمو التداخلي حاسماً بمجرد تدريب النموذج الأساسي بما يتجاوز الـ FLOPs المثلى حسابياً والمحددة بقوانين مقياس تشينشيا (Chinchilla scaling laws) (حوالي $1\times F_c$).

2. نمو العرض: تكرار الخبراء المشوب بالضجيج

لتوسيع عرض النموذج، يقترح المؤلفون مضاعفة كل من إجمالي عدد الخبراء ($E \to 2E$) وعدد الخبراء المفعلين ($k \to 2k$).

• استراتيجية التهيئة: يتم تهيئة الخبراء الجدد عن طريق نسخ أوزان الخبراء الحاليين وإضافة قدر ضئيل من الضجيج الغاوسي ($\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ حيث $\alpha \approx 0.01$).
• المبرر: التكرار المتطابق يخلق تماثلاً كاملاً، مما يمنع التباعد الوظيفي. تعمل الاضطرابات الطفيفة على كسر هذا التماثل بما يكفي للسماح للموجه (router) بالتمييز بين الخبراء أثناء التدريب المستمر، مع الحفاظ على التمثيلات المتعلمة. وهذا يتناقض مع "الترقية من الأعلى" (upcycling) من النماذج الكثيفة، والتي غالباً ما تتطلب مستويات ضجيج عالية ($\ge 50\%$) وتهيئة عشوائية للموجه.

3. التعامد

توضح الورقة أن نمو العمق ونمو العرض متعامدان.

• الانفصال الهيكلي: يضيف نمو العمق طبقات جديدة؛ بينما يضيف نمو العرض خبراء جدد داخل الطبقات الموجودة. يعملان على مجموعات معلمات غير متداخلة.
• ديناميكيات التحسين: يظهر تحليل التدرج أن اتجاهات التحسين للنماذج الناتجة عن نمو العمق ونمو العرض تكاد تكون متعامدة مع اتجاه ما قبل النمو ومع بعضها البعض.
• استقلالية الترتيب: الأداء النهائي ثابت بغض النظر عن تسلسل التوسع (العمق أولاً ثم العرض مقابل العرض أولاً ثم العمق)، مما يؤكد إمكانية دمج الاستراتيجيات بمرونة.

النتائج الرئيسية

تم التحقق من صحة إطار العمل من خلال تجارب واسعة النطاق على نماذج تتراوح من 3 مليار إلى 70 مليار معلمة باستخدام مجموعة بيانات مكونة من 1 تريليون توكن.

• فعالية نمو العمق: في نموذج MoE بحجم 3 مليار تم نموه إلى 6 مليار، تفوقت طريقة التداخل باستمرار على طريقة التراص في كل من خسارة التدريب والدقة النهائية. واتسعت فجوة الأداء كلما أصبح النموذج الأساسي أكثر تقارباً.
• الارتباط بالتكلفة الغارقة: هناك ارتباط إيجابي قوي بين مقدار "الـ FLOPs الغارقة" (خطوات التدريب قبل النمو) والدقة النهائية للنموذج المنما. النماذج التي نمت من نقاط تحقق لاحقة وأكثر تقارباً حققت أداءً نهائياً أعلى من تلك التي نمت من نقاط تحقق مبكرة، حتى مع وجود ميزانيات حوسبة إضافية متطابقة.
• المقارنة بالتدريب من الصفر:
  • تحت ميزانية حوسبة إضافية ثابتة، تفوق نمو النماذج بشكل كبير على تدريب نموذج كبير من الصفر (تحسن بنسبة 10.6% في تجربة الـ 70 مليار).
  • تحت ميزانية حوسبة إجمالية ثابتة (الغارقة + الإضافية)، حقق نمو النماذج نتائج مماثلة أو متفوقة قليلاً على التدريب من الصفر، بشرط بدء النمو من نقطة تحقق ذات تكلفة غارقة كافية.
• القابلية للتوسع: نجحت الطريقة في توسيع نموذج 17 مليار MoE (تم تدريبه على ~600 مليار توكن) إلى 70 مليار معلمة (تم تدريبه على إجمالي 1 تريليون توكن). حقق نموذج الـ 70 مليار النهائي دقة متوسطة بلغت 64.17، متفوقاً على خط الأساس لـ 17 مليار بمقدار 5.62 نقطة، وعلى خط الأساس لـ 70 مليار المدرب من الصفر بمكسب نسبي قدره 10.6% تحت نفس ميزانية الـ FLOPs الإضافية.

الأهمية والادعاءات

تدعي الورقة أنها توفر مخططاً فعالاً من حيث التكلفة لتطوير نماذج LLM واسعة النطاق ومستدامة. تكمن أهميتها الأساسية في:

1. إعادة تدوير التكاليف الغارقة: إثبات أن نقاط التحقق المدربة مسبقاً، والتي غالباً ما تُعامل كأصول وسيطة قابلة للاستبدال، يمكن الاستفادة منها بشكل منهجي لإنشاء نماذج أكبر، مما يحافظ على قيمة الاستثمارات الحسابية السابقة.
2. استراتيجيات النمو المثلى: إثبات أنه بالنسبة للنماذج الأكثر تقارباً، فإن نسخ الطبقات التداخلي وتكرار الخبراء بأقل قدر من الضجيج يتفوقان على التراص التقليدي والتهيئة العشوائية.
3. التوسع المتعامد: إثبات إمكانية توسيع العمق والعرض بشكل مستقل وبأي ترتيب دون تداخل، مما يوفر المرونة في سيناريوهات التوسع المقيدة بالموارد.
4. الكفاءة: إظهار أن النمو يمكن أن يحقق مكاسب في الأداء تتجاوز التدريب من الصفر تحت ميزانية حوسبة إضافية متطابقة، مما يخفض فعلياً الحاجز أمام التدريب المسبق للنماذج ذات النطاق الواسع.

يؤكد المؤلفون أن هذا العمل لا يقدم مخاطر مجتمعية جديدة تتجاوز تلك المتأصلة في نماذج LLM، بل يهدف إلى تقليل البصمة البيئية لتطوير النماذج من خلال تحسين كفاءة التدريب.