Efficient Construction of Model Family through Progressive Training Using Model Expansion

إليك ملخص تقني مفصل للورقة البحثية بعنوان "البناء الفعال لعائلة النماذج من خلال التدريب التصاعدي باستخدام توسيع النموذج"، المنشورة في COLM 2025.

1. بيان المشكلة

تتضمن الممارسة القياسية في تطوير النماذج اللغوية الكبيرة (LLMs) إنشاء عائلات نماذج (مثل 1 مليار، 4 مليارات، 8 مليارات، 70 مليار معلمة) لتلبية مختلف القيود الحسابية. ومع ذلك، فإن النهج التقليدي يقوم بتدريب كل حجم نموذج بشكل مستقل ومن الصفر.

• عدم الكفاءة: يؤدي هذا إلى تكلفة حسابية تراكمية. فتدريب عائلة من النماذج $[X_1, X_2, \dots, X_n]$ يتطلب $\sum FLOPs(X_i, T_i)$، وهو أعلى بكثير من تكلفة تدريب أكبر نموذج في العائلة فقط.
• الهدف: يهدف المؤلفون إلى بناء عائلة كاملة من النماذج بتكلفة حسابية إجمالية أقل مع الحفاظ على أداء النماذج الفردية أو تحسينه مقارنة بالتدريب المستقل.

2. المنهجية: التدريب التصاعدي (Progressive Training)

يقترح المؤلفون التدريب التصاعدي، وهو أسلوب يبني عائلة من النماذج عن طريق توسيع النماذج الأصغر المدربة مسبقاً بشكل تدريجي لتصبح نماذج أكبر، بدلاً من تدريبها بشكل مستقل.

الآلية الجوهرية

1. التهيئة (Initialization): البدء بتدريب أصغر نموذج ($X_1$) من الصفر.
2. **توسيع النموذج (Model Expansion):ပါ لـ الأحجام اللاحقة ($X_{i+1}$)، يتم تهيئة المعلمات باستخدام طريقة توسيع النموذج ($f$) المطبقة على النموذج المدرب سابقاً ($X_i$).
   • تستخدم الورقة تقنية bert2BERT (Chen et al., 2022)، والتي تسمح بكل من توسيع العرض (تكرار أوزان الطبقة الخطية) وتوسيع العمق (تجميع الطبقات المدربة مسبقاً).
   • يوفر هذا تهيئة عالية الجودة ($\theta_{init}^{i+1}$) بدلاً من التهيئة العشوائية.
3. استراتيجية تخصيص الرموز (Token Allocation Strategy): لضمان مطابقة التكلفة الحسابية الإجمالية لتكلفة تدريب أكبر نموذج ($X_n$) من الصفر فقط، يتم تقليل عدد رموز التدريب ($T_i$) للنماذج المتوسطة.
   • يتم تحديد القيد كالتالي: $\sum_{i=1}^n FLOPs(X_i, T_i^{prog}) = FLOPs(X_n, T_n^{scratch})$.
   • يتم إعادة تخصيص الـ FLOPs "الموفرة" من عدم تدريب النماذج الصغيرة من الصفر لتدريب أكبر نموذج ضمن نفس الميزانية الإجمالية.

ضبط معدل التعلم (Learning Rate Adjustment)

يقدم المؤلفون تعديلاً استراتيجياً لـ الحد الأقصى لمعدل التعلم بناءً على حجم النموذج:

• النماذج الأصغر (مثل 1 مليار) تستخدم معدل تعلم أعلى ($1.5 \times 10^{-3}$) لتسريع التقارب.
• النماذج الأكبر (مثل 8 مليارات) تستخدم معدل تعلم أقل ($3.0 \times 10^{-4}$) لضمان استقرار التدريب، حيث أن النماذج الأكبر أكثر حساسية لمعدلات التعلم العالية.

3. الإعداد التجريبي

• عائلة النماذج: أحجام تتراوح من 1 مليار إلى 8 مليارات معلمة (1B, 2B, 4B, 8B)، تتضاعف عند كل مرحلة.
• البنية (Architecture): بنية من نوع Llama مع مُرمز (tokenizer) الخاص بـ GPT-2.
• البيانات: FineWeb-Edu و WikiText.
• النماذج المرجعية (Baselines):
  • المستقل (Independent): تدريب كل نموذج من الصفر.
  • التصاعدي (Progressive): تدريب النماذج عبر التوسيع.
  • التصاعدي + بيانات ثابتة (Progressive+Fixed Data): إعداد ضابط يتم فيه تحديد إجمالي البيانات الفريدة بما يعادل الكمية المستخدمة للنموذج 8B المستقل (إعادة استخدام البيانات للمراحل اللاحقة) لاستبعاد تأثير حجم البيانات كمحرك للأداء.
• قوانين القياس (Scaling Laws): أُجريت التجارب تحت إعدادات "قانون تشينتشيلا" (20 رمز لكل معلمة) و"قانون تشينتشيلا 2x" (40 رمز لكل معلمة).

4. النتائج الرئيسية

أ. الكفاءة الحسابية

• تقليل التكلفة: يقلل التدريب التصاعدي إجمالي التكلفة الحسابية لبناء العائلة بأكملها بنسبة تقارب 25% مقارنة بالتدريب المستقل.
  • مثال: في إعداد 2x Chinchilla، تطلب التدريب المستقل حوالي 20.4 ZFLOPs، بينما تطلب التدريب التصاعدي حوالي 15.4 ZFLOPs فقط (ما يعادل تدريب نموذج 8B فقط).
• الأداء: رغم استخدام عدد أقل من الرموز الإجمالية للنماذج المتوسطة، حققت النماذج التصاعدية أداءً مماثلاً أو متفوقاً على النماذج المدربة بشكل مستقل عبر مقاييس الـ Perplexity والاختبارات النهائية (LAMBADA, WinoGrande, PIQA, إلخ).

ب. تأثير ضبط معدل التعلم

• أدى تطبيق معدلات تعلم تعتمد على الحجم إلى تحسين الكفاءة بشكل أكبر.
• حقق الجمع بين التدريب التصاعدي وضبط معدل التعلم خفضاً بنسبة 31% في الـ FLOPs مع الحفاظ على الأداء، مقارنة بخفض قدره 26% مع معدلات التعلم الثابتة.
• تفوق نموذج 8B التصاعدي مع ضبط معدل التعلم على نموذج 8B المستقل في جميع المقاييس تقريباً.

ج. الاتساق عبر أحجام النماذج

من النتائج الفريدة هي أن التدريب التصاعدي يعزز الاتساق السلوكي عبر عائلة النماذج:

• تباعد KL: كان تباعد كولباك - ليبلر (KL divergence) بين أحجام النماذج المتجاورة (مثل 1B مقابل 2B) أقل بكثير في العائلات التصاعدية مقارنة بالعائلات المستقلة. يشير هذا إلى أن النماذج في العائلة التصاعدية تتشارك توزيعات احتمالية وعمليات اتخاذ قرار أكثر تشابهاً.
• فك التشفير التخميني (Speculative Decoding): يترجم هذا الاتساق إلى مكاسب عملية في الاستنتاج. عند استخدام نموذج 4B تصاعدي كنموذج "مسودة" (draft) لنموذج 8B تصاعدي "مولد" (generator):
  • معدل القبول (Acceptance Rate): ارتفع من 87.2% (المسودة المستقلة) إلى 93.2% (المسودة التصاعدية).
  • سرعة الاستنتاج: انخفض وقت التوليد بنسبة تقارب 14.8%.

5. المساهمات الرئيسية

1. إطار بناء فعال: إثبات إمكانية تطبيق توسيع النماذج بشكل تكراري (تصاعدي) لبناء عائلة كاملة من النماذج، مما يقلل إجمالي تكاليف التدريب بنسبة ~25% دون التضحية بالجودة.
2. تفوق الأداء: إظهار أن النماذج التصاعدية، خاصة مع ضبط معدل التعلم، يمكن أن تتفوق على النماذج المدربة بشكل مستقل، مما يتحدى فكرة أن التدريب "من الصفر" ضروري للأداء الأمثل.
3. الاتساق السلوكي: تحديد وقياس أن التدريب التصاعدي يخلق عائلة نماذج أكثر تماسكاً مع توزيعات مخرجات متوافقة، وهو أمر بالغ الأهمية لتقنيات مثل فك التشفير التخميني وتوسيع نطاق السلامة عند النشر.
4. تحليل كفاءة البيانات: إثبات أن مكاسب الأداء ليست ناتجة عن التعرض لمزيد من البيانات الفريدة (عبر تجربة التحكم "Fixed Data") بل هي ناتجة عن جودة التهيئة وديناميكيات التدريب.

6. الأهمية

يقدم هذا العمل نموذجاً فعالاً حاسوبياً لمجتمع معالجة اللغات الطبيعية (NLP). ومع ازدياد الطلب على عائلات النماذج لخدمة الأجهزة الطرفية (النماذج الصغيرة) والمهام المعقدة (النماذج الكبيرة)، تصبح التكلفة التراكمية للتدريب المستقل عائقاً.

• القيود المواردية: تسمه الطريقة المؤسسات ذات الموارد الحسابية المحدودة من نشر طيف كامل من أحجام النماذج.
• مرونة النشر: يسهل الاتساق المتزايد عبر الأحجام عملية النشر، مما يسمح بالانتقال السلس بين أحجام النماذج دون الحاجة لإعادة تدريب المستخدمين أو إعادة معايرة فلاتر الأمان.
• جاهزية المستقبل: يتوافق النهج مع تقنيات توسيع النماذج الناشئة، مما يقترح مساراً قابلاً للتوسع لتطوير النماذج اللغوية الكبيرة في المستقبل.