ملخص تقني: قوانين التوسع التوجيهية للتدريب المقيد بالبيانات

بيان المشكلة

بات تدريب النماذج اللغوية الكبيرة (LLMs) مقيداً بشكل متزايد بتوفر البيانات عالية الجودة بدلاً من القدرة الحسابية. وبينما تتوفر النصوص الخام بكثرة، تعتمد مسارات العمل المتطورة على عمليات تصفية صارمة للجودة، ومجموعات فرعية منسقة، ومجموعات بيانات خاصة بمجالات معينة، مما يخلق عنق زجاجة حيث تتجاوز الميزانية الحسابية غالباً حجم البيانات الفريدة المتاحة. في هذا النظام، يلجأ الممارسون تكراراً إلى تدريب النماذج لعدة دورات (epochs) على نفس البيانات.

تفترض قوانين التوسع الحالية، ولا سيما قانون "تشينشيلا" (Chinchilla law) المعتمد على نطاق واسع (Hoffmann et al., 2022)، أن كل توكن (token) تدريبي هو توكن فريد. أما الامتدادات للتعامل مع تكرار البيانات، مثل صيغة "البيانات الفعالة" (effective-data) من (Muennighoff et al., 2023)، فهي تصيغ العوائد المتناقصة لكنها تفشل في رصد الحالة التي يرتفع فيها الخسارة (loss) بسبب الإفراط في التخصيص (overfitting). والأهم من ذلك، أن هذه النماذج الحالية لا تأخذ في الاعتبار صراحةً التفاعل بين حجم النموذج والتكرار: فالنماذج الأكبر تعاني من الإفراط في التخصيص بشكل أسرع على البيانات المكررة مقارنة بالنماذج الأصغر. وبدون نمذجة هذا التفاعل، لا يمكن لقوانين التوسع التنبؤ بالسلوك أو توجيه التخصيص الأمثل للحوسبة في البيئات المقيدة بالبيانات.

المنهجية

يقترح المؤلفون صيغة جديدة لقانون التوسع تعمل على نمذجة تكلفة تكرار البيانات صراحةً من خلال عقوبة إضافية للإفراط في التخصيص.

الإعداد التجريبي

• النماذج: أكثر من 300 نموذج لغوي من نوع (decoder-only) تعتمد على بنية Llama 2، تتراوح أحجامها من 15 مليون إلى 1 مليار معلمة (parameters).
• البيانات: تم التدريب على مجموعة بيانات FineWeb (Penedo et al., 2024).
• الشبكة التجريبية: شملت الدراسة مسحاً عبر ميزانيات البيانات الفريدة ($U_D$) من 50 مليون إلى 6 مليارات توكن، وعدد مرات التكرار ($R_D$) من 0 إلى 15 دورة.
• التنظيم (Regularization): تم اختبار قوتين لـ "تضاؤل الوزن" (weight decay): قوة قياسية ($\lambda = 0.1$) وقوة عالية ($\lambda = 1.0$)، مع تثبيت جميع المعلمات الأخرى.
• التقييم: خسارة التحقق النهائية (validation loss)، والارتباك (perplexity)، والأداء في المهام اللاحقة عبر مجموعة تقييم OLMES (Gu et al., 2025) عبر 19 مهمة.

قانون التوسع المقترح

يشتق المؤلفون عائلة من قوانين التوسع التي تعزز صيغة "تشينشيلا" بحد إضافة للعقوبة. الصيغة العامة هي:
$$L(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{(U_D \cdot (1 + R_D))^\beta} + \text{Penalty}(N, U_D, R_D)$$

حيث تلتقط حد العقوبة الخسارة الزائدة الناتجة عن التكرار. يقدم المؤلفون "سلماً للتعقيد" من الصيغ:

1. صيغة المعلمة الواحدة: عقوبة خطية في عدد التكرار مُدرجة بالنسبة لنسبة حجم النموذج إلى البيانات الفريدة: $P \cdot R_D \cdot \frac{N}{U_D}$.
2. صيغة المعلمتين: تُدخل أُسّاً غير خطي $\kappa$ على نسبة السعة: $P \cdot R_D \cdot (\frac{N}{U_D})^\kappa$.
3. صيغة الأربع معلمات: تضيف أُسّاً فوق خطي $\delta$ على عدد التكرار وتفصل أُس ميزانية البيانات $\gamma$: $P \cdot R_D^\delta \cdot (\frac{N}{U_D^\gamma})^\kappa$.

تفترض هذه الصيغة أن التوكنات المكررة تؤدي دوراً مزدوجاً: فهي تستمر في تقليل حد كفاية البيانات (تعمل كبيانات مفيدة) بينما تسبب في الوقت نفسه تكلفة إفراط في التخصيص متزايدة تعتمد على حجم النموذج وندرة البيانات.

النتائج الرئيسية

1. جودة المطابقة المتفوقة

تتفوق قوانين العقوبة الإضافية المقترحة بشكل كبير على الصيغ الحالية (Chinchilla baseline و Muennighoff et al., 2023) في التنبؤ بخسارة التحقق تحت التكرار.

• المطابقة الوصفية: حتى أبسط صيغة ذات معلمة واحدة تتفوق بشكل كبير على نماذج الاضمحلال الأسي ($R^2_{multi} \approx 0.95$ مقابل $0.58$للنموذج الأساسي في الدراسة القياسية). وتحقق صيغة الأربع معلمات مطابقة شبه مثالية ($R^2 \approx 0.997$).
• التعميم: تتعمم صيغ العقوبة الإضافية على مجموعة بيانات C4 الخاصة بـ (Muennighoff et al., 2023) المحجوزة للاختبار، متفوقة على صيغ "البيانات الفعالة" الخاصة بهم على تلك البيانات، مما يؤكد أن التحسن ليس نتاجاً لظروف التدريب المحددة.

2. التخصيص الأمثل للحوسبة

تقدم قانون التوسع الجديد نصيحة نوعية مختلفة لتخصيص الحوسبة في البيئات المقيدة بالبيانات مقارنة بالأعمال السابقة:

• الأعمال السابقة: قانون "تشينشيلا" (الذي يتجاهل الإفراط في التخصيص) يوصي دائماً بمزيد من التكرار مع زيادة الحوسبة. أما قانون (Muennighoff et al., 2023) فيوصي بعوائد متناقصة لكنه لا يقترح أبداً التوقف عن التكرار.
• هذا العمل: يحدد القانون المقترح عتبة حوسبية يصبح بعدها المزيد من التكرار غير منتج. بعد هذه النقطة، الاستراتيجية المثلى هي تخصيص حوسبة إضافية لـ سعة النموذج (حجم $N$ أكبر) مع تقليل عدد الدورات ($R_D$). وهذا يخلق "ارتداداً" في جبهة التخصيص.

3. التحقق التوجيهي

تحقق المؤلفون من توصيات القانون عبر تدريب التكوينات المحددة (حجم النموذج وعدد الدورات) التي أوصى بها كل قانون لميزانيات حوسبة وبيانات ثابتة.

• حققت التكوينات التي أوصى بها القانون المقترح باستمرار أدنى مستويات الارتباك (perplexity) وأفضل أداء في المهام اللاحقة (OLMES BPB) عبر جميع الميزانيات المختبرة.
• على سبيل المثال، عند ميزانية حوسبة قدرها $2 \times 10^{19}$ FLOPs و $500M$ توكن فريد، أوصى القانون المقترح بنموذج حجمه 2.2B معلمة مدرب لـ 3 دورات، متفوقاً على توصية "تشينشيلا" (670M معلمة، 10 دورات) وتوصية (Muennighoff) (950M معلمة، 7 دورات).

4. دراسة حالة: تضاؤل الوزن (Weight Decay)

تحدد المعلمة الوحيدة $P$ في حد العقوبة مدى قوة التكوين تجاه تكرار البيانات.

• الحد من الإفراط في التخصيص: يقلل تضاؤل الوزن القوي ($\lambda = 1.0$) من معامل الإفراط في التخصيص $P$ بنسبة تقارب 70% مقارنة بتضاؤل الوزن القياسي ($\lambda = 0.1$).
• نقطة التقاطع: بينما يفرض تضاؤل الوزن القوي "علاوة خسارة" (loss premium) في نظام الدورة الواحدة، فإن تقليل عقوبة الإفراط في التخصيص يخلق نقطة تقاطع عند ميزانيات الحوسبة العالية ($C \approx 3.2 \times 10^{18}$ FLOPs لـ $U_D=250M$). بعد هذه النقطة، يتيح تضاؤل الوزن القوي استخدام الحوسبة الإضافية بشكل منتج، متفوقاً على الإعدادات القياسية. يوفر هذا تفسيراً لقانون التوسع للنتائج التجريبية الأخيرة (Kim et al., 2026) التي تشير إلى أن تضاؤل الوزن الأمثل في البيئات المقيدة بالبيانات أكبر بمرتبة عشرية من الممارسة القياسية.

الأهمية والادعاءات

يدعي البحث تقديم إطار توجيهي للتدريب المقيد بالبيانات يتجاوز افتراضات "البيانات اللانهائية" الخاصة بـ "تشينشيلا".

• نصيحة تخصيص جديدة: المساهمة الأساسية هي تحديد النظام الذي يصبح فيه التكرار ضاراً، مما ينقل الاستراتيجية المثلى من "المزيد من الدورات" إلى "نماذج أكبر".
• قوة قابلة للقياس: من خلال عزل الإفراط في التخصيص في معامل واحد، يتيح القانون مقارنة مباشرة لمتانة التكوينات (مثل شدة التنظيم المختلفة) دون الحاجة لعمليات مسح شاملة للمعلمات الفائقة.
• إرشاد عملي: يجادل المؤلفون بأنه بالنسبة للممارسين الذين لديهم ميزانيات بيانات ثابتة، هناك مستوى حوسبة محدد يصبح بعده تكرار البيانات غير منتج. ويوفرون طريقة ملموسة لتحديد هذه العتبة وحجم النموذج الأمثل المقابل لها.
• التواضع: يقر المؤلفون بالقيود، مشيرين إلى أن الأسات (exponents) التي تم ضبطها تم التحقق منها حتى 1 مليار معلمة و16 دورة، وأن القانون لا يشمل ظواهر مثل "الانحدار المزدوج" (double descent). كما يلاحظون أن إعادة تحليل (Muennighoff et al., 2023) تشير إلى أن اختلافهم في استراتيجيات التخصيص ينبع من خطأ في تحديد النموذج الأساسي في العمل السابق وليس من تناقض جوهري في فيزياء التوسع.