ملخص تقني: الجسر بين التدريب المسبق الأمثل للحوسبة والأمثل للبيانات

1. بيان المشكلة

تعمل قوانين القياس التقليدية للتدريب المسبق (مثل Kaplan et al., 2020; Hoffmann et al., 2022) تحت افتراض أن بيانات التدريب المسبق الجديدة غير محدودة وتتوسع بحرية مع الحوسبة. ومع ذلك، ينتقل المجال إلى مرحلة حيث تنمو قدرة الحوسبة بشكل أسي بينما تظل بيانات التدريب المسبق عالية الجودة محدودة ومكلفة في التنسيق. في هذا "النظام المقيد بالبيانات"، يجب على الممارسين إنفاق حوسبة إضافية على الرموز المشتقة ($D'$) المتولدة من مجموعة بيانات ثابتة ($D$) عبر استراتيجيات مثل تكرار الدورات المتعددة، أو إعادة الصياغة، أو التقطير.

السؤال المركزي الذي تعالجه هذه الدراسة هو: بالنسبة لنموذج بحجم $N$ تم تدريبه على مجموعة بيانات ثابتة $D$، كم يمكن للحوسبة الإضافية (المنفقة على الرموز المشتقة $D'$) أن تقلل من خسارة التدريب المسبق؟ لا تصف القوانين الحالية بشكل كافٍ المقايضة بين الحوسبة والبيانات عندما يكون إمداد البيانات محدوداً.

2. المنهجية

إطار قياس الحوسبة-البيانات (CD-scaling)

يقترح المؤلفون إطاراً موحداً، وهو قوانين قياس CD، والذي يجسّر الفجوة بين:

1. قياس الأمثلية للحوسبة ($L_{Chin}$): حيث تكون البيانات غير محدودة ($D' = 0$).
2. قياس الأمثلية للبيانات ($L_D$): حيث تكون الحوسبة غير محدودة على مجموعة بيانات ثابتة ($D' \to \infty$).

جوهر الإطار هو دالة فعالية الرمز، $\eta_{strat} \in [0, 1]$، والتي تقيس قيمة الرمز المشتق بالنسبة للرمز الجديد. قانون القياس المقترح هو:

$$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$$

حيث أن:

• $N$: معاملات النموذج (Parameters).
• $D$: الرموز الجديدة (التي رأت المجموعة مرة واحدة).
• $D'$: الرموز المشتقة.
• $\eta_{strat}$: معامل الفعالية المعتمد على استراتيجية التوسع (التكرار أو إعادة الصياغة)، وحجم النموذج $N$، وتوافر البيانات.

الإعداد التجريبي

• البنية المعمارية: OLMo3 (Olmo et al., 2025).
• أحجام النماذج: من 14 مليون إلى 600 مليون معلمة.
• البيانات: مجموعة بيانات Dolma-3 (150 مليار رمز).
• الاستراتيجيات:
  1. تكرار الدورات المتعددة: تكرار مجموعة البيانات لدورات إضافية.
  2. إعادة الصياغة: إعادة صياغة المستندات باستخدام SmolLM2-1.7B-Instruct مع مزيج أنماط محدد (سؤال، رياضيات، أسئلة شائعة، جداول).
• الملاءمة (Fitting): يقوم المؤلفون بملاءمة معاملات قانون القياس عبر مسح أحجام البيانات الجديدة ($D$)، وميزانيات الرموز المشتقة ($D'$)، والمعلمات الفائقة (معدل التعلم، تلاشي الوزن). ويستنتجون $\eta_{emp}$ تجريبياً من خلال إيجاد القيمة التي تعيد إنتاج الخسائر المرصودة بناءً على ثوابت القياس لدورة واحدة.

الشكل البارامتري لـ $\eta$

يكشف التحليل التجريبي أن $\eta$ ليست ثابتة بل تتناقص كدالة لـ:

1. نسبة التوسع ($r = D'/D$): تتناقص $\eta$ مع إضافة المزيد من البيانات المشتقة.
2. الرموز لكل معلمة ($TPP = D/N$): تتناقص $\eta$ بشكل أسرع عندما تكون البيانات الجديدة نادرة بالنسبة لحجم النموذج.
3. حجم النموذج ($N$): النماذج الأكبر تصل إلى حالة التشبع بشكل أسرع.

يصيغ المؤلفون البيانات المشتقة الفعالة ($\eta \cdot D'$) كقيمة تتشبع عند سقف $R^*$. الشكل الوظيفي المعتمد هو:
$$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$$
حيث يتبع سقف التشبع $R^*$ قانون القوة المعتمد على $N$ و $TPP$:
$$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$$

3. النتائج الرئيسية

1. الفعالية غير الثابتة

فعالية الرموز المشتقة بعيدة كل البعد عن كونها ثابتة. فهي تعتمد بشكل مشترك على حجم النموذج، ونسبة $TPP$، وكمية البيانات المشتقة. مع توسع مجموعة البيانات ($D' \to \infty$)، يتشبع عدد الرموز الفعال $D_{eff} = D + \eta D'$.

2. ثلاثة أنظمة تشغيلية

يقسم قانون قياس CD عملية التدريب إلى ثلاثة أنظمة متميزة بناءً على القيد الحاكم:

• المقيد بالحوسبة (Compute-bound): بين جبهة الأمثلية للحوسبة ($L_{Chin}$) وجبهة الأمثلية للبيانات ($L_D$). هنا، تقلل الحوسبة الإضافية على $D'$ الخسارة بشكل كبير.
• المقيد بالبيانات (Data-bound): بين $L_D$ وأرضية النموذج المحدودة ($L_N$). لقد تشبعت الرموز المشتقة؛ والبيانات الجديدة فقط هي التي يمكنها تقليل الخسارة أكثر.
• المقيد بالنموذج (Model-bound): الحد التقاربي حيث تشبعت كل من الحوسبة والبيانات؛ وزيادة $N$ فقط هي ما يساعد.

تتقلص منطقة "المقيد بالحوسبة" مع زيادة حجم النموذج ($N$) و $TPP$، مما يشير إلى تناقص العوائد للحوسبة الإضافية في النماذج الأكبر أو تلك التي تمتلك بيانات وفيرة.

3. اختيار الاستراتيجية والتحسين

• النماذج الصغيرة ($N \lesssim 600M$) وميزانيات البيانات المنخفضة: إعادة الصياغة أكثر فعالية بشكل ملحوظ من التكرار.
• النماذج الكبيرة ($N \gtrsim 190M$) وميزانيات البيانات العالية: التكرار يتفوق على إعادة الصياغة.
• توصيات الدورات (Epochs): "قاعدة الـ 4 دورات" (التي غالباً ما تُذكر لـ Chinchilla) تنطبق فقط على النماذج متوسطة الحجم ($\sim 3B$) بالقرب من مقياس بيانات $1\times$ لـ Chinchilla. بالنسبة للنماذج الأكبر و $TPP$ الأعلى، ينخفض عدد الدورات الموصى بها.
• جبهة باريتو (Pareto Frontier): يحدد الإطار التوزيع الأمثل للحوسبة والبيانات، مما يعمم تحسين الحوسبة فقط الخاص بـ Chinchilla إلى جبهة باريتو مشتركة للحوسبة والبيانات.

4. النقل للمهام اللاحقة (Downstream Transfer)

تظل خسارة التحقق (Validation loss) إحصائية كافية للقدرة في المهام اللاحقة (مقاسة بـ BPB في مهام LM والدقة في اختبارات مثل LAMBADA و SQuAD) بغض النظر عما إذا كان النموذج قد تدرب باستخدام دورة واحدة، أو تكرار، أو إعادة صياغة. جميع الاستراتيجيات تنهار في منحنى واحد عند رسمها مقابل خسارة التحقق.

4. الأهمية والادعاءات

يدعي البحث تقديم إطار عمل موحد يستعيد القوانين الموجودة كحالات خاصة:

• يتم استعادة قياس الأمثلية للحوسبة عندما يكون $D' = 0$.
• يتم استعادة قياس البيانات المقيدة (Muennighapp et al., 2025) كحالة خاصة حيث يكون سقف التشبّع $R^*$ ثابتاً.
• يتم استعادة قياس الأمثلية للبيانات (Kim et al., 2025) كحد حيث $D' \to \infty$.

الآثار العملية:

1. تحديد الموارد: يمكن للممارسين تحديد ما إذا كان تشغيل التدريب الخاص بهم مقيداً بالحوسبة، أم بالبيانات، أم بسعة النموذج.
2. استراتيجية التخصيص: يحدد القانون التقسيم الأمثل للحوسبة بين البيانات الجديدة والبيانات المشتقة، متجاوزاً مجرد هيورستيك (Heuristic) "Chinchilla".
3. توجيه الاستراتيجية: يوفر توصيات قائمة على البيانات حول متى يجب الانتقال من التكرار إلى إعادة الصياغة، وكم عدد الدورات أو عمليات إعادة الصياغة المثلى قبل أن تتناقص العوائد.

5. القيود

يشير المؤلفون إلى عدة قيود:

• الملاءمة التجريبية: تمتص دالة $\eta$ البواقي من ملاءمة الدورة الواحدة، مما قد يؤدي إلى دفع $\eta_{emp} > 1$.
• الحساسية للمعلمات الفائقة: تم مسح معدل التعلم وتلاشي الوزن فقط؛ بينما تم تثبيت المعلمات الفائقة الأخرى (حجم الدفعة، طول التسلسل).
• تكلفة الحوسبة: تطلب إنشاء هذه القوانين أكثر من 250 ألف ساعة من H100.
• النطاق: تركز الدراسة على النماذج الصغيرة إلى المتوسطة (حتى 600 مليون)، رغم أنه تم التحقق من قدرة القانون على الاستقراء لأحجام أكبر.
• الاستراتيجيات: تركز الدراسة على التكرار وإعادة الصياغة؛ بينما تظل الاستراتيجيات الأخرى مثل التقطير الذاتي أو البيانات الهيكلية الاصطناعية غير مستكشفة.