Bridging Compute- and Data-Optimal Pretraining
تقدم هذه الورقة قوانين توسع الحوسبة-البيانات (CD)، وهي إطار عمل موحد ينمذج العوائد المتناقصة للبيانات المشتقة من خلال دالة فعالية الرموز (token-effectiveness) لسد الفجوة بين أنظمة التدريب المسبق المثلى للحوسبة وتلك المثلى للبيانات، كاشفةً أن التخصيص الكلاسيكي الأمثل للحوسبة هو دون المستوى الأمثل في معظم الإعدادات العملية.