The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool
من خلال تجارب تجريبية على مجموعة ثابتة مكونة من 24 مليون رمز، تُظهر هذه الورقة أن التصفية الصارمة للجودة في ظل ميزانية حوسبة ثابتة غالبًا ما تضر بأداء النموذج عبر فرض تكرار مفرط للبيانات، في حين أن الاحتفاظ بالبيانات منخفضة الجودة والإفراط في أخذ عينات من المجموعات الفرعية عالية الجودة يحقق نتائج متفوقة أو مكافئة عبر مختلف الأهداف.