From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution
تقدم هذه الورقة تقنية "تجزئة بايت على مستوى البايت منسوبة المصدر" (SA-BPE)، وهي تقنية تنظيمية تعدل هدف تدريب "تجزئة بايت على مستوى البايت" (BPE) القياسي للتخفيف من عدم توازن الرموز وفرط التخصيص الناتج عن تنوع مصادر البيانات، مما يؤدي إلى تقليل الرموز غير المدربة كفاية في أجهزة ترميز الكود مع الحفاظ على كفاءة الاستدلال وسلامته.