Mixture of Training: Recombining Small-Scale Scaffolded Pretraining Runs into a Larger Language Model
تقدم الورقة البحثية "خليط التدريب" (Mixture of Training - MoT)، وهو إطار عمل للتدريب المسبق المعياري القائم على السقالات، والذي يقوم بتقسيم نموذج "ترانسفورمر" إلى كتل طبقات قابلة للتدريب بشكل مستقل يمكن إعادة تركيبها في نموذج متماسك، مما يثبت أن عمليات التدريب المفككة هذه يمكن أن تحقق تكافؤاً في الجودة مع التدريب المتجانس مع تقديم مزايا حوسبية محتملة من خلال السقالات القابلة لإعادة الاستخدام.