Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts
تقدم هذه الورقة استراتيجية "النمو المتعامد" التي تعيد تدوير نقاط فحص نماذج "خليط الخبراء" (Mixture-of-Experts) المتقاربة الموجودة عبر توسيع عمقها وعرضها، مما يثبت أن هذا النهج يتفوق بشكل كبير على التدريب من الصفر تحت ميزانية حوسبية متطابقة من خلال الاستفادة من "التكاليف الغارقة" السابقة لتحقيق دقة أعلى.