When Losses Align: Gradient-Based Composite Loss Weighting for Efficient Pretraining
تقترح هذه الورقة طريقة ثنائية المستوى قائمة على التدرج تتعلم بكفاءة أوزان خسارة ما قبل التدريب عبر الإنترنت من خلال محاذاة التدرجات المركبة مع الأهداف النهائية، مما يقلل بشكل كبير من التكلفة الحسابية لضبط المعلمات الفائقة مقارنة بالبحث العشوائي أو البايزي مع مطابقة الأداء أو تحسينه.