Pretraining large language models with MXFP4
تحدد هذه الورقة أن تكميم تدرجات الأوزان (Wgrad) هو السبب الرئيسي لعدم الاستقرار في تدريب النماذج اللغوية الكبيرة بنظام FP4 عبر المسار الكامل، وتثبت أن تدويرات هادامارد الحتمية، بدلاً من التدوير العشوائي، ضرورية لاستعادة استقرار التقارب.