Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers
تقدم هذه الورقة مبدأً متوافقاً مع التماثل لتصميم المحسنات، يربط قواعد تحديث التدرج بهياكل التكافؤ المحددة لكتل المعلمات المختلفة — مثل التضمينات (embeddings)، ورؤوس النماذج اللغوية الكبيرة (LM heads)، وطبقات (SwiGLU MLPs)، وموجهات (MoE routers) — مُثبتةً من خلال تجارب ما قبل التدريب المكثفة أن هذه المحسنات المصممة خصيصاً تتفوق باستمرار على (AdamW) في خسارة التحقق النهائية واستقرار التدريب.