The Role of Symmetry in Optimizing Overparameterized Networks
تُبين هذه الورقة أن الإفراط في المعلمات (overparameterization) في الشبكات العصبية يُحسّن التدريب من خلال إدخال تماثلات في فضاء الأوزان تعمل كمعالجة مسبقة قطرية (diagonal preconditioning) لتحسين شرطية هسيان (Hessian conditioning) وزيادة الكتلة الاحتمالية للقيم الصغرى العالمية بالقرب من التهيئات النموذجية، مما يؤدي إلى تسريع التقارب.