Hidden Failure Modes of Gradient Modification under Adam in Continual Learning, and Adaptive Decoupled Moment Routing as a Repair
تحدد الورقة البحثية نمط فشل خفي حيث تتعارض طرق تعديل التدرج (مثل الإسقاط أو إعادة التشغيل) مع تحديثات العزم الثاني لخوارزمية Adam، مما يسبب انهياراً في الأداء في التعلم المستمر، وتقترح "توجيه العزم المنفصل التكيفي" لإصلاح ذلك عن طريق توجيه التدرجات المعدلة إلى العزم الأول فقط.