Adaptive Memory Decay for Log-Linear Attention
تقترح هذه الورقة البحثية "الاضمحلال الذاكراتي التكيفي" (Adaptive Memory Decay)، وهي طريقة تستبدل معامل الاضمحلال الثابت في آلية الانتباه اللوغاريتمي الخطي بآلية قابلة للتعلم وتعتمد على المدخلات عبر شبكة عصبية بسيطة متعددة الطبقات (MLP)، مما يعزز أداء الذاكرة طويلة المدى والمرونة مع الحفاظ على التعقيد الحسابي اللوغاريتمي الخطي للنموذج.