A Coulomb Particle Model for Learning Kernel Attention in Transformers
تقترح هذه الورقة طريقة قائمة على الجسيمات تتعلم توزيعات ميزات عشوائية متكيفة مع المهام لآلية الانتباه في نماذج المحولات (Transformer) عبر تحسين محاذاة النواة والهدف باستخدام تنظيم التنافر الكولومي، مما يؤدي إلى تحسين الدقة، والمعايرة، والمتانة مع الحفاظ على تعقيد الاستدلال الخطي.