Dynamic Sparse Attention and Mixture-of-Experts for Iterative Visual Classification
تقترح هذه الورقة نموذج "ترانسفورمر" يعتمد على الانتباه المتناثر الديناميكي ومزيج من الخبراء للتصنيف البصري التكراري، والذي يحقق دقة تنافسية في المعايير القياسية مع تقليل عدد المعلمات النشطة ووقت التدريب بشكل كبير من خلال الصقل المتكرر والحوسبة الشرطية.