Adaptive Head Budgeting for Efficient Multi-Head Attention
يقدم BudgetFormer آلية انتباه متعددة الرؤوس تكيفية تقوم بتخصيص عدد محدد من رؤوس الانتباه ديناميكيًا واختيار الأكثر صلة منها لكل مدخل، مما يحسن كلاً من الكفاءة الحسابية والأداء عبر مستويات التعقيد المختلفة للمهام.