Sparser Block-Sparse Attention via Token Permutation
تقدم هذه الورقة البحثية آلية "انتباه الكتل المتبادلة" (Permuted Block-Sparse Attention - PBS-Attn)، وهي طريقة جاهزة للاستخدام تعتمد على تبديل ترتيب الرموز (token permutation) لتحسين التشتت على مستوى الكتل في النماذج اللغوية الكبيرة ذات السياق الطويل، محققةً تسريعاً يصل إلى 2.75 ضعفاً في مرحلة التعبئة المسبقة (prefilling) مع الحفاظ على دقة تضاهي الانتباه الكامل.