Which Question Is Your Attention Metric Answering? Attention Rows as Compositional Data
تجادل هذه الورقة بأن مقاييس الانتباه القياسية غالبًا ما تؤدي إلى استنتاجات مضللة لأنها تفشل في التمييز بين تركيز النموذج على رمز "بالوعة" (sink token) مهيمن وتوزيعه على رموز المحتوى، وتقترح بدلاً من ذلك معاملة صفوف الانتباه كبيانات تركيبية لفصل هذه العوامل بدقة وتجنب العيوب في تحليل النماذج وتقليصها.