Learning What Matters: Supervising Sparse Attention Routing with Causal Evidence Sets
تُثبت هذه الورقة أن تدريب مُنتقيات الانتباه المتناثرة على مجموعات أدلة سببية مستمدة من تجارب الحجب أكثر فعالية بشكل ملحوظ من الاعتماد على أنماط الانتباه من النماذج الكثيفة المعلمة، حيث غالبًا ما يخطئ الانتباه في تحديد السياق الفعلي الذي يعتمد عليه النموذج في إجاباته.