Learned Attention or Mechanical Flattening? Diagnosing Index Gains in Spillover Networks

تُظهر هذه الدراسة أنه في حين أن إضافة طبقة انتباه رسومي إلى نموذج شبكة الامتداد يزيد من مؤشر الترابط الإجمالي، إلا أن هذه الزيادة هي على الأرجح نتاج آلي لإعادة توزيع التباين وليس تحسناً حقيقياً في الانتباه المتعلم، حيث يحقق التقليص البسيط نحو مصفوفة موحدة نفس النتائج مع خطأ أقل.

المؤلفون الأصليون: Ozan Nadirgil