Task-Conditional Accuracy–Support Trade-offs of Sparse Attention Normalizers in Compact Classifiers
Deze studie toont aan dat hoewel fixed-ratio sparse attention normalizers aanzienlijk kunnen presteren ten opzichte van dense softmax in compacte classifiers op specifieke beeld- en teksttaken, hun effectiviteit sterk afhankelijk is van de taak en implementatiedetails in plaats van een universele superioriteit te bieden.