Task-Conditional Accuracy–Support Trade-offs of Sparse Attention Normalizers in Compact Classifiers
Questo studio dimostra che, sebbene i normalizzatori di attenzione sparsa a rapporto fisso possano superare significativamente la softmax densa nei classificatori compatti su specifici compiti di immagine e di testo, la loro efficacia dipende fortemente dal compito e dai dettagli di implementazione piuttosto che offrire una superiorità universale.