Rank-Factorized Implicit Neural Bias: Scaling Super-Resolution Transformer with FlashAttention
Il paper propone la Rank-Factorized Implicit Neural Bias (RIB), un metodo che sostituisce il bias posizionale relativo per abilitare FlashAttention nei Transformer per la super-risoluzione, permettendo di scalare le finestre di attenzione fino a 96×96 e ottenendo prestazioni superiori con tempi di addestramento e inferenza significativamente ridotti.