Geometry of Lightning Self-Attention: Identifiability and Dimension
Este artigo utiliza geometria algébrica para analisar os espaços de funções de redes de autoatenção não normalizadas, estabelecendo sua identificabilidade e dimensão, ao mesmo tempo em que caracteriza pontos singulares e conjectura esses resultados para arquiteturas normalizadas.