Geometry of Lightning Self-Attention: Identifiability and Dimension
Este artículo emplea la geometría algebraica para analizar los espacios de funciones de las redes de autoatención no normalizadas, estableciendo su identificabilidad y dimensión al tiempo que caracteriza los puntos singulares y conjetura estos resultados para las arquitecturas normalizadas.