Key-Value Means
El artículo introduce Medias de Clave-Valor (KVM), un mecanismo novedoso de recurrencia por bloques para la atención que unifica los beneficios de los transformadores y las RNN lineales al permitir un entrenamiento eficiente y paralelizable por fragmentos con crecimiento flexible del estado y tiempo de prellenado subcuadrático, todo ello utilizando operaciones estándar y parámetros adicionales mínimos.