MiTA Attention: Efficient Fast-Weight Scaling via a Mixture of Top-k Activations
O artigo propõe o mecanismo MiTA Attention, uma abordagem eficiente que unifica métodos de atenção existentes e reduz o custo computacional em sequências longas comprimindo a matriz de pesos rápidos e utilizando uma estratégia de roteamento baseada nas top-k ativações de consultas âncora.