Key-Value Means
Het artikel introduceert Key-Value Means (KVM), een nieuw blokgewijs recurrentie-mechanisme voor attention dat de voordelen van transformers en lineaire RNN's verenigt door efficiënt, chunk-paralleliseerbaar trainen met flexibele statiegroei en subkwadratische prefill-tijd mogelijk te maken, alles met standaardoperaties en minimale extra parameters.