Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
Geodesia-KV é um framework de compressão de cache KV livre de treinamento e pronto para hardware que emprega alocação de precisão monótona por blocos e leitura esparsa de consultas para superar significativamente os métodos existentes em perplexidade e eficiência de largura de banda, permitindo a geração de contexto de 1 milhão de tokens em GPUs de consumo de 16 GiB.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.