Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
Geodesia-KV es un marco de compresión de caché KV libre de entrenamiento y listo para hardware que emplea la asignación de precisión por bloques monotónica y la lectura dispersa de consultas para superar significativamente a los métodos existentes en perplejidad y eficiencia de ancho de banda, permitiendo la generación de contextos de 1M de tokens en GPUs de consumo con 16 GiB.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.