Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
Geodesia-KV è un framework di compressione della cache KV privo di addestramento e pronto per l'hardware che impiega l'allocazione della precisione per blocchi monotona e la lettura query-sparse per superare significativamente i metodi esistenti in termini di perplexity ed efficienza di banda, consentendo la generazione di contesti da 1M di token su GPU consumer da 16 GiB.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.