Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
Geodesia-KV is een training-vrij, hardware-klaar KV-cachecompressiekader dat monotone blokgewijze precisietoewijzing en query-sparse uitlezing gebruikt om bestaande methoden aanzienlijk te overtreffen in perplexiteit en bandbreedte-efficiëntie, waardoor generatie van 1M-token context mogelijk wordt op consumentengraad 16 GiB GPU's.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.