Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
Geodesia-KV ist ein trainingsfreies, hardwarefertiges KV-Cache-Kompressionsframework, das eine monotone blockweise Präzisionsallokation und spärliches Abfragen (query-sparse reading) einsetzt, um bestehende Methoden in Bezug auf Perplexität und Bandbreiteneffizienz signifikant zu übertreffen und die Generierung von 1-Million-Token-Kontexten auf handelsüblichen 16-GiB-GPUs zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.