💻 computer science
Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
Geodesia-KVは、単調なブロック単位の精度割り当てとクエリ疎な読み出しを採用することで、既存の手法をパープレキシティと帯域幅効率の両面で大幅に上回り、コンシューマー向けの16 GiB GPU上で100万トークンのコンテキスト生成を可能にする、学習不要でハードウェア対応のKVキャッシュ圧縮フレームワークである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。