💻 computer science
Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
Geodesia-KV는 단조적인 블록 단위 정밀도 할당(monotonic block-wise precision allocation)과 쿼리 희소 읽기(query-sparse reading)를 채택하여 기존 방식들을 퍼플렉시티와 대역폭 효율성 측면에서 크게 능가하며, 소비자용 16 GiB GPU에서 1M 토큰 컨텍스트 생성을 가능하게 하는 학습이 필요 없는 하드웨어 준비 완료형 KV 캐시 압축 프레임워크입니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.