Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
Geodesia-KV est un cadre de compression du cache KV sans entraînement et prêt pour le matériel qui emploie une allocation de précision par blocs monotone et une lecture parcimonieuse des requêtes pour surpasser de manière significative les méthodes existantes en termes de perplexité et d'efficacité de bande passante, permettant la génération de contextes de 1 million de jetons sur des GPU grand public de 16 own GiB.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.