🤖 machine learning

CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM

CONF-KV est une nouvelle stratégie d'éviction de cache KV qui ajuste dynamiquement les budgets de cache en fonction de la confiance de prédiction par étape du modèle et utilise un stockage en précision mixte pour réduire considérablement l'utilisation de la mémoire tout en maintenant une haute précision de récupération et des performances de tâche pour l'inférence LLM à long horizon.

Auteurs originaux : Yubo Li, Yidi Miao

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yubo Li, Yidi Miao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de lire un livre très long, mais que votre cerveau (la mémoire de l'ordinateur) ne peut contenir que quelques pages à la fois. Au fur et à mesure que vous lisez, vous devez vous souvenir de ce qui s'est passé plus tôt pour comprendre la phrase actuelle. Si vous oubliez trop, vous vous perdez. Si vous essayez de vous souvenir de tout, votre cerveau devient si rempli qu'il ralentit jusqu'à l'arrêt.

C'est exactement le problème que CONF-KV résout pour les modèles d'IA (les grands modèles de langage) lorsqu'ils écrivent de longues histoires ou ont de longues conversations.

Voici comment l'article l'explique, en utilisant des analogies simples :

Le Problème : Le « Sac à Dos Surchargé »

Lorsqu'une IA génère du texte, elle maintient un « sac à dos » d'informations appelé le Cache KV. Ce sac à dos contient le contexte de tout ce que l'IA a dit jusqu'à présent.

Le Problème : À mesure que la conversation s'allonge, le sac à dos devient plus lourd. Finalement, il devient si lourd que l'IA manque de mémoire (le sac à dos se déchire) ou devient si lente qu'elle met une éternité à réfléchir.
L'Ancienne Méthode : La plupart des systèmes d'IA utilisent une « Fenêtre Glissante ». Imaginez une fenêtre dans un train. À mesure que le train avance, la vue à l'extérieur change. L'IA ne se souvient que des 512 derniers mots (la vue juste à l'extérieur de la fenêtre) et oublie tout ce qui précède.
- Le Défaut : Si la réponse à une question a été mentionnée il y a 1 000 mots, la fenêtre glissante l'oublie complètement, et l'IA échoue.
L'Autre Ancienne Méthode : Certains systèmes tentent de se souvenir des mots « importants » en fonction de la fréquence à laquelle ils ont été consultés dans le passé. Mais c'est comme regarder une carte de l'endroit où vous étiez hier, sans savoir comment vous vous sentez maintenant.

La Solution : Le « Compteur de Confiance »

Les auteurs de cet article, CONF-KV, ont introduit une nouvelle façon de gérer le sac à dos. Au lieu d'utiliser une règle fixe, ils donnent à l'IA un Compteur de Confiance.

Imaginez l'IA comme un étudiant passant un examen :

Quand l'étudiant est confiant : Il connaît la réponse facilement. Il n'a pas besoin de consulter ses notes. Ainsi, le système dit : « Super ! Vous êtes sûr. Jetons certaines vieilles notes pour économiser de la place. »
Quand l'étudiant est confus : L'étudiant hésite. Il doit vérifier son historique pour comprendre. Le système dit : « Attendez, vous semblez incertain. Gardez toutes les notes ! Ne jetez rien pour l'instant. »

Comment cela fonctionne en pratique :

Le Signal : Avant que l'IA ne choisisse le mot suivant, elle examine à quel point elle est sûre. Si le mot suivant est évident (confiance élevée), elle réduit la mémoire. Si le mot suivant est difficile (confiance faible), elle étend la mémoire.
Le Tri : Même lorsqu'elle doit réduire, elle ne supprime pas des choses au hasard. Elle conserve les mots les plus récents (car ils sont généralement importants) et les mots que l'IA a consultés le plus souvent dans le passé. Elle supprime les « vieilles choses ennuyeuses » dont personne ne se soucie.

L'Astuce de « Précision Mixte »

L'article mentionne également une astuce de stockage ingénieuse.

Imaginez que vos notes sont écrites sur du papier.
Les notes récentes sont écrites sur du papier épais et de haute qualité (FP16) afin qu'elles soient cristallines.
Les notes plus anciennes sont écrites sur du papier fin et recyclé (INT8). Elles occupent beaucoup moins d'espace, mais vous pouvez toujours les lire suffisamment bien pour en saisir l'essentiel.
Cela permet à l'IA de faire entrer beaucoup plus d'histoire dans le même espace de sac à dos sans perdre trop de qualité.

Ce que les Résultats Démontrant

Les auteurs ont testé cela sur quatre modèles d'IA différents et ont découvert :

Économies de Mémoire : Il utilise environ la même quantité de mémoire qu'une simple « fenêtre glissante » (oubliant tout ce qui est ancien), mais il se souvient de beaucoup plus de détails importants.
Meilleure Précision : Dans un test « Aiguille dans une Botte de Foin » (trouver un fait spécifique caché dans un énorme texte), CONF-KV a trouvé l'aiguille 91,4 % du temps. L'ancienne fenêtre glissante ne l'a trouvée que 53,8 % du temps.
Tâches Réelles : Lorsqu'il est utilisé comme agent de navigation web (essayant d'acheter des choses ou de remplir des formulaires en ligne), il a réussi 95,3 % aussi souvent que la version à mémoire complète, mais a utilisé 2,8 fois moins de mémoire.
Vitesse : Parce que le sac à dos est plus léger, l'IA réfléchit plus vite (latence réduite) et peut gérer plus d'utilisateurs simultanément (débit plus élevé).

La Conclusion

CONF-KV est comme un bibliothécaire intelligent qui ne jette pas simplement les vieux livres parce qu'ils sont « vieux ». Au lieu de cela, le bibliothécaire observe le lecteur. Si le lecteur lutte, le bibliothécaire garde toute la bibliothèque ouverte. Si le lecteur avance tranquillement, le bibliothécaire élimine l'encombrement pour rendre la pièce plus rapide.

Cela permet à l'IA d'avoir des conversations plus longues et plus intelligentes sans manquer de mémoire ou ralentir, simplement en écoutant à quel point l'IA se sent « sûre » à chaque étape.

Résumé Technique : CONF-KV

Énoncé du Problème
L'inférence de modèles de langage de grande taille (LLM) sur de longs horizons se heurte à un goulot d'étranglement critique où le cache Key-Value (KV) devient le principal consommateur de mémoire GPU, entraînant une latence d'attention par token qui évolue linéairement avec la longueur de la séquence. Les politiques d'éviction existantes, telles que les fenêtres glissantes ou les méthodes basées sur l'attention historique (par exemple, H2O, SCISSORHANDS), reposent sur la récence statique ou des signaux passés pour déterminer quels tokens conserver. Ces approches échouent souvent à exploiter un signal disponible à chaque étape de décodage : l'incertitude actuelle du modèle. Par conséquent, les politiques statiques peuvent évacuer prématurément le contexte lors de phases de génération difficiles ou conserver des tokens inutiles lorsque le modèle est confiant, conduisant à un compromis sous-optimal entre l'utilisation de la mémoire et la qualité de la génération.

Méthodologie : CONF-KV
Les auteurs proposent CONF-KV, un gestionnaire de cache KV conscient de la confiance qui ajuste dynamiquement le budget du cache en fonction de la distribution du prochain token du modèle. Le système fonctionne via les mécanismes suivants :

Estimation de la Confiance : À chaque étape de décodage, la méthode convertit les logits en un score de confiance scalaire ( $c$ ). Ce score est une combinaison pondérée de l'entropie normalisée, de la marge de log-probabilité entre les deux premiers tokens et de la probabilité du token principal.
$c = w_H(1 - \hat{H}) + w_m\sigma(m) + w_p p_{(1)}$
où $\hat{H}$ est l'entropie normalisée, $m$ est la marge de log, et les poids sont fixés à $(0,4, 0,3, 0,3)$ .
Sélection Adaptative du Budget : Un seuil $\tau$ détermine le budget du cache ( $N$ ) pour l'étape actuelle.
- Si $c \ge \tau$ (confiance élevée), un budget serré ( $N_{high}$ ) est sélectionné, permettant une éviction agressive.
- Si $c < \tau$ (faible confiance/incertitude), un budget plus large ( $N_{low}$ ) est sélectionné pour conserver davantage de contexte.
  Cela crée un profil de mémoire en « dents de scie » où le cache s'étend durant les phases d'incertitude et se contracte durant les phases de confiance.
Classement et Éviction des Tokens : Dans le budget sélectionné, les tokens sont classés selon un score composite combinant la masse d'attention Moyenne Mobile Exponentielle (EMA) et la récence. Une fenêtre protégée stricte ( $P$ ) garantit que les tokens les plus récents ne sont jamais évacués afin de préserver la cohérence locale.
Intégration Système :
- Stockage en Précision Mixte : Les $W$ tokens les plus récents sont stockés en FP16, tandis que les tokens conservés plus anciens sont quantifiés en INT8 par tête et par canal. Cela réduit l'empreinte mémoire tout en minimisant la dégradation de la perplexité par rapport à une quantification à des bits inférieurs.
- Budgets Pyramidaux (CONF-KV-L) : Une variante optionnelle alloue des budgets de manière non uniforme à travers les couches, attribuant des budgets plus petits aux couches profondes, basé sur l'observation que les couches profondes concentrent souvent l'information dans moins de tokens.
- Implémentation : Le gestionnaire utilise une compaction contiguë pour maintenir une disposition dense pour les noyaux d'attention, évitant les tables d'indirection, et fusionne la déquantification dans les lectures d'attention par blocs.

Contributions Clés

Politique Consciente de la Confiance : Une stratégie d'éviction novatrice qui utilise la distribution de sortie actuelle pour piloter les décisions de budget de cache par étape, plutôt que de s'appuyer uniquement sur des signaux historiques.
Conception Système : Une implémentation complète combinant une éviction adaptative avec une attention softmax en ligne par blocs, un stockage mixte FP16/INT8 et des budgets de couches pyramidaux optionnels.
Validation Mécanistique : Un test démontrant que le score de confiance est fortement anticorrélé (Pearson $r = -0,77$ ) avec le décalage KL induit par l'ablation du contexte récent, validant l'hypothèse selon laquelle une faible confiance indique un besoin de plus de contexte conservé.
Évaluation Complète : Benchmarks étendus sur quatre familles de modèles (GPT-2, Qwen-14B/32B, gpt-oss-20b) et des charges de travail diversifiées, incluant la perplexité, la récupération en contexte long et les tâches d'agents web.

Résultats Expérimentaux

Compromis Mémoire-Qualité : Sur GPT-2 avec une longueur de génération de 2048 tokens, CONF-KV+INT8 correspond à l'empreinte mémoire d'une fenêtre glissante fixe de 512 tokens (~38,7 Mo) mais réduit la perplexité de 3,11 points par rapport à la fenêtre glissante. CONF-KV-L (variante pyramidale) réduit davantage la mémoire à 34,2 Mo tout en améliorant la perplexité de 3,89 points, comblant 74 % de l'écart de qualité entre une fenêtre glissante et le KV complet.
Récupération en Contexte Long : Dans les tests « Aiguille dans une Botte de Foin » (NIAH) jusqu'à 32K tokens, CONF-KV atteint une précision de récupération de 91,4 %, surpassant significativement les fenêtres glissantes (53,8 %) et H2O (80,6 %).
Tâches d'Agents : Sur 75 tâches VisualWebArena, CONF-KV conserve 95,3 % du taux de réussite du KV complet tout en réduisant la mémoire pic de 2,8 fois.
Débit et Latence : CONF-KV réduit la latence par étape de 1,8 fois par rapport au KV complet sur GPT-2 et Qwen-32B. Le débit évolue avec la taille du lot ; à une taille de lot de 8, CONF-KV atteint 2,06 fois le débit du KV complet.
Ablation : L'isolement du signal de confiance montre qu'une éviction aléatoire au même taux dégrade les performances à 36,54 PPL, tandis que CONF-KV complet atteint 30,92 PPL, confirmant que tant le contrôle par confiance que le mécanisme de classement sont essentiels.

Signification et Revendications
L'article revendique que CONF-KV démontre que l'incertitude actuelle est un métadonnées système utile pour améliorer la frontière de Pareto mémoire-qualité. La méthode se distingue car elle est prédictive : elle ne peut pas récupérer les tokens évacués mais prévient l'éviction prématurée durant les phases difficiles. L'approche est conçue pour être sans entraînement, n'altère pas les poids du modèle et est orthogonale aux techniques existantes comme l'allocation par tête, l'allocation par couche et la sélection de précision, permettant de les combiner.

Les auteurs notent des limitations, notamment que la méthode est une « opération nulle » sur les contextes courts qui ne dépassent jamais le seuil d'éviction et que la compaction contiguë engendre un coût de collecte (bien que cela soit compensé par les économies d'attention). Ils reconnaissent également que le signal de confiance devient moins informatif sous un échantillonnage à haute température. Enfin, l'article met en avant une considération à double usage : bien que des coûts d'inférence inférieurs améliorent l'efficacité, ils peuvent également abaisser les barrières à l'automatisation indésirable à long terme, suggérant que les contrôles de sécurité pour les modèles sous-jacents restent nécessaires.