Résumé Technique : IntentKV

Énoncé du Problème

Les agents basés sur les Grands Modèles de Langage (LLM) modernes exécutent de plus en plus des flux de travail multi-tours impliquant la navigation, la recherche approfondie et l'utilisation d'outils. Dans ces scénarios, une requête utilisateur initiale courte se transforme en une longue trajectoire de documents récupérés, de sorties d'outils, de décisions intermédiaires et d'arguments générés. Cela crée un profil de service asymétrique où l'état de l'agent croît jusqu'à des dizaines de milliers de jetons (tokens), tandis que la requête d'origine reste courte. Par conséquent, la capacité de la mémoire KV et la bande passante de lecture KV deviennent les goulots d'étranglement dominants pour les sessions d'agents à long horizon, plutôt que le calcul des paramètres.

Les méthodes existantes de purge du cache KV (par exemple, StreamingLLM, SnapKV, H2O) sont principalement conçues pour la compression de prompts uniques. Appliquées aux agents multi-tours, elles font face à deux modes de défaillance critiques :

1. Signaux de Rétention Obsolètes : L'importance des jetons change au fil des tours. Une preuve utile pour un tour ultérieur (par exemple, un résultat de recherche spécifique) peut être écartée par un évaluateur entraîné uniquement sur le prompt initial, car l'« importance » des jetons n'est pas statique mais évolue avec les nouveaux intents (intentions).
2. Perte d'Identité du Préfixe : La purge standard compacte souvent le cache en déplaçant les lignes KV survivantes vers des emplacements contigus. Cela modifie les positions logiques et les phases RoPE des jetons, invalidant l'identité du préfixe requise par des systèmes comme SGLang et vLLM pour réutiliser les états mis en cache via des arbres radix à travers les tours.

Méthodologie : IntentKV

IntentKV répond à ces problèmes en découplant la politique de rétention (quels jetons conserver) de la politique de mise en page (comment le cache est représenté). La méthode maintient le LLM de base gelé et introduit un mécanisme de purge apprenant et conscient de la session.

1. Rétention Sensible à l'Intention Multi-Tour

Au lieu d'évaluer les jetons par rapport à un seul prompt, IntentKV maintient une QueryMemory ($M_t$) qui agrège des signaux de type requête à travers toute la session.

• Mise à jour de la QueryMemory : $M_t$ est mise à jour via une récurrence géométrique : $M_t = e^{-\lambda} M_{t-1} + \text{Enc}(q_t)$, où $\text{Enc}(q_t)$ représente la portion de requête actionnable du tour actuel. Cela permet au système de suivre l'évolution des intentions (par exemple, passer de « rechercher des vols » à « trouver l'option la moins chère »).
• Évaluation par Règle : Les jetons sont évalués sur leur alignement d'attention avec la $M_t$ accumulée, remplaçant l'attention de queue basée sur une fenêtre des méthodes comme SnapKV.
• Résidu Apprenant : Pour gérer les cas où l'évaluateur par règle manque des preuves d'utilité future, une tête de résidu initialisée à zéro est ajoutée. Cette tête utilise l'attention croisée sur les vecteurs K de la requête actuelle et les caractéristiques par jeton (incluant le score de la règle et l'état de la QueryMemory) pour prédire une correction. Le score final est une combinaison du score de la règle et du résidu appris.

2. Éviction Préservant la Mise en Page

Pour maintenir la compatibilité avec la mise en cache de préfixes, IntentKV emploie une stratégie de redirection par carte de slots plutôt que de compaction.

• Slot Mort Sentinelle : Lorsqu'un jeton est évincé, sa position dans la carte de slots est redirigée vers un slot mort « sentinelle » pré-alloué. Les valeurs K/V pour ce slot sont fixées à des constantes spécifiques (par exemple, $K=-10^4$, $V=0$) qui annulent efficacement sa contribution d'attention sans altérer la mise en page physique des jetons survivants.
• Identité Préservée : Les lignes K/V survivantes, leurs phases RoPE et leurs identités de slots logiques restent inchangées. Cela permet à l'arbre radix de continuer à faire correspondre les préfixes à travers les tours, permettant une réutilisation efficace des états mis en cache même après la purge.

Contributions Clés

1. Formulation de Rétention Multi-Requête : L'article formule la purge KV des agents comme un problème de rétention multi-requête, instancié avec la QueryMemory, un état par session qui agrège les requêtes, les appels d'outils et les intentions de recherche à travers les tours.
2. Purgeur Résiduel avec Modèle Gelé : Un purgeur résiduel appris qui maintient l'heuristique sensible à la session comme signal primaire et ajoute une correction fondée sur les actions futures, le tout sans mettre à jour les poids du LLM de base.
3. Recette d'Éviction Composable : Une stratégie d'éviction pour les caches KV paginés (SGLang/vLLM) qui redirige les positions abandonnées vers un slot sentinelle. Cela préserve la réutilisation du préfixe radix, atteignant un taux de succès de préfixe de 20,7 % avec un budget de 8k, là où les bases de comparaison par compaction tombent à 0–3 %.
4. Gains de Performance : Sur le benchmark BrowseComp-Plus (BCP), IntentKV égale la ligne de base du cache complet avec une perte de précision minimale tout en réduisant considérablement l'utilisation des ressources.

Résultats Expérimentaux

La méthode a été évaluée sur Qwen3-8B et Qwen2.5-14B en utilisant le benchmark BrowseComp-Plus (830 requêtes de recherche approfondie).

• Précision : Avec un budget KV de 8k, IntentKV-Phase-2 atteint une Précision Réelle de 14,10 sur Qwen3-8B (surpassant la plus forte heuristique, StreamingLLM, de 2,29 points) et 18,55 sur Qwen2.5-14B (surpassant StreamingLLM de 10,36 points). À un budget de 16k, il égale le plafond du cache complet à moins de 0,96 point près sur Qwen3-8B.
• Efficacité : IntentKV réduit le nombre maximal de jetons de requête par un facteur de 77,8 % à 81,7 % et les lectures brutes de KV par un facteur de 36,9 % à 92,6 % par rapport au plafond non compressé sur les 100 requêtes les plus exigeantes.
• Surcharge Système : Il obtient jusqu'à 43 % de réduction de la latence temps de parcours (wall-clock latency) et 59 % de réduction des lectures brutes de KV par rapport aux bases de comparaison par compaction, principalement grâce à la réutilisation préservée des préfixes.
• Ablation : La composante de mémoire inter-tours est identifiée comme le signal dominant ; la supprimer provoque une chute significative de la précision. Le résidu appris apporte des gains marginaux à des budgets serrés mais améliore les performances lorsque la capacité le permet.

Signification et Revendications

L'article affirme qu'IntentKV résout avec succès la tension entre la compression KV et le service d'agents multi-tours en séparant la logique de rétention de la mise en page du cache. En maintenant une mémoire de l'intention au niveau de la session et en utilisant une stratégie d'éviction non compactante, il permet aux agents d'opérer sous des budgets de mémoire stricts sans sacrifier la capacité de réutiliser les préfixes mis en cache.

Les auteurs notent que leur évaluation est limitée aux modèles Qwen car d'autres backbones open-source (par exemple, Llama-3.1, Mistral) n'ont pas montré de comportement d'appel d'outils autonome fiable sur le benchmark BCP sous leur environnement de service, empêchant une comparaison équitable des effets de compression. La méthode est conçue pour être composable avec les piles de service existantes (SGLang, vLLM) et les futurs scoreurs locaux au prompt, bien que la sélection dynamique du budget par requête reste une direction pour les travaux futurs.