Résumé Technique : Service Efficace pour les Flux de Travail d'Agents Dynamiques avec Gestion de Cache KV Basée sur la Prédiction (PBKV)

1. Énoncé du Problème

Les systèmes multi-agents basés sur les grands modèles de langage (LLM) décomposent les tâches complexes en séquences d'agents collaboratifs (par exemple, Planificateur, Codeur, Testeur). Ces agents partagent un contexte substantiel, créant des opportunités significatives de réutilisation du cache clé/valeur (KV). Cependant, les moteurs d'inférence existants (par exemple, vLLM, SGLang) reposent généralement sur la politique du « moins récemment utilisé » (LRU), qui suppose une localité temporelle. Dans les flux de travail d'agents, la réutilisation du cache est pilotée par la nature structurelle du flux de travail plutôt que par la proximité temporelle ; une entrée de cache peut rester inerte à travers plusieurs invocations d'agents (par exemple, lors d'appels d'outils ou d'itérations de boucle) avant d'être réutilisée, ce qui amène LRU à l'évincer prématurément.

Des approches alternatives comme KVFlow supposent un graphe d'étapes d'agent statique et prédéfini (un DAG global) pour déterminer l'éviction basée sur les « étapes jusqu'à l'exécution ». Cette hypothèse échoue dans les flux de travail dynamiques réalistes, où la séquence des agents invoqués dépend du contexte d'exécution (par exemple, un Testeur déclenchant conditionnellement une boucle de réessai ou un Récupérateur générant de nouvelles sous-requêtes).

Le défi central est double :

1. Prévisibilité : Les charges de travail d'agents sont intrinsèquement stochastiques en raison du décodage LLM, rendant difficile la prédiction des futures invocations d'agents.
2. Coût de l'erreur : Les erreurs de prédiction sont disproportionnément coûteuses. Un défaut de cache dans un environnement multi-agents peut forcer le re-préchargement de dizaines de milliers de tokens accumulés à travers tout le contexte du flux de travail.

L'article pose la question : Comment concevoir un cadre de gestion de cache KV pour les systèmes multi-agents dynamiques qui soit robuste aux erreurs de prédiction tout en bénéficiant continuellement de prédicteurs imparfaits ?

2. Méthodologie : Système PBKV

Les auteurs proposent PBKV (Gestion de Cache KV Basée sur la Prédiction), un système qui prédit les futures invocations d'agents pour évaluer la valeur de réutilisation des entrées de cache KV existantes. PBKV fonctionne sur une hiérarchie de stockage à deux niveaux (mémoire GPU et mémoire hôte via HiCache) et se compose de trois composants principaux :

A. Prédicteur de Flux de Travail

Au lieu de supposer un graphe statique, PBKV emploie un prédicteur qui fusionne des signaux complémentaires pour prévoir les $K$ prochaines invocations d'agents pour chaque flux de travail actif.

• Architecture : Basé sur GraphSAGE, le prédicteur est inductif, lui permettant de généraliser à des préfixes de flux de travail non vus lors de l'exécution.
• Fusion de Signaux :
  1. Encodage d'Agent Sensible à la Topologie ($h_{cur}$) : Encode l'identité de l'agent actuel et son voisinage dans le graphe d'appels global $G$ (dérivé de traces hors ligne).
  2. Agrégation d'Histoire Basée sur l'Attention ($h_{path}$) : Résume le préfixe du flux de travail en utilisant une attention par produit scalaire pondérée, distinguant les flux de travail qui arrivent au même agent via des chemins différents.
  3. Signal Sémantique ($h_{txt}$) : Réutilise l'état caché post-normalisation du dernier token de préchargement pour capturer l'intention spécifique à la requête, distinguant les requêtes avec des préfixes identiques mais des objectifs divergents.
• Sortie : Le prédicteur émet $K$ distributions de probabilité sur les agents à venir en un seul passage avant, évitant l'accumulation d'erreurs auto-régressives.

B. Éviction de Cache KV avec Regard en Avant

PBKV remplace les heuristiques temporelles simples par une politique d'éviction hiérarchique pilotée par un « score de réutilisation avec regard en avant ».

• Récupération Sensible au Cycle de Vie : Les nœuds de cache associés aux flux de travail terminés (« cache réformé ») sont identifiés de manière déterministe et évictés en premier, car ils ont un potentiel de réutilisation nul. Cela fournit une amélioration de base indépendante de la qualité de la prédiction.
• Éviction Active Pilotée par le Score : Pour le cache actif, un score continu est calculé basé sur la valeur de réutilisation prédite :
  $$\text{Score}(c) = \sum_{k=1}^{K} \gamma^{k-1} \sum_{w \in \mathcal{W}_{act}(c)} s_w^{(k)} \cdot A_w(c) \cdot P_w^{(k)}$$
  Où :
  • $A_w(c)$ est l'indicateur d'accès (quels agents dans le flux de travail $w$ ont accédé au nœud $c$).
  • $P_w^{(k)}$ est la probabilité prédite d'invoquer un agent qui accède à $c$ à l'étape $k$.
  • $s_w^{(k)}$ est la probabilité de survie cumulative (flux de travail non terminé).
  • $\gamma < 1$ est un facteur de déclin de confiance pour décoter les prédictions à long horizon peu fiables.
• Stratégie Hiérarchique : Le système priorise l'éviction du cache réformé (score = 0) avant de toucher le cache actif. Cela assure une dégradation gracieuse : si le prédicteur est médiocre, le système bénéficie toujours de la conscience du cycle de vie ; s'il est précis, il exploite le regard en avant multi-étapes.

C. Préchargement Conservateur

Pour masquer la latence de transfert, PBKV charge activement le cache susceptible d'être réutilisé depuis la mémoire hôte vers le GPU.

• Principe Conservateur : Le préchargement est restreint à l'espace GPU autrement inactif (espace libre + cache réformé) et à la bande passante PCIe inactive (lors des lots de décodage pur).
• Évitement des Risques : PBKV n'évince jamais le cache actif pour faire de la place aux données préchargées. Cela empêche le système de déplacer un cache connu comme précieux pour des gains spéculatifs, assurant que les erreurs de prédiction ne dégradent pas les performances en dessous de la base.
• Classement : Les candidats sont classés par valeur de réutilisation à une étape (Éq. 1) en utilisant une heuristique gloutonne sous un budget strict.

3. Contributions Clés

1. Formalisation : L'article formalise la gestion du cache KV dans le service multi-agents comme un problème de prédiction des modèles d'accès futurs, fournissant des lignes directrices pour les prédicteurs dans ce contexte (fusion multi-signaux, horizon multi-étapes).
2. Cadre PBKV : Les auteurs proposent un système combinant une éviction hiérarchique (récupération déterministe du cycle de vie + score de regard en avant probabiliste) et un préchargement conservateur.
3. Garantie Théorique : L'article prouve que les performances de PBKV se dégradent de manière Lipschitz-continue avec l'erreur de prédiction. Plus précisément, le regret du coût d'éviction est borné linéairement par l'erreur de prédiction, assurant une dégradation gracieuse même avec des prédicteurs imparfaits.
4. Implémentation et Évaluation : PBKV est implémenté sur SGLang avec HiCache et évalué sur diverses charges de travail et LLM.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks : HoVer (vérification de faits, boucles dynamiques), SWE-bench (génération de code, boucles de réessai) et FinanceBench (flux de travail statique). Les modèles utilisés incluaient Qwen3-14B et Qwen3-32B.

• Flux de Travail Dynamiques :
  • PBKV a atteint jusqu'à 1,85× d'accélération dans la latence de bout en bout et 2,55× d'amélioration du taux de succès du cache KV par rapport à LRU.
  • L'« Éviction Sensible au Cycle de Vie » (PBKV-LAE) seule a amélioré les taux de succès de 1,66× par rapport à LRU, démontrant la valeur des signaux de cycle de vie simples.
  • Le système complet (PBKV-HE + Préchargement) a maintenu des taux de succès élevés (~50-60%) même sous forte pression mémoire où LRU chutait à ~10%.
• Flux de Travail Statiques :
  • Sur la charge de travail statique FinanceBench, PBKV a surpassé la référence de l'état de l'art KVFlow de 1,26× en latence et 1,39× en taux de succès. Les auteurs attribuent cela à l'éviction sensible au cycle de vie de PBKV (empêchant l'éviction prématurée du cache actif) et à l'agrégation inter-flux de travail des scores de réutilisation.
• Robustesse :
  • L'analyse de sensibilité a montré que même avec des architectures de prédicteurs plus faibles (par exemple, R-GCN, modèles de Markov), PBKV surpassait constamment LRU et la variante sans prédiction (PBKV-LAE).
  • Le préchargement conservateur a fourni des gains stables, tandis que le préchargement agressif (éviction du cache actif) devenait contre-productif sous un bruit de prédiction modéré.

5. Importance et Revendications

L'article revendique que PBKV comble une lacune critique dans le service des flux de travail d'agents dynamiques, où les hypothèses statiques existantes (KVFlow) ou les heuristiques temporelles (LRU) échouent.

• Robustesse sur l'Optimalité : Les auteurs soulignent que PBKV est conçu pour être robuste à l'incertitude inhérente des systèmes d'agents. En combinant des garde-fous déterministes (récupération du cycle de vie) avec une spéculation conservatrice (préchargement uniquement sur des ressources inactives), le système assure que des prédictions imparfaites ne nuisent pas aux performances.
• Dégradation Gracieuse : La preuve théorique de la continuité Lipschitz établit que les performances de PBKV sont stables ; à mesure que la précision du prédicteur s'améliore, les performances s'améliorent linéairement, mais une faible précision ne provoque pas d'échec catastrophique.
• Généralisabilité : Le prédicteur est conçu comme un module interchangeable. Les principes de conception du système (éviction hiérarchique, préchargement conservateur) sont indépendants du prédicteur spécifique utilisé, permettant au cadre de bénéficier des avancées futures en matière de prédiction de flux de travail.

Les auteurs concluent que PBKV surpasse significativement à la fois LRU et la référence de l'état de l'art sensible au statique sur les charges de travail dynamiques et statiques, validant l'efficacité de la gestion de cache conservatrice basée sur la prédiction dans le service multi-agents.