Résumé Technique : CacheTTL

Énoncé du Problème

Les moteurs d'inférence de Modèles de Langage (LLM) reposent actuellement sur des politiques d'éviction « fin de tour » pour la gestion du cache clé-valeur (KV). Dans ces systèmes, une fois qu'une requête termine son décodage, son cache KV est évacué de la mémoire GPU afin de maximiser l'utilisation pour les nouvelles requêtes entrantes. Bien que efficace pour les chatbots multi-tours standards, cette politique échoue pour les charges de travail agentic (par exemple, agents d'ingénierie logicielle, agents utilisant des outils) qui suivent le paradigme ReAct.

Dans les flux de travail agentic, les étapes d'inférence sont entrelacées avec des appels d'outils externes. Ces appels d'outils introduisent des pauses qui sont souvent plus courtes que la vitesse de frappe humaine, mais suffisamment longues pour déclencher l'éviction du cache KV dans les moteurs standards. Lorsque l'agent revient d'un appel d'outil pour initier l'étape d'inférence suivante, le système doit soit :

1. Recalculer le préfixe (prefill), engendrant une latence significative.
2. Recharger le cache KV depuis la mémoire CPU (si le déchargement est activé), ce qui introduit des délais d'attente par tour. Même si le rechargement est rapide, la requête doit attendre dans la file d'attente que la mémoire GPU soit libérée par d'autres requêtes actives.

Les solutions existantes échouent à traiter cela de manière holistique :

• InferCept prend en compte les coûts de rechargement mais ignore le délai d'attente par tour cumulatif et manque de robustesse face à la variabilité des durées d'appels d'outils.
• Autellix et Pie se concentrent sur des flux de travail statiques ou manquent de politiques de rétention spécifiques pour les appels d'outils dynamiques.
• Les stratégies de rétention statique risquent de bloquer la mémoire GPU si les appels d'outils prennent plus de temps que prévu.

Le défi central consiste à conserver les caches KV suffisamment longtemps pour éviter le recalcul et les délais d'attente, sans monopoliser la mémoire GPU pendant des temps d'exécution d'outils imprévisibles.

Méthodologie : CacheTTL

Les auteurs proposent CacheTTL, un système de service qui introduit un mécanisme de Durée de Vie (TTL) pour la rétention du cache KV. Au lieu d'une éviction immédiate, CacheTTL ancre sélectivement les caches KV dans la mémoire GPU pour une durée calculée.

1. Modèle d'Utilité Coût-Bénéfice

CacheTTL détermine le TTL optimal ($\tau$) en modélisant le compromis entre le coût de rétention du cache et le bénéfice d'éviter l'éviction.

• Coût ($Cost(\tau, r)$) : Le coût d'opportunité d'occuper la mémoire GPU, calculé comme le rapport entre l'utilisation mémoire de la requête et l'empreinte mémoire moyenne des requêtes actives, multiplié par la durée du TTL ($\tau$). Cela représente la latence ajoutée aux autres requêtes bloquées par le cache ancré.
• Bénéfice ($Benefit(r)$) : La somme de deux coûts évités :
  1. CacheMissCost : Le temps nécessaire pour reconstruire le cache KV (prefill) ou le recharger depuis le CPU.
  2. OutofOrderCost : Le délai d'attente par tour qui se produirait si la requête était évacuée et devait attendre dans la file d'attente que la mémoire GPU devienne disponible. Ce terme est critique et distingue CacheTTL des travaux antérieurs comme InferCept. Il est pondéré par un facteur de mémoire ($\eta$), qui mesure comment le nombre d'étapes restantes corréle avec la progression actuelle (par exemple, les programmes de longueur fixe ont une forte mémoire).

2. Calcul du TTL

Le système calcule le TTL optimal ($\tau^*$) en maximisant le bénéfice net attendu :
$$\tau^* = \arg\max_{\tau} \left( P(\tau, f) \times Benefit(r) - Cost(\tau, r) \right)$$
Où $P(\tau, f)$ est la probabilité que l'appel d'outil $f$ se termine dans le temps $\tau$, estimée à l'aide d'une Fonction de Distribution Cumulée (CDF) empirique issue des historiques d'appels d'outils.

• Gestion du Démarrage à Froid : Lorsque les données historiques sont rares, CacheTTL utilise par défaut un TTL fixe dérivé d'une hypothèse de distribution exponentielle ou de moyennes globales.
• Robustesse : Si un appel d'outil dépasse le TTL, le cache KV est automatiquement évacué, empêchant l'occupation indéfinie de la mémoire et les blocages potentiels.

3. Ordonnancement et Conception du Système

• FCFS au Niveau du Programme : CacheTTL combine le TTL avec une politique Premier Arrivé, Premier Servi (FCFS) au niveau du programme (pas seulement au niveau de la requête). Cela garantit que les requêtes appartenant au même programme d'agent sont priorisées pour maintenir la continuité.
• Priorité Sensible au TTL : L'ordonnanceur attribue un tuple de priorité multi-clé :
  1. Statut de préemption.
  2. Statut TTL : Les requêtes avec des TTL actifs (ancrés) sont priorisées par rapport à celles non ancrées.
  3. Heure d'arrivée au niveau du programme.
• Implémentation : Construit au-dessus de vLLM avec un Gestionnaire d'Appels d'Outils modulaire. Ce gestionnaire analyse les sorties du LLM pour identifier les appels d'outils, enregistre les intervalles inter-requêtes et communique les valeurs TTL à l'ordonnanceur. La conception ajoute une surcharge minimale (~1k lignes de Python) et est compatible avec le déchargement CPU/SSD.

Contributions Clés

1. Identification du Problème : L'article identifie que les politiques d'éviction de cache KV existantes dégradent les performances agentic en ignorant les délais d'attente par tour et la variabilité des durées d'appels d'outils.
2. Système CacheTTL : Un nouveau système de service utilisant un mécanisme TTL pour retenir dynamiquement les caches KV. Il équilibre les coûts de préremplissage/rechargement contre les coûts de contention mémoire.
3. Modèle de Coût Novel : L'introduction du terme OutofOrderCost, qui quantifie la pénalité de délai d'attente de l'éviction, et du facteur de mémoire pour s'adapter à différentes structures de charges de travail.
4. Robustesse : Le système gère les durées d'outils imprévisibles en imposant un temps de rétention maximal, empêchant les blocages et la pression mémoire.

Résultats Expérimentaux

Les auteurs ont évalué CacheTTL en utilisant Llama-3.1 (8B/70B), Gemma-3 (12B) et GLM-4.5 (355B) sur les charges de travail SWE-Bench, BFCL et OpenHands avec divers matériels (A100, H100, B200).

• Réduction de la Latence : CacheTTL réduit le temps moyen d'achèvement des travaux de 1,12x à 3,66x par rapport aux bases de référence (vLLM, Autellix, InferCept). Dans des tests réels d'agent SWE sur le banc d'essai interne de l'Entreprise A, il a atteint une amélioration de délai allant jusqu'à 8,18x.
• Débit : Le débit s'est amélioré de 1,10x à 3,22x.
• Robustesse : Le système maintient des performances stables à mesure que le nombre de tours augmente, tandis que les bases de référence se dégradent considérablement en raison des délais d'attente cumulés.
• Compatibilité : CacheTTL surpasse les bases de référence même lorsqu'il est combiné avec le déchargement CPU et SSD, démontrant que ses avantages d'ordonnancement sont orthogonaux aux techniques de déchargement mémoire.
• Surcharge : La surcharge d'ordonnancement est négligeable (quelques millisecondes), largement compensée par les économies de latence de bout en bout.

Importance et Revendications

L'article revendique que CacheTTL fournit la première stratégie robuste de gestion de cache KV sensible aux outils, spécifiquement conçue pour les charges de travail agentic multi-tours. En passant d'une éviction « fin de tour » à une politique de rétention basée sur le TTL, le système comble efficacement le fossé entre l'inférence LLM et l'exécution d'outils externes.

Les auteurs soulignent que leur approche est modulaire et peut être intégrée dans les moteurs d'inférence existants avec des changements minimes. Ils soutiennent qu'une gestion de cache KV fondée sur des principes et sensible aux outils est essentielle pour l'avenir du service d'agents efficace, particulièrement à mesure que les flux de travail agentic deviennent plus complexes et multi-tours. L'article conclut en open-sourçant leurs traces, code et banc d'essai pour favoriser la recherche ultérieure sur le service d'agents.