🤖 machine learning

MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

MemDecay est une politique d'éviction du cache KV sensible aux régions et sans entraînement qui exploite la structure sémantique des contextes d'agents LLM pour assigner des priorités de rétention et des taux de décroissance distincts à différentes régions de jetons, surpassant de manière significative les bases de référence existantes fondées sur la récence ou l'attention pour préserver les informations critiques et maintenir la précision de l'inférence sous des contraintes de mémoire.

Auteurs originaux : Venkatesha Matam, Keon Kim

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Venkatesha Matam, Keon Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez un assistant robotique super intelligent (un agent LLM) qui tente de résoudre un mystère complexe à plusieurs étapes. Il doit se souvenir des règles du jeu, des indices qu'il trouve, des outils qu'il utilise et de ses propres notes de brouillon désordonnées. À mesure que le mystère s'allonge, le « cerveau » du robot (sa mémoire cache) commence à déborder. S'il ne fait pas de la place, il plante ou ralentit.

Le gros problème ? La plupart des robots traitent chaque fragment de mémoire de la même manière. Ils pourraient dire : « Oh, je n'ai pas regardé cet indice depuis un moment, donc je vais le jeter », ou « C'est la toute dernière chose que j'ai lue, donc je vais la garder ». Mais c'est comme jeter la carte parce que vous l'avez consultée hier, tout en gardant un gribouillage aléatoire que vous venez de faire.

Entrez en scène MemDecay, une nouvelle stratégie qui agit comme un bibliothécaire intelligent et organisé pour le cerveau du robot. Voici comment cela fonctionne, ce qu'il a trouvé, et ce qu'il n'a certainement pas trouvé.

La stratégie du bibliothécaire intelligent

Au lieu de traiter tous les souvenirs de manière égale, MemDecay demande au gestionnaire du robot : « Quel est le type de ce souvenir ? »

Est-ce une Instruction Système ? (Les règles fondamentales du robot, comme « Soyez toujours poli. »)
Est-ce un Plan ? (Les étapes pour résoudre le mystère.)
Est-ce un Brouillon (Scratchpad) ? (Des calculs mathématiques temporaires ou des notes sur lesquelles le robot travaille en ce moment même.)
Est-ce un Résultat d'Outil (Tool Output) ? (Des données provenant d'une calculatrice ou d'un moteur de recherche.)

MemDecay attribue à chaque type de mémoire une « date d'expiration » différente et un « score d'importance » différent.

Les Instructions Système reçoivent un badge « Épinglé » (Pinned). Elles sont collées à l'étagère et ne sont jamais jetées, peu importe à quel point la bibliothèque est pleine.
Les Notes de brouillon ont une durée de vie très courte. Si le robot cesse de les utiliser pendant quelques secondes, elles s'effacent.
Les Plans et les Outils ont une durée de vie moyenne, mais si le robot les consulte à nouveau, son « horloge d'expiration » se réinitialise, les gardant en sécurité.

Le système calcule un score pour chaque jeton (token) de mémoire en fonction de son type et de sa récence d'utilisation. Quand la bibliothèque est pleine, elle éjecte d'abord les pages ayant les scores les plus bas.

Ce que les expériences ont réellement montré

Les chercheurs ont testé cela sur deux tailles de robots (1,5 milliard et 3 milliards de paramètres) et deux tailles de mémoire (environ 450 jetons et 1 700 jetons). Ils ont implanté des faits spécifiques dans différentes parties de la mémoire du robot, puis ont demandé au robot de se souvenir de ces faits après l'avoir forcé à supprimer la moitié de sa mémoire.

1. La victoire du « Pinned »
Le plus grand succès fut pour les instructions « Système ». Lorsque la mémoire était compressée à 25 % ou 50 % de sa taille, MemDecay a préservé les règles du système en toute sécurité à chaque fois (24 sur 24 lors du test court, 21 sur 24 lors du test long).

Le contraste : D'autres méthodes qui ne conservent que les souvenirs les « plus récents » (comme un robot qui ne se souvient que des dernières phrases) ont totalement échoué. Sur les tests longs, elles se sont rappelées presque zéro instruction système. L'approche basée sur la « récence uniquement » s'effondre à mesure que l'histoire s'allonge.

2. Le test de réalité du « Brouillon » (Scratchpad)
Les expériences ont mesuré précisément combien de temps différents souvenirs restaient utiles.

Les instructions système ont duré longtemps : environ 148 à 189 étapes de décodage (le temps nécessaire au robot pour générer autant de mots).
Les notes de brouillon ont disparu incroyablement vite : seulement 14 à 16 étapes.
Les documents récupérés (comme les résultats de recherche) ont été étonnamment durables, vivant plus longtemps que les sorties d'outils ou les messages de l'utilisateur, même si les chercheurs pensaient initialement qu'ils s'effaceraient rapidement.

3. Le problème du « Vieux Fait » (La perte)
C'est ici que MemDecay a trébuché. Lorsque le robot devait se souvenir d'un ancien message utilisateur ou d'un fait du début de la conversation qui n'était pas épinglé, MemDecay échouait souvent.

Sur le test court, il a rappelé 0 sur 24 de ces anciens faits d'utilisateur.
Sur le test long, il n'en a rappelé que 5 à 7 sur 24.
Parallèlement, une méthode concurrente qui conserve simplement les jetons les « plus attendus » (appelée méthode de type H2O) a bien mieux réussi, en rappelant 11 à 20 d'entre eux.

Pourquoi a-t-il échoué ? L'article explique que le score d'« importance » provenant de l'attention du robot (combien il a regardé un mot) était trop faible pour sauver les anciens faits. La « décomposition » (l'horloge d'expiration) tournait trop vite pour ces éléments anciens et non épinglés, de sorte que le signal d'attention ne pouvait pas arrêter l'horloge. Les chercheurs suggèrent que simplement augmenter le volume du signal d'attention n'est pas suffisant ; les mathématiques doivent être ajustées pour que le signal d'attention soit assez fort pour rivaliser avec la décomposition.

Ce que MemDecay N'EST PAS

Il est important de savoir ce que cet article ne prétend pas :

Ce n'est pas une solution miracle pour tout. Il a explicitement écarté l'idée que la « récence » (garder ce qui est nouveau) fonctionne pour les tâches d'agents de longue durée. Les données montrent que compter sur « ce qui vient d'être dit » échoue lamentablement à mesure que la conversation grandit.
Ce n'est pas une « percée » qui résout le problème du rappel des anciens faits. L'article admet que pour les faits anciens et non épinglés, MemDecay est en fait moins performant que les méthodes existantes basées sur l'attention dans ces tests spécifiques.
Il ne « apprend » pas de nouveaux poids. Il est « sans réentraînement » (training-free), ce qui signifie qu'il ne réentraîne pas le cerveau du robot. Il utilise simplement un ensemble intelligent de règles et une petite mesure pour ajuster les horloges d'expiration.

L'essentiel

MemDecay est un système ingénieux basé sur des règles qui organise la mémoire d'un robot par type plutôt que par simple âge.

Il gagne haut la main en protégeant les règles et instructions centrales du robot, garantissant qu'elles ne soient jamais perdues, même quand la mémoire est restreinte.
Il perd face au souvenir des anciens faits non épinglés, où il est surpassé par les méthodes qui suivent simplement l'attention du robot.

Les chercheurs ont mesuré ces résultats à travers des milliers de cas de test et ont conclu que, bien que l'approche par « type » soit excellente pour la structure, elle nécessite un ajustement mathématique pour éviter d'oublier les choses utiles et anciennes. C'est une étape solide pour rendre les agents robotiques de longue durée plus fiables, mais le travail n'est pas terminé.

Résumé Technique : MemDecay

Problématique

Les modèles de langage de grande taille (LLM) sont de plus en plus déployés en tant qu'agents exécutant des flux de travail à long horizon impliquant des interactions multi-tours, l'utilisation d'outils et une planification itérative. Contrairement aux tâches statiques à contexte long, les traces d'agents accumulent des composants hétérogènes : instructions système, contraintes de sécurité, plans évolutifs, tours utilisateurs, documents récupérés, sorties d'outils et états de raisonnement intermédiaire.

Le cache Clé-Valeur (KV) requis pour le décodage autorégressif croît linéairement avec cette trace, créant une surcharge mémoire, des demandes de bande passante et une latence significatives. Les politiques d'éviction du cache KV existantes reposent généralement sur des signaux centrés sur le modèle (ex: attention accumulée, fenêtres de récence ou puits d'attention) et appliquent des règles de rétention uniformes sur l'ensemble de la séquence. Cette approche ne parvient pas à exploiter la structure sémantique intrinsèque des prompts orchestrés par les agents. Dans les charges de travail d'agents, différents composants ont des rôles fonctionnels et des durées de vie attendues très différents ; par exemple, les instructions système doivent persister tout au long d'un épisode, tandis que le raisonnement de type "scratchpad" ou les sorties d'outils obsolètes peuvent n'être pertinents que sur de courtes périodes. Traiter tous les jetons avec la même durée de vie attendue ignore cette structure, ce qui conduit à une gestion de la mémoire sous-optimale.

Méthodologie : MemDecay

Les auteurs proposent MemDecay, un cadre d'éviction du cache KV sensible aux régions et sans entraînement, conçu pour les agents LLM à long horizon. La méthode opère sous un budget de cache fixe et intègre des priors structurels provenant de la couche d'orchestration avec l'importance dérivée de l'attention.

Composants Clés

Étiquettes de Région (Region Labels) : La couche d'orchestration fournit des étiquettes de région pour les segments contigus de prompts (ex : system, plan, user, tool_in, tool_out, retrieval, scratchpad).
Score de Rétention : Chaque jeton $i$ $i$ se voit assigner un score de rétention $s_i(t)$ $s_{i} (t)$ au temps $t$ $t$ , calculé comme suit :
$s_i(t) = b_{r(i)} \exp(-\lambda_{r(i)} \Delta t_i(t)) + \alpha a_i(t)$
- Prior Structurel : $b_{r(i)}$ est une priorité de base spécifique à la région du jeton.
- Décroissance Temporelle : $\lambda_{r(i)}$ est un taux de décroissance spécifique à la région. Le terme $\Delta t_i(t)$ représente le temps écoulé depuis la dernière "actualisation" du jeton.
- Importance de l'Attention : $a_i(t)$ est une moyenne mobile exponentiellement pondérée (EWMA) de la masse d'attention reçue par le jeton.
- Mécanisme de Rafraîchissement : Si l'attention portée à un jeton dépasse un seuil $\tau$ , son horloge de décroissance est réinitialisée ( $\Delta t_i$ devient 0), prolongeant ainsi sa vie grâce à une utilisation continue.
Épinglage (Pinning) : Les régions système (et optionnellement les segments de plan) peuvent être "épinglées", ce qui signifie qu'elles ne sont jamais évincées, quel que soit le score.
Politique d'Éviction : Le cache est géré à la granularité de la page (ex : 16 jetons par page). Lorsque le budget est dépassé, les pages sont scorées par la moyenne du score de rétention de leurs jetons constitutifs. Les pages ayant les scores les plus bas sont évincées en premier.

Étalonnage

MemDecay ne nécessite pas d'entraînement des poids du modèle, mais emploie un étalonnage statistique léger pour ajuster les taux de décroissance ( $\lambda_r$ ) pour chaque région. Ce processus estime les durées de vie de l'attention conditionnées par la région à partir des traces d'agents, permettant au système de s'adapter aux caractéristiques spécifiques de la charge de travail sans réentraîner le LLM.

Contributions Clés

Formulation : L'article formule l'oubli sélectif sensible aux régions comme un problème de gestion de la mémoire pour les agents LLM, ancrant la solution dans la structure sémantique des prompts orchestrés.
Algorithme : Il introduit MemDecay, une politique qui combine des priorités de base spécifiques aux régions, une décroissance temporelle et un rafraîchissement déclenché par l'attention dans un score de rétention unique et interprétable. Il opère sur des mises en page à granularité de page compatibles avec les piles de service existantes (ex : PagedAttention).
Protocole de Mesure : Les auteurs spécifient un protocole pour estimer les durées de vie de l'attention conditionnées par la région et calibrer les taux de décroissance. Ils exécutent cela sur deux longueurs de contexte (~450 et ~1 700 jetons) et deux tailles de modèles (Qwen2.5-1.5B et 3B), totalisant 4 320 sondes d'éviction scorées.

Résultats Expérimentaux

L'étude évalue MemDecay par rapport à des bases de référence incluant l'éviction aléatoire, la rétention basée sur la récence (streaming) et la rétention par attention accumulée (style H2O).

Principales Découvertes

Hiérarchie de Durée de Vie des Régions : Les durées de vie de l'attention mesurées diffèrent d'un ordre de grandeur selon les régions. Dans tous les cas, les jetons system ont des demi-vies de 148–189 étapes de décodage, tandis que les jetons scratchpad décroissent rapidement (14–16 étapes). Les jetons Retrieval se sont révélés être la région mobile ayant la plus longue durée de vie, contredisant les hypothèses par défaut selon lesquelles ils décroissentraient rapidement.
Efficacité de l'Épinglage : L'épinglage des régions système garantit la survie des instructions. MemDecay a préservé 21–24 des 24 sondes système dans tous les réglages au plafond du cache complet, alors que les bases de référence basées sur la récence n'en ont préservé que 0–2.
Récence vs Structure : La rétention basée sur la récence (streaming) s'effondre à mesure que la longueur du contexte augmente, affichant des performances proches de zéro sur les paliers longs. En revanche, le prior structurel de MemDecay reste efficace.
Attention Accumulée : Sur le contenu non épinglé, l'attention accumulée (style H2O) se renforce avec l'échelle du modèle, surpassant MemDecay sur le rappel non épinglé dans le réglage du modèle 3B.
Limitation de MemDecay : MemDecay a montré une perte spécifique de rappel non épinglé pour les faits anciens (ex : faits de la région utilisateur dans le tour initial) par rapport aux bases de référence basées sur l'attention. Une étude d'ablation a révélé que le terme d'attention ( $\alpha a_i$ ) était trop faible en magnitude pour contrebalancer la décroissance structurelle de ces jetons. Les auteurs identifient que le terme d'attention nécessite une normalisation de magnitude (ex : par rapport aux niveaux d'attention uniforme) pour être efficace, plutôt qu'un simple ajustement de poids.

Signification et Revendications

L'article positionne MemDecux comme une solution pratique et sans entraînement qui aligne la rétention du cache avec la structure sémantique des flux de travail des agents. Sa signification réside dans :

Interprétabilité : La politique est pilotée par des étiquettes de région explicites et des taux de décroissance, rendant les décisions de rétention transparentes.
Compatibilité : Il opère sur des caches à granularité de page sans nécessiter de réentraînement du modèle ou de modules auxiliaires, s'intégrant dans les piles de service existantes.
Stabilité Garantie : En épinglant les régions critiques, il garantit que les instructions système et les contraintes de sécurité ne sont jamais perdues en raison de la pression mémoire, une garantie que les méthodes basées sur l'attention ou la récence ne fournissent pas.
Adaptabilité : Le protocole de calibration démontre que les durées de vie des régions dépendent de la charge de travail et peuvent être mesurées pour optimiser les taux de décroissance, remettant en question l'utilisation de politiques d'éviction statiques et universelles.

Les auteurs concluent que bien que MemDecay réussisse à préserver les priors structurels et les instructions épinglées, les travaux futurs devront traiter la normalisation de la magnitude du terme d'attention pour améliorer le rappel non épinglé et explorer des extensions à plusieurs niveaux (ex : déchargement vers la mémoire hôte) pour gérer l'éviction irréversible.