Résumé technique : Ce qu'il faut garder, ce qu'il faut oublier : Une perspective de taux-distorsion sur la compaction de la mémoire dans les LLM et les agents

Énoncé du problème

Les grands modèles de langage (LLM) et les agents qui s'appuient sur eux consacrent de plus en plus de ressources de calcul à la gestion de la mémoire : mise en cache des clés et valeurs (KV) de l'attention, maintien de prompts longs, stockage d'états récurrents et rétention des historiques d'interaction des agents. À mesure que les longueurs de contexte augmentent, la mémoire devient le goulot d'étranglement principal, dépassant souvent l'empreinte des poids du modèle lui-même.

Actuellement, quatre communautés de recherche distinctes abordent ce goulot d'étranglement de manière isolée :

1. Compression du cache KV : Éviction, quantification ou fusion de jetons (tokens) pendant l'inférence.
2. Compression de prompt/contexte : Élagage ou distillation de jetons d'entrée avant que le modèle ne les traite.
3. Contraintes architecturales : Limitation de la mémoire via la récurrence, les modèles d'espace d'état ou l'attention linéaire.
4. Mémoire d'agent : Consolidation et résumé des trajectoires d'agents et des connaissances à long terme.

Ces communautés opèrent avec des benchmarks, des mesures de succès et des philosophies de conception distincts, et se citent rarement les unes les autres. L'article soutient que ces problèmes ne sont pas distincts, mais plutôt les instances différentes d'un défi fondamental unique : une décision de taux-distorsion. Le problème central est de déterminer quelles informations dérivées du contexte doivent être conservées ou rejetées, avec quelle fidélité, sous un budget de ressources, afin de préserver l'utilité de la tâche en aval.

Méthodologie et formalisme

Les auteurs proposent un formalisme unifié traitant la compaction de la mémoire comme un problème d'optimisation taux-distorsion.

L'objectif unifié

Pour un historique $H$ donné (tous les jetons, états ou mémoires disponibles), un opérateur de compaction $C_\theta$ produit une représentation compacte $Z$ soumise à un budget $B$ (mesuré en octets, jetons ou dimensions d'état). Un opérateur d'usage $U$ génère ensuite une sortie $\hat{Y}$ à partir de $Z$. L'objectif de conception est de minimiser l'erreur attendue (distorsion) sous la contrainte de taux :
$$\min_\theta \mathbb{E}[\ell(U(C_\theta(H), Q), Y)] \quad \text{sous contrainte de} \quad \text{taux}(Z) \le B$$
Cela est formulé comme un problème de goulot d'information (Information Bottleneck) : maximiser $I(Z; Y | Q)$ (bits d'historique prédisant la réponse) sous la contrainte $I(Z; H) \le B$.

Borne inférieure théorique

L'article dérive une borne inférieure de la probabilité d'erreur $P_e$ agnostique aux couches en utilisant l'inégalité de Fano. Soit $I^\star(Q) = I(Y; H | Q)$ le contenu informationnel conditionné par la tâche (les bits d'historique réellement requis pour répondre à la requête $Q$). Si le budget $B < I^\star(Q)$, l'erreur est bornée par :
$$P_e \ge \frac{H(Y|Q) - B - 1}{\log |\mathcal{Y}|}$$
Implications clés :

1. Inévitabilité de l'erreur : En dessous du besoin informationnel $I^\star(Q)$, chaque couche doit commettre une erreur ; aucune architecture ne peut y échapper.
2. Dépendance à la tâche : Les ratios de compression à qualité fixe dépendent de $I^\star(Q)$. Les tâches à haute entropie (récupération exacte) se compressent mal ; les tâches à faible entropie (résumé) se compressent bien.
3. La pénalité de l'agnosticisme vis-à-vis de la requête : Les opérateurs qui décident de ce qu'il faut garder avant de voir la requête (agnostiques à la requête) doivent répartir leur budget sur l'ensemble de la distribution des requêtes, payant une pénalité de $H(Q)$ (entropie de la requête). Les opérateurs conditionnés par la requête peuvent consacrer l'intégralité du budget aux bits pertinents pour la réponse.

Taxonomie à sept axes

Pour classifier les méthodes de manière uniforme, les auteurs introduisent une taxonomie basée sur sept axes orthogonaux :

1. Granularité : De la largeur de bit aux éléments sémantiques.
2. Étape du cycle de vie : Pré-entraînement, prefill, décodage, service, intra-tâche ou inter-tâche.
3. Perte/Fidélité : Sans perte, quasi sans perte, perte uniforme ou multi-fidélité.
4. Adaptativité à la requête/tâche : Agnostique à la requête vs conditionnée par la requête.
5. Apprentissabilité : Sans entraînement, adaptateur post-entraînement ou entraîné de zéro.
6. Mécanisme : Éviction, récupération, fusion, quantification, etc.
7. Substrat de stockage : Sur GPU, stockage externe ou poids du modèle.

Contributions clés

1. Formalisme unifié et borne inférieure : L'article formalise la compaction de la mémoire comme un problème unique de taux-distorsion et dérive une borne inférieure (Éq. 2) montrant que les taux d'erreur sont régis par la même expression à travers toutes les couches. Il identifie la "pénalité de l'agnosticisme vis-à-vis de la requête" comme un coût quantifiable.
2. Taxonomie à sept axes : Un système de classification qui unifie les méthodes issues des caches KV, des prompts, des architectures et de la mémoire d'agent, révélant que les différences résident principalement dans la granularité, l'étape du cycle de vie et l'adaptativité.
3. Transfert de mécanisme entre couches : Les auteurs démontrent que les mécanismes affinés dans une couche peuvent être portés vers d'autres. Par exemple :
   • Les courbes d'oubli des agents (Ebbinghaus) peuvent servir de priors pour l'éviction KV.
   • La récupération sans éviction (Quest) suggère des conceptions pour la mémoire d'agent.
   • Les bornes d'erreur de sortie (Ada-KV) suggèrent des règles d'arrêt pour le résumé d'agent.
4. Identification des modes de défaillance : Deux propriétés critiques déterminent le succès : la Réversibilité (le contenu supprimé peut-il être redérivé ?) et le Conditionnement par la requête (la décision dépend-elle de la requête ?). L'article prédit que les méthodes qui manquent de ces propriétés (ex: résumé irréversible) souffriront d'une accumulation d'erreurs super-linéaire lors de compactions répétées.
5. Proposition de COMPACT-Bench : Un nouveau benchmark proposé pour mesurer la compaction à travers un axe unifié de "octets par jeton d'historique" (BPT). Il inclut des tâches pour mesurer l'attribution de la perte, la réversibilité et la confiance calibrée, testant spécifiquement le régime de "compaction répétée" que les benchmarks actuels ignorent.
6. Expériences de référence : Expériences à petite échelle sur du matériel courant démontrant :
   • Une frontière unifiée précision-budget où la performance s'effondre dès que le budget descend en dessous de $I^\star(Q)$.
   • Une divergence entre les opérateurs réversibles et irréversibles sous compaction répétée, où les méthodes irréversibles perdent environ 50 % des faits par rapport aux méthodes réversibles.

Résultats et observations

• Mode de défaillance universel : À travers toutes les couches, les méthodes qui décident de ce qu'il faut garder avant que la requête ne soit connue et qui ne peuvent pas annuler la décision (irréversibles, agnostiques à la requête) échouent de la même manière : elles écartent des informations dont la requête aura besoin plus tard.
• Dominance de la réversibilité : À budget égal, les opérateurs réversibles (basés sur la récupération, archivage) surpassent systématiquement les opérateurs irréversibles (éviction, résumé), particulièrement sur les requêtes dépendantes du matériel écarté.
• Écart de mesure : Les benchmarks actuels se concentrent sur des tâches de contexte long à un seul tour. Ils échouent à mesurer le coût de la compaction répétée, qui est le mode de fonctionnement réel des agents. L'article montre que l'accumulation d'erreurs lors de compactions répétées est super-linéaire pour les méthodes irréversibles mais stable pour les méthodes réversibles.
• Heuristiques d'attention comme substituts : Les heuristiques courantes (masse d'attention accumulée, perplexité, information mutuelle) sont toutes identifiées comme des substituts de distorsion. Elles sont comparables car elles estiment la même quantité sous-jacente : "à quel point supprimer ceci nuira-t-il à la réponse ?"

Signification et affirmations

L'article affirme que l'examen de la compaction de la mémoire à travers le prisme du taux-distorsion offre trois avantages spécifiques :

1. Un étalon commun : Il permet une comparaison directe des méthodes à travers différentes couches (ex: comparer un quantificateur KV à un résumeur d'agent) en les mappant sur un axe de budget commun.
2. Analyse unifiée des défaillances : Il explique pourquoi des méthodes diverses échouent de manière similaire (en raison de l'irréversibilité et du manque de conditionnement par la requête) et prédit des signatures spécifiques de défaillance (ex: courbes de rappel en forme de U, croissance super-linéaire de l'erreur).
3. Portabilité des techniques : Il permet le transfert de mécanismes éprouvés entre les couches, comme l'application de contraintes architecturales à la mémoire d'agent ou l'utilisation de stratégies de consolidation d'agent pour informer la gestion des KV.

Les auteurs soulignent que le domaine manque d'un benchmark transversal et d'une loi d'échelle prédictive pour $I^\star(Q)$. Ils proposent que le progrès ne viendra pas de meilleurs heuristiques isolés, mais de la reconnaissance de l'objectif partagé et de la mesure de la compaction avec un protocole unifié qui tient compte de la réversibilité, du conditionnement par la requête et de la compaction répétée.

Problèmes ouverts et agenda

L'article trace un agenda de recherche priorisé :

• Développer des opérateurs de compaction conditionnés par la requête, réversibles et multi-fidélité pour toutes les couches.
• Créer des mécanismes d'attribution de perte d'information et de confiance calibrée.
• Cartographier la composition des opérateurs (ex: comment la quantification interagit avec l'éviction).
• Dériver une loi d'échelle de compression prédictive pour estimer $I^\star(Q)$ en fonction des paramètres du modèle et de la tâche.
• Établir des règles d'arrêt pour le résumé d'agent basées sur les bornes d'erreur de sortie.
• Aborder la sécurité et l'auditabilité dans les systèmes de mémoire auto-éditables.