💬 NLP

PReM: Learning What to Preserve and When to Refresh for Context Compression

PReM est un nouveau cadre de compression de contexte qui apprend dynamiquement à préserver et à rafraîchir la mémoire KV interne par couche via une couche de mémoire dédiée et des jetons spéciaux, permettant une inférence de contexte long efficace sans dépendre de compresseurs externes ou prendre de décisions de rétention prématurées.

Auteurs originaux : Bohan Yu, Lei Shen, Chenxi Zhou, Chen Han, Junlin Liu, Wenbo Su, Yu Cheng, Bo Zheng

Publié 2026-07-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bohan Yu, Lei Shen, Chenxi Zhou, Chen Han, Junlin Liu, Wenbo Su, Yu Cheng, Bo Zheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère massif et complexe, mais au lieu d'un indice unique, on vous remet une bibliothèque contenant 32 000 pages de documents. Votre cerveau (ou, dans ce cas, un programme informatique appelé Grand Modèle de Langage) doit lire l'intégralité de celle-ci pour trouver les faits spécifiques nécessaires pour répondre à une question. Le problème est que conserver toute cette bibliothèque dans votre « mémoire de travail » en même temps est incroyablement lourd et lent. C'est comme essayer de porter une bibliothèque dans un sac à dos tout en participant à une course ; finit par par fatigue, et vous pourriez faire tomber le livre même dont vous avez besoin.

Pour corriger cela, les scientifiques ont essayé deux astuces principales jusqu'à présent. La première est la « compression », où ils tentent de réduire la bibliothèque en un minuscule résumé avant même que vous ne commenciez à lire. La seconde est la « mise en cache » (caching), où ils conservent toute la bibliothèque mais essaient de ne regarder que les pages les plus populaires. Mais les deux présentent une faille : elles prennent une décision sur ce qu'il faut garder avant même que vous ne commenciez à résoudre l'énigme. Si le mystère change à mi-chemin et que vous avez soudainement besoin d'une page située à la fin du livre qui a été jetée, vous êtes coincé. Vous ne pouvez pas revenir en arrière pour la récupérer car la décision a été prise trop tôt. Ce document introduit une nouvelle façon de gérer cela, suggérant qu'au lieu d'un résumé statique, nous avons besoin d'un système de mémoire capable de se mettre à jour à mesure que l'histoire se déroule.

Entrez en scène PReM (Preserve and Refresh Memory - Préserver et Rafraîchir la Mémoire), un nouveau cadre de travail ingénieux qui traite la mémoire du modèle comme un carnet de notes dynamique et vivant plutôt que comme un classeur statique. L'idée centrale est simple mais puissante : ne pas seulement décider ce qu'il faut garder une fois, mais décider ce qu'il faut garder tout de suite, et être prêt à échanger les éléments dès que l'histoire l'exige.

Voici comment fonctionne PReM, en utilisant une analogie amusante. Imaginez que vous êtes un détective résolvant une affaire avec une équipe d'assistants (les différentes couches de l'IA). Dans les anciennes méthodes, l'équipe lisait tout le dossier de l'affaire, choisissait ses 10 pages préférées et verrouillait le reste dans un coffre-fort. Si vous aviez plus tard besoin d'une page du coffre, c'était trop tard.

PReM change les règles. Il conserve l'intégralité du dossier de l'affaire, mais l'organise en petits « morceaux » (comme des chapitres). À mesure que le détective commence à rédiger la solution, un « Jeton de Mémoire » spécial (appelons-le un Signet Magique, écrit sous la forme ⟨m⟩) agit comme un signal. Lorsque le détective écrit ce signet, c'est comme s'il disait : « Attendez ! Je dois repenser à ce qui se trouve sur mon bureau. »

À ce moment précis, un « Gestionnaire de Mémoire » dédié (une couche spéciale dans l'IA) s'éveille. Il examine la question actuelle et le Signet Magique, puis balaie rapidement tous les chapitres. Il décide : « D'accord, pour la prochaine étape de l'histoire, nous avons absolument besoin du Chapitre 3 et du Chapitre 12. Nous pouvons oublier le reste pour l'instant. » Il échange ensuite les anciens chapitres sur le bureau avec les nouveaux, gardant les détails importants nets et clairs tout en compressant les informations inutiles en un petit résumé. Cela se produit pendant le processus d'écriture, et non avant.

Le document montre que ce mécanisme de « rafraîchissement » change la donne. Lors de tests utilisant des contextes de 32 000 jetons (ce qui représente beaucoup de texte !), PReM a réussi à compresser la mémoire 16 fois et même 32 fois. Malgré le fait d'avoir beaucoup moins d'informations « sur le bureau » à un moment donné, il a en réalité mieux répondu aux questions que les modèles qui essayaient de garder toute la bibliothèque ouverte. Par exemple, sur un modèle de 7 milliards de paramètres, PReM a amélioré la précision des réponses de jusqu'à 12,55 points par rapport aux meilleures méthodes existantes.

Les chercheurs ont également découvert quelque chose d'intéressant concernant l'endroit où ce gestionnaire de mémoire devrait se situer. Ils ont testé le placement du « Gestionnaire de Mémoire » dans les parties précoces, médianes ou tardives du cerveau de l'IA. Ils ont constaté que les couches médianes et tardives étaient bien meilleures pour décider de ce qu'il fallait garder, tandis que les couches précoces étaient trop lentes pour acquérir cette compétence. C'est comme si un détective chevronné (les couches médianes) prenait la décision sur la pertinence des preuves, plutôt qu'un débutant (les couches précoces).

L'une des découvertes les plus surprenantes est que PReM est si performant dans cette gestion de mémoire « apprise » qu'un modèle plus petit (3 milliards de paramètres) utilisant PReM peut surpasser des modèles plus grands (7 milliards de paramètres) qui utilisent d'autres techniques de compression. Cela suggère que savoir quand rafraîchir sa mémoire est tout aussi important que la taille de son cerveau.

Le document écarte également quelques idées. Il démontre que l'utilisation de l'attention naturelle de l'IA (regarder ce sur quoi elle réfléchit actuellement) ne suffit pas pour décider de ce qu'il faut garder ; il faut un système spécifique et entraîné pour effectuer la sélection. Il montre également qu'on ne peut pas simplement compresser le texte une seule fois au début et espérer que tout se passe bien ; l'approche « statique » consistant à conserver le même résumé compressé tout au long de la réponse conduit à de moins bons résultats, surtout pour les questions complexes à plusieurs étapes.

En bref, PReM suggère que l'avenir d'une IA efficace ne réside pas seulement dans la réduction des données, mais dans la construction d'une mémoire qui respire. Elle apprend à préserver les preuves dont elle a besoin pour l'étape actuelle de la conversation et sait exactement quand appuyer sur le bouton « rafraîchir » pour échanger les preuves actuelles contre de nouvelles preuves pour l'étape suivante. Ce faisant, elle permet à l'IA de rester rapide et efficace sans oublier les indices nécessaires pour résoudre le mystère.

Résumé Technique : PReM (Preserve and Refresh Memory)

1. Énoncé du Problème

L'inférence efficace en contexte long pour les Grands Modèles de Langage (LLM) fait face à une tension fondamentale entre la réduction des coûts de calcul et le maintien de l'accès aux preuves contextuelles nécessaires. À mesure que la longueur du contexte augmente, le cache Clé-Valeur (KV) croît, ce qui augmente considérablement la latence de décodage et l'utilisation de la mémoire.

Les approches existantes pour atténuer ce problème, telles que la compression du cache KV et la compression de contexte, souffrent de deux limitations principales :

Rétention d'Évidence Statique : La plupart des méthodes prennent une décision unique et précoce sur le contexte à conserver. Cette compression statique ne parvient pas à s'adapter aux besoins évolutifs du raisonnement multi-étapes, où différentes étapes de raisonnement peuvent nécessiter des morceaux d'évidence différents.
Sélection d'Évidence Découplée : Les méthodes reposant sur des compresseurs externes séparent le processus de compression de la génération. Cela introduit un calcul supplémentaire et empêche le modèle de personnaliser dynamiquement la sélection de l'évidence en fonction de l'étape de raisonnement spécifique.

L'article soutient qu'une compression efficace doit aller au-delà de la simple réduction de taille ; elle doit préserver dynamiquement l'évidence utile et la rafraîchir lorsque les étapes de raisonnement ultérieures nécessitent des informations différentes.

2. Méthodologie : PReM

PReM (Preserve and Refresh Memory) est un cadre de compression de contexte qui maintient les contextes longs sous forme de mémoire KV interne par couche au sein du LLM. Au lieu de s'appuyer sur des compresseurs externes, PReM apprend à décider quoi préserver et quand rafraîchir en se basant sur l'état interne du modèle.

Mécanismes Fondamentaux

Représentation de la Mémoire KV par Couche : Le contexte long est encodé sous forme d'états KV par couche ( $M_\ell$ ) stockés au sein du modèle. Ces états sont partitionnés en blocs contigus.
Couche de Mémoire Dédiée : Une couche spécifique ( $\ell_m$ $ℓ_{m}$ ) est désignée pour prendre les décisions de sélection de la mémoire. Cette couche utilise une matrice de projection de requête de sélection dédiée ( $W^c_\ell$ $W_{ℓ}^{c}$ ) pour évaluer les blocs de contexte.
- Sélection de Blocs : Le modèle évalue les blocs en fonction de la requête actuelle (provenant de la question ou d'un jeton de rafraîchissement).
- Préservation et Regroupement (Preserve-and-Pool) : Les blocs sélectionnés sont préservés à une granularité de niveau jeton. Les blocs non sélectionnés sont compressés en un seul représentant KV moyen.
Le Jeton de Mémoire $\langle m \rangle$ : Un jeton spécial sert de signal interne explicite pour le rafraîchissement de la mémoire. Lorsque le modèle génère $\langle m \rangle$ , la couche de mémoire réévalue les blocs de contexte, sélectionne de nouvelles évidences pertinentes et met à jour la mémoire KV compressée pour les couches suivantes. Cela permet au modèle de contrôler quand rafraîchir en fonction de l'étape de raisonnement actuelle.

Entraînement : Entraînement au Rafraîchissement par Séparation de Phases

Pour entraîner le modèle à aligner la sélection de la mémoire avec la génération, PReM introduit une stratégie d'Entraînement au Rafraîchissement par Séparation de Phases. Chaque étape de raisonnement est divisée en deux passages directs distincts :

Phase de Sélection de Mémoire : Le modèle traite l'entrée (question ou $\langle m \rangle$ ) pour calculer les scores des blocs et sélectionner les $k$ meilleurs blocs d'évidence. Cette phase est supervisée par une Perte de Sélection de Mémoire ( $L_{ms}$ ) qui encourage le modèle à classer les blocs d'évidence plus haut que les blocs non-évidence.
Phase de Génération Conditionnée par la Mémoire : Le modèle génère le segment de réponse ( $y_s$ ) conditionné par l'état de la mémoire nouvellement rafraîchi résultant de la phase de sélection.

Pour garantir la cohérence entre l'entraînement et l'inférence, l'objectif d'entraînement inclut des termes d'entropie croisée de bordure ( $L_{bd}$ ). Ces termes connectent la phase de sélection au premier jeton de réponse et la fin d'un segment de réponse au jeton $\langle m \rangle$ suivant, garantissant que le modèle apprend les liens autoregressifs entre les mises à jour de la mémoire et la génération.

3. Contributions Clés

Formulation : L'article reformule la compression de contexte comme un problème appris de préservation et de rafraîchissement de la mémoire, éliminant le besoin de compresseurs externes.
Architecture : PReM introduit une couche de mémoire dédiée et un jeton spécial $\langle m \rangle$ pour permettre des mises à jour de mémoire dynamiques et spécifiques à chaque étape au sein des états KV internes du LLM.
Stratégie d'Entraînement : La proposition de l'Entraînement au Rafraîchissement par Séparation de Phases, qui découple la sélection de la mémoire de la génération pendant l'entraînement pour s'assurer que le modèle apprend à conditionner la génération sur l'état de mémoire spécifique requis pour cette étape.
Validation Empirique : Des expériences exhaustives démontrant que les mises à jour de mémoire apprises et dynamiques surpassent la compression statique et le prompting en contexte complet.

4. Résultats Expérimentaux

Les expériences ont été menées sur des variantes 3B et 7B de Qwen2.5-Instruct utilisant des contextes de 32K jetons sur six benchmarks (TriviaQA, SQuAD, NaturalQuestions, 2WikiMQA, HotpotQA, MuSiQue).

Performance vs Baselines : Sous des taux de compression de 16× et 32×, PReM a surpassé huit baselines solides, incluant des méthodes de cache KV (SnapKV, StreamingLLM, CAKE) et des méthodes de compression de contexte (LongLLMLingua, EXIT, ICAE).
- Sur le backbone 3B à 16× de compression, PReM a amélioré la moyenne de l'Exact Match (EM) et du F1 de 5,30 et 5,15 points respectivement par rapport à la meilleure baseline.
- Sur le backbone 7B à 32× de compression, les améliorations ont atteint 8,20 (EM) et 9,89 (F1) points.
Comparaison avec le Contexte Complet : PReM a surpassé le prompting direct de 32K jetons (sans compression) sur les modèles 3B et 7B, suggérant que la sélection de mémoire apprise est plus efficace que l'exposition du modèle au contexte complet non filtré.
Supériorité des Petits Modèles : Le modèle PReM 3B a surpassé les baselines de compression de contexte "soft" de 7B publiées (ex: Activation Beacon), indiquant que la préservation et le rafraîchissement appris peuvent compenser les échelles de backbone plus petites.
Efficacité : PReM a réduit considérablement la mémoire GPU de pointe (ex: ~19,57 Go contre 30,0 Go pour la mémoire complète) tout en maintenant une latence d'inférence compétitive. L'utilisation des jetons $\langle m \rangle$ permet un compromis contrôlable entre le calcul de décodage (fréquence de rafraîchissement) et l'économie de mémoire.

5. Signification et Revendications

L'article affirme que PReM démontre que l'inférence en contexte long efficace nécessite des mises à jour de mémoire couplées à la génération plutôt qu'un raccourcissement de contexte statique. En maintenant le contexte sous forme de mémoire KV interne et en apprenant à le rafraîchir dynamiquement, le modèle peut accéder de manière adaptative à l'évidence spécifique nécessaire pour chaque étape de raisonnement.

Les auteurs soulignent que leur approche répond aux limites de la rétention statique et du découplage de sélection, montrant qu'un modèle peut apprendre à « savoir quoi préserver et quand rafraîchir », menant à une performance supérieure dans les tâches de raisonnement multi-étapes et à de meilleurs compromis efficacité-qualité par rapport aux techniques de compression existantes. Le travail suggère que la gestion interne de la mémoire, entraînée conjointement avec la génération, est une voie viable pour étendre les LLM vers des contextes plus longs sans coûts de calcul prohibitifs.