$\delta$-mem: Efficient Online Memory for Large Language Models

Résumé technique de $\delta$-mem : Mémoire en ligne efficace pour les grands modèles de langage

1. Énoncé du problème

Alors que les grands modèles de langage (LLM) sont déployés dans des assistants à long terme et des systèmes d'agents, ils font face à un défi critique : la nécessité d'accumuler, de mettre à jour et de réutiliser des informations historiques sur des interactions prolongées. Les stratégies actuelles reposent souvent sur une simple extension de la fenêtre de contexte d'entrée. Cependant, cette approche est coûteuse en calcul en raison du coût quadratique de l'attention standard par rapport à la longueur du contexte. De plus, augmenter simplement la taille de la fenêtre ne garantit pas une utilisation efficace ; les modèles souffrent souvent de « dégradation du contexte » ou de « pourriture du contexte » lors du traitement de séquences très longues, suggérant que des fenêtres d'un million de tokens ne résolvent pas fondamentalement le problème de la mémoire.

Les mécanismes de mémoire existants relèvent de trois paradigmes, chacun présentant des limites :

• Mécanismes de mémoire textuelle (TMM) : Stockent la mémoire sous forme de texte injecté dans le contexte d'entrée. Bien que flexibles, ils souffrent des limites de la fenêtre de contexte, du bruit de récupération et de la perte de compaction.
• Mécanismes de mémoire hors canal (OMM) : Gardent la mémoire dans des modules externes accessibles via récupération. Cela introduit une surcharge, une complexité d'intégration et un potentiel désalignement avec le modèle de base.
• Mécanismes de mémoire paramétrique (PMM) : Encodent la mémoire dans des préfixes ou des adaptateurs. Bien qu'efficaces pour les modèles de base figés, leur nature statique limite l'adaptation aux informations évoluant dynamiquement.

Il existe un besoin pour un mécanisme qui maintient un état de mémoire compact et évolutif dynamiquement, et qui oriente le modèle de base via une voie étroitement alignée avec son calcul d'attention interne, sans nécessiter de fine-tuning complet ni d'extension explicite du contexte.

2. Méthodologie : $\delta$-mem

Les auteurs proposent $\delta$-mem, un mécanisme de mémoire léger qui enrichit un modèle de base à attention complète figé avec un État en ligne de mémoire associative (OSAM) compact. La conception centrale suit un cycle « Lire-Orienter-Écrire » à chaque position, laissant les paramètres du modèle de base figés.

A. État en ligne de mémoire associative (OSAM)
Au lieu de stocker tous les tokens historiques, $\delta$-mem compresse les informations passées dans une matrice d'état de taille fixe $S \in \mathbb{R}^{r \times r}$ (spécifiquement une matrice $8 \times 8$ dans les expériences). Cet état stocke les associations clé-valeur ($k \to v$) du contexte historique.

• Règle de mise à jour : L'état est mis à jour séquentiellement en utilisant une approche d'apprentissage par règle delta inspirée de la régression en ligne. Étant donné une clé de mémoire $k_t$ et une valeur $v_t$, l'état prédit $\hat{v}_t = S_{t-1}k_t$. La mise à jour minimise l'erreur résiduelle :
  $$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$$
  Ici, $\lambda_t$ (porte d'oubli) contrôle la rétention de la mémoire précédente, et $\beta_t$ (porte d'écriture) contrôle la force de la mise à jour résiduelle. Cela permet à l'état de corriger dynamiquement les écarts de prédiction tout en conservant des informations historiques stables.

B. Projections de mémoire
L'état caché $x_t$ du modèle de base figé est projeté dans un espace de mémoire de faible dimension ($r$ dimensions) pour générer des vecteurs de requête ($q^m_t$), de clé ($k^m_t$) et de valeur ($v^m_t$) pour l'état de mémoire. Une normalisation est appliquée à $q^m_t$ et $k^m_t$ pour réduire l'instabilité lors de la récurrence sur de longues séquences.

C. Orientation via des corrections de faible rang
Pendant la génération, $\delta$-mem lit l'état précédent $S_{t-1}$ en utilisant la requête actuelle $q^m_t$ pour produire un vecteur de lecture $r_t = S_{t-1}q^m_t$. Ce vecteur fournit des signaux pertinents pour le contexte qui orientent l'attention du modèle de base sans récupérer de tokens de texte.

• Le signal de lecture est transformé en corrections de faible rang pour les côtés requête ($\Delta q_t$) et sortie ($\Delta o_t$) du mécanisme d'attention :
  $$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$$
  où $q^0_t$ est la requête originale et $a_t$ est la sortie d'attention standard. Ces corrections permettent à la mémoire associative de participer directement au calcul vers l'avant.

D. Stratégies de granularité d'écriture
L'article examine trois stratégies pour mettre à jour l'état :

1. Écriture Token-État (TSW) : Met à jour l'état à chaque token. Préserve les détails fins mais est sensible au bruit.
2. Écriture Séquence-État (SSW) : Moyenne les états cachés au sein d'un message/segment avant la mise à jour. Réduit la redondance et lisse l'évolution.
3. Écriture Multi-État (MSW) : Maintient plusieurs sous-états parallèles (par exemple, pour les faits, les préférences, la progression de la tâche) pour réduire les interférences, en agrégeant leurs lectures.

E. Entraînement
$\delta$-mem est entraîné en utilisant la perte standard de Fine-Tuning Supervisé (SFT). Les tokens de contexte sont écrits dans l'état en ligne, mais l'état lui-même (et non les tokens de contexte bruts) oriente le modèle de base figé pendant la prédiction de la réponse.

3. Contributions clés

1. Mécanisme novateur : Propose $\delta$-mem, qui couple un état en ligne compact et mis à jour dynamiquement directement avec le calcul d'attention d'un modèle de base figé, évitant ainsi le fine-tuning complet ou le remplacement du modèle de base.
2. Efficacité compacte : Démontre qu'un état de mémoire extrêmement petit (matrice $8 \times 8$) suffit à conserver des signaux historiques utiles et à récupérer des informations pertinentes pour le contexte, même lorsque l'historique explicite est supprimé.
3. Gains de performance : Montre des améliorations significatives sur des benchmarks lourds en mémoire tout en préservant les capacités générales, sans dépendre de l'extension du contexte explicite ni de modules de récupération externes lourds.

4. Résultats expérimentaux

La méthode a été évaluée sur des benchmarks de capacités générales (IFEval, GPQA-Diamond, HotpotQA) et des benchmarks lourds en mémoire (LoCoMo, MemoryAgentBench) en utilisant les modèles de base Qwen3-4B-Instruct, Qwen3-8B et SmolLM3-3B.

• Performance globale : $\delta$-mem a amélioré le score moyen de 1,10$\times$ par rapport au modèle de base figé et de 1,15$\times$ par rapport à la meilleure base de mémoire non-$\delta$-mem (Context2LoRA).
• Tâches lourdes en mémoire :
  • MemoryAgentBench : A atteint une amélioration de 1,31$\times$ (passant de 29,54 % à 38,85 % en moyenne).
  • LoCoMo : A atteint une amélioration de 1,20$\times$ (passant de 40,79 % à 49,12 % en moyenne).
  • Sous-tâche TTL : Le score a presque doublé, passant de 26,14 à 50,50.
• Variations du modèle de base :
  • Sur Qwen3-4B, la variante TSW a obtenu la meilleure moyenne (51,66 %).
  • Sur Qwen3-8B, SSW a été le meilleur (50,86 %), suggérant que l'écriture au niveau du segment atténue le bruit pour les modèles plus puissants.
  • Sur SmolLM3-3B, MSW a provoqué un bond substantiel (de 26,08 % à 36,96 %), indiquant que les plus petits modèles bénéficient de la séparation des types de mémoire pour minimiser les interférences.
• Récupération de contexte : Dans les paramètres « Sans contexte » (où l'historique explicite est supprimé), $\delta$-mem a récupéré des performances significatives, augmentant le EM de HotpotQA de 0,08 % à 6,48 % et la moyenne LoCoMo de 3,49 % à 8,05 %, prouvant que l'état stocke des signaux réutilisables.
• Études d'ablation :
  • Têtes : Injecter des corrections dans les deux branches requête et sortie ($qo$) a fourni le meilleur compromis entre performance et paramètres.
  • Profondeur : Appliquer des corrections sur toutes les couches a donné les meilleurs résultats, indiquant que les signaux de mémoire bénéficient à toute la hiérarchie de représentation.

5. Signification et affirmations

L'article affirme que la mémoire efficace pour les LLM peut être réalisée par un état en ligne compact directement couplé au calcul d'attention. La signification de $\delta$-mem réside dans sa capacité à :

• Découpler la maintenance de la mémoire de la réinsertion de l'invite : Contrairement à la mémoire textuelle, elle ne redirige pas l'historique compressé à travers l'espace des tokens, évitant ainsi les limites de la fenêtre de contexte et le bruit de récupération.
• Permettre une évolution dynamique : Contrairement à la mémoire paramétrique, l'état évolue continuellement avec la séquence via l'apprentissage par règle delta, s'adaptant aux nouvelles interactions sans étapes d'édition discrètes.
• Maintenir l'efficacité : Elle réalise ces gains avec une taille d'état fixe et minuscule ($8 \times 8$) et sans modifier l'architecture du modèle de base, offrant une interface évolutive pour la mémoire au moment du test dans les Transformers figés.

Les auteurs concluent que cette approche offre une alternative robuste à l'expansion du contexte, permettant aux modèles d'exploiter efficacement les informations historiques sans la charge computationnelle du traitement de contexte long ni la complexité des systèmes de récupération externes.