The Past Is Prologue: A Plug-in Controller for Selective Updates in Sequentially Evolving LLM Memory

Résumé Technique : Janus – Un contrôleur par plug-in pour les mises à jour sélectives dans la mémoire des LLM en évolution séquentielle

1. Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'agents séquentiels qui apprennent de leurs interactions passées via une mémoire externe. Dans ce cadre, les agents récupèrent de la mémoire, résolvent des tâches, reçoivent un feedback et mettent à jour leur mémoire pour une utilisation future. Bien que cette boucle « récupération–résolution–mise à jour » soit intuitive, les systèmes de mémoire séquentielle existants souffrent d'une limitation fondamentale : ils déploient généralement chaque mise à jour de mémoire générée localement sans vérifier son utilité globale.

Le papier identifie que les mises à jour optimisées pour la tâche immédiate peuvent être préjudiciables à l'état final de la mémoire. Plus précisément, elles peuvent :

• Écraser des connaissances précédemment utiles.
• Introduire des règles bruitées et trop spécifiques.
• Biaiser la mémoire vers des exemples récents, dégradant ainsi les performances sur de futures tâches non vues.

Cela crée un problème de validation de la mémoire : déterminer quand comparer une candidate à la mémoire actuelle, et quelles tâches utiliser pour cette comparaison, sans encourir le coût computationnel prohibitif de la relecture de tout l'historique des tâches.

2. Méthodologie : Janus

Les auteurs proposent Janus, une méthode de contrôle par plug-in, agnostique de la méthode, qui enveloppe les metteurs à jour de mémoire existants. Janus ne modifie pas les règles de mise à jour sous-jacentes ; il agit plutôt comme un garde-fou, décidant s'il faut accepter une mise à jour de mémoire candidate ($\hat{M}_t$) ou conserver la mémoire précédente ($M_{t-1}$).

Janus traite le problème de la validation par deux mécanismes de base :

A. Déclencheur de Momentum de Mémoire (MMT)
Pour éviter la latence élevée liée à la comparaison des mémoires après chaque tâche, Janus traite les mises à jour de mémoire comme une trajectoire. Il utilise un encodeur de texte $\phi(\cdot)$ pour projeter les états de mémoire dans un espace vectoriel.

• Direction de la mise à jour : La direction d'une mise à jour candidate est définie comme $z_t = \phi(\hat{M}_t) - \phi(M_{t-1})$.
• Suivi du momentum : Janus maintient une moyenne mobile exponentielle des directions de mise à jour précédentes : $m_t = \beta m_{t-1} + (1-\beta)z_t$.
• Condition de déclenchement : Une comparaison est déclenchée uniquement lorsqu'une mise à jour candidate dévie significativement de la trajectoire de momentum récente, indiquée par $\cos(z_t, m_{t-1}) < \tau$.
• Raisonnement : Les mises à jour incrémentielles mineures alignées avec le momentum sont acceptées directement. Les déviations brusques, qui peuvent indiquer soit une nouvelle connaissance précieuse, soit une distorsion nuisible, déclenchent une étape de validation explicite.

B. Ensemble d'évaluation hybride par temps de déclenchement
Lorsqu'un déclencheur se produit, Janus évalue à la fois $M_{t-1}$ et $\hat{M}_t$ sur un ensemble hybride compact $E_t$ plutôt que sur l'historique complet. Cet ensemble se compose de trois éléments :

1. Ensemble de couverture ($S^{cov}_t$) : Un cluster de tâches représentatives résumant la distribution globale de toutes les tâches rencontrées.
2. Ensemble de frontière ($S^{bdry}_t$) : Une collection de tâches de « bascule » où le choix de l'état de la mémoire a précédemment modifié la correction de l'agent (c'est-à-dire des tâches où $1_{corr}(x; M_{t-1}) \neq 1_{corr}(x; \hat{M}_t)$). Ces tâches sont hautement sensibles aux changements de mémoire.
3. Ensemble Frais ($F_t$) : Un échantillon de tâches rencontrées depuis le dernier déclencheur pour éviter le surapprentissage sur un ensemble de support statique et pour tester les performances sur de nouvelles régions explorées.

La mémoire finale $M_t$ est sélectionnée comme étant celle produisant la meilleure performance sur $E_t$.

3. Principales contributions

• Identification d'un défi de déploiement : Le papier souligne que les systèmes de mémoire séquentielle échouent souvent parce que les mises à jour générées localement ne sont pas globalement utiles. L'acceptation aveugle des mises à jour peut conduire à des mémoires finales biaisées vers des informations bruitées et spécifiques à une tâche.
• Contrôle par plug-in efficace : Janus est un contrôleur agnostique de la méthode qui enveloppe les metteurs à jour existants. Il combine le Déclencheur de Momentum de Mémoire avec un ensemble d'évaluation hybride compact, permettant un déploiement sélectif sans modifier le metteur à jour de base ou rejouer l'intégralité de l'historique.
• Validation empirique : L'approche est validée sur six jeux de données, deux modèles LLM de base et deux architectures distinctes de mise à jour de mémoire.

4. Résultats expérimentaux

Les auteurs ont évalué Janus sur six jeux de données couvrant le raisonnement mathématique (MATH500), le raisonnement scientifique (GPQA), le STEM professionnel (MMLU-Pro), la génération de code (HumanEval) et l'utilisation d'outils (APIBench). Les expériences ont utilisé Qwen3-8B et DeepSeek-V4-Flash comme modèles de base, couplés à des metteurs à jour comme DC-RS et ExpeL.

• Gains de performance : Janus a systématiquement amélioré la précision moyenne par rapport aux metteurs à jour de base de +2,7 à +4,6 points de pourcentage.
  • Sur Qwen3-8B, DC-RS + Janus a amélioré la précision moyenne de 79,5 % à 83,2 %.
  • Sur DeepSeek-V4-Flash, ExpeL + Janus a amélioré la précision moyenne de 79,6 % à 82,3 %.
• Études d'ablation :
  • Temporalité du déclenchement : Le déclencheur MMT a surpassé les stratégies de déclenchement aléatoire et périodique, atteignant une précision comparable ou supérieure avec nettement moins de comparaisons qu'une politique de « déclenchement systématique ».
  • Composition de l'ensemble d'évaluation : Le retrait de n'importe quel composant de l'ensemble hybride (Couverture, Frontière ou Frais) a dégradé les performances. L'ensemble « Frais » était particulièrement critique pour éviter des comparaisons obsolètes et auto-renforcées.
  • Décisions de déploiement : Les points de contrôle intermédiaires de la mémoire ont montré que Janus maintient une tendance ascendante stable de la précision, tandis que les metteurs à jour de base stagnent ou se dégradent souvent au fur et à mesure que le flux de tâches progresse, confirmant que les mémoires plus récentes ne sont pas toujours meilleures.

5. Signification et affirmations

Le papier affirme que le principal goulot d'étranglement dans la mémoire séquentielle des LLM n'est pas seulement de savoir comment générer des mises à jour, mais de savoir si les déployer. Janus démontre que traiter la mise à jour de la mémoire comme une décision de déploiement — en filtrant les mises à jour optimisées localement qui pourraient nuire à la généralisation globale — améliore considérablement l'utilité de la mémoire finale.

Les auteurs positionnent Janus comme une solution légère et efficace qui peut être intégrée dans les cadres de mémoire séquentielle existants sans réentraîner le modèle de base ni modifier la logique de mise à jour centrale. Les résultats suggèrent que pour les assistants de raisonnement et les systèmes de prise de décision interactifs, maintenir une mémoire organisée et validée est plus efficace que d'accumuler toutes les expériences générées.