🤖 AI

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

CoEvo-Mem est un cadre en boucle fermée qui optimise simultanément les politiques de récupération et l'évolution de la banque de mémoire par des mises à jour alternées et un feedback conditionné par la trajectoire, atteignant des performances de pointe sur divers benchmarks en abordant l'interdépendance fondamentale entre l'accès et le raffinement de la mémoire chez les agents LLM à long terme.

Auteurs originaux : Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Publié 2026-08-04

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot brillant mais distrait à jouer à un jeu vidéo complexe. Le robot possède un cerveau massif (un grand modèle de langage) qui sait parler et réfléchir, mais il ne peut contenir qu'une infime quantité d'informations dans sa « mémoire de travail » à la fois — comme essayer de résoudre un puzzle en ne voyant que les trois dernières pièces. Pour bien jouer sur le long terme, il a besoin d'une bibliothèque d'expériences passées pour effectuer des recherches. C'est là que la Génération Augmentée par Récupération (RAG) entre en jeu : c'est comme si le robot demandait au bibliothécaire : « Hé, avons-nous déjà vu un puzzle comme celui-ci ? »

Mais voici la partie délicate : le robot a besoin de deux choses pour fonctionner parfaitement. Premièrement, il lui faut un Bibliothécaire (la politique de récupération) qui est très doué pour trouver les bonnes notes anciennes pour la question actuelle. Deuxièmement, il lui faut un Preneur de Notes (la banque de mémoire) qui est doué pour organiser ces notes, décider lesquelles sont réellement utiles et les mettre à jour à mesure que le jeu devient plus difficile. Pendant longtemps, les scientifiques ont essayé de rendre le Bibliothécaire plus intelligent tout en gardant le Preneur de Notes statique, ou ils ont cherché à améliorer le Preneur de Notes tout en gardant le même Bibliothécaire. Mais et si le Bibliothécaire avait besoin de savoir comment les notes sont organisées pour les trouver, et si le Preneur de Notes avait besoin de savoir ce que le Bibliothécaire recherche pour mieux organiser ses notes ? Ils doivent apprendre ensemble, dans une boucle.

C'est exactement ce que l'article CoEvo-Mem explore. Les auteurs proposent un système où le « Bibliothécaire » et le « Preneur de Notes » évoluent ensemble, s'enseignant constamment comment faire mieux leur travail. Ils ont testé cette idée sur sept types de tâches complexes, allant de l'écriture de code informatique à la résolution de questions scientifiques, en passant par le contrôle du système d'exploitation d'un ordinateur. Les résultats suggèrent que lorsque ces deux parties apprennent de concert, le robot devient nettement meilleur pour résoudre des problèmes longs et complexes que lorsqu'elles apprennent séparément.

Le Problème : La Boucle de Rétroaction Brisée

Imaginez que vous révisez pour un énorme examen d'histoire. Vous avez une pile de fiches de révision (votre mémoire) et un guide d'étude (votre politique de récupération). Si votre guide d'étude est mauvais, vous pourriez choisir les mauvaises fiches à réviser. Mais si vos fiches sont désordonnées et mal organisées, même un bon guide d'étude pourrait avoir du mal à trouver la bonne.

Dans le monde des agents d'IA, les méthodes existantes corrigent généralement un côté du problème tout en ignorant l'autre. Certaines méthodes tentent de rendre l'IA meilleure pour demander des souvenirs (récupération), tandis que d'autres tentent de rendre l'IA meilleure pour stocker et organiser les souvenirs (évolution). Les auteurs de cet article soutiennent que cette séparation est une erreur. Ils soulignent une « boucle de rétroaction fondamentale » qui était ignorée :

La récupération décide de ce qui est utilisé : Si l'IA choisit les mauvais souvenirs, ces souvenirs ne reçoivent aucun « crédit » pour avoir aidé (ou nui) à la tâche.
Les mises à jour de la mémoire changent le futur : Si l'IA met à jour ses souvenirs en fonction de ce qui s'est passé, la façon dont ces souvenirs sont organisés change, ce qui rend la recherche plus facile ou plus difficile la fois suivante.

Si vous ne corrigez que la méthode de récupération sans laisser la mémoire changer, ou vice versa, vous manquez l'occasion pour qu'elles s'améliorent ensemble. C'est comme essayer d'accorder une guitare alors que les cordes changent constamment d'épaisseur ; vous ne pouvez pas obtenir un son parfait à moins d'ajuster les deux en même temps.

La Solution : CoEvo-Mem

Les auteurs ont construit un cadre appelé CoEvo-Mem (Mémoire Co-Évolutive). Voyez cela comme une danse entre deux partenaires : le Routeur (le Bibliothécaire) et la Banque de Mémoire (le Preneur de Notes).

Voici comment la danse fonctionne :

1. Le Cerveau Gelé et le Routeur Intelligent
Le « cerveau » principal de l'IA (le Grand Modèle de Langage) reste gelé — il n'apprend rien de nouveau. Au lieu de cela, le système utilise un « Routeur » minuscule et léger pour décider comment demander de l'aide.

Lorsqu'une question arrive, le cerveau gelé suggère quelques façons de réécrire la question (certaines se concentrant sur la signification, d'autres sur des mots-clés spécifiques).
Le Routeur apprend ensuite à ajuster ces suggestions en fonction du fait que l'IA ait réussi ou échoué à répondre. C'est comme un entraîneur qui chuchote : « Essaie de demander de cette façon la prochaine fois », en se basant sur le résultat du jeu.

2. La Banque de Mémoire comme une Carte Vivante
Les souvenirs ne sont pas seulement une liste de notes ; ils sont un Graphe Relationnel. Imaginez une carte où chaque souvenir est une ville, et les routes entre elles montrent comment elles sont liées.

Des routes denses relient les souvenirs qui ont le même sens (sémantique).
Des routes éparses relient les souvenirs qui partagent des mots ou des noms spécifiques (lexical).
Des routes temporelles relient les souvenirs qui se sont produits dans une séquence (temporel).

Lorsque l'IA résout une tâche, elle ne se contente pas de sauvegarder la réponse. Elle met à jour la « valeur » des villes qu'elle a visitées. Si un souvenir a aidé l'IA à gagner, cette ville reçoit un score plus élevé. S'il a aidé, mais un peu seulement, le score augmente légèrement. Crucialement, ce crédit ne reste pas uniquement avec ce souvenir précis ; il voyage le long des routes vers les villes voisines, aidant tout le quartier à devenir plus intelligent.

3. La Danse Alternée (La Recette Secrète)
Vous pourriez penser : « Pourquoi ne pas mettre à jour le Routeur et la Mémoire exactement en même temps ? » Les auteurs ont découvert que cela provoque le chaos. Si les deux changent en même temps, c'est comme essayer d'apprendre à faire du vélo pendant que le vélo change aussi de forme. Le système devient confus et instable.

Au lieu de cela, CoEvo-Mem utilise un calendrier alterné :

Phase 1 : La Banque de Mémoire est gelée (bloquée en place). Le Routeur s'entraîne à trouver les meilleurs souvenirs en utilisant cette carte fixe.
Phase 2 : Le Routeur est gelé (bloqué en place). La Banque de Mémoire met à jour son organisation et ses valeurs en fonction de ce que le Routeur vient de trouver.
Ils alternent entre les deux. Cela permet à chaque partenaire d'apprendre de l'état actuel de l'autre sans la confusion de voir les deux changer simultanément.

Ce Qu'ils Ont Trouvé

L'équipe a testé CoEvo-Mem sur sept défis très différents :

Interaction avec le Système d'Exploitation : Contrôler un ordinateur pour accomplir des tâches.
Génération de Code : Écrire des programmes informatiques fonctionnels.
Raisonnement Multimodal : Résoudre des puzzles impliquant à la fois du texte et des images.
Questions Scientifiques : Répondre à des questions difficiles de physique, chimie et biologie.
Appel de Fonctions : Apprendre à l'IA à utiliser des outils et des API correctement.
Conversation à Long Terme : Se souvenir de détails issus de longues discussions.

Dans chacun de ces tests, Co-Evo-Mem a surpassé les meilleures méthodes existantes.

Sur le GPQA Diamond (questions scientifiques difficiles), il a amélioré le score de 7,50 points de pourcentage par rapport à la base de référence la plus forte.
Sur LiveCodeBench (codage), il a progressé de 3,81 points de pourcentage.
Sur la Mémoire Conversationnelle à Long Terme (LoCoMo), il a atteint un score de 81,71, battant la méthode suivante de près de 5 points.

Les auteurs ont également réalisé des « études d'ablation » (des expériences où ils ont retiré des parties du système) pour prouver pourquoi cela fonctionnait.

Lorsqu'ils ont supprimé la réécriture de requête (la partie qui modifie la façon dont la question est posée), la performance a chuté de manière significative.
Lorsqu'ils ont supprimé l'évolution de la mémoire (la partie qui met à jour le graphe et les valeurs), la performance a également chuté, surtout sur des tâches complexes comme le codage et les sciences.
Lorsqu'ils ont essayé de mettre à jour le Routeur et la Mémoire en même temps (au lieu d'alterner), le système a été moins performant que la méthode alternée.

La Conclusion à Retenir

L'article suggère que pour que les agents d'IA maîtrisent réellement des tâches à long terme, nous ne pouvons pas simplement construire un meilleur moteur de recherche ou une meilleure base de données. Nous devons construire un système où le moteur de recherche et la base de données apprennent à s'adapter l'un à l'autre. En laissant le « Bibliothécaire » et le « Preneur de Notes » prendre tour à tour l'apprentissage pendant que l'autre reste immobile, CoEvo-Mem crée une boucle de progression stable qui aide les agents d'IA à mieux se souvenir, à penser plus clairement et à résoudre des problèmes plus difficiles.

Les auteurs précisent que, bien que les résultats soient solides sur ces sept benchmarks, il s'agit d'un cadre spécifique de co-évolution. Ils ne prétendent pas que cela résout tous les problèmes de l'IA, mais ils démontrent que cette manière spécifique de lier la récupération et la mémoire est une étape puissante vers la création d'agents capables d'apprendre et de s'adapter au fil du temps.

Résumé Technique : CoEvo-Mem

Problématique

Les agents basés sur les grands modèles de langage (LLM) à long terme sont confrontés à un défi critique : à mesure que les interactions s'accumulent à travers les tâches et les sessions, la rétention de toutes les informations historiques au sein d'une fenêtre de contexte unique devient inefficace et souvent irréalisable. Les agents efficaces nécessitent des mécanismes de mémoire pour préserver l'expérience utile et la récupérer lorsqu'elle est pertinente. Cependant, les approches existantes optimisent généralement l'accès à la mémoire (récupération) et l'évolution de la mémoire (stockage/affinement) de manière isolée.

Les méthodes axées sur la récupération (ex: RAG, reformulation de requête) optimisent la façon d'accéder à une collection fixe ou maintenue indépendamment, mais n'adaptent pas la collection elle-même en fonction de l'usage.
Les méthodes axées sur la mémoire (ex: évolution basée sur la valeur, graphes structurés) amélirent la façon dont les expériences sont mises à jour ou organisées, mais reposent souvent sur des politiques de récupération prédéfinies ou optimisées séparément.

Cette séparation néglige une boucle de rétroaction fondamentale : les décisions de récupération déterminent quelles mémoires reçoivent des signaux d'utilisation et du crédit, tandis que les mises à jour de la banque de mémoire (valeurs et relations) remodèlent le paysage pour la récupération future. L'optimisation d'un composant contre un homologue permanent et fixe entraîne un décalage avec l'état évolutif de l'autre.

Méthodologie : CoEvo-Mem

CoEvo-Mem est un cadre en boucle fermée conçu pour faire co-évoluer la politique de récupération et la banque de mémoire par le biais d'un feedback d'interaction. Le cadre maintient un LLM de réponse gelé ( $F_{ans}$ ) et se concentre sur l'apprentissage d'une politique de récupération légère et d'un graphe de mémoire relationnel typé et persistant.

1. Composants Clés

LLM Gelé & Réécriture de Requête Spécialisée par Route (SR-QR) : Pour chaque requête, un LLM gelé génère des réécritures de requêtes spécifiques à la route (denses pour l'intention sémantique, creuses pour les indices lexicaux exacts) ainsi qu'un prior de routage initial.
Routeur Résiduel Guidé par le Prior : Un module entraînable et léger apprend une correction résiduelle au prior de routage initial du LLM. Il produit des poids de fusion ( $w_t$ ) qui contrôlent un récupérateur hybride.
Récupérateur Hybride Pondéré par Q : Ce récupérateur intègre la similitude dense, la correspondance creuse (BM25) et l'utilité de la mémoire apprise. Il utilise la fusion de classement réciproque pondérée (WRRF) pour combiner les classements provenant de différentes réécritures et routes, pondérés par la sortie du routeur.
Graphe de Mémoire Relationnel Typé : Les mémoires sont stockées sous forme de nœuds dans un graphe contenant du contenu, des descriptions, des mots-clés et des métadonnées temporelles. Les arêtes encodent des relations sémantiques (denses), lexicales (creuses) et temporelles. Chaque nœud détient une valeur d'utilité apprise ( $Q_t(m)$ ) représentant son utilité de récupération en aval avec escompte.

2. Le Mécanisme de Co-Évolution

Le cadre traite la non-stationnarité causée par la dépendance mutuelle de la récupération et de la mémoire par des phases d'entraînement alternées :

Phase de Routeur : Le graphe de mémoire est fixe (lecture seule). Le routeur est mis à jour à l'aide d'une politique de gradient de récompense (estimateur de fonction de score) basée sur les résultats des tâches. Le routeur explore des mélanges continus de routes de récupération denses et creuses.
Phase de Mémoire : Le routeur est gelé (utilisant sa politique moyenne déterministe). Le graphe de mémoire évolue séquentiellement. De nouvelles mémoires sont distillées à partir des trajectoires d'interaction, et les valeurs d'utilité sont mises à jour via un mécanisme de type Différence Temporelle (TD).
- Mise à jour de l'Utilité : $Q_t(m)$ est mis à jour en fonction de la récompense immédiate de la tâche, de l'utilité attribuée à la mémoire et d'un terme de bootstrap provenant des expériences fraîchement distillées.
- Propagation du Crédit Relationnel : Le feedback se propage aux mémoires liées (voisins sémantiques, lexicaux ou temporels) en fonction de la force du chemin et des facteurs d'atténuation spécifiques à la relation.

3. Objectif d'Entraînement

Le système optimise la récompense attendue de la tâche $J_{tr}$ sur les trajectoires induites par le routeur, le graphe évolutif et le calendrier des phases. En alternant les mises à jour, chaque composant s'adapte au dernier état de l'autre sans l'instabilité d'une optimisation conjointe simultanée.

Contributions Clés

Identification d'une Boucle de Rétroaction : L'article identifie et formalise la boucle de rétroaction sous-explorée entre la récupération et l'évolution de la mémoire dans les agents LLM à long terme, où la récupération détermine l'attribution du crédit et les mises à jour de la mémoire remodèlent la récupération future.
Cadre CoEvo-Mem : Un nouveau cadre qui coordonne l'adaptation de la politique de récupération avec l'évolution de la mémoire relationnelle tout en gardant le LLM de réponse gelé. Les caractéristiques clés incluent :
- Réécriture de requête spécialisée par route et adaptation résiduelle d'un prior de routage LLM.
- Mises à jour de la mémoire qui propagent le feedback à travers les relations sémantiques, lexicales et temporelles.
- Un calendrier d'alternance pour atténuer la non-stationnarité.
Validation Empirique : Des expériences approfondies sur sept benchmarks diversifiés (couvrant six configurations d'évaluation, car BFCL inclut des configurations avec et sans réflexion) démontrent que CoEvo-Mem atteint l'état de l'art, validant l'importance d'une optimisation conjointe.

Résultats Expérimentaux

CoEvo-Mem a été évalué sur sept benchmarks couvrant l'interaction avec les systèmes d'exploitation (LLAB), la génération de code (LiveCodeBench), le raisonnement multimodal (MMMU Pro), le QA scientifique (GPQA Diamond), l'appel de fonctions (BFCL) et la mémoire conversationnelle à long terme (LoCoMo, LongMemEval).

Performance : CoE M a obtenu le score moyen le plus élevé dans les six configurations évaluées (LLAB, LiveCodeBench, MMMU Pro, GPQA Diamond, BFCL non-thinking, et BFCL thinking). Comparé au point de référence le plus fort de chaque ligne, l'amélioration moyenne était de 3,72 points de pourcentage, avec des gains individuels allant de 1,06 à 7,50 points.
- Des gains notables ont été observés dans GPQA Diamond (+7,50) et BFCL non-thinking (+6,33).
Études d'Ablation :
- Supprimer SR-QR (réécriture spécifique à la route) a réduit la performance de 4,24 points en moyenne, soulignant l'importance de la reformulation de requête.
- Supprimer l'Évolution de la Mémoire (mises à jour relationnelles) a réduit la performance de 4,80 points, confirmant que les relations typées et la propagation de la valeur améliorent la réutilisation de la mémoire au-delà des mises à jour indépendantes par élément.
- L'Adaptation Co-évolutive Alternée a surpassé les mises à jour simultanées et l'entraînement en deux étapes, démontrant la nécessité du calendrier alterné pour gérer la non-stationnarité.
Transférabilité : Dans les protocoles à mémoire fixe (LoCoMo-MC, LongMemEval-MC), CoEvo-Mem a obtenu des résultats solides, et lorsque le backbone de réponse a été changé pour GPT-4 sans réentraîner le système de mémoire, la performance a augmenté de manière significative, indiquant que l'interface de récupération apprise se transfère bien entre les backbones.

Signification et Revendications

L'article affirme que CoEvo-Mem fait progresser l'état de l'art en démontrant que l'accès à la récupération et l'évolution de la mémoire sont mutuellement renforçants et doivent être optimisés conjointement. Les auteurs soutiennent que :

L'Adaptation Conjointe est Critique : Isoler l'optimisation de la récupération ou de la mémoire empêche le composant fixe de s'adapter aux changements induits par l'autre, limitant ainsi la performance globale de l'agent.
Boucles de Rétroaction Structurées : En modélisant explicitement la boucle de rétroaction où la récupération détermine l'attribution du crédit et où les mises à jour de la mémoire guident la récupération future, les agents peuvent maintenir des améliorations sur de longs horizons.
Généralisabilité : Le succès du cadre à travers des tâches hétérogènes (de la génération de code au raisonnement scientifique) et des types de mémoire variés suggère que la co-adaptation du routage de récupération et de l'évolution de la mémoire est une stratégie généralisable pour les agents LLM à long terme.

Les auteurs concluent que les travaux futurs devraient explorer le partage de mémoire entre multi-agents et les garanties théoriques pour l'optimisation couplée de la récupération et de la mémoire, mais le présent travail établit le fondement empirique de cette approche de co-évolution.