💻 computer science

ERSkill: Evolving for Skill-Guided Adaptive Memory Retrieval

Le document présente ERSkill, un cadre centré sur la recherche qui permet aux agents LLM de faire évoluer continuellement leurs stratégies d'accès à la mémoire en représentant les comportements de recherche comme des compétences exécutables et en co-optimisant un routeur de compétences et un ensemble de compétences pour surpasser de manière significative les bases de référence existantes dans les tâches de requête de mémoire hétérogène.

Auteurs originaux : Haolong Chen, Liang Zhang, Zhuo Li, Lei Xue, Guanrxu Zhu

Publié 2026-08-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haolong Chen, Liang Zhang, Zhuo Li, Lei Xue, Guanrxu Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parliez à un ami robot super intelligent qui se souvient de tout ce que vous avez jamais dit. Dans le monde de l'intelligence artificielle, ces « grands modèles de langage » deviennent comme des collaborateurs à long terme, et non plus de simples assistants ponctuels. Pour ce faire, ils ont besoin d'une banque de mémoire — un endroit pour stocker des faits, des préférences et des conversations passées. Mais voici la partie délicate : posséder une immense bibliothèque de souvenirs est inutile si l'on ne sait pas comment trouver le bon livre. La plupart des robots d'aujourd'hui utilisent une méthode statique et universelle pour fouiller dans leur mémoire, comme utiliser la même recherche par mot-clé pour chaque question. Si vous demandez : « Qu'ai-je mangé au petit-déjeuner ? », le robot cherchera peut-être simplement le mot « petit-déjeuner ». Mais si vous demandez : « Pourquoi ai-je arrêté d'aller à la plage après cette tempête ? », le robot doit relier un événement de tempête à une décision ultérieure, ce qui nécessite une stratégie de recherche beaucoup plus complexe. La grande question que se posent les chercheurs est la suivante : un robot peut-il apprendre à changer sa façon de fouiller dans sa propre mémoire en fonction de ce qu'on lui demande ?

C'est là qu'intervient un nouveau cadre appelé ERSkill. Considérez ERSkill comme un robot qui ne possède pas seulement une mémoire ; il possède une boîte à outils composée de différentes « compétences de recherche » qu'il peut apprendre et améliorer au fil du temps. Au lieu d'utiliser une méthode de recherche unique et rigide, ERSkill traite la récupération mémorielle comme un ensemble de recettes exécutables. Certaines recettes peuvent être simples, comme « chercher un nom spécifique ». D'autres peuvent être complexes, comme « trouver un nom, puis regarder ce qui s'est passé ensuite, puis trouver des événements similaires de l'année dernière ». Le robot utilise un « routeur » intelligent (comme un directeur de la circulation) pour décider quelle recette utiliser pour chaque question.

Ce qui rend ERSkill spécial, c'est qu'il évolue. Il ne se contente pas de conserver les recettes avec lesquelles il a commencé. En s'entraînant à répondre aux questions, il réalise : « Hé, cette recette fonctionne très bien pour trouver des faits, mais elle est terrible pour trouver les raisons pour lesquelles les choses sont arrivées. » Il commence alors à inventer de nouvelles recettes et à affiner les anciennes. Il utilise un système ingénieux pour garder une trace de chaque chemin de recherche qu'il a déjà tenté (un « trie d'expérience », qui est comme une carte de tous les chemins de route qu'il a parcourus) afin de ne pas perdre de temps à rouler en cercles. Il utilise également un filet de sécurité à « double frontière » : un premier groupe de compétences est testé pour voir s'il est capable d'être excellent, et un second groupe n'est autorisé à intégrer l'alignement final que si le directeur de la circulation du robot peut les choisir de manière fiable au moment opportun.

Les résultats sont impressionnants. Lors de tests sur des quiz de mémoire difficiles, ERSkill ne s'est pas contenté de faire un peu mieux ; il a écrasé la concurrence. En utilisant un modèle d'IA puissant appelé Qwen3-Next-80B-A3B-Instruct, ERSkill a amélioré son score global de 31,3 % par rapport aux meilleures méthodes non évolutives. Même avec un modèle plus petit et plus rapide appelé GPT-5.4-nano, il a tout de même boosté les performances de 28,1 %. L'article démontre qu'en laissant le robot apprendre comment chercher, plutôt que de simplement lui dire quoi chercher, il devient un partenaire beaucoup plus efficace et adaptable. Il ne se contente pas de se souvenir de plus de choses ; il se souvient plus intelligemment.

Résumé Technique : ERSkill - Évoluer vers une Récupération de Mémoire Adaptative Guidée par des Compétences

Problématique

Alors que les agents basés sur les grands modèles de langage (LLM) s'appuient de plus en plus sur la mémoire à long terme pour des interactions persistantes, les mécanismes de récupération qui régissent cette mémoire sont généralement statiques. Les méthodes d'auto-évolution existantes se concentrent sur l'affinement du contenu de la mémoire (par exemple, la distillation des traces de raisonnement ou la mise à jour des éléments de mémoire) mais reposent souvent sur des stratégies de récupération prédéfinies et fixes (telles que la recherche dense ou BM25) au moment de la requête. Cette approche statique limite les performances sur les requêtes de mémoire hétérogènes, qui exigent des stratégies de construction de preuves diversifiées. Par exemple, une requête nécessitant la récupération d'un événement spécifique diffère fondamentalement d'une requête nécessitant un raisonnement causal à travers plusieurs événements. Le problème central abordé est la manière dont un agent LLM peut évoluer et apprendre à composer des actions de récupération complexes afin que son comportement de récupération s'adapte aux demandes d'informations variables de différentes requêtes.

Méthodologie : Cadre ERSkill

Les auteurs proposent ERSkill (Evolving Retrieval Skill), un cadre centré sur la récupération qui modélise l'accès à la mémoire de l'agent comme une construction de preuves guidée par des compétences. Le système se compose de trois composants fondamentaux :

1. Mémoire Structurée et Bibliothèque de Primitives

ERSkill compile les historiques d'interaction en un magasin de mémoire structuré $M(D) = (A, I, G)$ , comprenant des enregistrements au niveau atomique ( $A$ ), des index ( $I$ ) et des graphes ( $G$ ). Au lieu de traiter la mémoire comme un magasin passif, ERSkill l'expose via une bibliothèque fixe de primitives de récupération ( $P$ ). Ces primitives agissent comme des transitions d'état ( $p: (q, s, M(D)) \to s'$ ) et incluent :

Primitives de Recherche : entity_search (recherche d'entités), lexical_search (BM25) et dense_search (similitude sémantique).
Primitives d'Expansion : temporal_focus_expand, similarity_expand et relation_expand pour accroître les preuves via les arêtes du graphe.
Primitives de Processus : llm_process pour la réécriture de requêtes, le filtrage et le contrôle dynamique.

2. Compétences de Récupération et Routeur

Une compétence de récupération ( $\kappa$ ) est définie comme un programme exécutable composé d'une séquence de primitives. Cette abstraction permet aux comportements de récupération d'être réutilisables, interprétables et affinables.

Routeur de Compétences : Un modèle entraîné $R_\theta$ fait correspondre dynamiquement une requête $q$ à la compétence $\kappa$ optimale parmi l'ensemble actuel $K$ . Le routeur encode à la fois la requête et les descriptions de compétences en représentations vectorielles pour calculer les scores de compatibilité, sélectionnant la compétence qui construit le mieux la vue de preuve requise pour la génération de la réponse.

3. Co-évolution Compétence-Routeur

Pour surmonter les limites d'un ensemble de compétences statique, ERSkill emploie une procédure de co-évolution qui met à jour conjointement l'ensemble des compétences et le routeur. Ce processus est guidé par deux mécanismes clés :

Trie d'Expérience : Une structure de données efficace qui enregistre les chemins de primitives explorés. Elle permet au générateur de compétences de réutiliser les expériences de déploiement passées, de détecter les candidats dupliqués et d'éviter l'exploration redondante.
Mécanisme de Double Frontière : Ce mécanisme découple l'expansion des capacités de la stabilité du déploiement :
- Frontière de Capacité ( $C_t$ ) : Maintient un ensemble compact de compétences possédant la meilleure valeur "côté oracle" (c'est-à-dire la meilleure performance possible si la compétence optimale était toujours choisie). Elle suit la capacité de récupération maximale découverte.
- Frontière de Déploiement ( $B_t$ ) : Maintient l'ensemble de compétences réellement utilisé lors de l'inférence. Il ne contient que les compétences que le routeur peut sélectionner de manière fiable.
- Processus d'Évolution : De nouveaux candidats de compétences sont générés en éditant les chemins de la frontière de capacité. Les candidats sont évalués sur des lots d'entraînement et de validation. La frontière de capacité est mise à jour pour préserver la performance de l'oracle, tandis que la frontière de déploiement n'est mise à jour que si le nouvel ensemble améliore la performance routée ou maintient la compacité dans un seuil de tolérance. Cela garantit que le système peut explorer de nouvelles capacités sans déstabiliser l'agent déployé.

Contributions Clés

Cadre Centré sur la Récupération : L'article introduit un changement de paradigme où l'accès à la mémoire est traité comme une construction de preuves adaptative à la requête plutôt que comme une stratégie de récupération fixe.
Architecture ERSkill : Un cadre guidé par les compétences qui fait co-évoluer les compétences de récupération et le routeur en utilisant un trie d'expérience et une conception à double frontière pour équilibrer exploration et stabilité.
Performance Empirique : Des expériences approfondies démontrent qu'ERSkill surpasse substantiellement les bases non évolutives et auto-évolutives les plus fortes.

Résultats Expérimentaux

Les auteurs ont évalué ERSkill sur trois benchmarks de mémoire d'agent : LoCoMo, LongMemEval et PerLTQA, en utilisant deux LLM de base : Qwen3-Next-80B-A3B-Instruct et GPT-5.4-nano.

Gains de Performance : ERSkill a obtenu la meilleure moyenne globale sur les scores F1, BLEU-1 et LLM-as-a-Judge.
- Avec Qwen3-Next-80B-A3B-Instruct, il a amélioré la moyenne globale de 31,3 % par rapport à la base la plus forte.
- Avec GPT-5.4-nano, il a amélioré la moyenne globale de 28,1 %.
Transférabilité : Les compétences entraînées sur LoCoMo ont été transférées efficacement vers LongMemEval sans entraînement supplémentaire, maintenant une performance supérieure.
Compromis Coût-Performance : ERSkill a démontré un compromis favorable, obtenant les scores L-J les plus élevés tout en restant léger en termes de jetons de construction de mémoire et de jetons d'inférence par rapport aux autres méthodes de construction de mémoire basées sur les LLM.
Études d'Ablation : Le retrait de composants clés (évolution des compétences, le routeur, la double frontière ou le trie d'expérience) a entraîné des baisses de performance significatives, confirmant la nécessité de chaque élément de conception.

Signification et Revendications

L'article affirme qu'ERSkill met en évidence l'évolution du côté de la récupération comme une direction prometteuse pour les agents LLM à long terme. Les auteurs soutiennent que si le contenu de la mémoire et le guidage du raisonnement sont devenus de plus en plus adaptatifs, le comportement de récupération lui-même est resté largement prédéfini. En modélisant la récupération comme un processus de compétence guidée et évolutive, ERSkille permet aux agents de construire des preuves sur mesure pour des requêtes hétérogènes.

La signification réside dans la démonstration que :

La Récupération Adaptative est Critique : Mettre à jour les résumés de mémoire ou les traces de raisonnement seul est insuffisant si le mécanisme de récupération reste fixe.
Une Évolution Stable est Possible : Le mécanisme de double frontière permet l'expansion des capacités de récupération tout en garantissant que l'agent déployé reste stable et fiable.
Efficacité : Le cadre atteint une haute performance sans engendrer des coûts d'inférence prohibitifs, suggérant qu'une construction de preuves ciblée est plus efficace que la simple récupération de plus de contenu.

Les auteurs maintiennent une position modeste, notant que le système actuel repose sur une bibliothèque de primitives fixe et une évaluation basée sur le déploiement (rollout), ce qui entraîne des coûts d'entraînement. Ils identifient des directions de travaux futurs telles que l'amélioration de l'efficacité avec des évaluateurs moins coûteux, le support de la découverte de primitives, et l'extension de la récupération adaptative à la planification et à l'utilisation d'outils.