💬 NLP

Ask Only When Needed: Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents

Le papier présente ProactAgent, un cadre d'apprentissage continu qui améliore les performances des agents en apprenant à récupérer activement des expériences passées uniquement lorsque cela est nécessaire, grâce à une architecture combinant une évolution en ligne des mémoires et un apprentissage par renforcement pour la récupération proactive.

Auteurs originaux : Yuxuan Cai, Jie Zhou, Qin Chen, Liang He

Publié 2026-04-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuxuan Cai, Jie Zhou, Qin Chen, Liang He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un agent intelligent (un robot ou un programme) qui doit apprendre à vivre dans un monde complexe, comme un étudiant qui doit passer des examens tout en apprenant de ses erreurs quotidiennes.

Le problème avec la plupart des agents actuels, c'est qu'ils sont un peu passifs. Ils attendent qu'on leur donne des livres (des souvenirs) au début de la journée, ou ils feuillètent tout leur carnet à chaque instant, ce qui les noie sous l'information. Ils ne savent pas quand ils ont besoin d'aide ni quoi chercher exactement.

Voici comment PROACTAGENT change la donne, expliqué simplement :

1. Le Problème : L'Étudiant qui dort sur ses livres

Imaginez un étudiant qui doit résoudre un problème de physique.

Méthode ancienne (Passive) : Il ouvre son manuel au début de l'examen et lit tout. S'il oublie une formule au milieu, il panique. Ou alors, il relit tout le manuel à chaque question, ce qui est lent et inefficace.
Le résultat : Il perd du temps, se trompe, et ne progresse pas vraiment d'un examen à l'autre.

2. La Solution : L'Agent "Proactif"

PROACTAGENT est comme un étudiant génie qui a développé une sixième sens. Il sait exactement quand il a un trou dans sa mémoire et il va chercher l'info précise au bon moment.

Pour y arriver, le système utilise deux super-pouvoirs combinés :

A. Le "Cerveau Organisé" (EXPONEVO)

Au lieu d'avoir un gros tas de papiers en vrac, l'agent a une bibliothèque très bien rangée avec trois rayons distincts :

Les Faits : "L'eau bout à 100°C" (Mémoire factuelle).
Les Histoires : "La dernière fois que j'ai essayé de faire ça, j'ai glissé" (Mémoire épisodique).
Les Astuces de Pro : "Pour ouvrir cette porte, il faut toujours tourner la poignée vers la gauche" (Compétences comportementales).

L'analogie : C'est comme si votre cerveau séparait vos connaissances en "Fait", "Souvenir" et "Savoir-faire". Quand vous avez un problème, vous ne cherchez pas dans le tas, vous allez directement au bon rayon.

B. Le "Miroir Magique" (PROACTRL)

C'est la partie la plus ingénieuse. Comment l'agent apprend-il quand chercher ?
Imaginez que l'agent joue deux parties de jeu vidéo en même temps, à partir du même point :

Jeu A (Sans aide) : Il essaie de résoudre le problème seul.
Jeu B (Avec aide) : Il s'arrête, va chercher un indice dans sa bibliothèque, puis continue.

Ensuite, il compare les deux résultats :

Si le Jeu B (avec l'indice) gagne, l'agent se dit : "Super ! Chercher était une bonne idée. Je vais retenir cette question précise."
Si le Jeu A (sans aide) gagne aussi bien, l'agent se dit : "Oups, je n'avais pas besoin de chercher. Je vais arrêter de gaspiller du temps."

C'est comme un coach sportif qui regarde deux versions de votre course : l'une où vous vous arrêtez pour boire de l'eau, l'autre où vous continuez. Si boire l'eau vous a permis de finir plus vite, le coach vous dit : "Bois de l'eau !". Sinon, il dit : "Courre sans t'arrêter !".

3. Le Résultat : Un Apprentissage à Vie

Grâce à ce système, l'agent ne se contente pas de stocker des souvenirs. Il évolue :

Il devient plus intelligent à chaque tâche.
Il pose les bonnes questions au bon moment.
Il évite de relire des choses qu'il connaît déjà.

En résumé :
Alors que les autres agents sont comme des touristes qui consultent une carte à chaque carrefour (ou qui ne la consultent jamais), PROACTAGENT est comme un habitué du quartier. Il sait exactement où il a besoin de demander son chemin, il a un carnet de notes bien rangé, et il apprend de chaque erreur pour devenir plus rapide et plus efficace à chaque fois.

Les tests montrent que cet agent réussit beaucoup mieux ses missions (comme dans des jeux de simulation ou des tâches de laboratoire) et utilise beaucoup moins d'énergie (moins de temps de calcul) que les méthodes précédentes. C'est le passage d'un agent qui "subit" ses souvenirs à un agent qui "maîtrise" son expérience.

1. Problématique et Contexte

Les agents linguistiques évoluent vers un apprentissage continu en ligne (lifelong learning), où ils accumulent de l'expérience au fil de multiples interactions pour résoudre des tâches à long horizon. Cependant, les méthodes existantes souffrent de deux limitations majeures :

Récupération passive : La plupart des agents récupèrent des informations passées de manière réactive (au début de la tâche ou après chaque étape) ou via des règles fixes. Ils ne parviennent pas à identifier activement les lacunes de connaissances pendant l'interaction pour récupérer l'expérience la plus pertinente au moment critique.
Découplage de l'évolution : Les stratégies de mise à jour en ligne traitent souvent l'accumulation de mémoire textuelle et l'optimisation des paramètres du modèle (la politique) comme des processus indépendants. Or, une adaptation efficace nécessite une co-évolution conjointe : la mémoire doit guider la politique, et la politique doit générer des trajectoires de haute qualité pour enrichir la mémoire.

L'objectif est de créer un agent capable de récupérer proactivement l'expérience nécessaire (quand et quoi) tout en améliorant simultanément sa politique de décision et sa base de connaissances.

2. Méthodologie : PROACTAGENT

Les auteurs proposent PROACTAGENT, un cadre d'apprentissage continu qui unifie la récupération proactive et l'évolution en ligne sur une base d'expérience structurée. Le système repose sur deux composants clés :

A. Évolution en ligne enrichie par l'expérience (EXPONEVO)

Ce composant ferme la boucle entre l'action, l'accumulation d'expérience et l'optimisation de la politique.

Base d'expérience structurée : Au lieu d'un dépôt monolithique, l'expérience est organisée en cinq types de référentiels :
- Mémoire factuelle (Mf) : Faits environnementaux.
- Mémoire épisodique (Me) : Contexte spécifique à la trajectoire.
- Compétences de succès (S+) : Stratégies réutilisables issues des succès.
- Compétences d'échec (S-) : Modèles d'erreurs et règles correctives.
- Compétences comparatives (SΔ) : Insights dérivés de la comparaison entre trajectoires (pourquoi une continuation a mieux fonctionné qu'une autre).
Récupération équilibrée : Une requête récupère un mélange de ces types pour fournir à la fois des preuves factuelles et des guides comportementaux.
Co-évolution : La politique $\pi_\theta$ est mise à jour via l'apprentissage par renforcement, tandis que la base $D$ est enrichie par extraction de nouvelles entrées à partir des trajectoires complétées.

B. Récupération basée sur l'apprentissage par renforcement proactif (PROACTRL)

C'est le cœur de l'innovation. Au lieu de déclencher la récupération par des règles, elle est modélisée comme une action explicite de la politique.

Mécanisme de branches jumelles (Paired-Branch) : Lorsqu'une action de récupération est déclenchée à l'étape $t_b$ $t_{b}$ , le système génère deux continuations à partir du même préfixe d'interaction :
1. $\tau_{ret}$ : La trajectoire originale avec récupération.
2. $\tau_{no-ret}$ : Une trajectoire contrefactuelle où l'action de récupération est supprimée et remplacée par une action d'environnement, le reste étant généré par la même politique.
Récompense de processus (Process Reward) : La différence de résultat entre les deux branches détermine si la récupération était nécessaire.
- Si $\tau_{ret}$ obtient un meilleur résultat (ou est plus efficace) que $\tau_{no-ret}$ , une récompense positive est attribuée.
- Si la récupération n'apporte aucun bénéfice ou dégrade la performance, une pénalité est appliquée.
Apprentissage : Cela fournit une supervision au niveau de l'étape pour apprendre quand récupérer et quoi demander, évitant ainsi le bruit et la surcharge contextuelle.

3. Contributions Clés

PROACTAGENT : Un cadre unifié permettant aux agents d'évoluer continuellement à partir de l'histoire des interactions, passant d'une invocation passive à une récupération proactive.
Architecture EXPONEVO : Une méthode de co-évolution conjointe de la mémoire textuelle (structurée en types) et des paramètres de la politique, permettant une adaptation dynamique.
Algorithme PROACTRL : Une approche novatrice utilisant des récompenses de processus basées sur des branches jumelles pour apprendre la politique de récupération sans supervision externe explicite, isolant l'impact causal de chaque décision de récupération.
Validation Empirique : Des expériences extensives démontrant que l'apprentissage de la récupération proactive est plus critique que la simple augmentation de la capacité du modèle.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks interactifs : SciWorld, AlfWorld et StuLife.

Performance :
- SciWorld : Taux de réussite (SR) de 73,50 % (contre 55,50 % pour le meilleur baseline GRPO+Reflexion).
- AlfWorld : SR de 71,28 % (contre 67,18 % pour le baseline).
- StuLife : Performance compétitive avec les modèles propriétaires fermés, atteignant un SR de 12,35 % et un StuGPA de 19,26.
Efficacité :
- Réduction significative du nombre d'interactions (tours) : -33,2 % sur SciWorld et -22,5 % sur AlfWorld par rapport aux méthodes passives.
- Réduction de la consommation de tokens (coût d'inférence) grâce à l'évitement des requêtes inutiles.
Étude d'échelle (Scaling) :
- Un modèle 3B (Qwen2.5-3B) équipé de PROACTAGENT atteint un SR de 53,50 %, rivalisant avec un modèle 7B passif (55,00 %) tout en utilisant 48 % de moins d'interactions. Cela suggère que le contrôle proactif compense partiellement le manque de capacité brute.
Ablation :
- Le retrait de PROACTRL entraîne une chute massive de performance (-45 points), confirmant que la récupération apprise est le composant le plus critique.
- La structure de la base d'expérience (types séparés) surpasse les mémoires monolithiques.

5. Signification et Impact

Ce travail démontre que pour les agents autonomes opérant dans des environnements complexes et évolutifs, la capacité à apprendre quand et comment récupérer de l'information est plus fondamentale que l'augmentation de la taille du modèle.

Paradigme de contrôle : Il établit que la récupération ne doit pas être une heuristique externe, mais une compétence intrinsèque apprise par l'agent via le renforcement.
Efficacité des ressources : En évitant la surcharge contextuelle (context overload), PROACTAGENT rend les agents plus économes en tokens et plus rapides, un critère essentiel pour le déploiement réel.
Apprentissage continu : La méthode propose une voie viable pour que les agents s'améliorent continuellement sans nécessiter de réentraînement massif, en transformant l'expérience brute en compétences structurées et en politiques optimisées.

En résumé, PROACTAGENT résout le goulot d'étranglement de l'utilisation des connaissances à long terme en rendant l'agent capable de s'auto-diagnostiquer et de solliciter sa mémoire de manière stratégique, imitant ainsi l'apprentissage humain par l'expérience.