🤖 machine learning

Co-Evolution of Policy and Internal Reward for Language Agents

L'article présente Self-Guide, une méthode qui permet aux agents de langage de co-évoluer leur politique et une récompense interne auto-générée pour surmonter le problème des récompenses clairsemées et améliorer simultanément l'inférence et l'entraînement.

Auteurs originaux : Xinyu Wang, Hanwei Wu, Jingwei Song, Shuyuan Zhang, Jiayi Zhang, Fanqi Kong, Tung Sum Thomas Kwok, Xiao-Wen Chang, Yuyu Luo, Chenglin Wu, Bang Liu

Publié 2026-04-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinyu Wang, Hanwei Wu, Jingwei Song, Shuyuan Zhang, Jiayi Zhang, Fanqi Kong, Tung Sum Thomas Kwok, Xiao-Wen Chang, Yuyu Luo, Chenglin Wu, Bang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'Agent Perdu dans le Brouillard

Imaginez que vous apprenez à cuisiner un plat très complexe, comme un soufflé, mais que vous ne recevez un avis (succès ou échec) qu'à la toute fin, une fois le plat servi.

Si le soufflé tombe, vous ne savez pas si c'est parce que vous avez cassé un œil, mal mélangé la pâte, ou mis le four à la mauvaise température.
C'est le problème des agents IA (comme les robots conversationnels) dans des tâches longues : ils n'ont souvent qu'une seule récompense à la fin (le "but atteint" ou "échec"). Entre le début et la fin, c'est le vide. Ils ne savent pas quelles étapes étaient bonnes et lesquelles étaient mauvaises.

Les méthodes actuelles essaient de corriger cela en regardant le film après coup (pour dire "tu as fait une erreur ici") ou en utilisant un juge externe. Mais cela prend du temps et le juge externe peut ne pas comprendre exactement comment l'agent pense.

💡 La Solution : "Self-Guide" (L'Auto-Guide)

Les auteurs proposent une idée géniale : donner à l'agent sa propre boussole intérieure.

Au lieu d'attendre la fin du plat pour savoir s'il est bon, l'agent se pose une question à chaque étape : "Est-ce que je suis sur la bonne voie ?"

C'est ce qu'ils appellent Self-Guide. L'agent génère une petite phrase de réflexion (un signal) avant chaque action.

Exemple : "Je pense que chercher le sucre maintenant est une bonne idée." ou "Attends, j'ai déjà ouvert ce tiroir trois fois, je tourne en rond."

🔄 La Magie : La Boucle de Co-Évolution

Le vrai génie de la méthode réside dans la façon dont cette boussole est utilisée, à la fois pour agir et pour apprendre. C'est une boucle qui s'améliore toute seule :

Pendant l'action (Inference) : L'agent utilise sa propre phrase de réflexion pour choisir sa prochaine action. C'est comme si un conducteur se parlait à lui-même : "Je vois un panneau stop, je vais ralentir."
Pendant l'entraînement (Training) : Cette même phrase de réflexion est transformée en récompense.
- Si l'agent dit "Je suis sur la bonne voie" et que le résultat est bon, il reçoit une petite récompense immédiate.
- S'il dit "Je suis perdu" et continue quand même, il reçoit une petite punition.

L'analogie du Miroir qui grandit :
Imaginez un apprenti qui regarde dans un miroir. Au début, le miroir est sale et déforme les images (l'agent est mauvais, ses conseils sont faux).

Si on force l'apprenti à suivre les conseils du miroir sale tout de suite, il va échouer.
La méthode Self-Guide utilise une astuce : elle laisse d'abord l'apprenti agir en écoutant le miroir, mais sans le punir s'il se trompe (phase de "réchauffement").
Peu à peu, l'apprenti s'améliore, donc le miroir (sa propre réflexion) devient plus clair.
Une fois que le miroir est assez clair, on commence à utiliser ses conseils comme une note officielle pour l'entraînement.
Résultat : Plus l'agent est intelligent, meilleures sont ses auto-évaluations. Plus ses auto-évaluations sont bonnes, plus l'agent devient intelligent. Ils grandissent ensemble (co-évolution).

⏳ Le Calendrier de Confiance (Stage-Wise Trust Schedule)

Pour éviter que l'agent ne se trompe lui-même au début, les chercheurs ont créé un calendrier strict en 4 phases :

Phase 1 (Le Réchauffement) : L'agent se parle à lui-même pour choisir ses actions, mais personne ne note ses paroles. Il apprend juste à se parler.
Phase 2 (L'Activation) : On commence doucement à utiliser ses paroles comme notes. On augmente le volume petit à petit.
Phase 3 (Le Plein Gaz) : L'agent est maintenant assez mature. Ses auto-évaluations sont fiables et servent de récompense principale pour l'aider à apprendre vite.
Phase 4 (L'Extinction) : Vers la fin, on réduit l'importance de ses propres paroles pour s'assurer qu'il se concentre toujours sur l'objectif réel (la tâche finale) et ne se contente pas de s'auto-flatter.

📊 Les Résultats : Ça Marche !

Les chercheurs ont testé cela sur trois mondes virtuels :

ALFWorld : Un agent qui doit ranger une maison (trouver une tasse, la mettre dans un évier, etc.).
ScienceWorld : Un agent qui doit faire des expériences scientifiques.
WebShop : Un agent qui doit acheter un objet précis sur un site web complexe.

Le verdict :

Même sans entraînement complexe, le simple fait de se parler (Self-Guide) améliore les performances.
Avec l'entraînement complet (la boucle de co-évolution), l'agent bat les meilleures méthodes actuelles de 8 % à 17 % de réussite en plus.
L'agent fait moins d'erreurs bêtes (comme tourner en rond ou acheter le mauvais produit).

🎯 En Résumé

Au lieu d'attendre qu'un professeur humain (ou un système externe) dise à l'IA si elle a bien fait, on apprend à l'IA à se donner ses propres conseils et ses propres notes.

C'est comme passer d'un élève qui attend la note du prof à la fin de l'année, à un élève qui tient un journal de bord : il note ses progrès à chaque étape, s'auto-critique, et utilise ces notes pour s'améliorer jour après jour. C'est plus rapide, plus efficace, et l'agent devient plus autonome.

1. Problématique : Le Dilemme de la Récompense Éparse

Les agents basés sur les grands modèles de langage (LLM) apprennent en interagissant avec des environnements complexes (navigation web, expériences scientifiques, interactions incarnées). Cependant, ces tâches à long horizon souffrent d'un problème fondamental : la récompense est éparse et retardée.

Le défi : L'agent ne reçoit souvent un signal de succès ou d'échec qu'à la toute fin d'une trajectoire (séquence d'actions). Cela rend difficile l'attribution de crédit aux décisions intermédiaires : l'agent ne sait pas quelles étapes ont été utiles, redondantes ou nuisibles.
Limites des approches actuelles :
- Les méthodes d'attribution de crédit a posteriori (après la collecte des trajectoires) ne guident pas l'agent pendant l'inférence.
- Les modèles de récompense externes ajoutent une surcharge computationnelle et peuvent se décaler de la distribution de la politique de l'agent.
- Il existe une séparation entre l'amélioration de la récompense et l'amélioration de la politique.

2. Méthodologie : Self-Guide

Les auteurs proposent Self-Guide, un cadre unifié où l'agent génère sa propre récompense interne sous forme de signal verbal, utilisé à la fois pour guider l'action en temps réel et pour l'entraînement.

A. Le Signal d'Auto-Guidage (Self-Guidance)

À chaque étape $t$ d'une interaction, avant d'agir, l'agent génère un signal verbal court $z_t$ (auto-évaluation) basé sur l'historique de la trajectoire et l'observation actuelle.

Rôle à l'inférence : Ce signal $z_t$ sert de boussole pour orienter le choix de l'action suivante $a_t$ . L'agent agit conditionné à la fois au contexte et à son propre jugement.
Rôle à l'entraînement : Ce même signal verbal est converti en une récompense interne scalaire ( $r_t^{sg}$ ). Une évaluation positive, neutre ou négative est mappée respectivement à $+0.1$ , $0$, ou $-0.1$.

B. Boucle de Co-Évolution

Le cœur de la méthode réside dans la boucle de rétroaction positive :

Une meilleure politique produit des trajectoires plus cohérentes.
Ces trajectoires permettent à l'agent de générer des auto-évaluations ( $z_t$ ) plus fiables.
Ces évaluations plus fiables servent de récompense interne plus précise pour entraîner la politique.
La politique s'améliore à son tour, et le cycle se renforce.

C. Planification de la Confiance par Étapes (Stage-Wise Trust Schedule)

Un défi majeur est que l'auto-évaluation initiale est immature et peut être erronée. Utiliser une récompense interne trop tôt peut déstabiliser l'apprentissage. Les auteurs introduisent un calendrier en forme de trapèze pour le coefficient de confiance $\lambda(u)$ :

Phase I (Échauffement) : $\lambda = 0$ . L'agent génère le guidage pour orienter ses actions, mais ce guidage ne contribue pas à la fonction de perte. L'apprentissage repose uniquement sur la récompense environnementale.
Phase II (Activation) : $\lambda$ passe linéairement de 0 à 1. La récompense interne est introduite progressivement pour éviter un choc d'optimisation.
Phase III (Pleine puissance) : $\lambda = 1$ . La boucle de co-évolution fonctionne à pleine capacité, combinant récompenses denses (internes) et éparse (environnement).
Phase IV (Recuit tardif) : $\lambda$ redescend de 1 à 0. Cela garantit que la politique finale converge vers l'objectif réel de l'environnement et n'est pas biaisée par une récompense interne qui n'est pas basée sur des potentiels (ce qui pourrait dévier l'objectif final).

L'optimisation est réalisée via GRPO (Group Relative Policy Optimization), où la récompense composite $R(\tau) = R_{env}(\tau) + \lambda \sum r_t^{sg}$ est utilisée pour calculer les avantages relatifs.

3. Contributions Clés

Self-Guide : Une nouvelle forme de récompense interne générée par l'agent, utilisable simultanément comme signal de guidage à l'inférence et comme récompense dense à l'entraînement.
Planification de confiance : Une stratégie de mise en œuvre par étapes qui stabilise l'apprentissage par renforcement (RL) en évitant d'utiliser des signaux immatures comme objectifs d'optimisation prématurément.
Preuve de co-évolution : Démonstration que la politique et la récompense interne doivent s'améliorer ensemble en ligne (online) sous la distribution de l'agent, plutôt que d'être distillées hors ligne (offline).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks : ALFWorld (navigation domestique), ScienceWorld (raisonnement scientifique) et WebShop (interaction web). Les modèles de base utilisés incluent Qwen3 (1.7B, 4B) et Qwen2.5-7B.

Performance à l'inférence (sans RL) : L'ajout du guidage auto-généré améliore déjà les performances par rapport aux méthodes de base (ReAct, Reflexion), surtout dans des environnements structurés comme ALFWorld.
Performance à l'entraînement (RL) :
- La méthode GRPO w/ SG & GR (Self-Guide + Récompense de Guidage) surpasse systématiquement le GRPO standard (basé uniquement sur la récompense environnementale).
- Gain moyen : Environ 8 % d'amélioration par rapport au GRPO de base sur l'ensemble des benchmarks.
- Exemple : Sur ALFWorld avec Qwen3-4B, le taux de réussite passe de 95,7 % (GRPO) à 100 % (GRPO w/ SG & GR).
Analyse des erreurs : Le guidage auto-généré réduit significativement les boucles d'actions (looping) et les explorations redondantes, agissant comme un mécanisme de rupture de boucle efficace.
Ablation :
- L'introduction immédiate de la récompense interne (sans phase d'échauffement) dégrade les performances.
- L'utilisation d'un modèle d'auto-guidage distillé hors ligne (offline) échoue à transférer les gains, confirmant la nécessité de la co-évolution en ligne.

5. Signification et Impact

Ce travail remet en question l'idée que les agents linguistiques doivent dépendre exclusivement de récompenses externes ou de modèles de récompense séparés. Il démontre que :

Les agents peuvent apprendre à générer et affiner leurs propres critères d'évaluation pendant l'action.
La séparation entre "agir" et "apprendre" peut être comblée par un signal unique qui guide la décision instantanée et fournit un signal d'entraînement dense.
La co-évolution de la politique et de la récompense interne est une voie prometteuse pour résoudre le problème de la récompense éparse dans les tâches complexes à long terme, offrant une alternative plus robuste et autonome aux méthodes actuelles.

En résumé, Self-Guide transforme l'agent d'un exécutant passif en un système capable de réflexion critique interne, améliorant à la fois sa prise de décision immédiate et son apprentissage à long terme.