🤖 AI

Learning to Explore: Scaling Agentic Reasoning via Exploration-Aware Policy Optimization

Ce papier propose un cadre d'apprentissage par renforcement conscient de l'exploration qui permet aux agents LLM de distinguer de manière adaptative les scénarios à forte incertitude nécessitant une exploration des contextes clairs adaptés à l'exécution, permettant ainsi d'obtenir des améliorations de performance cohérentes sur les benchmarks d'agents basés sur le texte et sur les interfaces graphiques.

Auteurs originaux : Xingyuan Hua, Sheng Yue, Ju Ren

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xingyuan Hua, Sheng Yue, Ju Ren

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Piège du « Devine-et-Vérifie »

Imaginez que vous essayez de résoudre un puzzle complexe dans une nouvelle pièce, mais que vous ne pouvez pas voir l'ensemble du tableau d'un seul coup. Vous devez vous promener, toucher les objets et ouvrir des tiroirs pour comprendre où vont les pièces.

Les agents IA actuels (programmes informatiques intelligents) sont comme des personnes qui ont peur de regarder autour d'elles. Elles sont entraînées à se précipiter directement vers la ligne d'arrivée. Si elles ne sont pas à 100 % sûres de ce qu'elles doivent faire, elles soit :

Abandonnent et font une mauvaise hypothèse.
Errent sans but, ouvrant chaque tiroir de la pièce même lorsqu'elles connaissent déjà la réponse, gaspillant ainsi temps et énergie.

Le papier soutient que les humains sont meilleurs dans ce domaine. Lorsque nous sommes incertains, nous nous arrêtons, regardons autour de nous pour rassembler des indices, et ensuite nous agissons. Si nous faisons une erreur, nous pouvons faire un pas en arrière et essayer un chemin différent. L'IA actuelle peine à faire cela naturellement.

La Solution : EAPO (Le « Explorateur Intelligent »)

Les auteurs ont créé une nouvelle méthode d'entraînement appelée EAPO (Optimisation de Politique Consciente de l'Exploration). Imaginez EAPO comme un entraîneur qui enseigne à l'IA une danse spécifique en trois étapes : Explorer, Se Souvenir et Agir.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le « Sac à Dos » et le « Cahier » (Mémoire et Exploration)

Imaginez que l'IA est un randonneur.

Le Sac à Dos (Mémoire) : L'IA porte un « sac à dos » où elle note tout ce qu'elle voit. Si elle ouvre une porte et voit un mur rouge, elle écrit « Mur rouge derrière la porte » dans son cahier.
Le Mode « Explorer » : Lorsque l'IA est confuse, elle ne fait pas juste une hypothèse. Elle passe en « Mode Exploration ». Elle dit : « Je ne suis pas sûr de ce qu'il y a derrière cette porte. Laissez-moi jeter un coup d'œil à l'intérieur, l'écrire dans mon cahier, puis revenir dehors. »

Le papier introduit un format spécial où l'IA doit explicitement noter :

: « Je vais vérifier ce bouton pour voir ce qui se passe. »
: « D'accord, je l'ai vérifié. Il allume une lumière. Je vais m'en souvenir. »
: « Maintenant que je sais que la lumière est allumée, je vais appuyer sur le bouton vert. »

2. L'Astuce du « Voyage dans le Temps » (Retour en arrière)

C'est la partie la plus magique. Dans de nombreux jeux vidéo, si vous marchez dans un piège, vous mourrez et devrez recommencer tout le niveau. C'est frustrant et inefficace.

Le papier enseigne à l'IA comment voyager dans le temps (retour en arrière).

Si l'IA explore un chemin et réalise : « Oh non, c'était la mauvaise porte », elle ne panique pas.
Elle utilise un bouton « Retour » (comme dans un navigateur web) pour revenir instantanément à l'endroit exact avant qu'elle ne fasse l'erreur.
Crucialement, elle conserve les notes qu'elle a prises pendant l'exploration. Elle se souvient : « J'ai essayé la porte rouge, et elle était verrouillée. Donc je ne vais pas l'essayer à nouveau. »

Cela transforme l'exploration d'une « impasse » en une « opportunité d'apprentissage ».

3. Le Système de « Récompense Intelligente »

Comment enseigner à une IA à explorer sans qu'elle ne erre éternellement ? Vous avez besoin d'un bon système de récompense.

Ancienne Méthode : L'IA ne reçoit une récompense que lorsqu'elle termine la tâche. Elle apprend que l'exploration est une perte de temps car elle retarde la récompense.
Méthode EAPO : L'IA reçoit un « point bonus » pour rassembler des informations utiles.
- Si l'IA regarde dans un tiroir et trouve une clé, elle reçoit une récompense même si elle n'a pas encore utilisé la clé.
- Si l'IA regarde dans un tiroir et ne trouve rien, elle reçoit une petite pénalité pour avoir perdu du temps.
- Cela enseigne à l'IA d'être sélective : « Je n'explorerai que si je pense pouvoir trouver quelque chose d'utile. »

Ce qui s'est passé lors des Expériences

Les chercheurs ont testé cet « Explorateur Intelligent » sur quatre types de défis différents :

Tâches basées sur le texte : Comme suivre une recette ou résoudre un jeu d'aventure textuel.
Achats en ligne : Trouver des articles spécifiques sur un site web.
Applications mobiles (Android) : Naviguer dans les menus du téléphone pour changer les paramètres.
Ordinateurs de bureau (Système d'exploitation) : Utiliser un ordinateur pour ouvrir des fichiers et déplacer des fenêtres.

Les Résultats :

Meilleures Performances : L'IA entraînée avec EAPO a résolu significativement plus de tâches que d'autres méthodes d'IA (améliorant les taux de réussite de 20 % à 60 % dans certains cas).
Petits Modèles, Grands Cerveaux : Un très petit modèle d'IA (2 milliards de paramètres) entraîné avec EAPO a mieux performé que des modèles beaucoup plus grands et plus coûteux qui n'utilisaient pas cette méthode. Cela a prouvé que la façon dont vous pensez compte plus que la simple taille de votre cerveau.
Adaptabilité : L'IA a appris à explorer uniquement lorsqu'elle était confuse. Lorsqu'elle connaissait la réponse, elle agissait vite. Lorsqu'elle était perdue, elle s'arrêtait et rassemblait des indices.

La Conclusion

Ce papier montre que nous pouvons enseigner aux agents IA d'être curieux mais disciplinés. Au lieu de deviner aveuglément ou de cliquer frénétiquement sur tout, elles apprennent à :

S'arrêter lorsqu'elles sont incertaines.
Rassembler des informations (explorer).
Les noter (mémoire).
Faire un pas en arrière si elles font une erreur (retour en arrière).
Utiliser cette nouvelle connaissance pour faire le bon mouvement.

C'est la différence entre un touriste qui court dans une ville en criant « Où est le musée ? ! » et un voyageur intelligent qui consulte une carte, demande à un local, note les directions, puis marche avec confiance vers sa destination.

Résumé Technique : Apprendre à Explorer : Mise à l'échelle du Raisonnement Agentique via l'Optimisation de Politique Sensible à l'Exploration

Énoncé du Problème

Les récentes avancées dans la mise à l'échelle du temps d'exécution agentique permettent aux Grands Modèles de Langage (LLM) de recueillir des retours d'information de l'environnement avant de s'engager dans des actions finales, rendant possible un raisonnement multi-étapes lors du déploiement. Cependant, les méthodes existantes souffrent d'une limitation critique : elles emploient des stratégies d'exploration indifférenciées. Les approches actuelles entrelacent généralement l'exploration et la sélection d'actions au sein d'une seule politique, manquant de la capacité à distinguer de manière adaptative quand l'exploration est véritablement requise. Par conséquent, les agents s'engagent souvent dans une exploration indiscriminée même dans des états bien compris, accumulant des informations de faible valeur et obscurcissant les signaux critiques. À l'inverse, ils peuvent échouer à explorer suffisamment dans des états inconnus, conduisant à une prise de décision sous-optimale. Le défi central consiste à apprendre aux agents à allouer de manière adaptative les étapes d'interaction en fonction de l'incertitude, en distinguant le moment où une exploration à la recherche d'informations est nécessaire de celui où une poursuite directe des objectifs suffit.

Méthodologie

L'article propose l'Optimisation de Politique Sensible à l'Exploration (EAPO), un cadre conçu pour permettre aux agents d'explorer de manière sélective aux états appropriés et d'exploiter les informations acquises pour la prise de décision. La méthodologie se compose de trois composants principaux :

1. Mode de Raisonnement Exploration et Mémoire

Pour structurer le processus de raisonnement, les auteurs introduisent un format de sortie spécifique où l'agent génère explicitement :

Guidage d'Exploration ( $e_t$ ) : Une stratégie structurée spécifiant quelles informations acquérir et quelles actions candidates entreprendre.
Mémoire Accumulative ( $m_t$ ) : Un résumé des informations pertinentes pour la tâche, extraites des interactions passées et des états nouvellement observés.
Action Exécutable ( $a_t$ ) : L'action finale prise.

Cette séparation permet à l'agent de délibérer sur la dynamique de l'environnement avant de s'engager dans l'exécution et maintient un journal persistant des états visités, facilitant la réutilisation des informations acquises.

2. Modélisation de Récompense Fine via Inférence Variationnelle

Pour inciter à une exploration précieuse sans dépendre de déroulements en ligne coûteux, les auteurs conçoivent une fonction de récompense évaluant l'utilité des actions exploratoires.

Perspective Bayésienne : La méthode traite l'exploration et la mémoire comme des variables latentes. Elle définit une récompense exploratoire bayésienne basée sur la probabilité a posteriori de réussite de la tâche étant donné l'état actuel, la stratégie d'exploration et la mémoire.
Proxy Variationnel : Puisque le vrai posterior est intraitable, un proxy variationnel apprenable $q_\phi$ est entraîné pour approximer la distribution des configurations optimales d'exploration-mémoire.
Définition de la Récompense : La récompense $R_{explore}$ $R_{e x pl or e}$ est définie comme le maximum de :
1. L'utilité de l'exploitation immédiate (utilisant la mémoire existante).
2. L'utilité de l'exploration proactive (incorporant un état nouvellement observé dans la mémoire), décomptée par $\gamma^2$ pour pénaliser la latence et prévenir le conservatisme excessif.
Récompense Totale : La récompense finale est une combinaison pondérée du signal de réussite de la tâche, d'une récompense de format (assurant une sortie structurée) et de la récompense exploratoire.

3. Stratégie d'Entraînement en Deux Étapes Sensible à l'Exploration

Pour répondre aux défis de l'attribution de crédit et de l'optimisation de politique en présence d'exploration, EAPO emploie une approche en deux étapes :

Étape 1 : Apprendre à Revenir en Arrière (SFT) : Les agents sont affinés par supervision sur un jeu de données d'experts pour acquérir la capacité de « revenir en arrière » vers des états précédents (par exemple, cliquer sur un bouton « retour ») après qu'une action exploratoire a conduit à un état indésirable. Cela traite l'exploration comme un comportement réversible plutôt que comme un risque terminal.
Étape 2 : Optimisation de Politique Sensible à l'Exploration (GRPO) : Les auteurs modifient l'Optimisation de Politique Relative de Groupe (GRPO) en introduisant la profondeur de visite ( $\kappa$ ) comme critère de clustering. Les transitions sont regroupées non seulement par état, mais par le nombre de fois où l'agent a revisité cet état. Cela garantit que les actions exploratoires sont comparées à d'autres actions à des stades informationnels similaires, empêchant la sous-estimation de la valeur de l'exploration qui se produit lors de la comparaison des premières étapes exploratoires avec les étapes d'exécution finales au sein du même groupe.

Contributions Clés

Cadre Sensible à l'Exploration : Une méthode d'optimisation de politique novatrice qui apprend explicitement aux agents à distinguer le moment d'explorer de celui d'exécuter, dépassant les stratégies d'exploration uniformes.
Modélisation Variationnelle de Récompense : Une approche fondée sur des principes pour quantifier l'utilité des actions exploratoires en utilisant l'inférence variationnelle, évitant les coûts computationnels élevés de l'échantillonnage de trajectoires en ligne tout en fournissant des signaux de récompense stables.
Raisonnement Structuré et Mémoire : L'introduction de balises explicites <explore> et <memory> qui intègrent la collecte d'informations et le résumé d'état directement dans la boucle de raisonnement de l'agent.
Regroupement par Profondeur de Visite : Un mécanisme pour stabiliser l'estimation d'avantage en clusterisant les transitions en fonction de la fréquence de visite d'un état, assurant une comparaison équitable entre les phases d'exploration et d'exploitation.
Capacité de Retour en Arrière : L'intégration d'un mécanisme de retour en arrière supervisé permettant aux agents de se remettre des erreurs exploratoires, rendant l'exploration un processus sûr et réversible.

Résultats Expérimentaux

Les auteurs ont évalué EAPO sur quatre environnements exigeants : ALFWorld et WebShop (basés sur le texte), et AndroidWorld et OSWorld (basés sur les interfaces graphiques).

Gains de Performance : EAPO a systématiquement surpassé des bases solides (incluant GRPO, DAPO, GiGPO, LAMER et divers modèles propriétaires) sur tous les environnements. Les améliorations ont varié de 20 % à 60 % par rapport aux méthodes existantes.
Efficacité du Modèle : Un modèle de taille 2B entraîné avec EAPO a atteint des performances comparables ou supérieures à des modèles généraux et agentiques nettement plus grands (par exemple, des modèles de 72 milliards de paramètres), démontrant que des stratégies d'exploration efficaces peuvent compenser l'échelle des paramètres.
Comportement Adaptatif : L'analyse a montré que les agents entraînés avec EAPO présentent une exploration adaptative : ils augmentent le degré d'exploration dans les états incertains et convergent vers une exploration sélective à mesure qu'ils apprennent l'environnement, évitant l'essai-erreur indiscriminé.
Généralisation : Les modèles entraînés sur AndroidWorld se sont généralisés efficacement à l'environnement non vu OSWorld avec une légère dégradation de performance seulement, suggérant que les politiques d'exploration apprises sont invariantes au domaine.
Efficacité : La méthode n'a engendré qu'environ 30 % de surcharge d'entraînement supplémentaire (principalement due à l'entraînement du modèle de récompense variationnelle) par rapport au GRPO standard, tout en évitant l'échantillonnage en ligne coûteux requis par les approches alternatives. Le temps d'inférence a connu une augmentation modeste (au maximum 10 étapes supplémentaires en moyenne) due à l'exploration, contrôlée par le facteur d'actualisation.

Importance et Revendications

L'article revendique qu'EAPO représente une avancée significative dans la mise à l'échelle du temps d'exécution agentique. En modélisant explicitement l'utilité de l'exploration et en séparant la recherche d'informations de la prise de décision, le cadre permet aux agents de :

Raisonner sur l'incertitude : Les agents apprennent à identifier quand l'état actuel ou la mémoire est insuffisant pour une décision et à rechercher activement des informations.
Optimiser l'allocation des ressources : Les agents évitent de gaspiller des étapes d'interaction dans une exploration redondante dans des états connus tout en collectant efficacement des données critiques dans des scénarios nouveaux.
Atteindre une généralisation robuste : La capacité d'explorer de manière adaptative permet aux agents de gérer des environnements hors distribution (par exemple, des mises à jour de dispositions d'interface utilisateur) sans nécessiter de réentraînement spécifique à l'environnement.

Les auteurs concluent qu'apprendre quand et comment explorer est une capacité fondamentale qui peut considérablement améliorer la qualité de la décision et la compréhension de l'environnement, souvent plus efficacement que la simple mise à l'échelle des paramètres du modèle. Ce travail fournit un cadre principiel pour intégrer l'exploration dans le processus de raisonnement des LLM agentiques, dépassant les stratégies d'exploration heuristiques ou uniformes.