🤖 AI

A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

Ce papier propose un cadre innovant combinant une décomposition de sous-objectifs pour la planification en temps réel et une méthode d'apprentissage par renforcement nommée MiRA utilisant des récompenses basées sur des jalons, permettant d'améliorer considérablement les capacités de planification à long terme des agents LLM, surpassant ainsi les modèles propriétaires et l'état de l'art actuel sur le benchmark WebArena-Lite.

Auteurs originaux : Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Publié 2026-03-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌟 Le Problème : L'Agent Perdu dans la Forêt

Imaginez que vous donnez à un robot (un "agent" piloté par une intelligence artificielle) une mission complexe : "Va sur Internet, trouve le café le plus proche de l'université Carnegie Mellon, mais seulement s'il est à moins de 50 miles, et dis-moi son nom."

C'est une tâche longue et difficile.

Le robot actuel : Il commence bien, il ouvre le navigateur. Mais au bout de quelques clics, il se perd. Il tourne en rond, clique sur le mauvais lien, ou oublie qu'il devait chercher un café. C'est comme un touriste qui marche dans une forêt sans boussole : il avance, mais il ne sait plus où il est par rapport à sa destination finale.
Le résultat : Il échoue souvent, surtout quand le chemin est long.

Les chercheurs de Google DeepMind ont analysé pourquoi ces robots échouent. Ils ont découvert que le problème n'est pas qu'ils ne savent pas cliquer, mais qu'ils ne savent pas se planifier. Ils perdent le fil en cours de route.

💡 La Solution : Le Framework "MiRA" (Le Guide de Montagne)

Pour régler ce problème, l'équipe a créé une nouvelle méthode appelée MiRA (Milestoning your Reinforcement Learning Enhanced Agent). Imaginez que vous devez gravir une très haute montagne (la tâche finale).

Au lieu de dire au robot : "Gravissez la montagne !" (ce qui est effrayant et flou), MiRA lui donne une carte avec des points de repère.

1. La Décomposition en "Sub-Objectifs" (Les Points de Repère)

Au lieu de viser le sommet d'un coup, on divise le voyage en étapes claires :

Arriver au pied de la montagne.
Trouver le sentier de l'Est.
Atteindre le premier refuge.
Arriver au sommet.

Dans le monde du web, cela ressemble à :

"Ouvrir le navigateur."
"Chercher 'CMU' sur la carte."
"Filtrer les résultats à moins de 50 miles."
"Choisir le café le plus proche."

C'est comme si le robot avait un guide de montagne qui lui dit : "Tu as bien fait le premier pas, maintenant concentre-toi sur le refuge suivant."

2. L'Entraînement par Récompenses Denses (Le Système de Badges)

C'est la partie la plus intelligente de l'entraînement (le "Reinforcement Learning").

Avant : Le robot ne recevait une récompense (un "Bravo !") qu'à la toute fin, s'il avait réussi la mission. S'il échouait au milieu, il ne savait pas pourquoi il avait échoué. C'est comme jouer à un jeu vidéo où vous ne gagnez des points qu'à la fin du niveau, même si vous avez fait des erreurs au début.
Avec MiRA : Le robot reçoit un badge (une récompense) chaque fois qu'il atteint un point de repère (un sous-objectif).
- Il a ouvert le navigateur ? 🏅 Badge !
- Il a trouvé la carte ? 🏅 Badge !
- Il a filtré les résultats ? 🏅 Badge !

Cela transforme un long et pénible voyage en une série de petites victoires. Le robot apprend beaucoup plus vite car il sait exactement ce qu'il doit faire à chaque étape.

3. La Vérification en Temps Réel (Le "Self-Check")

Pendant que le robot exécute la tâche, il ne se contente pas d'agir aveuglément. À chaque étape, il s'arrête un instant pour se poser trois questions (grâce à un modèle IA très puissant qui agit comme un coach) :

"Où en suis-je ?" (Ai-je déjà atteint le refuge ?)
"Ai-je fini l'étape actuelle ?"
"Que dois-je faire ensuite ?"

Si le robot s'aperçoit qu'il est sur la mauvaise route, il peut se corriger immédiatement avant de s'enfoncer trop loin. C'est comme si le touriste regardait sa carte toutes les 10 minutes pour s'assurer qu'il n'a pas pris le mauvais sentier.

🏆 Les Résultats : Un Petit Robot qui Bat les Géants

Le résultat est impressionnant.

Ils ont pris un modèle "open source" (Gemma 3, qui est plus petit et gratuit) et l'ont entraîné avec cette méthode.
Avant : Il réussissait seulement 6% des tâches complexes.
Après MiRA : Il réussit 43% des tâches !

Mieux encore : ce petit robot entraîné bat des géants propriétaires (comme GPT-4o ou les versions payantes de Google) qui, eux, n'ont pas eu ce type d'entraînement spécifique.

En résumé :
Cette recherche montre que pour rendre les intelligences artificielles vraiment autonomes et capables de faire des choses complexes sur internet, il ne suffit pas de leur donner un cerveau plus gros. Il faut leur apprendre à se découper les tâches en petits morceaux gérables et à se féliciter à chaque petit succès. C'est la clé pour passer d'un simple chatbot à un véritable assistant numérique capable de travailler seul.

1. Problématique : Les limites des agents LLM à long horizon

Les agents basés sur les grands modèles de langage (LLM) montrent des capacités prometteuses pour naviguer et interagir avec des environnements numériques (navigateurs web, systèmes d'exploitation). Cependant, ils échouent systématiquement sur des tâches complexes à long horizon (requérant de longues séquences d'actions).

L'analyse des auteurs révèle deux défaillances majeures :

Perte de trajectoire en temps réel : Lors de l'exécution, les agents perdent le fil dès que de nouvelles informations arrivent, manquant de planification adaptative vers l'objectif final.
Problème de récompense sparse (rares) : Dans l'apprentissage par renforcement (RL), les récompenses sont souvent binaires (succès/échec) et retardées jusqu'à la fin de la tâche. Cela rend difficile l'attribution de crédit aux actions intermédiaires, empêchant l'agent de maintenir un raisonnement cohérent sur de longues périodes.

L'analyse quantitative des échecs sur le benchmark WebArena-Lite montre que la cause dominante est le "Get Stuck Midway" (l'agent reste bloqué dans des boucles d'actions répétitives ou non productives), affectant près de 50 % des trajectoires des modèles propriétaires et 30 % des modèles open-source.

2. Méthodologie : Le cadre MiRA et la planification dynamique

Les auteurs proposent une approche unifiée combinant la planification explicite lors de l'inférence et un façonnage de récompense dense lors de l'entraînement. Le cadre s'appuie sur deux piliers :

A. Génération et Validation de Sous-objectifs (Subgoals)

Avant toute action, le système décompose l'objectif global en une séquence de sous-objectifs (milestones) vérifiables.

Génération : Un modèle "enseignant" puissant (Gemini-2.5-pro) génère des sous-objectifs logiques basés sur l'intention de l'utilisateur et l'état actuel du web.
Fiabilité : Une analyse statistique montre que le nombre de sous-objectifs complétés est fortement corrélé (monotone) à la réussite finale, servant ainsi d'indicateur de progression fiable.

B. Inférence en Temps Réel : Planification Dynamique (SGO)

Pour les modèles propriétaires (comme Gemini), le cadre introduit un mécanisme de réflexion rétrospective à chaque étape :

L'agent interroge son historique d'actions et d'états visuels pour répondre à trois questions : Quels sous-objectifs ai-je atteints ? Ai-je terminé le sous-objectif actuel ? Quels sont les prochains ?
Cela permet à l'agent de vérifier son état, de détecter les déviations et de se réorienter dynamiquement avant de commettre une erreur irréversible, agissant comme un garde-fou contre les hallucinations.

C. Entraînement RL : MiRA (Milestoning your Reinforcement Learning Enhanced Agent)

Pour les modèles open-source (comme Gemma-3), les auteurs développent un cadre d'entraînement RL utilisant des récompenses façonnées basées sur des jalons.

Double Critique (Dual-Critic) :
1. Un Critic de Valeur ( $V_\phi$ ) qui prédit la probabilité de succès final (récompense sparse).
2. Un Critic de Potentiel ( $P_\psi$ ) qui prédit la progression continue (de 0 à 1) basée sur l'achèvement des sous-objectifs.
Façonnage de Récompense (Reward Shaping) : Au lieu d'attendre la fin de la tâche, l'agent reçoit une récompense dense à chaque étape basée sur l'augmentation du score de potentiel ( $\Delta P$ ). Cela transforme le problème de récompense rare en un problème d'apprentissage dense.
Optimisation de la Politique : L'agent est entraîné via une régression supervisée (MSE) sur le rapport de log-probabilités, utilisant une estimation d'avantage "doublement robuste" (mélangeant erreurs TD et retours Monte-Carlo) pour stabiliser l'apprentissage.
Curriculum Itératif : Le système analyse automatiquement les échecs pour générer de nouvelles tâches plus difficiles, créant un cycle d'amélioration continue.

3. Contributions Clés

Analyse Automatisée des Échecs : Développement d'un analyseur qui identifie systématiquement les modes d'échec (notamment le "bloquage en cours de route") et les étapes décisionnelles critiques où l'agent dévie.
Planification Pilotée par Sous-objectifs (SGO) : Intégration d'une boucle de réflexion en temps réel qui force l'agent à valider sa progression par rapport à des jalons explicites, réduisant les boucles infinies.
MiRA (Framework RL) : Une méthode d'entraînement RL qui utilise des sous-objectifs pour créer des signaux de récompense denses, permettant aux modèles open-source de surpasser les systèmes propriétaires sur des tâches complexes.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark WebArena-Lite (165 tâches réalistes).

Performance des Modèles Open-Source :
- L'application de MiRA au modèle Gemma-3-12B fait passer son taux de réussite (Success Rate - SR) de 6,4 % (modèle de base) à 43,0 %.
- Ce résultat surpasse les systèmes propriétaires comme GPT-4-Turbo (17,6 %) et GPT-4o (13,9 %), ainsi que l'état de l'art open-source précédent (WebRL à 38,4 %).
Amélioration des Modèles Propriétaires :
- L'ajout de la planification dynamique (SGO) au modèle Gemini-2.5-Pro augmente son taux de réussite de 23,0 % à 32,1 % (+10 points absolus).
Réduction des Échecs :
- La catégorie d'erreur "Get Stuck Midway" (bloqué en cours de route) chute drastiquement : de ~48 % pour Gemini Pro à 39,9 % avec SGO, et de ~33 % pour Gemma-SFT à 21 % avec MiRA.
- Cela démontre que le cadre résout efficacement le problème de la planification à long horizon.
Efficacité :
- La stratégie de calcul dynamique (Auto) permet d'obtenir des performances optimales sans la latence excessive d'une réflexion constante, en allouant des ressources de calcul uniquement lorsque la vérification des jalons est ambiguë.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine des agents autonomes :

Démocratisation des capacités : Il démontre qu'un modèle open-source de taille moyenne (12B paramètres), correctement entraîné avec des signaux de progression denses, peut surpasser des modèles propriétaires massifs sur des tâches complexes.
Résolution du problème de crédit : En transformant les récompenses rares en récompenses denses via des jalons sémantiques vérifiables, le papier résout le problème fondamental de l'attribution de crédit dans les tâches séquentielles longues.
Vers l'autonomie auto-évolutive : L'architecture propose un cycle fermé où un modèle capable planifie, exécute, diagnostique ses propres échecs et génère le curriculum pour sa version suivante, ouvrant la voie à des agents véritablement auto-améliorants sans intervention humaine constante.

En conclusion, la combinaison d'une planification explicite (inférence) et d'un façonnage de récompense basé sur des jalons (entraînement) constitue une solution robuste pour débloquer le potentiel des agents LLM dans des environnements numériques complexes et dynamiques.