Résumé Technique : GROW – Alignement de GRPO avec la Modélisation État-Action pour les Agents VLM en Monde Ouvert

1. Énoncé du Problème

Les agents basés sur des modèles Vision-Language (VLM) ont démontré leur potentiel dans des tâches en monde ouvert (par exemple, Minecraft), qui nécessitent une perception visuelle et une exécution d'actions multi-tours. Bien que le Fine-Tuning Supervisé (SFT) sur des démonstrations d'experts soit le paradigme d'entraînement dominant, il souffre de coûts élevés de collecte de données et d'une scalabilité limitée. De plus, le SFT reste souvent en retrait par rapport aux méthodes d'Apprentissage par Renforcement (RL) en termes de performance.

Bien que l'Optimisation de Politique Relative par Groupes (GRPO) ait émergé comme un algorithme RL efficace pour les modèles de base, éliminant le besoin d'un modèle de valeur séparé en calculant les avantages sur des groupes de sorties échantillonnées, l'application directe du GRPO standard aux tâches en monde ouvert présente des défis significatifs :

• Longueur de Contexte : Le GRPO standard traite une trajectoire d'interaction complète comme un seul échantillon d'entraînement. Dans les environnements en monde ouvert, ces trajectoires accumulent des longueurs de contexte excessives, dépassant souvent les limites de tokens.
• Bruit : Les trajectoires complètes contiennent une information et un bruit substantiels et non pertinents, dégradant la qualité de l'estimation du gradient de politique.
• Inadéquation Théorique : Le GRPO standard suppose que les échantillons groupés sont des réponses différentes au même prompt. Dans les tâches en monde ouvert, la décomposition des trajectoires signifie que les échantillons groupés sont conditionnés par des états locaux différents, violant cette hypothèse.

2. Méthodologie : Le Cadre GROW

Les auteurs proposent GROW (GRPO pour les agents VLM en Monde Ouvert), un cadre qui adapte le GRPO aux environnements en monde ouvert en décomposant les trajectoires en échantillons état-action fins.

2.1 Décomposition de la Trajectoire

Au lieu d'optimiser des trajectoires complètes, GROW décompose les trajectoires de déploiement collectées $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ en paires état-action individuelles.

• Propagation de la Récompense : Étant donné que les récompenses dans ces environnements sont clairsemées et vérifiables uniquement à la fin de la tâche ($R(\tau)=1$ pour le succès, $0$ sinon), la récompense est propagée en arrière le long de la trajectoire en utilisant un facteur d'actualisation $\gamma$ :
  $$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$$
  Cela garantit que les échantillons état-action plus proches du résultat réussi reçoivent des signaux d'apprentissage plus forts.

2.2 Calcul de l'Avantage État-Action

Au sein d'un groupe de déploiement de $G$ environnements parallèles, GROW calcule des avantages relatifs sur les échantillons état-action décomposés plutôt que sur les trajectoires complètes.

• L'avantage $A_{i,t}$ est calculé en normalisant les récompenses actualisées $r_{i,t}$ à travers le groupe :
  $$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$$
  où $\mu$ et $\sigma$ sont la moyenne et l'écart-type de l'ensemble des récompenses au sein du groupe.
• L'objectif d'entraînement suit l'objectif tronqué de style PPO standard mais opère sur ces unités état-action :
  $$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$$

2.3 Analyse de Surrogate

Les auteurs abordent la préoccupation théorique selon laquelle les échantillons groupés dans GROW sont conditionnés par des états locaux différents ($s_{i,t}$) plutôt que par un prompt identique. Sous des hypothèses simplificatrices (longueur de trajectoire uniforme $H$ et étapes d'interaction cohérentes), ils dérivent une analyse de surrogate montrant que l'objectif se décompose en deux termes :

1. $J_{traj}$ : Préserve la préférence relative au niveau de la trajectoire en comparant les récompenses de trajectoire $R(\tau_i)$ à la moyenne du groupe $S$.
2. $J_{step}$ : Capture les effets de l'actualisation temporelle, affinant l'attribution de crédit au sein des trajectoires réussies pour mettre l'accent sur les décisions directement liées au succès final.
   L'analyse conclut que, malgré l'écart par rapport à l'hypothèse de prompt identique, l'objectif conserve un signal d'optimisation de politique relative valide et efficace.

3. Contributions Clés

1. Proposition de Cadre : Introduction de GROW, un cadre RL qui combine un démarrage à froid sur des échantillons état-action avec un affinage de politique basé sur GRPO via la décomposition de trajectoires.
2. Justification Théorique : Fourniture d'une analyse de surrogate démontrant que l'optimisation de politique relative reste efficace même lorsque les échantillons groupés sont conditionnés par des états locaux différents, à condition que des approximations de faisabilité raisonnables soient respectées.
3. Validation Empirique : Tests approfondis sur plus de 800 tâches Minecraft, démontrant que le cadre atteint des performances de pointe (SOTA) tant en taux de succès qu'en efficacité d'exécution.

4. Résultats Expérimentaux

Les expériences ont été menées dans Minecraft (Édition Java) en utilisant le benchmark MCU, couvrant trois catégories : tâches incarnées (navigation/minage), tâches GUI (fabrication/fusion) et tâches de combat. Le modèle de base était Qwen2-VL-7B-Instruct.

• Gains de Performance : GROW a obtenu des résultats SOTA dans toutes les catégories :
  • Incarné : Le Taux de Réussite (ASR) est passé de 50,4 % (meilleure précédente) à 59,6 %.
  • GUI : L'ASR est passé de 39,1 % à 68,4 %.
  • Combat : L'ASR est passé de 39,2 % à 49,0 %.
• Efficacité : Le nombre moyen d'étapes nécessaires pour compléter les tâches a été considérablement réduit (par exemple, de 263 à 128 étapes dans les tâches incarnées).
• Généralisation : GROW a montré une forte généralisation à des tâches non vues (RL-non-vues), améliorant significativement les taux de succès par rapport à la politique initialisée sans surapprentissage à l'ensemble de données d'entraînement.
• Études d'Ablation :
  • vs PPO : GROW a surpassé le PPO tant en taux de succès qu'en vitesse de convergence.
  • Facteur d'Actualisation ($\gamma$) : Une valeur de $\gamma=0,995$ a offert le meilleur équilibre entre l'attribution de crédit à long horizon et l'efficacité locale.
• Analyse Comportementale : Des tâches de diagnostic ont révélé que GROW améliorait des compétences spécifiques telles que la fixation stable sur une cible, la réacquisition active de cibles (recherche de cibles perdues) et l'opération robuste de GUI face aux distracteurs.

5. Importance et Revendications

L'article revendique que GROW établit un nouveau SOTA pour les agents VLM en monde ouvert en comblant efficacement le fossé entre les algorithmes RL avancés (GRPO) et les contraintes spécifiques des environnements en monde ouvert (trajectoires longues et bruyantes).

• Réalisation Principale : Le cadre atténue avec succès les problèmes d'accumulation excessive de contexte et de bruit inhérents au RL sur trajectoires complètes, tout en préservant le signal d'optimisation relative central de GRPO.
• Acquisition de Compétences : Les résultats suggèrent que GROW favorise des stratégies d'interaction réutilisables (par exemple, recherche active, gestion robuste de GUI) plutôt qu'une simple mémorisation de trajectoires.
• Scalabilité : En décomposant les trajectoires, la méthode offre une voie évolutive pour l'entraînement d'agents VLM dans des environnements complexes et multi-tours où l'estimation de valeur est coûteuse et instable.

Les auteurs notent des limitations, notamment l'absence actuelle d'un module de mémoire pour les tâches à très long horizon et la dépendance à des simulateurs spécifiques (Minecraft), suggérant que des travaux futurs pourraient explorer la synthèse de l'historique et l'extension à divers environnements en monde ouvert.