Résumé Technique : ENVS : Recherche Vérifiée Native à l'Environnement pour les Agents GUI à Longue Horizon

1. Énoncé du Problème

Le papier traite du défi de l'entraînement d'agents multimodaux pour contrôler de véritables logiciels via des interfaces graphiques (GUI). Bien que les modèles de fondation aient progressé dans la compréhension des interfaces, l'exécution de séquences de précision de mouvements de souris et de touches de clavier dans des environnements de bureau réels reste difficile. Les principaux goulots d'étranglement sont :

• Feedback Sparse (Épars) et Différé : Dans des environnements comme OSWORLD, le feedback est typiquement un signal binaire de succès ou d'échec à la fin d'une trajectoire. Une trajectoire échouée ne révèle pas quelle action intermédiaire spécifique a causé l'échec.
• Coût Élevé des Rollouts : Obtenir du feedback nécessite l'exécution d'actions dans des machines virtuelles (VM) en direct, ce qui est coûteux en termes de calcul et lent.
• Inefficacité de l'Apprentissage par Renforcement (RL) en Ligne : Les approches actuelles, telles qu'ARPO (Adaptive Reinforcement Policy Optimization) et les méthodes de recherche en arbre comme SEEA-R1, couplent souvent la découverte de trajectoires avec la mise à jour de la politique. Cela conduit à des problèmes où les tâches faciles dominent le signal de gradient, les trajectoires longues sont surreprésentées, et l'allocation globale de la masse de gradient à travers les tâches et les longueurs de trajectoire est difficile à contrôler.

2. Méthodologie : ENVS

Les auteurs proposent l'ENVS (Environment-Native Verified Search), un cadre de formation qui découple la découverte de trajectoires de l'optimisation de la politique. Au lieu d'utiliser l'apprentissage par renforcement en ligne (RL), ENVS construit un ensemble de données supervisées vérifiées et équilibrées avant de commencer l'entraînement.

Pipeline Central

1. Recherche par Porte de Désaccord Comportemental (Behavioral-Disagreement-Gated Search) :
   • Le système effectue une recherche dans des VM OSWORLD en direct en utilisant une politique de base gelée.
   • À chaque étape, il échantillonne $K$ actions candidates et les réduit à des « empreintes comportementales » grossières (ex: type d'action + coordonnées discrétisées ou texte).
   • Les candidats sont regroupés par empreinte. Le système explore les $k$ compartiments ayant le plus haut degré d'accord (actions majoritaires) tout en élagant les actions minoritaires. Cela garantit que la recherche se concentre sur des chemins comportementalement distincts plutôt que sur du bruit de jetons (tokens).
2. Recherche Bornée par l'Environnement (VM-Bounded Search) :
   • Contra-irement au MCTS (Monte Carlo Tree Search) classique qui suppose des simulations peu coûteuses, ENVS opère dans des bureaux en direct où revisiter des états est coûteux.
   • Il remplace la sélection adaptative (UCB/PUCT) par des portes de coût explicites : budgets de branchement par tâche, plafonds par étape et coupures d'étapes strictes. Il n'utilise pas de fonctions de valeur apprises.
3. Vérification et Filtrage par l'Environnement :
   • Une fois qu'une trajectoire atteint un nœud feuille, l'oracle de tâche OSWORLD assigne une récompense binaire ($R(\tau) \in \{0, 1\}$).
   • Les trajectoires échouées sont écartées. Les trajectoires réussies sont décomposées en exemples supervisés par étape $(x, o_{\le t}, a_t)$, convertissant le succès terminal épars en un supervisé dense au niveau de l'action.
4. Équilibrage Global de la Supervision :
   • L'ensemble de données collecté est naturellement déséquilibré (les tâches faciles produisent beaucoup de succès ; les tâches difficiles en produisent peu).
   • ENVS applique un schéma de repondération avant l'entraînement. Le poids $w_i$ pour la tâche $i$ est calculé comme suit :
     $$w_i = \text{clip}\left(\frac{(1 - SR_i)^\beta}{T_i}, w_{\max}\right)$$
     où $SR_i$ est le taux de succès de la recherche et $T_i$ est le nombre d'étapes. Cela déplace la masse de gradient vers les tâches difficiles et normalise par rapport à la longueur de la trajectoire, empêchant les tâches faciles de dominer le signal d'entraînement.

Benchmark OSWORLD-NOISY

Pour évaluer la robustesse, les auteurs introduisent OSWORLD-NOISY, un benchmark dynamique injectant des interruptions de bureau récupérables (ex: fenêtres contextuelles, changements de focus, boîtes de dialogue en arrière-plan) pendant l'exécution de la tâche.

• Contraintes : Les perturbations sont de type « non-sabotage » ; elles ne touchent pas les fichiers pertinents pour la tâche et n'envoient pas d'entrées à la fenêtre cible, garantissant que les tâches restent solubles.
• Planification : Pendant l'entraînement, l'intensité du bruit augmente avec les taux de succès des tâches (les tâches plus difficiles reçoivent moins de bruit). L'évaluation utilise un calendrier fixe et déterministe de perturbations tenues à l'écart.

3. Contributions Clés

• Cadre ENVS : Un pipeline de recherche et de filtrage qui utilise l'environnement lui-même pour vérifier les trajectoires réussies, les convertissant en données supervisées globalement équilibrées. Cela sépare la découverte de l'optimisation, permettant un contrôle explicite sur l'allocation du gradient.
• OSWORLD-NOISY : Un nouveau benchmark pour tester la robustesse des agents GUI face à des interruptions de bureau réalistes et récupérables, préservant les tâches originales tout en ajoutant des perturbations dynamiques.
• Efficacité et Robustesse : Démontrer qu'une recherche vérifiée peut atteindre une précision plus élevée avec nettement moins de calcul que le RL en ligne, tout en préservant les capacités de raisonnement visuel.

4. Résultats Expérimentaux

Les expériences ont été menées sur un pool de 300 tâches OSWORLD (86 entraînables, 214 tenues à l'écart) en utilisant le modèle de base UI-TARS-1.5-7B.

• Performance sur Données Propres (Clean) : ENVS a atteint 30,3 % de pass@8 sur OSWORLD propre, surpassant le modèle de base (22,7 %) et ARPO (26,7 %).
• Robustesse au Bruit : Sur OSWORLD-NOISY, ENVS a atteint 29,0 % de pass@8, surpassant significativement le modèle de base (20,3 %) et l'ARPO bruité (21,7 %). Notamment, l'ARPO bruité s'est dégradé sur les tâches propres, tandis qu'ENVS a maintenu une haute performance dans les deux conditions.
• Efficacité de Calcul : ENVS a nécessité 138–153 heures-GPU contre 184–192 heures-GPU pour les lignes de base ARPO équivalentes. Cette efficacité provient de la collecte unique de trajectoires vérifiées et de leur réutilisation pour le SFT (Supervised Fine-Tuning), alors qu'ARPO nécessite de nouveaux rollouts on-policy à chaque étape d'entraînement.
• Efficacité des Données : En utilisant seulement 30 % des données de recherche collectées, ENVS a atteint 27,0 % de pass@8, égalant ou dépassant l'ARPO entraîné sur l'ensemble des données.
• Préservation des Capacités : L'entraînement sur des environnements bruités a mieux préservé les capacités auxiliaires de raisonnement visuel. Par exemple, sur le benchmark OSWORLD-G Refusal, ENVS bruité a obtenu 16,7 % contre 1,9 % pour l'ENVS propre, suggérant que les interruptions fournissent une supervision utile pour la perception et la récupération.

5. Signification et Revendications

Le papier affirme qu'ENVS offre un avantage structurel sur le RL en ligne en découplant la découverte de trajectoire des mises à jour de politique. Cela permet :

1. Contrôle Global du Gradient : La capacité de plafonner les tâches faciles surreprésentées et de surpondérer les tâches à succès rares, traitant la « dégénérescence binomiale » et le déséquilibre de gradient inhérents au RL en ligne.
2. Préservation de l'Entropie : Contra sirement au RL en ligne qui souffre souvent d'un effondrement de l'entropie (rétrécissement des distributions d'actions), ENVS maintient une entropie d'action plus élevée en s'entraînant sur des trajectoires diversifiées et vérifiées, ce qui améliore la généralisation.
3. Entraînement Rentable : En amortissant les interactions coûteuses avec l'environnement dans un ensemble de données vérifiées, ENVS réduit les coûts de calcul tout en améliant les performances.
4. Robustesse via l'Interruption : Les résultats suggèrent que les perturbations dynamiques ne sont pas seulement un test de résistance mais une source de supervision qui aide les agents à se reconcentrer, attendre et récupérer, sans sacrifier l'exécution des tâches propres.

Les auteurs concluent que l'entraînement natif à l'environnement peut rendre l'entraînement des agents moins coûteux et plus réutilisable, bien qu'ils notent des limites concernant la nature synthétique du bruit et les exigences d'infrastructure spécifiques (VM parallèles, resets fiables) de l'environnement OSWORLD.