Résumé Technique : Apprentissage par Renforcement pour les Agents d'Utilisation de l'Ordinateur avec Évaluation Autonome

Énoncé du Problème

Les Agents d'Utilisation de l'Ordinateur (CUA - Computer-Use Agents) sont conçus pour opérer de manière autonome des interfaces graphiques (GUI) sur la base d'instructions en langage naturel. Bien que des architectures récentes aient montré des promesses de généralisation à travers diverses applications et systèmes d'exploitation, elles restent peu fiables dans des environnements réels non contraints. Les agents de pointe n'atteignent que des taux de réussite d'environ 60 % sur le benchmark OSWorld et d'environ 40 % sur macOSWorld.

Un goulot d'étranglement primaire empêchant l'apprentissage par renforcement (RL) efficace pour les CUA est l'absence de signaux de récompense scalables et lisibles par machine. Contrairement aux simulateurs de robotique ou aux environaux de jeux où les critères de succès sont explicites, les objectifs des tâches de bureau sont souvent implicites, ancrés visuellement et non structurés. Les solutions existantes reposent sur des heuristiques fragiles et spécifiques aux tâches (ex: vérifications du DOM) ou sur des annotations manuelles coûteuses, aucun des deux ne passant à l'échelle à travers divers types d'applications et de systèmes d'exploitation. De plus, bien que les modèles vision-langage (VLM) offrent un potentiel d'évaluation autonome, leurs sorties sont imparfaites, contenant des faux positifs et des faux négatifs. L'utilisation naïve de ces sorties bruitées comme signaux de récompense introduit un biais et déstabilise l'optimisation de la politique.

Méthodologie

Les auteurs proposent un cadre principled pour intégrer des évaluateurs autonomes basés sur des VLM dans la boucle de RL pour les CUA. L'innovation centrale consiste à traiter l'évaluateur non pas comme une source de vérité terrain, mais comme un canal de récompense binaire bruité, et à dériver un estimateur de récompense statistiquement fondé et corrigé du bruit.

1. Configuration de l'Évaluation Autonome

• Évaluateur : Un modèle Vision-Langage (Qwen2-VL-7B) est utilisé dans un contexte zero-shot. Il reçoit la capture d'écran finale de l'interface graphique et l'instruction originale en langage naturel, produisant un signal binaire $\tilde{r}_i \in \{0, 1\}$ indiquant l'achèvement de la tâche.
• Caractérisation du Bruit : Les imperfections de l'évaluateur sont modélisées via des taux d'erreur conditionnels :
  • $e_+$ : Taux de faux négatifs ($P(\tilde{r}=0 | r^*=1)$).
  • $e_-$ : Taux de faux positifs ($P(\tilde{r}=1 | r^*=0)$).
• Séparabilité : Le cadre suppose une constante de séparabilité $D = 1 - e_+ - e_- > 0$, garantissant que l'évaluateur fournit un retour informatif au-delà du hasard.

2. Estimateur de Récompense Corrigé du Bruit

Puisque la récompense réelle $r^*$ est inobservée, les auteurs dérivent un estimateur $\hat{r}$ qui est asymptotiquement sans biais.

• Dérivation Théorique : Basé sur la relation $E[\tilde{r} | r^*] = e_- + D \cdot r^*$, la véritable récompense est estimée par :
  $$\hat{r} = \frac{\tilde{r} - e_-}{D}$$
• Implémentation Pratique : En pratique, les taux d'erreur sont inconnus. Les auteurs estiment $\hat{e}_+$ et $\hat{e}_-$ à partir d'un jeu de données de calibration disjoint du jeu d'entraînement. L'estimateur "plug-in" est :
  $$\hat{r}^\sharp = \frac{\tilde{r} - \hat{e}_-}{\hat{D}}$$
  où $\hat{D} = 1 - \hat{e}_+ - \hat{e}_-$. Cet estimateur corrige le biais introduit par les faux positifs et les faux négatifs de l'évaluateur.

3. Optimisation de la Politique

Le cadre utilise l'Optimisation de Politique Proximale (PPO).

• Structure de Récompense : Les récompenses sont uniquement terminales, définies à la fin de l'épisode ($T$).
• Objectif : L'agent maximise le rendement attendu $J(\theta) = E[\gamma^T \hat{r}_i]$, où $\hat{r}_i$ est la récompense corrigée du bruit.
• Estimation de l'Avantage : La récompense corrigée terminale est propagée en arrière à travers la trajectoire pour calculer les estimations d'avantage, permettant des mises à jour de politique stables malgré le bruit dans le signal de retour.

4. Configuration Expérimentale

• Jeux de Données : Un jeu de données synthétique de 7 560 tâches sur 42 applications sur macOS, Windows et Linux a été créé. De plus, des descriptions de tâches provenant d'OmniAct, GUI-World et GUIDE ont été incorporées.
• Benchmarks : L'évaluation a été menée sur macOSWorld, Windows Agent Arena et OSWorld.
• Lignes de Base (Baselines) : L'étude compare les lignes de base zero-shot avec le fine-tuning PPO utilisant :
  1. Les récompenses brutes de l'évaluateur ($\tilde{r}$).
  2. L'estimateur de récompense corrigé ($\hat{r}$).
  3. La paramétrage unifié (cross-OS) versus par OS.

Résultats Clés

Les expériences démontrent que le fait de modéliser explicitement et de corriger le bruit de l'évaluateur améliore significativement les performances de l'agent par rapport à l'utilisation des signaux bruts de l'évaluateur.

• Gains de Performance : L'estimateur de récompense corrigé du bruit combiné au fine-tuning par OS a atteint les taux de réussite les plus élevés sur tous les benchmarks :
  • macOSWorld : Passage de 0,084 (zero-shot) à 0,203.
  • Windows Agent Arena : Passage de 0,331 à 0,442.
  • OSWorld : Passage de 0,283 à 0,432.
• Comparaison aux Récompenses Brutes : L'utilisation des récompenses brutes de l'évaluateur a produit des améliorations modérées mais a été systématiquement surpassée par l'estimateur corrigé. Dans certains cas (ex: OSWorld avec des modèles unifiés), les récompenses brutes ont conduit à une dégradation des performances par rapport à la ligne de base zero-shot, soulignant le biais introduit par le bruit non corrigé.
• Généralisation : Les modèles par OS fine-tunés avec des récompenses corrigées ont démontré une meilleure généralisation que les modèles unifiés cross-OS, suggérant que les conventions d'interface spécifiques à chaque OS sont critiques pour un apprentissage robuste.
• Magnitude de l'Amélioration : L'approche corrigée a amélioré les taux de réussite de 12,6 points de pourcentage en moyenne par rapport au zero-shot et de 5,1 points de pourcentage par rapport au fine-tuning avec récompenses brutes.

Signification et Revendications

L'article affirme que l'évaluation autonome peut servir de signal de récompense pratique et scalable pour le RL dans les environnements GUI, à condition que le bruit inhérent de l'évaluateur soit explicitement modélisé et corrigé.

• Scalabilité : Le cadre élimine le besoin de labels de succès manuels ou d'heuristiques spécifiques aux tâches, permettant le fine-tuning par RL sur de larges échelles de données d'interaction à travers divers systèmes d'exploitation.
• Robustesse : En dérivant un estimateur de récompense asymptotiquement sans biais, la méthode stabilise l'optimisation de la politique en présence de retours imparfaits, répondant à un goulot d'étranglement central du développement des CUA.
• Praticité : Le mécanisme de correction est un "remplacement direct" (drop-in replacement) pour les récompenses brutes dans les méthodes standards de gradient de politique comme PPO, ne nécessant aucun changement fondamental de l'algorithme de RL lui-même.

Les auteurs concluent que bien que des défis subsistent concernant la non-stationnarité des taux d'erreur et la rareté des récompenses, cette approche représente une étape significative vers des pipelines de RL pratiques pour des agents de bureau généraux capables d'apprendre de l'interaction sans supervision humaine.