Résumé Technique : Mise à l'échelle des agents pour l'utilisation de l'ordinateur via le Behavior Judge

Énoncé du problème

Les agents d'utilisation de l'ordinateur (Computer-Use Agents ou CUAs) sont très prometteurs pour l'automatisation des tâches numériques quotidiennes sur les systèmes d'exploitation. Cependant, leurs performances sur des problèmes complexes à long horizon restent peu fiables. Le défi central ne réside pas seulement dans la résolution d'étapes individuelles, mais dans le maintien de la justesse à travers des dizaines ou des centaines d'interactions. Les erreurs mineures se cumulent avec le temps, le feedback est souvent différé, et le bruit environnemental (tel que les changements d'interface utilisateur ou la latence) entraîne une grande variance dans les résultats.

Bien que des travaux antérieurs aient tenté de faire évoluer les performances au sein d'un seul déroulement (par exemple, le Best-of-N étape par étape), ces approches ont produit des gains limités sur les tâches à long horizon. Une alternative est le « scaling large » (mise à l échelle large) — générer plusieurs déroulements en parallèle et sélectionner le meilleur. Cependant, cette approche se heurte à un goulot d'étranglement fondamental : l'évaluation. Les trajectoires des agents sont denses en informations, multimodales et admettent souvent plusieurs solutions valides. Déterminer de manière fiable laquelle de plusieurs trajectoires à long horizon est correcte est difficile car la plupart des détails sont non pertinents pour la réussite de la tâche, et l'évaluation automatique scriptée peine à saisir la nuance des tâches d'utilisation de l'ordinateur.

Méthodologie : Behavior Judge (BJudge)

Pour répondre au goulot d'étranglement de l'évaluation et permettre un scaling large efficace, les auteurs introduisent le Behavior Judge (BJudge). Ce cadre transforme les trajectoires d'agents denses et brutes en représentations compactes et interprétables afin de faciliter une sélection rigoureuse parmi les candidats.

1. Le paradigme du Scaling Large

Contrairement au scaling d'un seul déroulement, BJudge génère plusieurs trajectoires candidates ($\tau$) en utilisant un ensemble de politiques de base $\{\pi_m\}$. Ces politiques peuvent inclure différents modèles ou un décodage stochastique provenant du même modèle pour capturer la diversité. L'objectif est de sélectionner la trajectoire $\hat{\tau}$ qui maximise la récompense de la tâche $R(\tau, I)$.

2. Génération de récit comportemental (Behavior Narrative Generation)

Le premier composant clé est le Générateur de récit comportemental. Au lieu de soumettre directement les captures d'écran et les actions brutes à un juge, le système convertit chaque transition $(s_i, a_i, s_{i+1})$ en un « récit comportemental » ($\phi_i$).

• Extraction de faits : Un modèle de langage-vision (VLM) analyse l'état avant et après une action pour dériver des faits décrivant ce que l'agent a réellement fait et comment cela a affecté l'environnement.
• Augmentation visuelle : Pour garantir l'exactitude, particulièrement pour les interactions de pointeur (clics, glisser-déposer), le générateur superpose des marqueurs sur la capture d'écran pré-action et extrait des recadrages agrandis de la capture post-action. Cela aide à vérifier les changements au niveau du pixel et réduit les hallucinations concernant le succès d'une action.
• Construction du récit : Le récit final $\tilde{\tau}$ se compose de l'état initial, de la séquence de faits dérivés et de l'état final. Cela filtre les détails non pertinents tout en préservant les résumés action-effet pertinents pour la tâche.

3. Évaluateur de comportement comparatif (Comparative Behavior Evaluator)

Le second composant est l'Évaluateur de comportement comparatif. Plutôt que de classer les trajectoires de manière indépendante, ce module effectue une comparaison directe des récits comportementaux.

• Mécanisme : Un évaluateur VLM est sollicité pour comparer simultanément tous les récits candidats en utilisant un format de question à choix multiples (QCM) en un seul tour.
• Avantage : Cette approche permet au juge de citer et de contraster des faits spécifiques entre les candidats, permettant une sélection plus éclairée qu'un classement indépendant. Elle est conçue pour être efficace en termes de jetons (tokens) et plus rapide que les comparaisons de tournois à plusieurs tours.

4. Cadre agentique amélioré (Agent S3)

Pour soutenir BJudge, les auteurs introduisent Agent S3, un cadre de base amélioré construit sur Agent S2. Les changements architecturaux clés incluent :

• Politique plate (Flat Policy) : Suppression de la planification hiérarchique au profit d'une politique plate capable de replanifier à tout moment en fonction de l'instruction actuelle et de l'historique, exploitant les fortes capacités de maintien de contexte des modèles de fondation modernes.
• Agent de codage intégré : Un agent de codage spécialisé est nativement intégré dans l'espace d'action de l'agent GUI. Il peut être invoqué pour des éditions programmatiques (ex: opérations de fichiers groupées, parsing structuré) lorsqu'elles sont plus efficaces que la manipulation directe de l'interface graphique. Il opère dans une boucle interne bornée avec une VM isolée (sandbox), fournissant un feedback d'exécution à la politique GUI.

Contributions clés

1. Paradigme de Scaling Large : L'article établit que la sélection soigneuse parmi plusieurs trajectoires parallèles améliore considérablement la robustesse et la couverture pour les CUAs, à condition qu'un mécanisme de sélection efficace existe.
2. Cadre Behavior Judge : Un nouveau système qui convertit les trajectoires denses en récits comportementaux compacts et utilise l'évaluation comparative pour sélectionner la solution optimale, répondant ainsi au goulot d'étranglement de l'évaluation du scaling large.
3. Nouveau État de l'Art (SoTA) : En combinant BJudge avec le cadre de base Agent S3, les auteurs atteignent un nouveau SoTA sur le benchmark OSWorld.
4. Généralisation : La méthode démontre une forte généralisation zero-shot à différents systèmes d'exploitation (Windows et Android).

Résultats expérimentaux

Performance OSWorld

Sur le benchmark OSWorld (361 tâches, limite de 100 étapes), la méthode proposée atteint un taux de réussite de 72,6 %.

• Cela représente une amélioration absolue de 9,2 % par rapport au précédent SoTA (63,4 %).
• Cela surpasse la performance de niveau humain rapportée de 72,36 %.
• En utilisant un ensemble de GPT-5 et Opus 4.5, le système montre qu'un scaling efficace peut pousser les capacités des agents au-delà des références humaines sur ces tâches.

Efficacité et Ablation

• Efficacité d'Agent S3 : Comparé à l'Agent S2 hiérarchique, Agent S3 réduit les appels LLM par tâche de 52,3 % et le temps de complétion des tâches de 62,4 %, tout en améliorant le taux de réussite de 13,8 %.
• Ablation de la représentation : Les récits comportementaux surpassent nettement les autres représentations. Comparé à une base « Screenshot Only » (56,0 %) et une base « Trajectory Summary » (55,0 %), les récits comportementaux ont atteint un taux de réussite de 60,2 % (avec GPT-5 Mini), soit un gain absolaire de 3,4 %.
• Stratégie de sélection : BJudge surpasse les méthodes de classement indépendantes adaptées (comme WebJudge) à travers divers budgets de déroulement, démontant que l'évaluation comparative est nécessaire pour un scaling efficace.

Généralisation

• WindowsAgentArena : BJudge (N=3) a obtenu une amélioration de 6,4 % par rapport à la base Agent S3 (56,6 % contre 50,2 % à 100 étapes).
• AndroidWorld : BJudge (N=3) a obtenu une amélioration de 3,5 % par rapport à la base Agent S3 (71,6 % contre 68,1 %).

Ensemble de Modèles

Les expériences avec des ensembles de mélange de modèles (mixture-of-models) ont révélé que la diversité est la clé de la couverture des tâches. La combinaison de GPT-5 et Claude Opus 4.5 a produit le taux de réussite le plus élevé (71,6 %), tandis que le mélange le plus diversifié (incluant tous les modèles testés) a atteint la plus haute couverture de tâches (Pass@N) à 80,5 %.

Signification et Revendications

L'article affirme que la barrière principale au scaling des agents d'utilisation de l'ordinateur n'est pas la génération de solutions, mais l'évaluation et la sélection de celles-ci. En introduisant Behavior Judge, les auteurs fournissent un cadre pratique qui rend le scaling large efficace.

Les auteurs soulignent qu'un scaling efficace nécessite une compréhension et une sélection structurées des trajectoires. Simplement générer plus de déroulements sans un mécanisme robuste pour les comparer produit des rendements décroissants. BJudge résout cela en abstrayant les trajectoires brutes et bruitées en récits comportementaux de haut niveau, permettant au système d'identifier le chemin correct même dans des environnements complexes à long horizon.

Les résultats soulignent qu'avec le bon cadre, les CUAs peuvent non seulement égaler mais aussi surpasser la performance humaine sur des tâches complexes d'automatisation de bureau, suggérant une voie viable vers des flux de travail numériques automatisés et fiables. L'article note que ces résultats reposent sur des environnements contrôlés (machines virtuelles) où des déroulements indépendants sont possibles, reconnaissant que le déploiement direct sur des bureaux utilisateurs réels présente des défis supplémentaires concernant l'isolation de l'état.