🤖 machine learning

OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents

Ce papier présente OSWorld-Human, un benchmark annoté manuellement révélant que les agents d'utilisation d'ordinateur actuels souffrent d'une latence et d'une inefficacité prohibitives, principalement en raison d'appels excessifs au modèle pour la planification et la réflexion, ce qui les amène à effectuer 2,7 à 4,3 fois plus d'étapes que les humains pour accomplir des tâches.

Auteurs originaux : Reyna Abhyankar, Qi Qi, Yiying Zhang

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Reyna Abhyankar, Qi Qi, Yiying Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagez un assistant personnel très intelligent, mais incroyablement lent, pour effectuer une tâche simple sur votre ordinateur, comme modifier la taille de la police dans un document. Vous vous attendez à ce que cela prenne 30 secondes. Au lieu de cela, votre assistant met 12 minutes. Pourquoi ?

Ce papier, OSWorld-Human, enquête précisément sur ce problème. Il examine les « Agents d'Utilisation d'Ordinateur » (programmes d'IA qui contrôlent votre souris et votre clavier) et se demande : « Pourquoi sont-ils si lents, et comment pouvons-nous les rendre plus rapides ? »

Voici la décomposition de leurs découvertes à l'aide d'analogies simples.

1. Le Problème : L'assistant « Trop-Réfléchi »

Les chercheurs ont découvert que, bien que ces agents d'IA s'améliorent pour accomplir la tâche (précision), ils sont terribles pour la rapidité avec laquelle ils le font (efficacité).

L'Humain vs Le Robot : Un expert humain peut modifier l'interligne dans un document en moins de 30 secondes. L'agent d'IA prend 12 minutes.
Le Goulot d'Étranglement : Le retard ne vient pas du fait que l'IA clique lentement sur la souris. C'est parce que l'IA s'arrête pour réfléchir constamment.
- L'Analogie : Imaginez que vous conduisez vers l'épicerie. Un conducteur humain conduit simplement. Ce conducteur IA s'arrête à chaque intersection pour appeler un consultant sur-intelligent au téléphone et demander : « Est-ce le bon virage ? Devrais-je tourner à gauche ? Ai-je bien tourné à gauche ? Et pour le prochain virage ? »
- La Réalité : L'IA appelle un immense « cerveau » (un Modèle de Langage à Grande Échelle) pour planifier le prochain mouvement, juger si le mouvement a fonctionné, et réfléchir à ce qui s'est passé. Ces appels téléphoniques prennent le plus de temps. En fait, les étapes de « planification » et de « jugement » seules consomment environ 75 % à 96 % du temps total !

2. L'Enquête : Décomposition des Étapes

Les chercheurs ont observé deux agents d'IA populaires (Agent S2 et GTA1) tentant de résoudre 39 tâches informatiques différentes. Ils ont décomposé chaque seconde du processus.

La « Taxe de Pensée » : Chaque fois que l'IA effectue une étape, elle doit envoyer un énorme message à son cerveau. À mesure que la tâche s'allonge, le message grossit car il doit inclure l'historique de tout ce qu'elle a fait auparavant.
- Analogie : C'est comme écrire une entrée de journal. Le jour 1, vous écrivez une phrase. Le jour 50, vous devez réécrire tout le livre depuis le jour 1 juste pour ajouter une nouvelle phrase. Cela fait que les étapes ultérieures prennent 3 fois plus de temps que les étapes initiales.
La Boucle du « Mauvais Virage » : Parfois, l'IA sait quoi faire (par exemple, « Cliquez sur le bouton Ouvrir »), mais elle ne peut pas trouver où cliquer sur l'écran. Elle clique au mauvais endroit, réalise son erreur, et réessaie.
- Le Coût : Ce « blocage » se produit souvent. Dans un cas, une IA a tenté d'ouvrir un dossier et s'est retrouvée bloquée dans une boucle pendant 27 minutes, gaspillant 8,47 $ de coûts informatiques, simplement parce qu'elle ne pouvait pas trouver le bon endroit sur l'écran.

3. La Solution : Le « Référentiel Humain » (OSWorld-Human)

Pour prouver à quel point ces robots sont inefficaces, les chercheurs ont créé un nouveau référentiel appelé OSWorld-Human.

Qu'est-ce que c'est ? Ils ont parcouru manuellement les 369 tâches et ont noté le chemin le plus court et le plus logique qu'un humain emprunterait pour les terminer.
L'Astuce du « Regroupement » : Ils ont remarqué que les humains font souvent plusieurs choses d'un coup sans s'arrêter pour réfléchir.
- Analogie : Un humain voit une zone de texte, tape un nom et appuie sur « Entrée » d'un seul mouvement fluide. L'IA, en revanche, s'arrête après avoir vu la zone, appelle son cerveau pour planifier la frappe, s'arrête à nouveau pour planifier l'appui sur « Entrée », et appelle à nouveau son cerveau.
- La Découverte : Les chercheurs ont constaté que de nombreuses actions pouvaient être « regroupées ». Si l'IA pouvait effectuer trois clics en une seule « pensée », elle économiserait des quantités massives de temps.

4. Le Verdict : Les Robots Gaspillent des Étapes

Les chercheurs ont testé 16 agents d'IA différents contre leur nouveau « Référentiel Humain ».

Le Résultat : Même les agents d'IA les meilleurs ont pris 2,7 à 4,3 fois plus d'étapes qu'un humain n'en avait besoin pour terminer la même tâche.
Le Score : Ils ont créé un nouveau score appelé le Score d'Efficacité Pondéré (WES).
- Si une IA accomplit la tâche mais prend 4 fois plus de temps que nécessaire, son score chute drastiquement.
- L'IA en tête du classement, qui semblait excellente sur les anciens tests, n'a obtenu que 15,6 % sur ce nouveau test d'efficacité. Cela signifie qu'elle effectue beaucoup de travail inutile.

Résumé

Le papier conclut que les agents informatiques d'IA actuels sont comme des élèves brillants mais maladroits. Ils connaissent la réponse, mais ils passent tellement de temps à lever la main, à attendre le professeur et à relire leurs notes qu'ils ne terminent jamais le test à temps.

Pour résoudre ce problème, le papier suggère trois choses principales :

Arrêter de trop réfléchir : Réduire le nombre de fois où l'IA appelle son « cerveau » pour planifier et juger.
Regrouper les actions : Permettre à l'IA d'effectuer plusieurs étapes (comme taper et appuyer sur Entrée) en une seule pensée.
Devenir meilleur pour trouver les choses : Améliorer la capacité de l'IA à voir exactement où cliquer afin qu'elle ne se retrouve pas bloquée dans des boucles.

L'objectif n'est pas seulement de rendre l'IA plus intelligente, mais de la rendre plus rapide et plus pratique pour une utilisation dans le monde réel.

Résumé Technique : OSWorld-Human : Évaluation de l'Efficacité des Agents d'Utilisation d'Ordinateur

1. Énoncé du Problème

Bien que les agents d'utilisation d'ordinateur (CUA) pilotés par l'IA générative aient démontré une précision croissante sur des benchmarks tels qu'OSWorld, ils souffrent d'un goulot d'étranglement critique : une latence extrême de bout en bout. Les systèmes les plus avancés nécessitent souvent plusieurs dizaines de minutes pour accomplir des tâches que des experts humains peuvent terminer en quelques secondes ou minutes. Cette disparité rend les agents actuels pratiquement inutilisables pour des flux de travail interactifs ou sensibles au temps. Les recherches antérieures se sont concentrées principalement sur l'amélioration des taux de réussite des tâches, négligeant largement l'efficacité temporelle requise pour un déploiement réel. Il existe un manque de compréhension systématique concernant l'origine de cette latence (par exemple, étapes spécifiques de l'agent, appels de modèles) et le nombre d'étapes réellement nécessaires par rapport à l'exécution humaine.

2. Méthodologie

Les auteurs ont mené la première étude systématique sur la performance temporelle des CUA en utilisant le benchmark OSWorld, qui couvre 369 tâches réparties sur 9 applications (par exemple, Chromium, GIMP, LibreOffice, VS Code) sous Ubuntu, Windows et MacOS.

2.1 Analyse de la Latence et des Étapes

L'étude a effectué une décomposition détaillée des trajectoires des agents en utilisant deux frameworks open-source leaders : Agent S2 et GTA1.

Instrumentation : Les auteurs ont profilé des étapes spécifiques incluant la récupération d'informations, la planification d'étapes, l'ancrage d'étapes (trouver des coordonnées), l'exécution d'actions, la capture d'écran, l'évaluation et la réflexion.
Configuration du Modèle : Agent S2 utilisait GPT-4.1 pour la planification et la réflexion, avec UI-TARS-7B-DPO pour l'ancrage. GTA1 utilisait o3 pour la planification et l'évaluation, avec GTA1-7B pour l'ancrage.
Modalités d'Observation : L'étude a analysé l'impact de différentes entrées de perception : captures d'écran brutes, arbres d'accessibilité (A11y) et Set-of-Marks (SoM).
Analyse des Coûts et des Échecs : Les auteurs ont analysé les nombres de jetons, les coûts financiers et les modes d'échec (spécifiquement les erreurs d'ancrage entraînant des boucles) pour GTA1.

2.2 Construction de OSWorld-Human

Pour établir une vérité terrain en matière d'efficacité, les auteurs ont construit OSWorld-Human, un jeu de données annoté manuellement contenant :

Trajectoires Humaines Minimales : Pour les 369 tâches OSWorld, des annotateurs humains ont déterminé le nombre minimal d'étapes requis pour une réussite basée sur des sources de vérité terrain vérifiées.
Regroupement des Actions : Le jeu de données inclut des trajectoires d'« actions regroupées » où plusieurs actions consécutives (par exemple, cliquer, taper, appuyer sur Entrée) pouvant être exécutées à partir d'une seule observation visuelle sont consolidées en une seule étape. Cela identifie des opportunités de réduire les appels aux Modèles de Langage (LLM).

2.3 Métrique d'Évaluation : Score d'Efficacité Pondéré (WES)

Les auteurs ont proposé une nouvelle métrique, le Score d'Efficacité Pondéré (WES), pour évaluer les agents par rapport aux trajectoires humaines.

Formule : $WES = WES^+ \cdot (1 - \frac{\bar{t}_{fail}}{S})$ $W E S = W E S^{+} \cdot (1 - \frac{t ˉ _{f ai l}}{S})$
- $WES^+$ : Le ratio moyen des étapes humaines aux étapes de l'agent pour les tâches réussies ( $t_{human} / t_{agent}$ ).
- Facteur de Pénalité : Pénalise les agents qui échouent à des tâches après avoir consommé une grande partie de leur budget d'étapes ( $\bar{t}_{fail}$ est le nombre moyen d'étapes effectuées sur les tâches échouées ; $S$ est le nombre maximal d'étapes autorisées).
Objectif : Cette métrique récompense les agents qui réussissent avec moins d'étapes et pénalise ceux qui échouent de manière inefficace, offrant une vue holistique de la précision et de l'efficacité temporelle.

3. Principaux Résultats et Constats

3.1 Sources de Latence

Les Appels LLM sont le Goulot d'Étranglement : Les appels aux grands modèles pour la planification, la réflexion et l'évaluation représentent la grande majorité de la latence.
- Dans Agent S2, la planification et la réflexion représentent 76 % à 96 % de la latence totale de la tâche.
- Dans GTA1, la planification et l'évaluation représentent 91 % à 96 % de la latence totale.
Latence Dépendante des Étapes : À mesure qu'un agent effectue plus d'étapes pour compléter une tâche, la latence de chaque étape successive augmente. Cela est dû au mécanisme d'« accumulation de l'historique » où les invites incluent toutes les étapes précédentes, entraînant des fenêtres de contexte plus longues et des nombres de jetons plus élevés.
Impact de l'Observation : L'inclusion d'arbres A11y augmente considérablement la latence (due au temps de génération de l'arbre et au volume de jetons) et augmente souvent le nombre d'étapes requises, bien qu'elle puisse réduire les étapes pour des applications spécifiques comme GIMP.

3.2 Écarts d'Efficacité

Inefficacité des Agents Actuels : Même les agents les plus performants nécessitent 2,7 à 4,3 fois plus d'étapes que nécessaire pour compléter une tâche par rapport aux trajectoires humaines.
Scores WES : L'agent le plus performant sur le classement OSWorld (Agent S2 avec Gemini 2.5) a atteint un taux de réussite de 41,4 % mais seulement un WES de 15,6 % sur les trajectoires à action unique et de 9,6 % sur les trajectoires à actions regroupées.
Analyse des Échecs : Pour GTA1, 23 % des échecs étaient dus à des erreurs d'ancrage où la planification était correcte, mais le modèle d'ancrage a généré des coordonnées incorrectes, obligeant l'agent à répéter des étapes ou à entrer dans des boucles. Dans certains cas, les agents ont gaspillé plus de 72 étapes dans une seule boucle.

3.3 Implications sur les Coûts

Le coût computationnel est fortement biaisé vers la planification. Pour GTA1, la planification représente 87 % du coût total, tandis que l'évaluation représente 13 %. Le coût augmente de manière quadratique avec le nombre d'étapes en raison des déploiements parallèles de planification et des mécanismes de nouvelle tentative.

4. Contributions Clés

Première Étude Systématique sur la Latence : Une analyse détaillée de la performance temporelle des CUA (Agent S2 et GTA1) sur le benchmark OSWorld, identifiant les appels LLM comme le principal goulot d'étranglement.
Jeu de Données OSWorld-Human : Un benchmark manuel, croisé et vérifié contenant des trajectoires humaines optimales et des trajectoires d'actions regroupées pour les 369 tâches OSWorld.
Nouvelle Métrique (WES) : La proposition du Score d'Efficacité Pondéré pour évaluer les agents en fonction à la fois du taux de réussite et de l'efficacité des étapes, pénalisant les échecs inefficaces.
Analyse du Regroupement des Actions : Démonstration que le regroupement des actions exécutables à partir d'une seule observation peut réduire considérablement le nombre d'appels LLM et d'étapes requis.
Évaluation Complète : Une évaluation de 16 agents de pointe utilisant OSWorld-Human, révélant que les systèmes actuels sont nettement moins efficaces que les benchmarks humains.
Analyse des Échecs et des Coûts : Identification des erreurs d'ancrage comme une cause majeure d'étapes gaspillées et de boucles, et ventilation des coûts financiers associés aux architectures d'agents actuelles.

5. Importance et Revendications

L'article revendique l'établissement du premier cadre unifié pour l'évaluation, l'analyse et l'amélioration de l'efficacité temporelle des agents d'utilisation d'ordinateur. Les auteurs soutiennent que si la précision est importante, l'efficacité temporelle est tout aussi cruciale pour l'utilisabilité réelle.

L'étude met en évidence que les agents actuels sont pratiquement inutilisables dans des scénarios interactifs en raison d'une latence élevée et d'un nombre excessif d'étapes. En fournissant OSWorld-Human et la métrique WES, les auteurs visent à orienter les développements futurs vers :

La réduction de la latence des appels de planification, d'évaluation et de réflexion.
La minimisation du nombre d'étapes par tâche grâce au regroupement des actions.
L'amélioration des mécanismes d'ancrage pour prévenir les boucles et les erreurs de coordonnées.
La compression de l'historique pour gérer les coûts de jetons et la latence.

Les auteurs concluent que leur travail et le jeu de données open-source favoriseront de nouvelles directions de recherche pour combler l'écart entre les capacités actuelles des agents et l'efficacité requise pour un déploiement pratique.