🤖 AI

EvoGUI: An Evolution-Aware Benchmark for GUI State-Transition Understanding

L'article présente EvoGUI, un benchmark de diagnostic qui évalue la compréhension des transitions d'état des agents GUI à travers des sondes de questions-réponses visuelles dérivées de trajectoires normalisées, révélant des écarts de performance significatifs et l'absence de corrélation entre l'échelle du modèle et cette capacité spécifique.

Auteurs originaux : Yaohan Yang, Minglei Shi, Borui Zhang, Jie Zhou, Jiwen Lu

Publié 2026-07-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yaohan Yang, Minglei Shi, Borui Zhang, Jie Zhou, Jiwen Lu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment naviguer dans un jeu vidéo. Vous ne voulez pas seulement que le robot gagne le niveau final ; vous voulez savoir s'il comprend réellement comment le monde du jeu change lorsqu'il appuie sur un bouton. Sait-il qu'un clic sur un bouton « Démarrer » fait apparaître un menu ? Ou devine-t-il simplement que le menu pourrait être là parce qu'il ressemble à un menu ? C'est le cœur des « agents GUI » (interfaces graphiques) : des programmes informatiques qui interagissent avec les écrans comme le font les humains, en cliquant, en tapant et en faisant défiler pour accomplir des tâches. Pendant longtemps, les scientifiques ont testé ces robots en voyant s'ils pouvaient terminer une tâche complète, comme « réserver un vol ». Mais si le robot échoue, il est difficile de savoir s'il s'est perdu, s'il n'a pas pu lire le texte ou s'il n'a tout simplement pas compris qu'un clic sur un bouton modifie l'écran. Nous avons besoin d'un moyen de tester si le robot comprend réellement la relation de cause à effet de ses actions, et non s'il a simplement eu de la chance à la fin.

Entrez en scène EvoGUI, un nouvel outil de diagnostic créé par des chercheurs de l'Université Tsinghua. Considérez-le comme un examen de « transition d'état » pour l'IA. Au lieu de demander à l'IA de réaliser une mission complexe, EvoGUI décompose le voyage en petits puzzles gérables. Il prend l'historique enregistré d'un humain naviguant sur un site web et le transforme en trois types de questions : « Qu'est-ce qui s'est passé en premier ? » (ordonnancement), « Quelle action a causé ce changement ? » (deviner le mouvement) et « Laquelle de ces deux versions de l'écran est arrivée ensuite ? » (prédire le futur). Les chercheurs ont testé 28 modèles d'IA différents sur ce nouveau benchmark. Ils ont découvert que même les modèles les plus intelligents ont encore du mal à comprendre comment les écrans évoluent. Le meilleur modèle n'a obtenu qu'environ 60 % des points de « bonus » au-dessus du hasard, prouvant que si l'IA s'améliore pour voir et parler, elle a encore un long chemin à parcourir avant de comprendre réellement comment un écran d'ordinateur change lorsqu'on le touche.

Le Problème : La « Boîte Noire » du Succès

Imaginez que vous regardiez un magicien sortir un lapin d'un chapeau. Si le tour réussit, vous applaudissez. Mais si le tour échoue, vous ne savez pas si le lapin était trop lourd, si le chapeau était trop petit ou si le magicien a simplement oublié l'incantation. C'est exactement le problème des tests actuels pour les agents d'IA. La plupart des benchmarks mesurent le « succès de bout en bout » — l'IA a-t-elle terminé la tâche ? Si elle a échoué, nous ne savons pas pourquoi. A-t-elle échoué à voir le bouton ? A-t-elle échoué à lire le texte ? Ou a-t-elle échoué à comprendre que cliquer sur le bouton allait réellement changer l'écran ?

Les chercheurs derrière cet article soutiennent que nous devons cesser de simplement regarder l'acte final et commencer à tester la mécanique même du tour de magie. Ils voulaient un moyen d'isoler la compétence spécifique de la compréhension de la transition d'état : la capacité de prédire comment une interface change après une action.

La Solution : Transformer l'Histoire en Quiz

L'équipe, dirigée par Yaohan Yang et Minglei Shi, a créé EvoGUI. Au lieu de demander à une IA d'aller accomplir une nouvelle tâche, ils ont pris des enregistrements existants de navigation humaine sur des sites web (provenant de jeux de données appelés Mind2Web et WebLINX) et les ont transformés en un quiz à choix multiples. Ils n'ont pas eu besoin d'engager des humains pour écrire de nouvelles questions ; ils ont simplement utilisé le propre journal de bord de l'ordinateur de ce qui s'est passé.

Ils ont décomposé la compétence de « compréhension » en trois jeux distincts et amusants :

Le Puzzle du Voyage dans le Temps (Ordre Temporel) :
Imaginez que vous avez trois photos d'une histoire, mais qu'elles sont mélangées. L'une montre une page vide, l'autre un formulaire en cours de remplissage, et la dernière un message de « Succès ». L'IA doit les mettre dans le bon ordre : 1, 2, 3. Cela teste si l'IA comprend le flux du temps et de la logique.
Le Jeu de Détective (Prédiction de l'Action Inverse/de la Valeur) :
L'IA voit une image « Avant » et une image « Après ». Elle doit deviner ce que l'humain a fait. A-t-il cliqué sur un bouton ? A-t-il tapé un nom ? S'il a tapé quelque chose, qu'a-t-il tapé exactement ? Cela teste si l'IA peut observer un changement et en déduire la cause spécifique.
Le Pari de l'Étape Suivante (Accessibilité en une Étape) :
L'IA voit un écran de départ et deux écrans « suivants » possibles (Candidat A et Candidat B). L'un est la véritable étape suivante prise par l'humain ; l'autre est une option factice qui ressemble à l'originale mais qui n'est pas arrivée. L'IA doit choisir la vraie. C'est la partie la plus difficile car les options factices sont souvent très trompeuses — ce sont des écrans qui pourraient arriver plus tard, mais pas tout de suite.

Les Résultats : L'IA apprend encore les bases

Les chercheurs ont testé 28 modèles d'IA différents, allant des géants open-source aux super-modèles propriétaires fermés. Ils ont utilisé un score spécial appelé EvoGain pour mesurer à quel point l'IA est meilleure que le simple hasard.

Voici la grande surprise : L'IA n'est pas aussi performante que nous le pensions.

La Meilleure Performance : Le modèle de tête, Gemini-3-Flash-Preview, a atteint un EvoGain de 60,4 %. Bien que cela semble élevé, cela signifie que le modèle commet encore des erreurs sur environ 40 % des questions. Ce n'est pas un problème « résolu » ; il reste une marge de progression énorme.
La Taille n'a pas d'Importance : Vous pourriez penser qu'une IA plus grande et plus coûteuse serait meilleure. L'article montre que ce n'est pas le cas. Certains modèles massifs dotés de centaines de milliards de paramètres ont en réalité obtenu des scores inférieurs à des modèles plus petits et plus spécialisés. Être « grand » ne signifie pas automatiquement que l'on comprend comment un écran change.
Spécialistes vs Généralistes : Même les modèles spécifiquement conçus pour les tâches GUI (comme UI-TARS) n'ont pas dominé le classement. Cela suggère que le simple fait d'entraîner une IA sur « comment utiliser un ordinateur » ne suffit pas ; elle doit comprendre profondément la dynamique de l'interface.

Pourquoi cela compte

L'article suggère que nous avons surestimé la capacité de l'IA à comprendre les environnements numériques. Ce n'est pas parce qu'une IA peut terminer une tâche qu'elle comprend pourquoi elle a réussi. Elle a peut-être simplement deviné le bon chemin.

En utilisant EvoGUI, les chercheurs peuvent désormais identifier précisément là où une IA échoue. Est-elle mauvaise pour ordonner des événements ? Ne parvient-elle pas à lire le texte qu'elle a tapé ? Est-elle confuse par des écrans similaires ? Cet outil de diagnostic agit comme le stéthoscope d'un médecin, écoutant le « rythme cardiaque » de l'IA pour trouver la faiblesse spécifique, plutôt que de simplement vérifier si le patient est en vie à la fin de la journée.

En résumé, bien que les agents d'IA deviennent plus intelligents, ils sont encore en train d'apprendre les bases de la cause et de l'effet dans le monde numérique. Ils peuvent voir l'écran, mais ils ne sont pas encore tout à fait sûrs de la façon dont l'écran changera lorsqu'ils le toucheront. Le voyage vers un agent d'IA doté d'une véritable compréhension ne fait que commencer.

Résumé technique : EvoGUI

Problématique

Les modèles vision-langage (VLM) sont de plus en plus déployés comme moteur de raisonnement pour les agents d'interface graphique (GUI). Cependant, les paradigmes d'évaluation existants reposent lourdement sur les taux de réussite des tâches de bout en bout. Les auteurs soutiennent que ces mesures agrégées « entremêlent » la compréhension des transitions d'état avec d'autres capacités telles que la perception, le positionnement (grounding), la planification et la récupération. Par conséquent, un taux de réussite élevé n'indique pas nécessairement qu'un modèle comprend comment des actions spécifiques (par exemple, cliquer, taper) transforment les états de l'interface. Bien que des travaux récents dans l'IA incarnée (embodied AI) et les agents mobiles aient introduit la modélisation du monde pour l'évaluation diagnostique, un cadre dérivé de trajectoires et spécifiquement conçu pour la compréhension des transitions d'état de GUI manquait à l'appel.

Méthodologie : Le cadre EvoGUI

Le papier présente EvoGUI, un cadre de diagnostic qui convertit les trajectoires d'interaction GUI normalisées en trois sondes de questions-réponses visuelles (VQA) complémentaires. Une caractéristique clé d'EvoGUI est qu'il ne nécessite aucune annotation de label de tâche supplémentaire après la normalisation initiale de la trajectoire ; les labels sont dérivés mécaniquement de l'ordre enregistré des captures d'écran et des actions enregistrées.

Le cadre est instancié sous la forme d'EvoGUI-Bench, construit à partir des jeux de données Mind2Web et WebLINX, produisant 3 000 instances à travers 120 domaines. Le benchmark se compose de trois tâches diagnostiques :

T1 : Ordre temporel (Cohérence de séquence)
- Tâche : Étant donné $K$ (3, 4 ou 5) captures d'écran d'une même trajectoire présentées dans un ordre mélangé, le modèle doit produire leur séquence chronologique d'origine.
- Métrique : Précision par correspondance exacte (exact-match accuracy).
- Objectif : Évaluer la capacité du modèle à reconnaître la structure temporelle de l'évolution de l'état.
T2 : Prédiction de l'action inverse/de la valeur (Attribution causale)
- Tâche : Étant donné une paire de captures d'écran consécutives ( $s_t, s_{t+1}$ ), le modèle prédit l'action de l'utilisateur (parmi $\{CLICK, TYPE, SELECT\}$ ) et, le cas échéant, la valeur exacte (texte tapé ou option sélectionnée) qui a causé la transition.
- Métriques : Précision top-1 de l'action uniquement et précision top-1 conjointe action/valeur.
- Objectif : Évaluer si un modèle peut expliquer un changement d'état observé, en distinguant la détection d'un changement visuel de la récupération de la valeur d'entrée spécifique.
T3 : Discrimination de la joignabilité en une étape (Jugement de faisabilité)
- Tâche : Étant donné un écran de départ et deux écrans candidats suivants (l'un étant le successeur immédiat enregistré $s_{t+1}$ et l'autre un distracteur), le modèle doit identifier le successeur correct.
- Types de distracteurs :
  - Trans-trajectoire : Un écran provenant d'une trajectoire différente.
  - Même domaine : Un écran provenant de la même application/domaine.
  - Saut long (Long-skip) : Un écran ultérieur ( $s_{t+n}$ où $n \ge 3$ ) de la même trajectoire.
- Métrique : Précision par paire (pairwise accuracy).
- Objectif : Évaluer la capacité du modèle à distinguer la transition immédiate enregistrée d'autres états futurs plausibles, testant spécifiquement si le modèle confond la « plausibilité éventuelle » avec la « joignabilité immédiate ».

Protocole d'évaluation :
Les auteurs évaluent 28 configurations de VLM (à poids ouverts et fermés) dans un contexte zero-shot. Pour synthétiser les résultats entre des tâches ayant des bases de probabilité de choix aléatoire différentes, ils introduisent l'Indice EvoGain, un score d'amélioration normalisé par rapport à une base de choix aléatoire.

Résultats clés

L'évaluation de 28 modèles révèle des lacunes significatives dans la compréhension actuelle des transitions d'état des GUI :

Plafond de performance : Le modèle le plus performant, Gemini-3-Flash-Preview, atteint un EvoGain de 60,4 %. Cela indique qu'il reste une marge de progression substantielle, car les meilleurs modèles sont loin de la saturation.
Échelle et spécialisation : L'échelle du modèle et la spécialisation GUI ne prédisent pas de manière fiable la performance.
- Les modèles plus larges (ex: Qwen3.5-397B) ne surpassent pas systématiquement les variantes plus petites (ex: Qwen3.5-122B).
- Le modèle spécialisé GUI UI-TARS-1.5-7B n'atteint que 25,4 % d'EvoGain, se classant en dessous de plusieurs modèles généralistes.
Aperçus spécifiques aux tâches :
- T1 : Même les meilleurs modèles commettent plus de 40 % d'erreurs dans l'ordonnancement temporel exact, suggérant que la récupération de la structure multi-écrans est un goulot d'étranglement majeur.
- T2 : La reconnaissance de l'action est plus facile que l'explication complète de la transition. Les modèles sont nettement plus performants sur la prédiction de l'action seule que sur la prédiction conjointe action/valeur, indiquant des difficultés à récupérer des valeurs spécifiques (OCR, liaison de texte) plutôt qu'à simplement identifier le type d'action.
- T3 : Les modèles peinent avec les distracteurs de saut long (long-skip). Bien que la précision par paire globale soit élevée, les performances chutent lorsqu'il s'agit de distinguer le successeur immédiat d'un état ultérieur dans le même flux de travail, suggérant que les modèles capturent une plausibilité grossière du workflow mais échouent à la discrimination précise au niveau de l'étape.
Dépendance visuelle : Des expériences de contrôle (suppression de l'entrée visuelle) montrent que la performance de T1 et T3 s'effondre pour atteindre des niveaux proches du hasard sans les captures d'écran, confirmant que les tâches reposent sur des preuves visuelles plutôt que sur des métadonnées ou des priors linguistiques seuls.

Signification et affirmations

Les auteurs positionnent EvoGUI comme un complément diagnostique scalable à l'évaluation des agents de bout en bout, plutôt que comme un remplacement.

Découplage des capacités : En isolant la compréhension des transitions d'état de la planification et de la récupération, EvoGUI expose des échecs spécifiques (ex: incapacité à ordonner des écrans ou à récupérer des valeurs tapées) qui sont masqués par les taux de réussite globaux des tâches.
Efficacité de l'annotation : Le cadre démontre que des benchmarks diagnostiques de haute qualité peuvent être construits à partir de journaux de trajectoires existants sans le coût d'une nouvelle annotation humaine, à condition que les données soient normalisées.
Limites : Les auteurs notent modestement qu'EvoGUI est un diagnostic au niveau de la transition. Il ne remplace pas la nécessité de tester les agents déployés. La corrélation entre l'EvoGain et les succès sur OSWorld est observée mais basée sur un petit échantillon (5 modèles) et des protocoles de rapport mixtes, ce qui la rend indicative plutôt que prédictive. De plus, T3 mesure la discrimination par rapport à des distracteurs échantillonnés, et non l'impossibilité universelle d'atteindre un écran en une seule étape.

En conclusion, cet article établit que les VLM actuels possèdent une marge de progression significative pour comprendre la dynamique des interfaces et que cette capacité ne peut être inférée uniquement par l'échelle du modèle ou les performances généralistes.