💻 computer science

FineState-Bench: Benchmarking State-Conditioned Grounding for Fine-grained GUI State Setting

Cet article présente FineState-Bench, un benchmark complet comprenant 2 209 instances et un nouveau pipeline de diagnostic en quatre étapes qui révèle des limitations significatives dans la capacité des LVLMs actuels à réaliser des interactions GUI précises et conditionnées par l'état, tout en démontrant qu'une meilleure ancrage visuel peut considérablement améliorer les performances.

Auteurs originaux : Fengxian Ji, Jingpu Yang, Zirui Song, Yuanxi Wang, Zhexuan Cui, Yuke Li, Qian Jiang, Xiuying Chen

Publié 2026-05-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Fengxian Ji, Jingpu Yang, Zirui Song, Yuanxi Wang, Zhexuan Cui, Yuke Li, Qian Jiang, Xiuying Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à utiliser un ordinateur. Autrefois, nous testions principalement si le robot pouvait trouver un bouton et cliquer dessus. Si le robot trouvait le bon bouton, nous disions : « Excellent travail ! »

Mais ce nouvel article, FineState-Bench, soutient que trouver le bouton ne suffit pas. C'est comme dire à un robot : « Tournez le bouton de volume exactement à 75 %. » Si le robot trouve le bouton de volume mais clique au mauvais endroit dessus, le volume pourrait se retrouver à 60 % ou 90 %. Pour le robot, il a « cliqué sur le bouton », mais pour vous, la tâche a échoué car l'état (le niveau de volume) n'était pas exactement correct.

Voici une décomposition simple de ce que les chercheurs ont fait et découvert :

1. Le Problème : « À peu près » ne suffit pas

Les tests actuels pour les agents IA (robots qui utilisent des écrans) ressemblent à un jeu de « Chaud ou Froid ». Ils vérifient si l'IA a trouvé la bonne zone. Mais dans la vie réelle, nous avons besoin de précision.

L'Ancienne Méthode : Le robot a-t-il cliqué sur le curseur « Volume » ? Oui ? Validé.
La Nouvelle Méthode (FineState-Bench) : Le robot a-t-il cliqué sur l'endroit exact du curseur qui rend le volume à 75 % ? S'il a cliqué à 74 % ou 76 %, il échoue.

Les auteurs affirment que les modèles d'IA actuels sont en réalité assez mauvais dans ce domaine. Même les modèles les plus intelligents ne réussissent à obtenir l'« état exact » correctement que dans environ 23 % des cas en moyenne. Ils sont bons pour trouver la zone générale, mais terribles pour atteindre la cible minuscule et précise nécessaire pour modifier le réglage exactement comme demandé.

2. La Solution : Une nouvelle « salle de sport » pour les robots

Pour résoudre ce problème, l'équipe a créé FineState-Bench, un vaste terrain d'essai comprenant plus de 2 200 tâches différentes.

Le Terrain de Jeu : Il couvre les ordinateurs, les téléphones et les sites web.
Les Tâches : Au lieu de simplement « cliquez ici », les tâches sont spécifiques : « Définissez la date au 25 décembre », « Glissez ce curseur à 77,7 % » ou « Choisissez la nuance exacte de rouge ».
La Carte : Pour chaque tâche, ils ont créé une carte super précise. Ils n'ont pas simplement dessiné un cadre autour du curseur entier ; ils ont dessiné un tout petit cadre autour de la partie exacte du curseur que vous devez toucher pour obtenir le bon résultat.

3. L'Outil de Diagnostic : Le « Détective Visuel »

Les chercheurs ont réalisé que lorsque les robots échouent, nous ne savons pas pourquoi. N'ont-ils pas compris l'instruction ? Ont-ils trouvé le mauvais bouton ? Ou ont-ils trouvé le bon bouton mais manqué la petite cible ?

Pour résoudre cela, ils ont créé un Assistant de Diagnostic Visuel (VDA). Imaginez cela comme un entraîneur humain utile se tenant à côté du robot.

Sans l'Entraîneur : Le robot regarde l'écran et devine. (Taux de réussite : Faible).
Avec l'Entraîneur : L'entraîneur chuchote : « Hé, le bouton rouge dont tu as besoin est en fait dans ce tout petit carré juste ici », et le pointe du doigt.
Le Résultat : Lorsque le robot reçoit cet indice supplémentaire, son taux de réussite augmente considérablement (d'environ 15 %).

Ce que cela nous apprend : Les robots ne sont pas nécessairement « stupides » ou incapables de comprendre l'objectif. Leur principal problème est la cécité visuelle. Ils ne peuvent pas voir l'endroit minuscule et précis sur lequel ils doivent cliquer. Si nous leur donnons de meilleurs indices visuels, ils deviennent beaucoup plus performants dans l'exécution de la tâche.

4. La Conclusion Principale

L'article conclut que, bien que les agents IA s'améliorent dans la navigation sur les écrans, ils luttent toujours avec la précision fine.

Ils sont comme une personne essayant d'enfiler une aiguille dans le noir : ils peuvent trouver l'aiguille (le bouton), mais ils ne peuvent pas passer le fil dans le chas (l'état exact).
Les tests actuels sont trop faciles car ils acceptent « à peu près ».
Pour créer des robots véritablement fiables capables d'accomplir des tâches complexes (comme ajuster les paramètres d'un éditeur vidéo professionnel ou remplir un formulaire médical précis), nous devons les tester sur l'exactitude, et non pas seulement sur la localisation générale.

En bref : les robots s'améliorent pour trouver la porte, mais ils ont encore besoin d'aide pour tourner la clé dans la serrure parfaitement.

1. Définition du problème

Malgré les avancées rapides des modèles vision-langage de grande taille (LVLM) pour les agents d'interface graphique (GUI), l'interaction conditionnée par l'état et fine reste un goulot d'étranglement majeur. Les agents actuels peinent souvent à régler un contrôle d'interface à un état cible exact (par exemple, ajuster un curseur précisément à 74 %, sélectionner une date spécifique ou choisir une couleur précise) à partir d'un seul point d'interaction prédit.

Limites des benchmarks existants :

Évaluation grossière : La plupart des benchmarks existants (par exemple, ScreenSpot, AITW) se concentrent sur l'achèvement de tâches de bout en bout ou sur une localisation simple au niveau du "clic". Ils manquent souvent de définitions précises de l'état cible.
Vérification ambiguë : Ils distinguent rarement entre la localisation réussie d'un contrôle et la réussite du clic sur le "cœur interactif" spécifique nécessaire pour modifier l'état.
Absence de diagnostics : Les taux de réussite agrégés masquent où et pourquoi les agents échouent (par exemple, l'agent a-t-il mal identifié le contrôle, ou a-t-il cliqué sur la mauvaise partie du bon contrôle ?).

2. Méthodologie

A. Dataset FineState-Bench

Les auteurs introduisent FineState-Bench, un benchmark multiplateforme comprenant 2 209 instances couvrant les plateformes Bureau, Web et Mobile.

Portée : Couvre 4 familles d'interactions et 23 types spécifiques de composants d'interface (par exemple, Curseurs, Sélecteurs de date, Vues arborescentes, Sélecteurs de couleur).
Protocole en une étape : Contrairement aux benchmarks basés sur des trajectoires, FineState-Bench isole le problème à une interaction ponctuelle en une seule étape. L'agent doit prédire deux points :
1. $p_0$ : Emplacement du contrôle cible dans l'interface actuelle.
2. $p_1$ : Le point d'opération spécifique requis pour atteindre l'état objectif exact.
Annotation à double région : Chaque instance fournit quatre annotations géométriques :
- Boîte de localisation ( $B_{loc}$ ) : L'étendue visible du contrôle.
- Boîte d'interaction ( $B_{int}$ ) : La région spécifique du "cœur interactif" qui déclenche le changement d'état.
- Ces annotations sont fournies pour les configurations actuelle et cible afin de prendre en compte les déplacements de mise en page.
Étiquettes d'état objectif exact : Chaque instance inclut un état cible précis et quantifiable ( $s_{goal}$ ), tel qu'une valeur numérique spécifique ou un statut de bascule binaire.

B. Métriques FineState

Pour dépasser la réussite/échec binaire, les auteurs proposent un pipeline de diagnostic en quatre étapes :

SR@Loc (Taux de réussite de localisation) : Mesure si $p_0$ tombe dans l'étendue visible du contrôle ( $B^0_{loc}$ ).
SR@Int (Taux de réussite d'interaction) : Mesure si $p_1$ tombe dans le cœur modifiant l'état ( $B^0_{int}$ ).
ES-SR@Loc (Réussite d'état exact à la localisation) : Mesure l'atteinte de l'état exact conditionnée par une localisation correcte ( $p_0 \in B^1_{loc}$ ).
ES-SR@Int (Réussite d'état exact à l'interaction) : Mesure l'atteinte de l'état exact conditionnée par une interaction correcte ( $p_1 \in B^1_{int}$ ).

Cette décomposition permet aux chercheurs d'attribuer les échecs spécifiquement à la perception (trouver le contrôle), à la précision (viser le cœur) ou à la logique de réglage d'état (échec à atteindre l'objectif même après avoir visé le cœur).

C. Assistant de diagnostic visuel (VDA)

Pour quantifier l'impact des erreurs de localisation visuelle, les auteurs introduisent un VDA plug-and-play.

Fonction : Le VDA génère une Description structurée de l'élément cible et un Indice de localisation (une boîte englobante) basés sur l'instruction et la capture d'écran.
Comparaison contrôlée : Les agents sont évalués avec et sans ces indices. L'écart de performance ( $\Delta_{vis}$ ) isole la part d'erreurs causée spécifiquement par une localisation visuelle insuffisante par rapport à d'autres facteurs.

3. Contributions clés

FineState-Bench : Le premier benchmark explicitement conçu pour la vérification d'état objectif exact dans les agents GUI, offrant une supervision géométrique à double région et des étiquettes d'état précises pour 23 types de composants.
FineState-Metrics : Un cadre de diagnostic par étapes qui démêle la précision de localisation, la précision au niveau du point et l'atteinte de l'état exact, permettant une attribution granulaire des échecs.
Assistant de diagnostic visuel (VDA) : Un outil pour les études d'ablation contrôlées qui quantifie dans quelle mesure la performance peut être récupérée en améliorant la localisation visuelle, révélant que les erreurs de localisation constituent un goulot d'étranglement principal.
Évaluation complète : Évaluation de 8 agents représentatifs (y compris GPT-4o, Claude-3.5, Gemini-2.5-Flash et des modèles open-source comme OS-Atlas et CogAgent) révélant des écarts de performance significatifs.

4. Résultats expérimentaux

Performance globale

Faibles taux de réussite : Même les modèles les plus performants peinent avec le réglage d'état exact. Le modèle le plus performant, UGround-7B, n'a atteint que 32,8 % sur Web et 22,8 % en moyenne sur toutes les plateformes pour la métrique principale (ES-SR@Int).
Variation selon la plateforme : La performance varie considérablement ; par exemple, Gemini-2.5-Flash a obtenu 17,6 % sur Mobile mais est tombé à 0,7 % sur Bureau.

Insights du diagnostic

Le goulot d'étranglement du "cœur interactif" : La plus grande chute de performance se produit entre SR@Loc (localisation grossière) et SR@Int (interaction fine). Les agents identifient souvent correctement le contrôle général mais échouent à cliquer sur la région précise nécessaire pour modifier l'état.
Sensibilité des composants : Les contrôles continus (Curseurs, Barres de recherche, Molettes) montrent les plus grands écarts entre la réussite de localisation et celle d'interaction. Les contrôles discrets (Interrupteurs, Groupes de boutons radio) fonctionnent mieux mais peinent toujours avec la vérification exacte de l'état.
Impact du VDA : La fourniture d'indices de localisation VDA a considérablement amélioré la performance. Gemini-2.5-Flash a gagné +14,9 % en ES-SR@Int lorsqu'il a reçu des indices VDA. Cela suggère qu'une part substantielle des échecs est due à des imprécisions de localisation visuelle plutôt qu'à des déficits de raisonnement ou de planification.

5. Importance et perspectives futures

Redéfinition de l'évaluation : L'article soutient que l'"achèvement de tâche" est insuffisant pour les agents GUI. L'automatisation fiable nécessite une vérification d'état exact, ce que les benchmarks actuels ne parviennent pas à capturer.
Identification du goulot d'étranglement : L'étude démontre de manière concluante que la principale barrière à une interaction fine fiable avec les GUI est la précision de la localisation visuelle, et non le raisonnement de haut niveau.
Feuille de route pour l'amélioration : En fournissant un cadre de diagnostic, les auteurs permettent à la communauté de cibler des modes d'échec spécifiques (par exemple, améliorer la prédiction de points pour les curseurs) plutôt que de s'appuyer sur des métriques agrégées.
Limites : Le benchmark actuel se concentre sur des captures d'écran statiques et des interactions en une seule étape. Étendre ces capacités de diagnostic à des environnements interactifs en temps réel, multi-étapes et à long terme reste un défi ouvert.

En résumé, FineState-Bench fournit la rigueur nécessaire pour évaluer et améliorer la prochaine génération d'agents GUI, déplaçant le focus de "l'agent peut-il cliquer sur quelque chose ?" vers "l'agent peut-il régler l'interface sur l'état exact souhaité ?".