🤖 AI

VISTA: View-Consistent Self-Verified Training for GUI Grounding

VISTA est un cadre d'entraînement basé sur GRPO pour le grounding d'interface graphique (GUI) qui améliore la performance et la robustesse du modèle en construisant des groupes de comparaison à partir de multiples vues préservant la cible d'une même instance et en incorporant une ancre inter-vues auto-vérifiée pour stabiliser la génération de coordonnées.

Auteurs originaux : Xinyu Qiu, Yunzhu Zhang, Heng Jia, Shuheng Shen, Changhua Meng, Linchao Zhu

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinyu Qiu, Yunzhu Zhang, Heng Jia, Shuheng Shen, Changhua Meng, Linchao Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment cliquer sur des boutons sur un écran d'ordinateur. Le travail du robot est d'écouter une commande comme « Cliquez sur le bouton Exporter » et de déplacer sa souris exactement au bon endroit.

Le papier présente une nouvelle méthode d'entraînement appelée VISTA pour aider les robots à devenir bien meilleurs à cela. Pour comprendre pourquoi VISTA est spécial, nous devons d'abord regarder le problème qu'il résout.

Le Problème : Le piège de la « Même Vue »

Auparavant, les chercheurs enseignaient ces méthodes aux robots en utilisant une méthode appelée GRPO. Considérez GRPO comme un professeur montrant à un élève la même photo exacte d'un écran d'ordinateur encore et encore, en lui demandant de trouver le bouton.

Le Cas Facile : Si le bouton est énorme et évident, l'élève réussit à chaque fois. Le professeur pense : « Très bien ! », mais n'apprend rien de nouveau car il n'y a aucune différence entre les tentatives.
Le Cas Difficile : Si le bouton est minuscule ou caché, l'élève le manque à chaque fois. Le professeur pense : « Oh non », mais là encore, il n'apprend rien car chaque tentative a échoué de la même manière exacte.

Dans les deux cas, le professeur ne peut pas dire à l'élève comment s'améliorer car il n'y a pas de variété dans le retour d'information. C'est comme essayer d'apprendre à jouer au tennis en frappant la même balle au même endroit 100 fois ; vous n'apprenez jamais à vous ajuster à une balle en mouvement.

La Solution : VISTA (Le Professeur « Zoom et Recadrage »)

VISTA change la donne en réalisant qu'un bouton est le même bouton, peu importe la façon dont on le regarde. Au lieu de montrer au robot la même capture d'écran complète de manière répétée, VISTA crée plusieurs « crops » différents (vues zoomées ou décalées) du même écran, garantissant que le bouton cible est toujours visible.

Voici comment fonctionne VISTA, en utilisant une analogie simple :

1. L'analogie de la « Photo de Groupe » (Groupes de cohérence de vue)

Imaginez que vous essayiez d'apprendre à un ami à trouver une voiture rouge spécifique dans un parking.

L'Ancienne Méthode : Vous lui montrez une photo large de tout le parking 8 fois. S'il rate la voiture, il la rate 8 fois. S'il la trouve, il la trouve 8 fois. Aucun apprentissage ne se produit.
La Méthode VISTA : Vous lui montrez 8 photos différentes du même parking. Dans certaines, la caméra est zoomée ; dans d'autres, elle est décalée vers la gauche ou la droite. La voiture rouge est présente dans toutes les photos, mais sa position dans la photo change.
- Dans une photo, la voiture est facile à repérer.
- Dans une autre, elle est partiellement cachée par un arbre.
- Dans une troisième, elle est juste dans un coin.

Maintenant, le robot doit comprendre : « D'accord, c'est la même voiture, mais où est-elle dans cette image spécifique ? » Cela force le robot à apprendre le concept du bouton, et non pas seulement à mémoriser une coordonnée unique. Cela crée un « groupe » de réponses où certaines sont justes et d'autres fausses, donnant au professeur des données utiles pour améliorer le robot.

2. Le « Filet de Sécurité » (Ancre auto-vérifiée)

Il existe un risque avec cette nouvelle méthode : si le robot est confus par les angles étranges des photos zoomées, il pourrait commencer à deviner de manière aléatoire et échouer plus souvent.

Pour corriger cela, VISTA ajoute une Ancre Auto-Vérifiée (Self-Verified Anchor). Considérez cela comme un filet de sécurité qui ne se déploie que lorsque le robot est prêt.

Le professeur (l'ordinateur) observe les tentatives du robot.
Si le robot échoue complètement à trouver le bouton dans l'une des 8 photos, le professeur ne fait rien. Il n'impose pas la réponse, car le robot n'est pas encore prêt.
Cependant, si le robot parvient à trouver le bouton correctement dans au moins une des photos, le professeur dit : « Aha ! Tu as prouvé que tu peux le faire ! »
C'est seulement alors que le professeur montre au robot la « réponse parfaite » (le centre exact du bouton) comme un guide stabilisateur pour verrouiller ce succès.

Cela empêche le robot d'être forcé de copier des réponses qu'il ne comprend pas encore, tout en lui donnant un coup de pouce lorsqu'il démontre qu'il en est capable.

Les Résultats

Le papier a testé cette méthode sur plusieurs benchmarks (comme ScreenSpot-Pro, qui est un test difficile pour trouver de petits boutons).

Avant VISTA : Les robots (spécifiquement les modèles Qwen3-VL) réussissaient environ 55 % des clics difficiles.
Après VISTA : Ils ont bondi à 63 % à 67 % (selon la taille du modèle).

Le papier note également que les robots sont devenus plus « robustes ». Même si l'écran était recadré ou vu sous un angle étrange pendant le test, le robot était moins susceptible d'être confus ou de « renverser » sa réponse.

Résumé

VISTA est une façon plus intelligente d'entraîner l'IA à cliquer sur des boutons. Au lieu de faire pratiquer l'IA sur la même image statique encore et encore, elle s'entraîne sur de nombreuses « vues » différentes de la même image. Elle ne donne à l'IA la « feuille de triche » (la réponse parfaite) que lorsque l'IA a déjà prouvé qu'elle pouvait résoudre l'énigme par elle-même. Cela rend l'IA plus intelligente, plus adaptable et plus apte à trouver des boutons sur des écrans d'ordinateur complexes et réels.

Résumé Technique : VISTA (View-Consistent Self-Verified Training) pour le Grounding d'Interface Graphique (GUI)

1. Énoncé du Problème

Le grounding d'interface graphique (GUI) consiste à mapper une instruction en langage naturel et une capture d'écran vers une coordonnée de clic précise. Bien que des travaux récents aient appliqué l'optimisation de politique par groupe relatif (GRPO) à cette tâche en utilisant des récompenses basées sur des règles de type « point dans la boîte » (point-in-box), les auteurs identent un mode de défaillance critique : la dégénérescence de la récompense.

Dans le GRPO standard, un groupe de rollouts est échantillonné à partir d'une vue unique et fixe de la capture d'écran. Cela conduit à deux scénarios problématiques :

Groupes d'échecs totaux (All-Fail Groups) : Sur des instances difficiles, tous les rollouts échantillonnés ratent la cible, ce qui résulte en un groupe de récompenses nulles.
Groupes de succès totaux (All-Success Groups) : Sur des instances faciles, tous les rollouts atteignent la cible, ce qui résulte en un groupe de récompenses maximales.

Dans les deux cas, la moyenne ( $\mu$ ) et l'écart-type ( $\sigma$ ) du groupe s'effondrent, produisant un avantage relatif ( $A$ ) de zéro pour tous les échantillons. Cela élimine le signal d'apprentissage. Les auteurs notent que dans le GRPO à vue fixe, moins de 5 % des groupes d'entraînement sont « informatifs » (contenant un mélange de succès et d'échecs). De plus, comme les coordonnées GUI sont étroitement couplées à la géométrie de la capture d'écran, une prédiction correcte dans une vue peut être incorrecte après un recadrage, même si la cible reste visible. Le GRPO standard échoue à exposer ces sensibilités géométriques car il ne varie pas la vue d'entrée au sein d'un groupe de comparaison.

2. Méthodologie : VISTA

Le papier propose VISTA (View-Consistent Self-Verified Training), un cadre basé sur GRPO conçu pour construire des groupes de comparaison informatifs et stabiliser la génération de coordonnées. Il se compose de deux composants principaux :

A. Rollout de Groupe Consistant avec la Vue (View-Consistent Group Rollout)

Au lieu d'échantillonner plusieurs complétions à partir d'une seule capture d'écran fixe, VISTA construit chaque groupe GRPO à partir de plusieurs vues préservant la cible de la même instance GUI.

Recadrages Préservant la Cible (Target-Preserving Crops) : Pour une tâche donnée $(I, q, B)$ , le système génère $K$ vues recadrées. Chaque recadrage est garanti de contenir entièrement la boîte englobante (bounding box) $B$ de la cible.
Remappage Exact : Les coordonnées de la boîte cible sont géométriquement remappées vers le nouveau référentiel de coordonnées du recadrage.
Construction du Groupe : Le modèle génère $n$ complétions par vue (où $K \times n = G$ , la taille totale du groupe).
Bénéfice : Cela garantit que le groupe contient des entrées sémantiquement équivalentes (même instruction et même cible) mais des captures d'écran géométriquement différentes. Cela augmente la probabilité d'observer des résultats mixtes (certains succès, certains échecs) au sein d'un même groupe, restaurant ainsi des avantages relatifs non nuls.

B. Ancre Transversale Auto-Vérifiée (Self-Verified Cross-View Anchor)

Bien que les rollouts multi-vues améliorent l'exploration, ils peuvent introduire de l'instabilité dans la génération de coordonnées, particulièrement sur des vues ambiguës. Pour remédier à cela sans revenir à l'apprentissage supervisé (SFT) inconditionnel, VISTA introduit une ancre auto-vérifiée.

Activation Conditionnelle : Une réponse oracle (le centre de la boîte cible remappée) n'est introduite comme signal d'entraînement que si la politique actuelle a déjà produit au moins un rollout de récompense maximale au sein du groupe.
Exclusion de la Ligne de Base (Baseline Exclusion) : La réponse oracle est exclue du calcul de la moyenne du groupe ( $\mu_m$ ) et de l'écart-type ( $\sigma_m$ ). Elle est traitée comme un signal supervisé distinct.
Mécanisme :
- Si le groupe est « auto-vérifié » (un rollout du modèle réussit), l'ancre est activée avec un avantage positif dérivé de la ligne de base du modèle uniquement.
- Si le groupe est un groupe d'« échec total » (aucun rollout du modèle ne réussit), l'ancre n'est pas activée. Cela empêche le modèle d'apprendre d'un oracle lorsqu'il n'a pas encore démontré la capacité de résoudre l'instance, évitant ainsi que le signal d'apprentissage ne s'effondre en une imitation inconditionnelle.

C. Objectif d'Entraînement

La fonction de perte finale combine l'objectif GRPO découpé (clipped) standard pour les rollouts générés par le modèle avec une perte supervisée pondérée par l'avantage pour l'ancre (lorsqu'elle est active) :
$\mathcal{L}_{VISTA} = -\frac{1}{G+1} \left[ \sum \ell_{clip} + \lambda_a \ell_{anchor} \right] + \beta \mathcal{L}_{KL}$
La perte de l'ancre n'est calculée que si le groupe est auto-vérifié, garantissant que le signal supervisé stabilise l'entraînement uniquement lorsque la politique a déjà fait preuve de compétence.

3. Contributions Clés

Rollout de Groupe Consistant avec la Vue : Une nouvelle stratégie de construction de groupe qui échantillonne à partir de multiples vues préservant la cible de la même instance plutôt que d'une vue fixe unique. Cela augmente considérablement la fraction de groupes informatifs (de <5 % à ~20 %) et restaure la variance de la récompense.
Ancre Transversale Auto-Vérifiée : Un mécanisme de stabilisation conditionnel qui injecte un guidage oracle uniquement lorsque le modèle a déjà réussi dans au moins une vue au sein du groupe. Cela empêche l'ancre de déplacer la ligne de base GRPO ou de superviser des groupes d'« échec total » non informatifs.
Validation Complète : Expérimentations étendues sur cinq benchmarks (ScreenSpot-Pro, ScreenSpot-V2, MMBench-L2, OSWorld-G-R, OSWorld-G) et sur plusieurs échelles de modèles (de 4B à 30B+).

4. Résultats Expérimentaux

Le papier rapporte des améliorations constantes sur les backbones Qwen3-VL (4B, 8B, 30B-A3B) et les modèles initialisés par Qwen3.5.

Performance sur ScreenSpot-Pro : VISTA améliore significativement la précision sur ce benchmark exigeant, qui présente des cibles petites et des interfaces denses.
- Qwen3-VL 4B : Amélioration de 55.5 à 63.4.
- Qwen3-VL 8B : Amélioration de 52.7 à 65.8.
- Qwen3-VL 30B-A3B : Amélioration de 53.7 à 67.0.
- Qwen3.5 35B-A3B : Amélioration de 71.7 à 72.9 (comparé au GRPO standard).
Robustesse : VISTA démontre une meilleure précision sur les « pires vues » (worst-view accuracy) et un taux de basculement de prédiction (prediction flip rate) plus faible par rapport au GRPO standard, indiquant une meilleure stabilité sous les perturbations géométriques.
Études d'Ablation :
- Supprimer le recadrage consistant avec la vue (en utilisant le GRPO standard) fait chuter les performances.
- Supprimer la porte d'auto-vérification (en utilisant une injection d'oracle inconditionnelle) dégrade sévèrement les performances (par exemple, faisant passer ScreenSpot-Pro de 64.3 à 57.8 dans une ablation), confirmant la nécessité de l'activation conditionnelle.
- La combinaison des deux composants produit les meilleurs résultats.

5. Signification et Revendications

Le papier affirme que VISTA résout un goulot d'étranglement fondamental dans l'application de GRPO au grounding d'interface graphique : l'absence d'avantages relatifs informatifs dus à la dégénérescence de la récompense invariante à la vue.

Changement de Focalisation de la Conception : Les auteurs soutiennent que la clé pour améliorer le grounding d'interface avec le RL n'est pas seulement comment récompenser un clic, mais comment construire le groupe de comparaison. En faisant varier la géométrie de la vue tout en préservant la sémantique, VISTA force la politique à apprendre une génération de coordonnées robuste plutôt qu'à mémoriser des emplacements de pixels spécifiques.
Stabilité sans Imitation : L'ancre auto-vérifiée permet au modèle de bénéficier d'un guidage de vérité terrain (ground-truth) sans transformer le processus de RL en une imitation inconditionnelle, ce qui pourrait supprimer l'exploration.
Généralisabilité : La méthode montre son efficacité à travers différentes échelles de modèles et différents backbones, suggérant que la construction de groupe consistante avec la vue est un signal d'apprentissage généralisable pour les tâches de grounding d'interface graphique.

Les auteurs concluent que VISTA améliore à la fois la précision et la robustesse, particulièrement sur les instances difficiles où le GRPO standard ne parvient pas à fournir un signal d'apprentissage. Ils reconnaissent des limites concernant les jeux de données mixtes (actionnable/refus) et la sensibilité de l'optimisation aux recadrages agressifs, suggérant des travaux futurs sur la planification adaptative.