💻 computer science

POINTS-GUI-G: GUI-Grounding Journey

Ce document présente POINTS-GUI-G-8B, un modèle de grounding d'interface graphique (GUI) à la pointe de l'état de l'art, entraîné à partir d'une base dotée d'une conscience spatiale minimale en exploitant une ingénierie de données raffinée, des stratégies d'entraînement améliorées et l'apprentissage par renforcement avec des récompenses vérifiables pour atteindre des performances supérieures sur de multiples benchmarks.

Auteurs originaux : Zhongyin Zhao, Yuan Liu, Yikun Liu, Haicheng Wang, Le Tian, Xiao Zhou, Yangxiu You, Zilin Yu, Yang Yu, Jie Zhou

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhongyin Zhao, Yuan Liu, Yikun Liu, Haicheng Wang, Le Tian, Xiao Zhou, Yangxiu You, Zilin Yu, Yang Yu, Jie Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot assistant très intelligent capable de lire du texte et de regarder des images. Vous voulez lui apprendre à utiliser votre ordinateur ou votre téléphone, tout comme vous le faites. Mais il y a un problème : le robot peut lire les instructions (« Cliquez sur le bouton rouge »), mais il ne sait pas où se trouve réellement le bouton rouge sur l'écran. C'est comme donner une carte d'une ville à quelqu'un sans lui dire sur quelle rue il se trouve actuellement.

Ce document présente POINTS-GUI-G, une nouvelle version de ce robot assistant qui a enfin appris à regarder un écran et à dire : « Ah, je vois le bouton ! Il est juste là, à ces coordonnées exactes. »

Voici comment les chercheurs ont appris à ce robot à devenir un maître de l'écran, expliqué à travers des analogies simples :

1. Le point de départ : Une page blanche

La plupart des autres chercheurs ont pris un robot qui était déjà doué pour trouver des choses (comme un détective chevronné) et lui ont simplement donné quelques indices supplémentaires. Les auteurs de ce document ont décidé de partir d'un robot qui était mauvais pour trouver des choses. Ils voulaient construire la compétence à partir de zéro, comme enseigner la lecture à un enfant plutôt que de simplement corriger l'orthographe d'un adolescent. Ils sont partis d'un modèle de base appelé « POINTS-1.5 » qui n'avait presque aucune capacité à pointer des objets sur un écran.

2. Les trois piliers du succès

Pour transformer ce robot « aveugle » en un robot « voyant », ils ont utilisé trois stratégies principales :

A. Nettoyer et organiser les manuels scolaires (Ingénierie de données raffinée)

Imaginez que vous essayez d'enseigner à un élève en utilisant une pile de manuels scolaires. Certains livres utilisent des pouces, d'autres des centimètres, certains sont écrits en anglais et d'autres en français. Certaines pages sont déchirées et d'autres sont griffonnées. Ce serait un cauchemar pour apprendre.

Les chercheurs ont fait trois choses pour corriger cela :

Standardisation : Ils ont pris tous les ensembles de données désordonnés et différents et les ont forcés dans un format unique. Désormais, chaque « coordonnée » (emplacement) est mesurée de la même manière, comme si on convertissait tout vers une règle standard.
Réduction du bruit : Ils ont agi comme des éditeurs stricts. Ils ont utilisé un outil spécial (appelé OmniParser-v2) pour vérifier les manuels. Si un manuel disait « Le bouton est ici » mais que l'image montrait clairement que le bouton était ailleurs, ils jetaient cette page. Ils n'ont gardé que les exemples parfaits.
Augmenter la difficulté : Une fois que le robot est devenu bon pour trouver de gros boutons évidents, les chercheurs ont commencé à lui soumettre des énigmes en « mode difficile ». Ils ont créé des écrans avec des boutons minuscules et encombrés ainsi que des mises en page confuses (comme un bureau en désordre avec des papiatures partout) pour forcer le robot à devenir plus vif et plus précis.

B. Régler les yeux (Stratégies d'entraînement améliorées)

Habituellement, lors de l'entraînement de ces modèles d'IA, les « yeux » (la partie de l'ordinateur qui traite les images) sont figés en place. Les chercheurs ont réalisé que pour trouver des boutons sur un écran, les yeux devaient être flexibles.

Défiger la vision : Ils ont laissé les « yeux » apprendre et s'ajuster pendant que le reste du cerveau apprenait. Cela a permis au robot de devenir meilleur pour repérer les détails minuscules.
Cohérence de la résolution : Imaginez vous entraîner pour un match de basket en tirant des paniers à 1,5 mètre, mais arriver au vrai match où le panier est à 3 mètres. Vous rateriez. Les chercheurs ont remarqué que leur robot s'entraînait sur de petites images à basse résolution, mais était testé sur de grands écrans haute définition. Ils ont corrigé cela en entraînant le robot sur des images plus grandes et plus claires afin que sa « vision » soit prête pour la réalité.

C. Le système de récompense du jeu vidéo (Apprentissage par renforcement)

C'est la partie la plus unique. Habituellement, l'apprentissage par renforcement (RL) est utilisé pour apprendre à un robot comment penser ou résoudre des problèmes de logique. Ici, ils l'ont utilisé pour apprendre à un robot comment voir.

Voyez cela comme un jeu vidéo :

Le robot devine où se trouve un bouton.
L'ordinateur vérifie : « As-tu touché le bouton ? »
Oui ? +100 points.
Non ? 0 point.

Parce que la réponse est soit vraie, soit fausse (il n'y a pas de « peut-être »), le robot reçoit un retour très clair. Les chercheurs ont constaté que cette boucle « essayer, obtenir un score, réessayer » rendait le robot beaucoup plus précis que de simplement lui montrer des exemples en disant « ceci est correct ».

Le résultat

En combinant ces trois méthodes, le modèle POINTS-GUI-G est devenu un champion pour trouver des éléments sur les écrans.

Il a battu de nombreux autres modèles qui étaient beaucoup plus gros et plus coûteux.
Il a obtenu des scores incroyablement élevés lors de tests mesurant sa capacité à trouver des boutons, du texte et des icônes sur des téléphones, des ordinateurs et des sites web.

En bref : Ce document montre que si vous nettoyez vos données d'entraînement, vous laissez les « yeux » de votre modèle apprendre librement et vous utilisez un système de récompense strict basé sur le « vrai ou faux », vous pouvez construire un petit robot efficace qui est meilleur pour naviguer sur l'écran de votre ordinateur que de nombreuses alternatives géantes et coûteuses.

Résumé technique : POINTS-GUI-G : Le voyage du grounding de l'interface graphique (GUI)

Énoncé du problème

Les progrès rapides des modèles de vision-langage (VLM) ont permis l'émergence d'agents d'interface graphique (GUI) capables d'automatiser des flux de travail numériques complexes, de l'achat en ligne à la réservation de vols. Un prérequis fondamental pour ces agents est le grounding de l'interface graphique (ancrage spatial) : la capacité de localiser précisément les éléments d'interface (texte, icônes, boutons) dans une capture d'écran pour exécuter des opérations telles que le clic ou la saisie de texte.

Alors que la recherche actuelle s'appuie souvent sur des modèles possédant déjà une forte conscience spatiale (par exemple, Qwen3-VL) pour se concentrer sur l'exécution de tâches de bout en bout, cette approche peut occulter les enseignements techniques critiques nécessaires à un développement itératif. De plus, les approches existantes négligent souvent les défis spécifiques au grounding, tels que l'hétérogénéité des données, les décalages de résolution entre l'entraînement et l'inférence, et le potentiel de l'apprentissage par renforcement pour les tâches axées sur la perception. Ce document traite ces lacunes en visant à maîtriser l'ensemble du pipeline technique du grounding de l'interface graphique, en partant d'un modèle de base doté de capacités de grounding natives minimales (POINTS-1.5) plutôt que d'une fondation pré-optimisée.

Méthodologie

Les auteurs présentent POINTS-GUI-G-8B, un modèle développé via une approche « full-stack » comprenant trois piliers fondamentaux :

1. Ingénierie de données raffinée

Les auteurs ont mis en œuvre un pipeline multi-étapes pour remédier aux limites des jeux de données de grounding d'interface graphique open-source existants :

Standardisation : Les divers jeux de données ont été unifiés en normalisant toutes les coordonnées dans une plage $[0, 1]$ avec une précision de trois décimales et en reformulant les tâches en formats de localisation d'éléments d'interface cohérents (prédiction de boîte englobante ou localisation de point central).
Réduction du bruit : Un pipeline de filtrage automatisé utilisant OmniParser-v2 a été employé pour éliminer les annotations inexactes. Pour les annotations de points, un score de couverture a été calculé par rapport aux éléments d'interface détectés ; seuls les échantillons présentant un chevauchement élevé ( $S \ge \tau$ ) ont été conservés afin d'éliminer les coordonnées hallucinées.
Amélioration de la complexité : Pour repousser les plafonds de performance, les échantillons « simples » (dispositions éparses, régions surdimensionnées) ont été filtrés à l'aide de métriques d'Entropie de Mise en Page (projection 1D et entropie de grille 2D). De plus, des données complexes ont été synthétisées via :
- GUI-CodeGen : Rendu d'interfaces de logiciels professionnels (ex: VS Code) avec des composants fonctionnels à haute densité.
- GUI-Overlay : Superposition de plusieurs fenêtres d'applications sur des fonds d'écran de bureau pour introduire des distracteurs et des occlusions réalistes.

2. Stratégies d'entraînement améliorées

Deux ajustements critiques ont été apportés au pipeline d'entraînement pour améliorer la précision perceptive :

Encodeur de vision dégelé : Contra�à les itérations précédentes où l'encodeur de vision était gelé, les auteurs ont entièrement dégelé l'encodeur (basé sur Qwen2-VL-NaViT) pendant l'entraînement. Cela a permis au modèle d'adapter son extraction de caractéristiques spécifiquement au domaine de l'interface graphique, générant des gains de performance substantiels.
Cohérence de la résolution : Pour atténuer la dégradation des performances sur les benchmarks à haute résolution (ex: ScreenSpot-Pro) causée par un entraînement sur des données à basse résolution, les auteurs ont augmenté le plafond de résolution maximale d'entraînement à 3072 × 3072 pixels et ont contraint la résolution d'inférence à moins de 2000 × 2000 pixels. Cet alignement a entraîné une augmentation de la performance de plus de 10 points sur les benchmarks à haute résolution.

3. Apprentissage par renforcement avec récompenses vérifiables (RLVR)

Le document démontre l'application de l'apprentissage par renforcement (RL) au grounding de l'interface graphique, une tâche traditionnellement dominée par l'apprentissage supervisé (SFT).

Récompenses vérifiables : L'espace de sortie (points ou boîtes englobantes) permet des fonctions de récompense précises et objectives. La récompense est binaire ($1$ ou $0$) selon que la coordonnée prédite tombe à l'intérieur de la boîte englobante annotée.
Algorithme : Les auteurs ont employé l'optimisation de politique relative de groupe (Group Relative Policy Optimization - GRPO).
Apprentissage par curriculum : Une stratégie basée sur un curriculum a été utilisée pour augmenter progressivement la difficulté des échantillons d'entraînement, stabilisant ainsi le processus d'apprentissage.
Absence de trace de raisonnement : Suivant GTA1, le modèle ne génère pas de trace de raisonnement avant de produire les coordonnées, se concentrant uniquement sur la cartographie perception-action.

Résultats clés

POINTS-GUI-G atteint des performances de pointe (SOTA) sur cinq benchmarks majeurs, surpassant souvent des modèles nettement plus grands (ex: modèles de 32B et 72B paramètres) :

ScreenSpot-Pro : Score de 59.9, surpassant GTA1-7B de 9.8 points et GUI-Owl-7B de 5 points.
OSWorld-G : Atteint 66.0, se classant premier parmi les modèles SOTA et dépassant MAI-UI-8B d'environ 6 points.
ScreenSpot-v2 : Atteint 95.7.
UI-Vision : Score de 49.9, dépassant souvent les concurrents par des marges supérieures à 10 points.
MMBench-GUI-L2 : Atteint 87.0, montrant une performance robuste à travers les environnements mobiles, de bureau et web.

Les études d'ablation (Figure 7) confirment que l'ingénierie de données (DE), l'encodeur de vision dégelé (UVE), la cohérence de la résolution d'image (IR) et l'apprentissage par renforcement (RL) contribuent chacun de manière incrémentale à la performance finale, le RL apportant des améliorations constantes par rapport à la base supervisée.

Signification et affirmations

Le document affirme que POINTS-GUI-G sert de fondation robuste pour le développement futur d'agents d'interface graphique. Sa signification réside dans :

Maîtrise Full-Stack : Démontrer qu'en partant d'un modèle de base ayant une capacité de grounding minimale et en construisant par le biais de stratégies de données et d'entraînement raffinées, on peut obtenir des résultats SOTA, offrant une alternative complète au recours exclusif à de grands modèles pré-optimisés.
RL dans la perception : Prouver que l'apprentissage par renforcement avec des récompenses vérifiables est hautement efficace pour les tâches intensives en perception comme le grounding d'interface graphique, où les récompenses sont facilement vérifiables et précises, remettant en question l'idée que le RL est exclusivement destiné aux tâches de raisonnement.
Nuance technique : Mettre en lumière des facteurs souvent négligés tels que la cohérence de la résolution et la nécessité de dégeler les encodeurs de vision pour des domaines spécialisés.

Les auteurs ont rendu le modèle et la suite d'évaluation en accès libre pour soutenir la communauté de recherche et répondre aux standards d'évaluation incohérents, visant à catalyser le progrès de l'exécution d'agents d'interface graphique de bout en bout.