Résumé Technique : Apprentissage de l'ancrage d'interface graphique par raisonnement spatial à partir de retours visuels

Énoncé du problème

L'ancrage d'interface graphique (GUI) consiste à mapper une instruction en langage naturel vers des coordonnées de pixels spécifiques sur un écran afin d'exécuter une action (par exemple, un clic). Bien que les modèles récents Vision-Langage (VLM) aient progressé, ils échouent fréquemment à prédire des coordonnées numériques précises sur des interfaces graphiques haute résolution aux mises en page complexes. Cet échec découle d'un manque d'alignement sémantique spatial : le modèle peine à mapper implicitement sa compréhension d'un élément visuel vers des jetons de coordonnées discrets.

Les approches existantes formulent généralement l'ancrage d'interface graphique comme un problème de prédiction en une étape, où le modèle génère des coordonnées directement à partir d'une capture d'écran. Une limitation critique de ce paradigme est l'absence de boucle de rétroaction visuelle. Le modèle n'est supervisé que sur la sortie numérique finale et ne reçoit aucune information concernant l'endroit où sa prédiction atterrit réellement sur l'écran. Par conséquent, le modèle échoue à développer un alignement robuste entre ses prédictions numériques et leurs positions correspondantes à l'écran, ce qui entraîne de faibles capacités de raisonnement spatial.

Méthodologie : GUI-CURSOR

Pour pallier ces limitations, les auteurs proposent GUI-CURSOR, qui reformule l'ancrage d'interface graphique d'une tâche statique en une étape en une tâche de recherche dynamique et interactive.

1. Environnement de recherche interactive

Au lieu de prédire immédiatement une coordonnée finale, le modèle contrôle un curseur virtuel sur l'image de l'interface graphique. Le processus fonctionne comme une séquence d'étapes :

• Observation : À chaque étape $t$, le modèle observe la capture d'écran de l'interface graphique avec le curseur à sa position actuelle $(x_t, y_t)$.
• Raisonnement et Action : Le modèle génère une réponse contenant un processus de réflexion (analysant la cible, la position actuelle du curseur et les relations spatiales) suivi d'une action. L'action est soit une nouvelle coordonnée $(x_{t+1}, y_{t+1})$ pour déplacer le curseur, soit une commande STOP si le curseur est correctement positionné.
• Rétroaction visuelle : L'environnement rend le curseur à la nouvelle position et fournit une capture d'écran mise à jour pour l'étape suivante. Cette rétroaction visuelle explicite permet au modèle de vérifier ses prédictions et d'affiner progressivement sa compréhension spatiale.

2. Entraînement par apprentissage par renforcement

Le modèle est entraîné en utilisant l'Optimisation de Politique Relative de Groupe (GRPO) au sein de cet environnement interactif. L'objectif d'entraînement repose sur une fonction de récompense basée sur les trajectoires ($R_T$) personnalisée, conçue pour guider à la fois la précision finale et le comportement de recherche.

La fonction de récompense se compose de :

• Récompense de position ($r_p$) : Une récompense dense basée sur la distance entre la position finale du curseur et la boîte englobante cible, tenant compte à la fois de la proximité du bord et de la centralité dans la boîte.
• Pénalités de trajectoire : Pour éviter des stratégies dégénérées (par exemple, s'arrêter immédiatement sans bouger, avancer et reculer, ou s'éloigner de la cible), les auteurs introduisent quatre pénalités spécifiques :
  • Pénalité d'arrêt faux ($r_{FS}$) : Pénalise l'arrêt lorsque le curseur est en dehors de la cible.
  • Pénalité de mouvement faux ($r_{FM}$) : Pénalise la poursuite du mouvement après que le curseur est déjà entré dans la boîte cible.
  • Pénalité de direction fausse ($r_{FD}$) : Pénalise les mouvements qui augmentent la distance par rapport à la cible par rapport à la prédiction initiale.
  • Pénalité de position répétée ($r_{RP}$) : Pénalise la prédiction de la même coordonnée plus d'une fois.

3. Focalisation centrée sur le curseur (CCF)

Pour gérer efficacement les images haute résolution sans engendrer de coûts computationnels prohibitifs, les auteurs introduisent une stratégie en deux étapes :

• Entraînement : Les images sont sous-échantillonnées à une résolution gérable (par exemple, 1920×1080).
• Inférence : Pour les images plus grandes que la résolution d'entraînement, le modèle effectue d'abord une prédiction grossière sur l'image complète. Il recadre ensuite une région centrée sur cette prédiction (en maintenant la résolution d'entraînement) et effectue des mouvements fins au sein de cette vue focalisée. Cela équilibre l'efficacité de l'entraînement avec la précision de l'inférence.

Contributions clés

1. Reformulation de l'ancrage d'interface graphique : L'article change le paradigme de la prédiction statique de coordonnées vers un processus dynamique et interactif où le modèle apprend l'alignement coordonnées-espace par le biais de retours visuels.
2. Modèle GUI-CURSOR : L'introduction d'un modèle d'ancrage d'interface graphique entraîné par apprentissage par renforcement dans un environnement interactif, utilisant une fonction de récompense dense et consciente de la trajectoire qui impose des comportements de recherche rationnels.
3. Raisonnement spatial amélioré : Une évaluation complète démontre que l'apprentissage de l'ancrage d'interface graphique en déplaçant un curseur améliore non seulement la précision de l'ancrage, mais aussi les capacités générales de raisonnement spatial, qui se généralisent à des domaines hors distribution.

Résultats expérimentaux

Les auteurs ont évalué GUI-CURSOR sur plusieurs benchmarks, notamment ScreenSpot-Pro, OSWorld-G, UI-Vision et ScreenSpot-v2, en utilisant les modèles de base Qwen2.5-VL-7B et UI-TARS-1.5-7B.

• Performance d'ancrage : GUI-CURSOR a constamment surpassé des bases solides (incluant des méthodes de fine-tuning supervisé comme SeeClick, UGround, et des méthodes basées sur RL comme GTA1). Notamment, sur le benchmark difficile ScreenSpot-Pro, GUI-CURSOR (basé sur UI-TARS-1.5-7B) a dépassé le modèle leader GTA1 de 8,1 %, malgré l'utilisation d'un nombre significativement inférieur d'échantillons d'entraînement (8K contre 64K).
• Tâches agentiques : Dans les évaluations agentiques en ligne sur OSWorld, GUI-CURSOR a atteint des taux de réussite plus élevés avec moins d'étapes d'action par rapport à GTA1, démontrant son efficacité dans des scénarios réalistes et diversifiés.
• Raisonnement spatial :
  • Test Curseur-dans-Boîte : Un test personnalisé a révélé que les VLM standards (même ceux fine-tunés) éprouvent des difficultés avec la classification spatiale simple (déterminer si un curseur est à l'intérieur d'une boîte) et présentent de fortes biais centraux. GUI-CURSOR, sans entraînement explicite sur cette tâche de classification, a obtenu des scores F1 nettement supérieurs, suggérant que sa capacité d'ancrage repose sur une compréhension spatiale plus robuste.
  • Généralisation : Sur des benchmarks comme SPHERE et SpatialMQA, GUI-CURSOR a montré des améliorations dans le raisonnement et la combinaison de compétences, indiquant que le paradigme d'entraînement interactif améliore les capacités de raisonnement spatial au-delà du domaine des interfaces graphiques.
• Efficacité : Le modèle apprend à adapterivement effectuer plus d'étapes uniquement sur des exemples difficiles (par exemple, des cibles petites), résolvant 95 % des cas en deux étapes.

Importance et revendications

L'article revendique que la signification principale de ce travail réside dans la démonstration que les boucles de rétroaction visuelle sont essentielles pour aligner les prédictions numériques avec la réalité spatiale dans les VLM. En reformulant l'ancrage comme une tâche de recherche, le modèle apprend à « réfléchir » aux relations spatiales et à corriger sa trajectoire, plutôt que de compter sur une seule tentative de prédiction.

Les auteurs affirment que cette approche :

1. Résout le problème d'alignement sémantique spatial inhérent à la prédiction en une étape.
2. Améliore l'efficacité des données, atteignant des résultats de pointe avec moins d'échantillons d'entraînement.
3. Cultive une capacité de raisonnement spatial plus robuste qui se généralise à des tâches hors distribution, suggérant que la capacité de rechercher des cibles de manière interactive est un composant fondamental de la compréhension spatiale dans les agents multimodaux.

L'ouvrage conclut que l'apprentissage de l'ancrage d'interface graphique en déplaçant un curseur est une stratégie supérieure pour développer des agents capables de naviguer et d'interagir efficacement avec des interfaces numériques complexes.