Résumé Technique : HyperClick – Amélioration de l'Ancrage GUI Fiable via l'Apprentissage par Renforcement Auto-Critiqué

Énoncé du Problème

Les agents autonomes d'Interface Graphique Utilisateur (GUI) reposent sur l'ancrage GUI – la capacité à mapper des instructions en langage naturel vers des coordonnées pixel précises sur les éléments d'écran – pour exécuter les commandes utilisateur. Bien que les récentes avancées en Affinement Supervisé (SFT) et en Apprentissage par Renforcement (RL) aient amélioré la précision de l'ancrage, un écart critique de fiabilité subsiste : les modèles actuels présentent souvent une surconfiance. Leurs signaux de confiance (qu'il s'agisse de probabilités de tokens ou d'auto-évaluations verbalisées) sont mal alignés avec la justesse réelle de l'ancrage. Ce désalignement conduit les agents à commettre des erreurs avec une grande confiance, ce qui est particulièrement dangereux dans l'automatisation du monde réel où une seule erreur intermédiaire peut provoquer l'échec total de la tâche. Les méthodes existantes optimisent principalement la précision de localisation, mais négligent largement si la confiance du modèle reflète fidèlement la qualité de ses prédictions.

Méthodologie : Cadre HyperClick

Pour résoudre le problème de la surconfiance, les auteurs proposent HyperClick, un cadre qui améliore l'ancrage GUI fiable grâce à l'Apprentissage par Renforcement Auto-Critiqué (SCRL). Contrairement aux approches antérieures qui traitent l'ancrage comme une tâche de classification binaire, HyperClick intègre explicitement l'estimation de la confiance dans le processus de prise de décision.

1. Formulation du Problème

La tâche est formulée comme une formulation de clic, où le modèle de politique prédit un point unique $\hat{p} = (\hat{x}, \hat{y})$ représentant le centre de l'élément UI cible. Le modèle est entraîné à produire à la fois les coordonnées et un score de confiance verbalisé.

2. Modélisation de la Confiance (Cible de Confiance Spatiale)

Au lieu de s'appuyer sur les probabilités au niveau des tokens (qui peuvent être faussées par la tokenisation), HyperClick construit une cible de confiance spatiale bornée basée sur une analyse d'erreur gaussienne.

• Construction de la Cible : Pour une boîte englobante de vérité terrain $b$ avec un centre $\mu$, un noyau gaussien génère une valeur de confiance $C(\hat{p})$ pour tout point prédit $\hat{p}$.
• Contraintes : La confiance est fixée à 0 si le point tombe en dehors de la boîte englobante. À l'intérieur de la boîte, la valeur décroît en fonction de la distance par rapport au centre.
• Variance Adaptative : Pour gérer les tailles d'éléments variables, l'écart-type ($\sigma$) de la gaussienne est mis à l'échelle par les dimensions de la boîte ($\sigma = \alpha \cdot \text{taille}$). Cela garantit que les petits éléments nécessitent une précision plus élevée (pics plus nets), tandis que les grands éléments permettent des régions de haute confiance plus larges.

3. Objectif d'Entraînement et Récompenses

La politique est optimisée à l'aide de l'Optimisation de Politique Relative de Groupe (GRPO) avec une fonction de récompense composite $R = R_{format} + R_{correctness} + R_{confidence}$ :

• Récompense de Format ($R_{format}$) : Impose un modèle de sortie strict <point>[x,y]</point><confidence>conf</confidence>, assurant la parsabilité et empêchant les complétions excessivement longues.
• Récompense de Justesse ($R_{correctness}$) : Une récompense binaire (1 ou 0) indiquant si le point prédit tombe à l'intérieur de la boîte englobante de vérité terrain.
• Récompense d'Alignement de Confiance ($R_{confidence}$) : Une contrainte $L_2$ qui aligne la confiance verbalisée générée par le modèle $\hat{c}$ avec la cible de confiance spatiale $C(\hat{x}, \hat{y})$. Cela récompense le modèle pour attribuer une haute confiance aux clics corrects et précis, et une faible confiance aux clics incorrects ou imprécis.

Contributions Clés

1. Analyse Systématique de la Surconfiance : Les auteurs évaluent systématiquement les modèles existants à usage général et spécifiques aux GUI sur le benchmark ScreenSpot-Pro, révélant que les agents actuels sont significativement surconfiants dans leurs prédictions, avec des scores de confiance dépassant largement la précision réelle.
2. Cadre HyperClick : Ils introduisent un nouveau cadre SCRL qui optimise conjointement la précision de l'ancrage et l'alignement de la confiance. En entraînant le modèle à exposer son incertitude parallèlement à sa prédiction de clic, HyperClick permet l'abstention basée sur la confiance, permettant aux agents de s'abstenir d'agir lorsqu'ils sont incertains.
3. Mécanisme de Double Récompense : L'article propose un mécanisme de double récompense spécifique combinant la justesse binaire avec une cible de confiance spatiale bornée, démontrant que cette approche réduit efficacement les erreurs à haute confiance sans sacrifier les performances d'ancrage.

Résultats Expérimentaux

Les auteurs ont évalué HyperClick sur quatre benchmarks exigeants : ScreenSpot, ScreenSpot-V2, ScreenSpot-Pro et MMBench-GUI.

• Performance : HyperClick (basé sur Qwen2.5-VL-3B et 7B) maintient une précision d'ancrage compétitive ou supérieure par rapport aux bases de référence SFT et RL de l'état de l'art sur les plateformes mobiles, de bureau et web. Notamment, il montre des gains significatifs sur des benchmarks complexes à haute résolution comme ScreenSpot-Pro.
• Alignement de Confiance : Les diagrammes de fiabilité sur ScreenSpot-Pro montrent une réduction dramatique de l'Erreur d'Étalonnage Attendue (ECE). Alors que les modèles de base (par exemple, UI-TARS, Qwen2.5-VL) affichent des ECE d'environ 0,48–0,63 (indiquant une surconfiance sévère), HyperClick-7B réduit l'ECE à 0,249.
• Études d'Ablation :
  • La combinaison des trois composantes de récompense (format, justesse, confiance) produit les meilleurs résultats (93,7 % de précision sur ScreenSpot-V2), tandis que l'utilisation de l'alignement de confiance seul conduit au piratage de récompenses.
  • Le paramètre de variance adaptative $\alpha$ est critique ; $\alpha = 1/4$ offre le compromis optimal entre concentration et dispersion.
  • Le cadre se généralise bien, améliorant les performances lorsqu'il est appliqué à d'autres bases de référence comme MiMo-VL.

Importance et Revendications

L'article revendique que l'ancrage GUI fiable est une condition préalable à des agents autonomes fiables. En allant au-delà des métriques de précision simples pour inclure l'alignement qualité-confiance, HyperClick adresse une limitation fondamentale des agents GUI actuels : l'incapacité à distinguer les actions fiables des actions non fiables.

Les auteurs positionnent ce travail comme une étape vers une automatisation GUI plus sûre. En permettant aux agents de « savoir ce qu'ils ne savent pas » grâce à une confiance verbalisée étalonnée, le cadre soutient l'abstention sélective, empêchant la propagation d'erreurs dans les tâches multi-étapes. L'article conclut que si le travail actuel se concentre sur l'ancrage, les principes d'alignement de la confiance sont essentiels pour les extensions futures vers la planification GUI, où une prise de décision non fiable peut avoir des effets négatifs en cascade. Les auteurs soulignent que leur approche est agnostique au modèle concernant le signal de confiance et évolutive à travers différentes architectures de VLM.