🤖 AI

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

Cet article propose la Distillation de Soi Sensible à la Qualité (Quality-Aware Self-Distillation), une méthode qui améliore les performances de l'ancrage d'interface graphique (GUI grounding) en combinant un partitionnement doux sensible à la correction (soft correctness-aware gating) et une mise à l'échelle de la probabilité de l'enseignant afin d'atténuer la dégradation des signaux de l'enseignant lors de la distillation de soi on-policy lorsque les préfixes générés par l'étudiant s'écartent des coordonnées de vérité terrain.

Auteurs originaux : Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment trouver un bouton spécifique sur un écran d'ordinateur à partir d'une commande vocale comme « Clique sur l'engrenage des paramètres ». C'est ce qu'on appelle la GUI Grounding (ancrage d'interface graphique). Le robot doit regarder une capture d'écran, comprendre l'image, puis taper les coordonnées X et Y exactes de ce bouton.

Le problème est que c'est incroyablement difficile. Les écrans sont de haute résolution, les boutons sont minuscules, et beaucoup de choses se ressemblent. Si le robot fait une toute petite erreur au début (par exemple, s'il se trompe de ligne), il peut partir dans une mauvaise direction de manière exponentielle.

Le Problème : Le Tuteur « Naïf »

Pour enseigner au robot, les chercheurs utilisent une méthode appelée Auto-distillation. Considérez cela comme un « Enseignant » IA super intelligent qui aide à entraîner un « Étudiant » IA.

Dans une configuration standard (appelée OPSD Naïf), l'Étudiant essaie de répondre à la question. Au fur et à mesure qu'il tape sa réponse, l'Enseignant regarde ce que l'Étudiant a écrit jusqu'à présent et dit : « D'accord, en fonction de ce que tu as tapé, voici la prochaine meilleure supposition. »

Voici le piège : Si l'Étudiant commence à taper de mauvaises coordonnées (par exemple, il pense que le bouton est sur le côté gauche de l'écran alors qu'il est en fait sur la droite), l'Enseignant est contraint de suivre le mouvement. L'Enseignant voit ce mauvais chemin et génère une continuation « plausible » de ce mauvais chemin.

Analogie : Imaginez un étudiant dessinant une carte pour trouver un trésor, mais il dessine accidentellement une route qui mène dans un marécage. Un enseignant naïf, voyant la route du marécage, pourrait dire : « D'accord, puisque tu vas dans le marécage, la prochaine étape est de nager. » L'enseignant est serviable, mais il aide l'étudiant à s'égarer encore plus. Le signal de l'enseignant devient « peu fiable » car il renforce une erreur.

La Solution : Le Tuteur « Sensible à la Qualité »

Les auteurs proposent une nouvelle méthode appelée Auto-distillation Sensible à la Qualité. Au lieu de suivre aveuglément les conseils de l'Enseignant, l'Étudiant vérifie : « Est-ce que le conseil de l'Enseignant est encore capable d'atteindre l'objectif ? »

Ils utilisent deux outils ingénieux pour corriger le processus d'enseignement :

1. La « Porte de Correction Douce » (Le Feu Tricolore)

Le système vérifie la prochaine supposition de l'Enseignant par rapport à l'emplacement réel du bouton cible (la « Vérité Terrain » ou Ground Truth).

La Vérification : « Si l'Étudiant pointe actuellement vers la gauche, et que l'Enseignant suggère un nombre qui ferait atterrir le curseur sur le côté droit de l'écran, est-ce seulement possible ? »
Le Résultat :
- Feu Vert : Si la suggestion de l'Enseignant est toujours dans la plage possible du ciblage, l'Étudiant écoute pleinement.
- Feu Jaune : Si la suggestion de l'Enseignant est impossible (elle est déjà trop loin de la cible), l'Étudiant ne l'ignore pas complètement (ce qui serait trop dur) ; au lieu de cela, il baisse le volume. Il dit : « D'accord, je t'entends, mais je ne vais écouter que la moitié de ce que tu dis. »
Pourquoi « Douce » ? Même si l'Enseignant se trompe, il peut encore avoir des informations utiles sur la façon de se rétablir de l'erreur. Ignorer totalement le signal, c'est comme licencier un professeur pour une seule mauvaise réponse ; baisser le volume, c'est comme lui dire : « Soyez moins bruyant, mais continuez à parler. »

2. La « Mise à l'échelle de la Probabilité de l'Enseignant » (Le Compteur de Confiance)

Même si la suggestion de l'Enseignant passe le test du « Feu Vert », le système demande : « À quel point l'Enseignant est-il sûr de lui ? »

Si l'Enseignant est sûr à 99 % (« Je suis absolument certain que c'est le prochain nombre »), l'Étudiant l'écoute très attentivement.
Si l'Enseignant n'est sûr qu'à 51 % (« Je pense que c'est ça, mais cela pourrait être autre chose »), l'Étudiant l'écoute plus occasionnellement.
L'Analogie : Imaginez un présentateur météo. S'il dit : « Il va pleuvoir, j'en suis sûr à 99 % », vous prenez un parapluie. S'il dit : « Il pourrait pleuvoir, c'est du 50/50 », vous gardez simplement votre manteau à portée de main. Cette méthode ajuste le poids de l'apprentissage en fonction de ce niveau de confiance.

La Magie de la Combinaison

Les chercheurs ont découvert un résultat surprenant : utiliser un seul de ces outils ne fonctionne pas bien.

Si vous utilisez uniquement le Feu Tricolore, vous pourriez accidentellement faire taire un Enseignant qui est en fait dans le vrai, mais juste un peu incertain.
Si vous utilisez uniquement le Compteur de Confiance, vous pourriez écouter de trop près un Enseignant qui est très confiant mais complètement dans l'erreur (parce qu'il vous mène avec assurance dans le marécage).

Ensemble, ils sont parfaits : Le Feu Tricolore filtre les conseils impossibles, et le Compteur de Confiance garantit que vous écoutez davantage les conseils qui sont à la fois possibles et certains.

Les Résultats

Les chercheurs ont testé cette méthode sur six benchmarks différents (comme différents jeux vidéo ou des tests de conduite pour le robot).

Cette nouvelle méthode a battu tous les « enseignants » puissants précédents.
Elle a considérablement amélioré la précision du robot par rapport aux méthodes d'entraînement standard.
Elle a prouvé que dans les tâches où l'on peut physiquement vérifier si une réponse est « sur la cible » (comme des coordonnées), on peut apprendre à l'IA à être plus intelligente sur le choix de l'avis auquel elle doit faire confiance.

Résumé

Cet article nous apprend que lorsqu'on entraîne une IA à trouver des éléments sur un écran, nous ne devrions pas laisser l'IA copier son enseignant aveuglément. Nous avons besoin d'un système qui vérifie :

Ce conseil est-il même possible ? (Si non, baissez le volume).
L'enseignant est-il confiant ? (Si oui, augmentez le volume).

En faisant cela, l'IA apprend plus vite et fait moins d'erreurs, en apprenant ainsi à « faire confiance au bon enseignant » au bon moment.

Résumé technique : Faire confiance au bon enseignant : Auto-distillation sensible à la qualité pour le ancrage de GUI

1. Énoncé du problème

L'ancrage d'interface graphique (GUI grounding) exige que les modèles vision-langage (VLM) identifient des éléments d'interface spécifiques dans des captures d'écran haute résolution et prédisent des coordonnées d'écran précises. Cette tâche est particulièrement difficile en raison de la petite taille, de la similitude visuelle et de la disposition dense des éléments cibles.

Les méthodes de post-entraînement existantes font face à des limitations significatives dans ce domaine sensible aux coordonnées :

Fine-tuning supervisé (SFT) : Traite les coordonnées annotées comme des cibles rigides, fournissant peu d'informations au-delà de la réponse finale et ne parvenant pas à exploiter l'incertitude de l'enseignant ou la « connaissance sombre » (dark knowledge) concernant les jetons de coordonnées plausibles.
Apprentissage par renforcement (ex: GRPO) : Optimise les résultats de la tâche mais repose sur des récompenses éparses et de multiples passages (rollouts), offrant une guidance faible pour la localisation fine.
Auto-distillation on-policy naïve (OPSD) : Bien que prometteuse pour fournir des signaux d'enseignant denses au niveau des jetons, l'OPSD naïve est mal adaptée à l'ancrage de GUI. Dans l'OPSD, l'enseignant est interrogé sur les préfixes générés par l'étudiant. Si l'étudiant génère un préfixe incorrect (une hypothèse spatiale erronée), les logits suivants de l'enseignant peuvent devenir une continuation plausible de cette mauvaise coordonnée plutôt qu'un signal vers la cible réelle. Cela conduit à des signaux d'enseignant peu fiables qui dégradent les performances.

2. Méthodologie : Auto-distillation sensible à la qualité

Les auteurs proposent l'Auto-distillation sensible à la qualité, une méthode qui calibre la supervision des jetons de coordonnées en exploitant la vérifiabilité spatiale de l'ancrage de GUI. L'approche combine deux mécanismes complémentaires : le Gating de correction douce (Soft Correctness-Aware Gating) et la Mise à l'échelle de la probabilité de l'enseignant (Teacher-Probability Scaling).

2.1 Construction de l'information privilégiée

Suivant les travaux antérieurs (GUI-SD), la méthode construit un input privilégié pour l'enseignant $(x^+, I^+)$ où la région cible est visuellement mise en évidence et les régions non pertinentes pour la tâche sont supprimées via un masquage régional préservant la mise en page. L'étudiant est conditionné sur l'input original $(x, I)$ , tandis que l'enseignant est conditionné sur l'input privilégié $(x^+, I^+)$ pour générer des signaux.

2.2 Gating de correction douce

Ce mécanisme traite le problème de l'enseignant fournissant des continuations plausibles mais incorrectes basées sur un préfixe erroné de l'étudiant.

Vérification : Pour une position de jeton de coordonnée $t$ , la méthode vérifie si le jeton de coordonnée prédit en tête par l'enseignant ( $d^*_t$ ) peut encore être complété en une coordonnée valide à l'intérieur de l'intervalle de la boîte englobante réelle ( $B_{a(t)}$ ) étant donné le préfixe actuel généré par l'étudiant.
Indicateur binaire : Un indicateur binaire $h_t$ est fixé à 1 si la complétion est possible (compatible) et à 0 sinon (incompatible).
Gating doux : Au lieu de rejeter entièrement les signaux incompatibles (gating dur), la méthode applique un gate doux $g_t = \alpha + (1-\alpha)h_t$ $g_{t} = α + (1 - α) h_{t}$ .
- Si compatible ( $h_t=1$ ), $g_t = 1$ .
- Si incompatible ( $h_t=0$ ), $g_t = \alpha$ (fixé à 0,5 dans les expériences).
- Cela réduit le poids des signaux peu fiables plutôt que de les éliminer, préservant les informations correctives potentiellement utiles tout en réduisant l'influence négative.

2.3 Mise à l'échelle de la probabilité de l'enseignant

Le gating de correction seul ne tient pas compte de la confiance de l'enseignant. Deux signaux peuvent tous deux passer le gate, mais l'un peut être très confiant tandis que l'autre est proche d'une frontière de décision.

Facteur d'échelle : La méthode utilise la probabilité de la prédiction du jeton de coordonnée en tête par l'enseignant, $p_t = P^t_T(d^*_t)$ , comme facteur d'échelle.
Mécanisme : Une valeur $p_t$ plus élevée (confiance plus haute) entraîne un poids de distillation plus fort, tandis qu'une valeur $p_t$ plus faible (incertitude plus haute) adoucit le signal. Cela garantit que même les signaux spatialement compatibles sont pondérés selon leur fiabilité.

2.4 Objectif de Reverse-KL pondéré

La fonction de perte finale combine ces facteurs en un poids par jeton $w_t$ :
$w_t = (1 - r_t) + r_t \cdot g_t \cdot \lambda \cdot p_t$
Où $r_t$ est un indicateur pour les jetons de coordonnées, $\lambda$ est un coefficient d'échelle (fixé à 3), et $g_t$ est le gate doux.

Les jetons non-coordonnées sont distillés avec un poids de 1.
Les jetons de coordonnées compatibles sont pondérés par $\lambda p_t$ .
Les jetons de coordonnées incompatibles sont pondérés par $\alpha \lambda p_t$ .

3. Principales contributions

Auto-distillation sensible à la qualité : Une nouvelle méthode pour l'ancrage de GUI qui calibre les signaux de l'enseignant en fonction de leur fiabilité (compatibilité spatiale) et de leur certitude (probabilité), plutôt que de traiter tous les signaux de l'enseignant comme étant également dignes de confiance.
Étude empirique de la fiabilité du signal : Le papier utilise la nature spatialement vérifiable de l'ancrage de GUI pour étudier empiriquement comment les signaux peu fiables de l'enseignant doivent être traités dans l'auto-distillation on-policy, démontrant qu'une stratégie de réduction douce est supérieure à l'élimination dure ou à l'imitation aveugle.
Mécanismes complémentaires : Les auteurs démontrent que ni le gating doux ni la mise à l'échelle de la probabilité ne suffisent seuls à améliorer les performances ; leur combinaison est nécessaire. Le gating supprime les signaux peu fiables, tandis que la mise à l'échelle calibre la force des signaux fiables restants.

4. Résultats expérimentaux

Des expériences ont été menées sur six benchmarks d'ancrage de GUI (ScreenSpot-Pro, ScreenSpot-v2, UIEG, OSWorld-G, OSWorld-G-R, et MMG) en utilisant Qwen3.5-9B comme backbone.

Performance : La méthode proposée a atteint une précision moyenne macro de 72,23, surpassant la base la plus forte (GUI-SD) de 2,16 points.
Comparaisons : Elle a nettement surperformé le SFT (+4,14 points) et le GRPO (+6,37 points), ainsi que l'OPSD naïve et la base Vision-PV-Only.
Études d'ablation :
- Synergie des composants : L'utilisation du seul gating ou de la seule mise à l'échelle entraînait des performances inférieures à la base, confirmant leurs rôles complémentaires.
- Force du gating : Le gating doux ( $\alpha=0,5$ ) a mieux performé que le gating dur ( $\alpha=0$ ), suggérant que l'élimination complète des signaux ayant échoué au gate supprime des guides correctifs précieux.
- Coefficient d'échelle : Un coefficient d'échelle $\lambda=3$ a donné les meilleurs résultats, équilibrant la suppression des signaux peu fiables avec le besoin d'une supervision suffisante sur les jetons fiables.

5. Signification et affirmations

Le papier affirme que la vérifiabilité spatiale est un signal critique, sous-utilisé, pour améliorer la fiabilité du signal de l'enseignant dans l'auto-distillation. Contra irement aux tâches générales de prédiction de jetons où la fiabilité est inférée via des proxys indirects (entropie, perplexité), l'ancrage de GUI permet une vérification directe de savoir si une prédiction reste réalisable compte tenu des contraintes réelles.

Les auteurs soutiennent que leur méthode représente un passage de l'« imitation aveugle » à l'« imitation digne de confiance ». En réduisant doucement le poids et en mettant à l'échelle les signaux de l'enseignant en fonction de leur compatibilité avec la région cible et de la confiance de l'enseignant, la méthode atténue le risque de renforcer des hypothèses spatiales incorrectes tout en préservant les signaux d'apprentissage denses et fins qui rendent l'auto-distillation efficace. Ce travail suggère que pour les tâches avec des contraintes vérifiables, les stratégies de distillation sensibles à la fiabilité peuvent considérablement améliorer les performances du modèle sans nécessiter de configurations complexes d'apprentissage par renforcement.