GUI-Primitives: Diagnosing Spatial Reasoning Failures in Vision-Language GUI Grounding
L'article introduit GUI-Primitives, un benchmark révélant que les modèles de vision-langage échouent principalement à localiser les éléments d'interface candidats plutôt qu'à comprendre les relations spatiales, comme en témoigne leur haute précision lorsqu'ils sont restreints aux régions correctes mais leur faible performance sur la prédiction de coordonnées non contraintes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un ordinateur capable de regarder une capture d'écran d'un programme logiciel, de lire une phrase comme « cliquez sur le bouton à droite de l'icône d'enregistrement », puis de déplacer le curseur de la souris exactement à cet endroit. C'est la promesse d'une nouvelle génération d'agents d'intelligence artificielle conçus pour manipuler nos ordinateurs à notre place. Ils sont construits pour accomplir des tâches allant du remplissage de formulaires à la navigation dans des menus complexes, agissant comme des assistants numériques capables de voir et d'interagir avec les interfaces graphiques que nous utilisons quotidiennement. Pour que ces agents fonctionnent, ils doivent posséder une compétence fondamentale appelée « ancrage » (grounding) : la capacité de relier un mot spécifique d'une phrase à une forme ou un bouton spécifique sur un écran. Si l'agent ne peut pas trouver de manière fiable le « bouton à droite », il ne peut pas accomplir la tâche, peu importe sa capacité de planification ou de saisie de texte.
Les chercheurs savent depuis longtemps que ces agents informatiques commettent parfois des erreurs, mais ils ont eu du mal à déterminer précisément pourquoi. L'ordinateur échoue-t-il parce qu'il ne parvient pas à lire le texte à l'écran ? Est-il confus par la signification de « droite » ? Ou est-il simplement incapable de localiser les boutons en premier lieu ? Les tests existants pour ces systèmes mélangent souvent toutes ces compétences, ce qui rend impossible de savoir quelle partie du cerveau est défaillante lorsque l'agent clique au mauvais endroit. Pour résoudre ce casse-tête, une équipe de scientifiques a créé un nouveau test hautement contrôlé, conçu pour isoler une seule capacité de base : la compréhension des relations spatiales dans une interface informatique.
Les chercheurs ont construit un ensemble de données appelé GUI-PRIMITIVES, qui se compose de près de mille paires de questions. Chaque paire utilise exactement la même capture d'écran et le même point de départ, ou « ancrage », mais ne change qu'un seul mot dans l'instruction. Dans une version, on demande à l'ordinateur de cliquer sur l'élément à gauche d'une icône spécifique ; dans la version appariée, on lui demande de cliquer sur l'élément à droite de cette même icône. Comme l'image et l'ancrage sont identiques, la seule différence est la direction. Si l'ordinateur comprend véritablement le langage, il devrait cliquer sur le bouton de gauche pour la première question et sur le bouton de droite pour la seconde. S'il clique sur le même bouton pour les deux, ou s'il clique sur une zone complètement différente, cela révèle un échec de compréhension de la relation spatiale. L'équipe a testé dix-neuf modèles d'intelligence artificielle différents sur ce défi, allant de systèmes commerciaux puissants et coûteux à des versions open-source plus petites.
Les résultats sont frappants. Même les modèles les plus avancés ont obtenu de mauvais résultats, le meilleur système ne répondant correctement que dans environ trente-deux pour cent des cas. C'est un écart massif par rapport à la performance humaine, où les personnes répondent correctement près de quatre-vingt-dix-sept pour cent du temps. Les chercheurs ont creusé davantage pour comprendre où se situaient les échecs. Ils ont découvert que le problème n'était pas principalement que les modèles étaient confus par les mots « gauche » ou « droite ». Au contraire, les modèles échouaient à trouver la zone correcte sur l'écran dès le départ. Dans soixante à quatre-vingt-douze pour cent des erreurs, le clic prédit par l'ordinateur tombait en dehors de la cible correcte et du distracteur erroné, souvent dans une partie totalement vide de l'image.
Lorsque les chercheurs ont filtré ces prédictions « perdues » et n'ont examiné que les cas où l'ordinateur pointait effectivement l'un des deux boutons candidats, le tableau a changé. Pour les directions horizontales et verticales, les modèles étaient assez bons pour choisir le bon une fois qu'ils avaient réduit le champ à la zone correcte. Cependant, pour des relations plus complexes, comme déterminer si un élément se trouve à l'intérieur d'un panneau ou est caché derrière une fenêtre contextuelle, les modèles n'étaient pas meilleurs qu'un choix aléatoire, même lorsqu'ils regardaient les bons candidats. Cela suggère que si les modèles peuvent parfois comprendre les mots, ils éprouvent des difficultés significatives avec la tâche visuelle consistant à localiser où ces mots s'appliquent sur un écran complexe.
L'étude a également testé si ces compétences spatiales importaient pour les performances en conditions réelles. Ils ont trouvé un lien fort : les modèles qui étaient meilleurs à ces tests spatiaux de base étaient également meilleurs sur un benchmark distinct et plus complexe de clics sur de véritables applications de bureau. Cela confirme que la capacité de comprendre des instructions spatiales simples est un bloc de construction fondamental pour une utilisation informatique plus avancée. Les chercheurs ont également essayé plusieurs astuces pour aider les modèles, comme leur demander de réfléchir étape par étape ou ajouter des marqueurs visuels sur l'écran pour mettre en évidence les options. Une méthode, qui consistait à placer des étiquettes numérotées directement sur les boutons candidats, a considérablement amélioré les scores, faisant passer certains modèles de trente pour cent à près de quatre-vingt-dix pour cent. Cependant, il s'agissait d'un outil de diagnostic plutôt que d'une solution pratique, car il nécessite que l'ordinateur sache déjà où se trouvent les boutons pour pouvoir y placer les étiquettes.
En fin de compte, l'étude révèle que la génération actuelle d'agents utilisant l'ordinateur manque une pièce cruciale du puzzle. Ils n'échouent pas parce qu'ils ne peuvent pas raisonner sur le langage ou parce qu'ils ne peuvent pas voir l'écran ; ils échouent parce qu'ils ne peuvent pas mapper de manière fiable une simple instruction spatiale à un emplacement spécifique sur une interface chargée et complexe. Tant que cette compétence fondamentale consistant à connecter les mots aux emplacements visuels ne sera pas corrigée, ces assistants numériques continueront de lutter avec les tâches les plus basiques de la navigation dans notre monde numérique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.