When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs
Cet article introduit un benchmark pour le ancrage visuel interactif dans les grands modèles de vision-langage (LVLM), révélant que les modèles actuels sont nettement moins performants que les références humaines, peinent à rechercher proactivement des informations lorsqu'aucune description initiale n'est fournie, et présentent une faible calibration entre la confiance et l'exactitude.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, il existe une compétence spécifique appelée ancrage visuel (visual grounding). Il s'agit de la capacité d'un ordinateur à regarder une image et à désigner l'objet exact dont un humain parle. Si vous dites : « Trouve la balle rouge », le système doit localiser cette balle spécifique parmi beaucoup d'autres. Pendant des années, les scientifiques ont testé cette compétence en donnant à l'ordinateur une description parfaite et détaillée, puis en lui demandant de trouver la correspondance. C'est comme donner à quelqu'un une carte complète et lui demander de trouver un trésor caché. L'ordinateur est devenu très doué pour cette tâche en une seule étape, égalant ou dépassant souvent les performances humaines lorsque les instructions sont claires et complètes.
Cependant, la vie réelle est rarement aussi simple. Lorsque les humains se parlent, les descriptions sont souvent vagues, incomplètes ou même erronées. Nous ne nous remettons pas de cartes parfaites ; au lieu de cela, nous construisons notre compréhension ensemble. Nous posons des questions telles que : « Est-ce sur la gauche ? » ou « Est-ce qu'il y a une poignée ? » pour combler les pièces manquantes. Cet article explore ce qui se passe lorsque nous demandons à l'intelligence artificielle de faire la même chose : de regarder une image, de réaliser qu'elle ne dispose pas d'informations suffisantes, puis de poser les bonnes questions pour trouver la cible. Les chercheurs voulaient voir si ces systèmes informatiques intelligents pouvaient gérer la nature désordonnée et interactive de la conversation réelle, ou s'ils échoueraient lorsque les instructions ne leur étaient pas présentées sur un plateau d'argent.
L'équipe a mis en place une expérience contrôlée pour tester cette capacité interactive. Ils ont créé un jeu avec deux rôles : un « Directeur » qui connaît l'objet cible et un « Associateur » (Matcher) qui doit le trouver. Ils ont utilisé quatre mondes visuels différents pour le jeu : une collection de chiens, de paniers et de formes abstraites appelées tangrams. Dans le jeu, l'Associateur voit une grille de nombreux objets possibles, tandis que le Directeur ne voit que la cible correcte. Les chercheurs ont testé l'Associateur sous quatre conditions différentes pour voir comment il gérait l'information. Dans la première condition, l'Associateur recevait une description complète et parfaite et devait trouver l'objet sans parler. Dans la deuxième, il recevait une description complète mais était autorisé à poser des questions de suivi pour vérifier son travail. Dans la troisième, il commençait avec un indice très vague, comme « c'est un panier », et devait poser des questions pour identifier lequel. Dans la dernière condition, la plus difficile, l'Associateur ne recevait aucune description et devait poser des questions par oui ou par non en partant de zéro pour construire une image de la cible dans son esprit.
Ils ont fait jouer ce jeu à huit modèles de langage-vision de grande taille différents, qui sont les types d'intelligence artificielle les plus avancés capables de voir et de lire. Les résultats étaient clairs et quelque peu surprenants. Même lorsqu'ils recevaient des descriptions parfaites, les modèles avaient du mal à égaler les performances des joueurs humains. Mais l'écart s'accentuait lorsque la tâche nécessitait une interaction. Lorsque les modèles devaient poser des questions pour trouver la cible, leurs performances chutaient considérablement. Ils étaient particulièrement médiocres lors de la tâche la plus difficile, où ils devaient partir sans aucune information et guider la conversation eux-mêmes. Bien qu'ils puissent poser des questions, ils posaient souvent les mauvaises ou ne parvenaient pas à utiliser les réponses reçues pour réduire efficacement leurs choix.
L'étude a également examiné la confiance des modèles dans leurs réponses. Les chercheurs ont constaté que les modèles étaient souvent trop sûrs d'eux. Ils affichaient un haut niveau de certitude quant au fait qu'ils avaient trouvé le bon objet, même lorsqu'ils avaient tort. Ce manque de conscience de soi était plus marqué lorsque les modèles devaient poser des questions pour trouver la cible. Ils semblaient croire qu'ils disposaient d'assez d'informations alors que ce n'était pas le cas. Curieusement, les modèles montraient une certaine capacité à s'améliorer lorsqu'on leur permettait de poser des questions de suivi pour affiner une description, mais cette aide était limitée. Ils pouvaient corriger une erreur si quelqu'un la leur signalait, mais ils n'étaient pas bons pour chercher proactivement l'information nécessaire afin d'éviter l'erreur dès le départ.
Pour s'assurer de la solidité de ces conclusions, les chercheurs ont mené plusieurs tests de suivi. Ils ont vérifié si les résultats changeaient si les descriptions étaient écrites par un ordinateur plutôt que par un humain, si les modèles étaient forcés de réfléchir davantage avant de répondre, ou s'ils jouaient plusieurs fois avec le même partenaire. Dans chaque cas, le schéma restait le même. Les modèles perforaient mieux avec des descriptions générées par ordinateur, mais ils luttaient toujours avec les parties interactives de la tâche. Ils ont également constaté que, bien que les modèles puissent s'améliorer légèrement après avoir joué quelques parties, ils n'atteignaient jamais la performance humaine. La difficulté de démarrer une conversation à partir de rien et de construire une compréhension partagée demeurait un obstacle majeur. Une étude de suivi a testé les modèles sur des images de visages, mais le jeu principal se concentrait sur les chiens, les paniers et les tangrams.
Les chercheurs ont conclu que, bien que ces systèmes d'intelligence artificielle soient excellents pour faire correspondre une description claire à une image, ils ne sont pas encore prêts pour le monde réel de la communication humaine. Ils manquent de la capacité de reconnaître quand il leur manque des informations et de poser les questions appropriées pour les obtenir. Ils sont également peu doués pour juger de leur degré de certitude concernant leurs réponses. Cela suggère que pour que les robots ou les assistants IA puissent réellement travailler aux côtés des humains, ils doivent apprendre plus que la simple vision ; ils doivent apprendre à parler, à demander de l'aide et à réaliser quand ils ne connaissent pas la réponse. Tant qu'ils ne pourront pas le faire, ils resteront limités à des tâches où les instructions sont parfaites, laissant la nature complexe et interactive de la référence humaine comme un défi qu'ils n'ont pas encore résolu.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.