SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models
Cet article présente SIGNPOST-Bench, un banc d'essai contrefactuel contrôlé comprenant 25 555 variantes d'images pour évaluer comment les grands modèles de langage multimodaux résolvent les conflits entre indices visuels et textuels, révélant que les interventions textuelles adverses dégradent considérablement la précision de la géolocalisation et exposent des comportements d'arbitrage distincts à travers les 20 modèles évalués.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez un détective tentant de résoudre un mystère : « Où cette photo a-t-elle été prise ? » Vous disposez de deux indices pour vous aider. Le premier est la scène visuelle : l'architecture, les arbres, les voitures et la façon dont la lumière frappe les bâtiments. Le second est le texte écrit sur les panneaux, les vitrines ou les affiches de la photo. Habituellement, ces indices concordent. Un panneau indiquant « Paris » se trouve sur un bâtiment qui ressemble à un bâtiment parisien. Mais que se passe-t-il lorsqu'ils ne sont pas d'accord ? Et si la photo montre une cabane en bois sous la neige dans les montagnes, mais qu'un panneau néon éclatant dans la fenêtre hurle « Bienvenue dans le désert du Sahara » ?
C'est le monde des Modèles de Langage Multimodaux (MLLM). Ce sont des ordinateurs dotés d'une IA super intelligente qui peuvent « voir » des images et « lire » du texte en même temps. Les scientifiques les ont formés pour combiner ces indices afin de faire des suppositions sur le monde. Mais une grande question subsiste : lorsque les indices visuels et les indices textuels s'affrontent, lequel l'IA suit-elle ? Ignore-t-elle le panneau déroutant pour regarder la neige ? Ou croit-elle aveuglément le panneau en oubliant la neige ? Jusqu'à présent, nous n'avions pas de bonne méthode pour tester ce type spécifique de confusion.
Entrez dans SIGNPOST-Bench, une nouvelle expérience conçue par des chercheurs pour jouer au jeu de « piéger l'IA ». Ils ont pris des milliers de photos du monde réel et ont créé pour chacune d'elles une série spéciale de versions « contrefactuelles ». Imaginez cela comme un atelier de retouche photo où ils prennent une photo originale et en font quatre nouvelles copies :
- La Vide : Ils ont effacé complètement le texte.
- La Similaire : Ils ont remplacé le panneau par un autre qui fait toujours sens pour le lieu (par exemple, changer « Bienvenue au Michigan » par « Bienvenue à Détroit »).
- L'Aléatoire : Ils ont installé un panneau qui n'a rien à voir avec l'endroit (par exemple, « Bienvenue sur la Lune »).
- L'Adversaire : C'est la plus délicate. Ils ont remplacé le panneau par un mensonge qui pointe vers un lieu spécifique et différent (par exemple, changer « Bienvenue au Michigan » par « Bienvenue à New York »).
Les chercheurs ont ensuite demandé à 20 modèles d'IA différents provenant de sept grandes entreprises technologiques de deviner l'emplacement pour toutes les cinq versions de chaque photo. Ils voulaient voir si l'IA pouvait repérer le mensonge ou si elle serait trompée par le nouveau panneau.
Les résultats ont été très révélateurs. Lorsque l'IA regardait les photos originales, elle était plutôt douée pour deviner l'emplacement. Mais lorsqu'ils ont introduit les mensonges Adversaires, les modèles ont été déroutés. En moyenne, la précision de l'IA est devenue 4,8 fois moindre. Au lieu d'être à environ 282 kilomètres de l'erreur, l'IA se retrouvait désormais à 1 347 kilomètres de l'erreur.
Plus intéressant encore, l'IA ne s'est pas contentée de devenir moins performante ; elle a été induite en erreur. Quand le panneau disait « New York », l'IA ne devinait pas seulement au hasard ; elle rapprochait effectivement sa réponse de New York. En fait, pour chaque modèle testé, la présence du texte conflictuel tirait la réponse vers le mensonge. Environ 6,5 % à 20,1 % du temps, la supposition de l'IA se trouvait à moins de 50 kilomètres du faux emplacement indiqué par le panneau.
L'étude a également révélé que le fait d'être « intelligent » pour lire les panneaux ou voir les images ne garantissait pas d'être bon pour repérer un conflit. Certains modèles qui étaient excellents pour deviner des lieux avec des photos propres et honnêtes étaient en réalité moins bons pour ignorer les mensonges que certains modèles plus petits. Il s'avère que savoir lire un panneau ne signifie pas savoir quand l'ignorer s'il contredit le reste de l'image.
Enfin, les chercheurs ont tenté de « coacher » l'IA, en lui demandant spécifiquement de surveiller les conflits. Bien que cela ait aidé l'IA à réaliser que quelque chose ne allait pas dans 49 % des cas, cela n'a pas réellement aidé l'IA à mieux deviner l'emplacement correct. L'IA savait qu'elle était confuse, mais elle ne parvenait toujours pas à résoudre l'énigme.
En résumé, cette étude montre que les modèles d'IA actuels sont encore très facilement dupés lorsque le texte et les images ne sont pas d'accord. Ils ont tendance à trop faire confiance au texte, même lorsqu'il s'agit d'un mensonge flagrant. Les chercheurs ont construit ce nouveau test « SIGNPOST-Bench » pour aider les futurs développeurs d'IA à comprendre exactement là où leurs modèles échouent, afin de leur apprendre à être de meilleurs détectives, capables de savoir quand faire confiance à leurs yeux et quand remettre en question les panneaux.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.