What Color Is the Text? A Benchmark for Hallucination Induced by Image-Embedded Prompt
Ce document introduit le benchmark « Embedded Stroop » et le jeu de données « What-Color-Is-the-Text » (WCIT) pour démontrer que les modèles de langage de grande taille multimodaux souffrent fréquemment d'« hallucinations de Stroop », où ils répondent incorrectement par la signification sémantique du texte intégré dans une image plutôt que par la couleur réelle de ce texte, révélant que la lisibilité sémantique peut l'emporter sur la perception de la couleur visuelle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, il existe une classe croissante de systèmes connus sous le nom de modèles de langage de grande taille multimodaux. Ce sont des esprits numériques capables de voir des images et de lire du texte, puis de combiner ces deux sens pour répondre à des questions sur le monde. Ils sont devenus remarquablement doués pour décrire une photo ou résoudre une énigme basée sur une image. Cependant, tout comme les humains, ces systèmes ne sont pas à l'abri de la confusion. Ils peuvent parfois être trompés par ce qu'ils voient, ou plus précisément, par la façon dont ils interprètent ce qu'ils voient. Un exemple classique de cette confusion provient d'un test psychologique célèbre appelé l'effet Stroop. Dans ce test, on présente à une personne un mot comme « ROUGE » imprimé en bleu. Si l'on demande de nommer la couleur de l'encre, le cerveau humain trébuche souvent car il lit automatiquement le mot « ROUGE » avant de pouvoir se concentrer sur la couleur bleue. Le cerveau doit faire un effort pour ignorer la signification du mot et se concentrer uniquement sur la couleur visuelle. Depuis des années, les scientifiques se demandent si ces modèles informatiques avancés souffrent du même genre de bug mental lorsqu'ils regardent des images.
Une équipe de chercheurs de l'Université de Beihang en Chine a décidé de tester cette question avec une nouvelle expérience conçue spécifiquement pour les machines. Ils ont créé un benchmark intitulé « Quelle est la couleur du texte », qui présente à l'ordinateur une image simple mais trompeuse. Au lieu de poser une question à l'ordinateur dans une zone de texte séparée, ils ont écrit la question directement sur l'image elle-même. Imaginez un carré blanc avec les mots « Quelle est la couleur du texte ? » écrits en encre noire. À l'intérieur de cette même image, il y a un autre mot, tel que « BLEU », mais ce mot est imprimé en encre rouge. L'ordinateur doit identifier la couleur de l'encre utilisée pour le mot « BLEU ». Le défi est que l'ordinateur doit ignorer la signification du mot « BLEU » et déclarer que l'encre est en réalité rouge. Cette configuration force la machine à choisir entre ce que le texte dit et ce que les yeux voient.
Lorsque les chercheurs ont soumis ce test à seize modèles d'intelligence artificielle différents, allant de projets open-source à des systèmes commerciaux puissants, les résultats ont été frappants. Les machines ont échoué bien plus souvent qu'elles n'ont réussi. En fait, lorsque la question était intégrée directement dans l'image, les modèles ignoraient fréquemment la couleur réelle de l'encre et répondaient simplement avec la couleur nommée dans le texte. Par exemple, si le mot « VERT » était écrit en violet, le modèle affirmerait avec assurance « vert ». Cela se produisait même si les modèles identifiaient correctement la couleur lorsque la question était posée dans une zone de texte séparée plutôt que écrite sur l'image. L'étude a révélé que ce type spécifique d'erreur, où la machine est distraite par la signification des mots plutôt que par la réalité visuelle, se produisait lors d'une proportion significative des tentatives. Dans certains cas, plus de la moitié des erreurs commises par les modèles étaient dues à cette confusion spécifique, où ils privilégiaient le texte sur la couleur.
Les chercheurs voulaient s'assurer qu'il ne s'agissait pas simplement d'un cas où les modèles étaient mauvais pour nommer les couleurs en général. Pour vérifier cela, ils ont examiné un groupe d'images où les modèles avaient précédemment réussi à nommer correctement les couleurs lorsque la question était posée séparément. Même lorsque les modèles connaissaient les noms des couleurs, ils tombaient toujours dans le piège quand la question était intégrée dans l'image. Cela a prouvé que le problème n'était pas un manque de vocabulaire ou une simple incapacité à voir les couleurs, mais un problème plus profond où la capacité de la machine à lire le texte prenait le dessus sur sa capacité à voir les détails visuels. L'étude a également testé ce qui se passerait si l'on rendait le texte plus difficile à lire. Lorsqu'ils retournaient l'image à l'envers ou couvraient des parties des mots avec des blocs noirs, les modèles commettaient moins d'erreurs. Cela suggère que la confusion provient de la capacité de la machine à lire clairement la signification sémantique des mots. Lorsque le texte est brouillé ou caché, la machine se repose davantage sur la couleur visuelle, et ses performances s'améliorent.
Malgré ces conclusions, les chercheurs ont noté que le problème ne se résout pas facilement en demandant simplement à la machine de prêter attention. Ils ont essayé de donner aux modèles des instructions spéciales pour les mettre en garde contre le piège, et bien que cela ait réduit le nombre de fois où les modèles tombaient dans le panneau à cause du texte, cela ne les a pas rendus beaucoup meilleurs pour réellement voir la bonne couleur. Les modèles ont simplement commencé à commettre d'autres types d'erreurs. L'étude conclut que les systèmes actuels d'intelligence artificielle présentent une faiblesse fondamentale : lorsque les informations visuelles et le texte entrent en conflit, le texte l'emporte souvent. Cela suggère que ces modèles ne « voient » pas vraiment le monde comme le font les humains, mais qu'ils sont au contraire fortement influencés par les schémas linguistiques qu'ils ont appris. Alors que ces systèmes sont déployés dans des situations réelles, comme la lecture de panneaux routiers ou l'identification d'objets dans des environnements complexes, cette tendance à faire confiance au texte plutôt qu'à la vue pourrait conduire à des décisions peu fiables. Ce travail sert d'avertissement clair : pour que ces machines deviennent véritablement robustes, elles doivent apprendre à équilibrer ce qu'elles lisent avec ce qu'elles voient, plutôt que de laisser un sens dominer complètement l'autre.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.