Imaginez que vous parlez à un artiste robot super intelligent qui a vu des millions d'images et sait dessiner presque tout ce que vous décrivez. Ce robot vit dans le monde du « texte vers l'image », où vous tapez une phrase comme « un chat portant un chapeau » et il peint un tableau. Mais que se passe-t-il quand vous demandez quelque chose de plus poétique, comme « un chat aussi duveteux qu'un nuage » ? C'est là que cela devient délicat. Vous ne demandez pas qu'un nuage apparaisse dans l'image ; vous demandez au robot d'emprunter la sensation de la douceur d'un nuage pour la donner au chat. C'est ce qu'on appelle une « comparaison ». C'est une façon de décrire les choses en les comparant à autre chose, comme dire « il court comme le vent » (vous ne vous attendez pas à ce que le vent coure à ses côtés, juste qu'il soit rapide).

La grande question que les scientifiques se posent est la suivante : est-ce que ce robot artiste comprend vraiment la blague ? Ou est-ce qu'il s'embrouille et se dit : « Oh, vous voulez un chat et un nuage ? » et finit par dessiner les deux ? Ce document explore précisément ce problème. Il traite la confusion du robot comme une erreur spécifique appelée « biais de littéralité », où le modèle prend l'objet de comparaison (le « véhicule » de la comparaison) et le dessine comme une chose réelle et physique au lieu d'utiliser simplement ses qualités. Les chercheurs ont voulu construire un test pour voir à quelle fréquence cela se produit et pourquoi, car si les robots ne comprennent pas les métaphores, ils ne peuvent pas comprendre la façon créative et colorée dont les humains parlent.

Le grand test du « Pain de Pierre »

Pour déterminer si ces artistes IA sont véritablement créatifs ou simplement des imitateurs littéraux, les chercheurs ont construit un immense terrain de jeu contrôlé. Ils n'ont pas seulement demandé aux robots de dessiner des choses au hasard ; ils ont créé un ensemble spécifique d'instructions appelées « prompts de comparaison ». Ils ont choisi 80 objets différents que l'ordinateur peut facilement reconnaître (comme des pierres, des nuages ou des ciseaux) et les ont mélangés à 14 modèles de phrases différents.

Par exemple, ils pourraient demander au robot de dessiner « un homme mangeant du pain aussi dur qu'une pierre ». La bonne réponse est l'image d'un pain qui semble dur et croustillant, mais sans qu'une véritable roche ne soit posée sur la table. Si le robot dessine une pierre, il a échoué au test. Les chercheurs appellent cet échec le « biais de littéralité ». C'est comme si vous disiez à un enfant : « J'ai autant faim qu'un ours », et qu'il apportait un véritable ours dans la cuisine au lieu de simplement comprendre que vous aviez très faim.

Le travail de détective : Comment ils ont piégé les robots

L'équipe a testé cinq générateurs d'images IA populaires. Pour voir si les robots interprétaient mal les instructions, ils ont utilisé un outil de détective numérique appelé YOLO (qui signifie « You Only Look Once », un détecteur d'objets très rapide). Cet outil a scanné chaque image produite par les robots pour voir si l'« objet de comparaison » (comme la pierre dans l'exemple du pain) était apparu accidentellement dans l'image.

Les résultats étaient un peu mitigés, mais surtout mauvais pour les capacités de compréhension des robots.

• Le groupe à fort taux d'échec : Un modèle, Qwen-Image, était le pire coupable. Dans environ 61,4 % des images, il dessinait l'objet littéral (la pierre, le nuage, etc.) au lieu de l'attribut. Un autre modèle, PixArt, l'a fait environ 49,5 % du temps.
• Le groupe meilleur mais toujours imparfait : Les autres modèles (Dreamlike, FLUX et SD3.5) étaient meilleurs, mais ils commettaient l'erreur environ 30 % à 35 % du temps.

Les chercheurs ont également demandé à des juges humains de regarder les images. Les humains étaient d'accord avec le détecteur informatique : quand le « pierre » ou le « nuage » était visible dans l'image, les humains considéraient l'interprétation de la comparaison comme mauvaise. Curieusement, plus les robots se trompaient sur la partie « littérale », moins ils semblaient capturer le sens réel de la phrase. C'est un compromis : plus ils dessinent l'objet supplémentaire, moins ils comprennent la description.

Pourquoi les tests standards ont manqué l'erreur

Voici un tournant amusant : les chercheurs ont essayé d'utiliser les « bulletins de notes » standards qui évaluent habituellement l'art de l'IA, comme CLIPScore et PickScore. Ces outils sont censés dire à quel point une image correspond à une phrase. Mais ils ont totalement échoué ici ! Ils ont donné des scores élevés à des images qui contenaient les mauvais objets. C'est comme un professeur donnant un « A » à un élève qui a dessiné un ours alors qu'on lui demandait d'écrire sur la faim, simplement parce que le dessin est de haute qualité. Ce document prouve que nous avons besoin d'un nouveau type de test spécifiquement pour les métaphores, car les anciens sont trop aveugles pour détecter ce type précis de confusion.

Regarder à l'intérieur du cerveau du robot

Pour comprendre pourquoi les robots faisaient ces erreurs, les chercheurs ont utilisé un outil spécial appelé « Diffusion Lens ». Imaginez le cerveau du robot comme un gâteau à plusieurs couches. Les couches inférieures sont celles où il commence à réfléchir aux formes de base, et les couches supérieures sont celles où il ajoute les détails finaux.

Ils ont découvert que différents robots « pensaient » au mauvais objet à différents moments :

• Les penseurs précoces : Certains modèles (comme FLUX et SD3.5) commencent à penser à la « pierre » ou au « nuage » presque immédiatement, dès les couches inférieures du cerveau. Une fois qu'ils ont commencé à y penser, ils ne pouvaient plus s'arrêter, et cela se retrouvait dans l'image finale.
• Les penseurs tardifs : D'autres modèles (comme Qwen-Image) attendaient les couches supérieures du cerveau pour penser à l'objet. Au moment où ils y pensaient, il était trop tard pour l'empêcher d'apparaître dans le dessin final.
• Les suppresseurs : Quelques modèles (comme Dreamlike) pensaient à l'objet dans les couches intermédiaires, mais réussissaient ensuite à le « supprimer » ou à l'effacer avant que le dessin final ne soit terminé. C'est pourquoi ils faisaient moins d'erreurs.

Pouvons-nous le réparer ?

Les chercheurs ont essayé deux astuces pour voir s'ils pouvaient empêcher les robots de dessiner les mauvais objets sans changer les instructions.

1. Lancer les dés (Régénération aléatoire) : Ils ont demandé aux robots de redessiner l'image, en changeant simplement le nombre « seed » aléatoire (comme lancer des dés pour obtenir un résultat différent). Cela a aidé un peu. Pour le pire robot (Qwen-Image), le taux d'erreur est passé de 61,4 % à 24,4 %. C'est comme demander à un artiste confus d'essayer à nouveau ; parfois, il réussit par chance.
2. Changer la couche du cerveau (Régénération basée sur les couches) : Ils ont essayé de forcer le robot à utiliser une couche différente de son cerveau pour prendre la décision. Cela a mieux fonctionné pour certains modèles. Pour PixArt, le taux d'erreur est passé de 49,5 % à 17,6 %.

Cependant, le document précise avec prudence que ce n'est pas un remède miracle. Le simple fait que le robot ait arrêté de dessiner la pierre littérale ne signifie pas qu'il a parfaitement compris la « dureté » du pain. Cela signifie simplement qu'il a cessé de commettre cette erreur spécifique et évidente.

L'essentiel

Ce document montre que même les générateurs d'art IA les plus avancés luttent encore avec l'art de la comparaison. Ils prennent souvent les métaphores trop littéralement, dessinant l'objet de comparaison au lieu de ses seules qualités. Bien que nous puissions réduire cette erreur en demandant aux robots d'essayer à nouveau ou en ajustant leur façon de penser, ils ne les ont pas encore pleinement maîtrisées. Les chercheurs ont construit une nouvelle façon de mesurer ce problème, prouvant que les tests standards ne suffisent pas pour détecter ces malentendus créatifs. C'est un rappel que pour que les robots comprennent vraiment le langage humain, ils doivent apprendre non seulement ce que les mots signifient, mais aussi comment nous les utilisons pour peindre des images dans nos esprits.