Imaginez que vous soyez un réalisateur donnant un script très précis à un artiste robot. Vous dites : « Dessine un chat portant un chapeau rouge, assis sur une chaise bleue, regardant vers la gauche. » Si le robot dessine un chat avec un chapeau vert sur une chaise rouge regardant vers la droite, il a échoué à vos instructions. Depuis longtemps, nous essayons de comprendre exactement à quel point ces artistes robots (appelés modèles de génération d'images à partir de texte ou T2I) écoutent nos instructions. Mais les tests que nous utilisons sont comme une règle cassée : ils sont trop courts, ils mesurent les mauvaises choses et ils se trompent souvent dans le score.

Entrez en scène TIIF-Bench, une toute nouvelle règle super précise construite par des chercheurs pour voir si ces artistes IA peuvent réellement suivre les détails fins de nos instructions.

Le Problème : Les anciennes règles étaient cassées

Considérez les anciennes méthodes de test comme un jeu de « Devine l'image » où le juge ne regarde que l'image globale.

• Le défaut du « Taille unique » : Les anciens tests ne donnaient généralement à l'IA qu'une version unique d'un prompt. Ils ignoraient le fait que certaines IA sont sujettes aux sautes d'humeur : elles dessinent une image parfaite si vous leur donnez une phrase courte, mais si vous ajoutez quelques mots descriptifs supplémentaires (même si le sens est le même), elles ratent complètement leur coup. Les anciens tests ne pouvaient pas détecter cela car ils ne testaient pas systématiquement la gestion des différentes longueurs de prompts par les modèles.
• Le défaut de la « Redondance » : De nombreuses banques de tests anciennes étaient comme une playlist de la même chanson jouée 1 000 fois avec un volume légèrement différent. L'article montre que beaucoup de benchmarks existants présentent une énorme redondance sémantique — ce qui signifie que les prompts sont si similaires qu'ils ne testent pas réellement si l'IA comprend de nouvelles idées. En fait, certains de ces anciens benchmarks avaient moins de 60 % de prompts sémantiquement uniques !
• Le défaut du « Juge paresseux » : Les anciens juges étaient comme un professeur qui jette un coup d'œil rapide à la dissertation d'un élève et donne une note basée sur la première phrase. Ils utilisaient des outils simples (comme CLIP) qui agissent comme un « sac de mots », comptant combien de mots correspondent mais ignorant l'ordre ou la logique. Si vous demandiez « une abeille sur un garçon » versus « un garçon sur une abeille », ces anciens juges ne pouvaient souvent pas faire la différence !

La Nouvelle Solution : TIIF-Bench

Les chercheurs ont construit un test massif de 5 000 questions appelé TIIF-Bench (Text-to-Image Instruction Following Benchmark). C'est comme un immense parcours d'obstacles conçu pour faire trébucher toute IA qui ne prête pas attention.

1. Le défi « Court vs Long »
Chaque instruction de ce test se décline en deux saveurs : une version courte et une version longue et sophistiquée.

• Court : « Les oiseaux sont plus nombreux que les poissons. »
• Long : « Les oiseaux, dont les plumes captent la douce lumière de l'aube, surpassent largement leurs homologues aquatiques, les poissons, qui glissent silencieusement sous la surface ondulante de l'eau... »
  L'article suggère que si une IA ne peut pas gérer la version longue et fleurie tout en gardant le même sens, elle ne « suit pas vraiment les instructions ». Ils ont découvert que les modèles de haut niveau restent cohérents, mais que les plus faibles s'embrouillent avec les mots supplémentaires.

2. Les « Trois niveaux de difficulté »
Le test est organisé comme un jeu vidéo avec trois niveaux :

• Suivi de base : Des combinaisons simples, comme « un chien rouge ».
• Suivi avancé : Mélanger les choses, comme « un chien rouge courant à côté d'un chat bleu », ou même demander à l'IA de dessiner du texte à l'intérieur de l'image (comme écrire « GÂTEAU » sur un gâteau).
• Niveau Designer : Ce sont les « combats de boss ». Ce sont des requêtes complexes du monde réel provenant de designers humains, comme « un homme aux cheveux dorés remettant une médaille à un autre homme, avec un texte spécifique sur leurs chemises ». Il y a 100 de ces prompts de haute qualité, curatés par des humains.

3. Le « Juge Intelligent » (Évaluateur TIIF)
Au lieu d'un professeur paresseux, l'article utilise un juge IA super intelligent (un modèle Vision-Langage) qui agit comme un détective.

• La liste de contrôle : Au lieu de dire simplement « Bon travail » ou « Mauvais travail », le juge décompose le prompt en une liste de questions de type Oui/Non. Pour le prompt oiseaux/poissons, il demande : « Y a-t-il des oiseaux ? » « Y a-t-il des poissons ? » « Y a-t-il plus d'oiseaux que de poissons ? »
• Le raisonnement : Ce juge ne se contente pas de deviner ; il écrit son raisonnement (Chain-of-Thought / Chaîne de pensée) avant de donner sa réponse. L'article a trouvé que cette méthode est beaucoup plus fiable que de simplement demander à l'IA « Est-ce que cette image est bonne ? ».
• Le piège de l'« Hallucination » : L'article argumente explicitement contre le fait de simplement coller le prompt entier dans la question du juge. Ils ont découvert que si vous montrez le prompt complet au juge, celui-ci devient paresseux et « hallucine » (imagine) des choses qui ne sont pas là simplement parce que le prompt disait qu'elles devraient y être. La nouvelle méthode évite cela en posant des questions spécifiques et isolées.

4. Compétences Spéciales : Texte et Style

• Rendu de texte : Dessiner des mots est difficile pour l'IA. L'article a introduit une nouvelle métrique appelée GNED (Global Normalized Edit Distance) pour mesurer la précision de l'orthographe de l'IA. C'est comme un correcteur orthographique qui compte aussi les lettres manquantes ou en trop. Ils ont constaté que bien que certains modèles s'améliorent, beaucoup luttent encore pour écrire des mots clairs, surtout dans les prompts longs.
• Contrôle du style : Le test inclut des images de référence (comme une photo d'une « ville cyberpunk ») pour voir si l'IA peut copier l'« ambiance » et le style, et pas seulement les objets.

Ce qu'ils ont trouvé : Les Gagnants et les Perdants

Après avoir passé 5 000 prompts à travers des dizaines de modèles, voici ce que les données suggèrent :

• Les Poids Lourds : Les modèles à code fermé (ceux que vous ne pouvez pas télécharger, comme Nano-Banana et GPT-Image-1) sont actuellement les rois de la montagne. Ils ont obtenu les scores les plus élevés, particulièrement sur les prompts difficiles du « Niveau Designer ». Ils semblent mieux comprendre les instructions complexes et les phrases longues que tous les autres.
• Les Héros de l'Open-Source : Parmi les modèles que l'on peut télécharger, Qwen-Image et FLUX.2 sont les plus forts. Ils rattrapent rapidement les grands modèles commerciaux.
• La Surprise de l'« Unifié » : Certains modèles tentent de tout faire (comprendre le texte ET dessiner des images) dans un seul cerveau (appelés Modèles Unifiés). L'article suggère que ceux-ci sont étonnamment bons pour suivre les instructions, même si leurs images paraissent parfois un peu moins « photoréalistes » que les autres. Par exemple, Janus-Pro (un modèle autorégressif) a battu PixArt-Sigma (un modèle de diffusion) sur les tâches logiques comme la « différenciation » et la « négation ».
• La Sensibilité à la Longueur : L'article a mesuré que les modèles ayant des scores élevés sont généralement robustes à la longueur du prompt. Si vous rendez le prompt plus long, leur score reste élevé. Les modèles plus faibles, en revanche, s'effondrent lorsqu'on ajoute des mots. Cela suggère que la compréhension profonde du langage est liée à la capacité de produire de belles images.

Ce qu'ils ne savent pas encore

L'article est honnête sur ses limites.

• L'écart de Vocabulaire : Le test utilise principalement des objets communs (chats, chiens, chaises). Les auteurs suggèrent que nous ne savons pas encore comment ces modèles gèrent les mots obscurs ou rares.
• La Barrière de la Langue : Tous les prompts sont en anglais. L'article note que nous ne savons pas si ces résultats sont transposables à d'autres langues.
• Les Nuances de Style : Ils n'ont pas testé comment le passage d'un langage formel à un langage conversationnel influence les résultats.

L'essentiel

L'article ne prétend pas avoir « résolu » l'art par l'IA. Au contraire, il suggère que nos anciennes façons de tester sont brisées. En utilisant un test de 5 000 prompts avec des versions courtes et longues, des listes de contrôle spécifiques et un juge basé sur le raisonnement, TIIF-Bench nous donne une image beaucoup plus claire. Il suggère que les meilleurs modèles actuels sont ceux qui peuvent gérer des instructions complexes et verbeuses sans perdre leur calme, et que le fossé entre « être doué pour dessiner » et « être doué pour écouter » est enfin en train d'être comblé par la nouvelle génération d'IA.