Benchmarking Frontier Text-to-Image Models on Image-Description Prompts

Dans le bourdonnement discret de l'informatique moderne, un nouveau genre d'artiste a émergé, un artiste qui ne peint pas avec des pinceaux ou de l'argile, mais avec des mots. Ce sont les systèmes de texte-en-image, des programmes informatiques qui écoutent une description humaine et tentent de dessiner une image qui lui correspond. Pendant des années, ces systèmes ont été testés sur des requêtes simples, comme « un chat assis sur un tapis », où ils se comportent avec une grâce surprenante. Mais le monde réel est rarement aussi simple. Lorsqu'un utilisateur demande quelque chose de spécifique et de complexe — comme une scène avec exactement quatre chaises rouges, un panneau indiquant « OPEN » en lettres claires, et un reflet dans une flaque d'eau qui respecte les lois de la physique — les programmes trébuchent souvent. Ils peuvent dessiner trois chaises au lieu de quatre, brouiller les lettres sur le panneau, ou faire flotter le reflet dans les airs. Comprendre pourquoi ces systèmes échouent, et lesquels échouent le moins, est crucial pour quiconque espère les utiliser pour un travail sérieux, de la conception de publicités à la création de storyboards. L'écart entre un système qui fonctionne bien sur des tâches faciles et un autre capable de gérer les exigences complexes et détaillées de la réalité est là où réside le véritable test de l'intelligence.

Une équipe de chercheurs s'est donné pour mission de mesurer cet écart en soumettant quatre des systèmes de génération d'images les plus avancés à un test rigoureux. Ils n'ont pas demandé aux ordinateurs de dessiner des images simples ; au lieu de cela, ils leur ont soumis les quarante-huit descriptions les plus difficiles disponibles dans une vaste collection de légendes d'images réelles. Ces invites ont été choisies car elles exigeaient de la précision : des décomptes exacts d'objets, des agencements spatiaux spécifiques et du texte lisible intégré à la scène. Les systèmes testés étaient Hunyuan 3.0, Gemini 3 Pro Image, Black Forest Labs FLUX.2 et Ideogram 3.0. Pour garantir un jugement équitable et impartial, les chercheurs ont employé un processus ingénieux en deux étapes. D'abord, un modèle d'intelligence artificielle a agi en tant qu'écrivain, créant une liste de contrôle détaillée de ce à quoi devrait ressembler une image parfaite pour chaque invite spécifique, tout en examinant l'image réelle produite par le système pour noter tout défaut évident. Ensuite, un tout autre modèle d'intelligence artificielle, agissant en tant que juge, a utilisé cette liste de contrôle pour noter l'image. Cette séparation a permis de garantir que le modèle décidant de ce qu'il fallait rechercher n'était jamais le même que celui décidant si l'image avait réussi le test, éliminant ainsi le biais qui peut survenir lorsqu'un système évalue son propre travail.

Les résultats ont révélé une division claire des capacités. Deux systèmes, Gemini 3 Pro Image et FLUX.2, sont apparus comme les leaders, avec des scores respectifs de 84,8 et 82,3 sur 100. Ils étaient suivis par un écart significatif, Ideogram 3.0 obtenant 65,7 et Hunyuan 3.0 obtenant 63,3. La différence entre les meilleurs et les moins bons performeurs n'était pas seulement une question de petites erreurs ; c'était une différence fondamentale dans leur gestion de la complexité. Les systèmes de tête réussissaient généralement l'image globale, mais introduisaient occasionnellement des erreurs de comptage d'objets ou des anomalies géométriques mineures, comme une roue fusionnant étrangement avec un cadre. En revanche, les systèmes à la traîne luttaient avec les bases. Ils échouaient fréquemment à inclure l'intégralité des éléments demandés, comme l'omission d'un objet spécifique de la scène, ou déformaient le texte, rendant les mots illisibles, comme des gribouillis au lieu de lettres claires. Par exemple, lorsqu'on lui a demandé de dessiner une boîte aux lettres en forme de voiture avec une adresse spécifique dessus, le meilleur système a réussi chaque détail, tandis que le système ayant obtenu le score le plus bas n'a pas réussi à faire en sorte que la boîte aux lettres ressemble à une voiture, a manqué l'adresse et n'a dessiné que deux pneus au lieu de quatre.

L'étude souligne que, bien que ces systèmes s'améliorent, ils manquent encore d'une compréhension native des règles discrètes et symboliques. Ils sont excellents pour capturer l'ambiance générale, la couleur et la composition d'une scène, mais ils peinent avec la logique précise requise pour compter des objets ou épeler des mots correctement. Les chercheurs ont constaté que les défis les plus difficiles pour chaque système étaient l'étiquetage séquentiel exact, comme numéroter des starting-blocks de cinq à huit, et compter un nombre spécifique de personnes ou d'objets. Même le système le plus performant, Gemini 3 Pro Image, a perdu des points sur ces tâches, bien qu'il l'ait fait beaucoup moins souvent que les autres. Les systèmes à la traîne, particulièrement Ideogram 3.0, montraient un schéma d'omission d'éléments entiers demandés, suggérant qu'ils abandonnent parfois face à des instructions complexes plutôt que de tenter de faire mal les détails. Cette distinction est vitale pour les utilisateurs : si un projet nécessite une scène avec de nombreux objets distincts, les systèmes de tête sont bien plus fiables, mais si l'objectif est de générer du texte dans une image, même les meilleurs systèmes peinent encore à l'obtenir parfaitement à chaque fois.

En fin de compte, cette recherche démontre que la capacité à suivre des instructions complexes est la nouvelle frontière de la génération d'images. L'écart entre le meilleur et le reste n'est pas une question de style ou de talent artistique, mais de cohérence logique. Les deux systèmes de tête ont prouvé qu'ils pouvaient gérer la charge de travail des exigences de composition, tandis que les autres restent sujets à des erreurs fondamentales qui brisent l'illusion de la réalité. À mesure que ces outils passent du statut de curiosités expérimentales à celui d'outils de production, le choix du système à utiliser dépendra fortement de la tâche spécifique. Pour des images atmosphériques simples, les différences peuvent être négligeables, mais pour des requêtes exigeant de la précision, les leaders offrent un niveau de fiabilité que les autres n'ont pas encore égalé. La voie à suivre consiste à affiner ces systèmes pour qu'ils comprennent mieux les règles de comptage, de texte et d'espace, les transformant d'artistes qui devinent les détails en outils capables de les exécuter avec certitude.