Can Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMs
Cet article introduit Ekphrasis, un nouveau banc d'essai et cadre d'évaluation qui isole et mesure les capacités d'idéation visuelle créative des modèles de langage textuels en distinguant la prose fluide de la capacité réelle à générer des plans visuels utiles, expressifs et inédits pour la population.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez un réalisateur tentant de recruter pour un film, mais que vous ne puissiez pas encore voir les acteurs. Vous n'avez qu'un scénariste qui décrit les scènes avec des mots. La grande question est la suivante : ce scénariste peut-il réellement imaginer une scène nouvelle et passionnante, ou se contente-t-il d'enchaîner des mots sophistiqués qui semblent créatifs mais décrivent exactement les mêmes clichés que tout le monde a vus mille fois ? C'est l'énigme au cœur d'une nouvelle étude dans le monde de l'Intelligence Artificielle, plus précisément concernant les « Large Language Models » (LLM). Ce sont ces programmes informatiques ultra-intelligents qui écrivent des histoires, répondent à des questions et discutent avec nous. Les scientifiques se demandent depuis longtemps si ces machines uniquement textuelles peuvent véritablement « visualiser » des idées avant qu'elles ne soient transformées en images, ou si elles ne font que simuler la créativité avec un langage fleuri. Pour le savoir, les chercheurs avaient besoin d'un moyen de tester si la description d'une IA était une véritable étincelle d'invention visuelle ou simplement une idée recyclée et sans risque, habillée d'un smoking.
Entrez dans EKPHRASIS, un nouvel « examen » conçu par des chercheurs de l'Université des sciences et technologies de Hong Kong pour tester précisément cela. Considérez EKPHRASIS comme une salle de sport créative pour l'IA. Au lieu de demander à l'IA de dessiner une image (ce qu'elle ne peut pas faire directement dans ce test), les chercheurs ont soumis 14 modèles d'IA différents à 400 défis créatifs spécifiques. Ces défis demandaient aux modèles de faire des choses comme transformer un concept abstrait tel que la « pression temporelle » en une scène visuelle, fusionner deux idées sans rapport entre elles, ou réécrire un objet d'une manière nouvelle. L'objectif n'était pas seulement de voir si l'IA écrivait une phrase jolie, mais de voir si elle pouvait concevoir un plan d'Idéation Créative Visuelle (VCI) : une description utile pour la tâche, assez expressive pour peindre une image claire dans votre esprit et, surtout, novatrice — ce qui signifie qu'elle ne se contentait pas de répéter les idées ennuyeuses et surutilisées que les autres IA proposent toujours.
Les chercheurs ont découvert qu'une écriture fluide et magnifique est un peu un piège. Une IA peut écrire un paragraphe qui semble incroyablement créatif et vivant, tout en décrivant les vieux clichés visuels habituels, comme utiliser un sablier pour représenter le temps ou un nuage d'orage pour représenter la tristesse. Pour débusquer cette « illusion de nouveauté », l'équipe a construit un système de notation spécial. Ils ne se sont pas contentés de demander : « Est-ce créatif ? ». Ils ont demandé : « Est-ce utile ? Est-ce facile à imaginer ? Et est-ce différent de ce que les 13 autres IA auraient dit ? ». Ils ont utilisé une méthode ingénieuse appelée « Graphes d'Idées Typés » pour cartographier les schémas communs et ennuyeux que tous les modèles ont tendance à répéter, puis ils ont vérifié si les nouvelles réponses évitaient ces pièges.
Les résultats ont été fascinants et nuancés. L'étude a révélé que l'excellence en idéation visuelle n'est pas une capacité unique. Certaines IA étaient excellentes pour suivre les instructions et créer des plans utiles, mais étaient très clichées. D'autres étaient incroyablement originales mais manquaient parfois le sens de la tâche. Les meilleures performeuses, comme Gemini 3.1 Pro et GPT-5.4, ont réussi à équilibrer ces trois traits, mais elles l'ont fait de manières différentes. Crucialement, les chercheurs ont réellement généré des images à partir des meilleures descriptions textuelles en utilisant un outil distinct. Lorsque des humains ont examiné ces images sans voir le texte original, ils préféraient toujours les images issues des plans textuels à « haute VCI ». Cela suggère que l'IA planifiait réellement quelque chose de visuel, et n'écrivait pas seulement une prose élégante.
Cependant, l'article note prudemment que cela ne signifie pas que l'IA possède un « œil mental » ou une imagination privée semblable à celle de l'humain. Cela signifie simplement que ces modèles uniquement textuels peuvent créer des plans détaillés et prêts pour l'image qui survivent au voyage du texte vers l'image. L'étude suggère que, bien que les modèles actuels s'améliorent en planification visuelle, ils ont encore du mal à se libérer des idées « sûres » que leurs données d'entraînement les poussent à affectionner. La conclusion est claire : ce n'est pas parce qu'une IA écrit une histoire créative qu'elle possède une idée visuelle créative. Pour mesurer véritablement la créativité visuelle, nous devons regarder au-delà des mots fleuris et vérifier si le plan est réellement nouveau, utile et prêt à être construit.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.