💬 NLP

How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

Cette étude démontre que les grands modèles de langage multimodaux peuvent évaluer efficacement la créativité visuelle dans un contexte de zéro tir (zero-shot) avec un alignement substantiel sur les évaluations humaines, tandis que leur raisonnement étape par étape fournit des informations interprétables sur le processus d'évaluation malgré le fait qu'il n'améliore pas la précision de la notation.

Auteurs originaux : William Orwig, Roger E. Beaty

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : William Orwig, Roger E. Beaty

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un critique d'art géant et super intelligent qui n'a jamais suivi de cours d'art, n'a jamais vu un humain noter un dessin, et n'a jamais été informé de ce que représente la « créativité ». Vous lui tendez simplement une image et lui demandez : « Sur une échelle de 1 à 5, à quel point cela est-il créatif ? »

C'est essentiellement ce que fait cet article. Les chercheurs ont demandé à six modèles d'IA avancés différents (considérez-les comme différents « juges numériques ») de faire exactement cela. Ils voulaient voir si ces IA pouvaient deviner comment les humains évalueraient la créativité des images, sans formation ni pratique particulière.

Voici l'histoire de ce qu'ils ont découvert, décomposée en parties simples :

1. Le tour de magie du « Zero-Shot »

Habituellement, pour apprendre à une IA à noter de l'art, vous devez lui montrer des milliers d'exemples de dessins « bons » et « mauvais » accompagnés de notes humaines. C'est comme enseigner à un élève en lui montrant une pile d'examens corrigés.

Mais ces chercheurs ont essayé quelque chose de différent : le Zero-Shot. Ils ont donné à l'IA juste l'image et une instruction simple : « Note cela de 1 à 5. » Pas d'exemples, pas d'entraînement. C'était comme demander à un inconnu dans la rue de noter une peinture qu'il n'a jamais vue auparavant.

Le résultat : Étonnamment, les juges IA étaient plutôt doués pour cela. Leurs évaluations correspondaient assez bien aux évaluations humaines.

Pour les images générées par IA (des images léchées fabriquées par ordinateur), les juges IA et les humains étaient très fortement en accord.
Pour les croquis faits main (des dessins bruts, désordonnés faits par des humains), l'accord était toujours présent, mais un peu plus faible.

2. Le biais « Polissage vs Brut »

Les chercheurs ont remarqué que les juges IA avaient un petit trait de personnalité étrange, comme un critique qui adore les photos haute définition mais déteste les croquis au crayon.

Le biais du « Polissage » : En regardant les images sophistiquées générées par ordinateur, les juges IA étaient trop généreux. Ils donnaient des scores plus élevés que les humains.
Le biais du « Brut » : En regardant les croquis simples faits à la main, les juges IA étaient trop sévères. Ils donnaient des scores plus bas que les humains.

Il semble que les modèles d'IA aiment secrètement les images « élaborées » et « complexes ». Si un dessin possède beaucoup de lignes et de détails, l'IA pense qu'il est créatif, même si le juge humain pense qu'il est juste « chargé ». Les modèles d'IA semblaient confondre « détaillé » avec « créatif ».

3. Le « Processus de pensée » (La Chaîne de Pensée / Chain of Thought)

Certains de ces modèles d'IA possèdent une fonctionnalité spéciale : avant de donner une note finale, ils rédigent leur « processus de pensée ». C'est comme un élève qui montre son raisonnement lors d'un examen de mathématiques.

Les chercheurs ont jeté un coup d'œil à l'intérieur de ces processus de pensée pour voir comment l'IA décidait d'une note. Ils ont découvert que l'IA suit une recette constante en quatre étapes :

Perception : « Je vois un chat et un arbre. » (Décrire ce qui est présent).
Originalité : « C'est bizarre et nouveau ! » (Juger si c'est unique).
Qualité : « Les lignes sont lisses et jolies. » (Juger la qualité du dessin).
Justification : « Donc, je donne un 4. » (Choisir le chiffre).

La grande surprise : Les chercheurs pensaient que si l'IA prenait le temps de « réfléchir » et de rédiger ces étapes, elle deviendrait meilleure pour correspondre aux notes humaines. Ce n'était pas le cas. La « réflexion » n'a pas rendu les scores plus précis. Cependant, elle a offert aux chercheurs une fenêtre sur le pourquoi l'IA a donné cette note. Cela a montré que l'IA faisait attention à la « qualité » (combien c'est joli) plutôt qu'à la seule « originalité » (combien c'est étrange), ce qui explique pourquoi elle aimait tant les images d'IA polies.

4. L'IA a-t-elle besoin de savoir ce qu'elle regarde ?

Les chercheurs se sont demandé : « Si l'IA se trompe et pense qu'un dessin de chien est un chat, est-ce que son score de créativité baisse ? »

La réponse : Pas vraiment.
Même lorsque l'IA identifiait mal ce qu'était le dessin, ou lorsque le dessin était si abstrait que les humains ne pouvaient pas s'entendre sur ce que c'était, le score de créativité de l'IA correspondait toujours assez bien aux scores humains. Cela suggère que l'IA ne se contente pas de vérifier une liste de contrôle du type « Est-ce un chien ? Oui/Non ». Elle regarde l'« ambiance », la composition et l'étrangeté de l'image, même si elle ne sait pas exactement ce qu'est l'objet.

Ce qu'il faut retenir

Cet article montre que nous pouvons utiliser ces grands modèles d'IA généraux comme « juges de créativité » sans avoir besoin de les entraîner au préalable. Ils sont étonnamment bons pour cela, mais ils ont un biais : ils aiment les images complexes et détaillées et n'aiment pas les croquis simples et bruts.

En observant leurs « processus de pensée », nous pouvons voir exactement là où ils réussissent et là où ils se trompent. C'est comme avoir un critique capable d'expliquer son raisonnement, même si ses goûts sont un peu différents des nôtres. Les chercheurs ont même construit une application gratuite pour que quiconque puisse essayer ce « juge IA » sur ses propres images.

Résumé Technique : Comment les LLM perçoivent la créativité : Évaluation zero-shot de la créativité visuelle avec un raisonnement interprétable

Énoncé du problème
L'évaluation de l'originalité des images visuelles demeure un goulot d'étranglement important dans la recherche sur la créativité. Bien que l'évaluation automatisée à l'aide de modèles de langage étendus (LLM) ait démontré son efficacité dans les domaines verbaux (par exemple, la tâche des utilisations alternatives), son application à la créativité visuelle est moins établie. Les approches existantes dans le domaine figural reposent souvent sur un entraînement spécifique à la tâche ou sur un ajustement fin (fine-tuning) sur de grands ensembles de données d'exemples évalués par des humains, ce qui limite leur généralisabilité. De plus, il existe un manque de compréhension concernant les processus latents par lesquels les modèles d'IA parviennent à leurs évaluations. La question centrale abordée est de savoir si les LLM multimodaux à usage général peuvent servir de juges « zero-shot » de la créativité visuelle — sans ajustement fin, sans exemples ni entraînement supplémentaire — et si leurs chaînes de raisonnement explicites offrent une fenêtre interprétable sur leur logique d'évaluation.

Méthodologie
La recherche a employé un protocole de deux études pour évaluer six LLM multimodaux (Gemini 3 Flash, Gemma 4 31B IT, GPT-5.4 Mini, GLM-5v Turbo, Kimi K2.5, et Qwen 3.6 Plus) à travers deux ensembles de données de créativité visuelle distincts :

Images générées par IA : 992 images créées par DALL-E 3 à partir de prompts textuels écrits par des humains, évaluées par des experts humains sur une échelle de 1 à 5.
Croquis dessinés à la main : 1 500 croquis provenant de la plateforme AuDrA, où les participants devaient prolonger des formes initiales incomplètes. Ces croquis ont été évalués à l'aide d'un modèle de théorie de la réponse du juge (JRT) pour dériver des scores de créativité continus.

Étude 1 : Alignement Zero-Shot
Les six modèles ont été testés dans un contexte zero-shot, recevant uniquement une image et un prompt textuel leur ordonnant d'évaluer la créativité sur une échelle de 1 à 5. L'étude a mesuré :

Alignement : Corrélations de Pearson entre les évaluations des modèles et les scores de critères humains.
Contrôle de la complexité : Corrélations partielles contrôlant la « densité de bordure » (un proxy de la complexité visuelle) pour s'assurer que les modèles ne récompensent pas simplement l'élaboration.
Analyse des biais : Examen des distributions d'évaluation pour identifier les biais de complaisance ou de sévérité par rapport aux évaluateurs humains.

Étude 2 : Analyse de la chaîne de raisonnement
Trois modèles capables de raisonner (GLM-5v Turbo, Kimi K2.5, Qwen 3.6 Plus) ont été réévalués avec le raisonnement activé. L'étude a analysé les « chaînes de pensée » explicites produites avant la note finale :

Validation de la chaîne : Un LLM textuel distinct a tenté de prédire la note finale en se basant uniquement sur la chaîne de raisonnement (avec les chiffres supprimés) pour vérifier si la chaîne contenait le signal évaluatif.
Codage du processus : Les chaînes de raisonnement ont été décomposées en phrases et classées en quatre dimensions évaluatives : Perception (description du contenu), Originalité (jugement de la nouveauté), Qualité (jugement de l'esthétique/composition) et Justification (ancrage de la note).
Précision perceptuelle : La capacité des modèles à identifier l'objet représenté dans les croquis a été comparée aux étiquettes de consensus humain pour déterminer si les erreurs de reconnaissance d'objets impactaient l'alignement de la créativité.

Résultats clés

Faisabilité Zero-Shot : Les six modèles ont montré un alignement substantiel avec les évaluations humaines sur les deux ensembles de données sans ajustement fin. Les corrélations variaient de $r = ,57$ à $,68$ pour les images générées par IA et de $r = ,29$ à $,68$ pour les croquis dessinés à la main. Gemini 3 Flash a présenté l'alignement le plus fort sur les deux ensembles de données ( $r = ,68$ ).
Au-delà de la complexité visuelle : Les corrélations partielles contrôlant la densité de bordure sont restées robustes, indiquant que les modèles détectent des caractéristiques créatives de haut niveau plutôt que de simplement récompenser l'élaboration visuelle.
Biais systématiques : Les modèles ont présenté un « biais de complaisance » envers les images générées par IA très léchées (les notant plus haut que les humains) et un « biais de sévérité » envers les croquis éparses (les notant plus bas), suggérant une préférence pour les productions ressemblant à leur propre distribution d'entraînement.
Impact du raisonnement : L'engagement de chaînes de raisonnement n'a pas amélioré l'alignement avec les évaluations humaines par rapport à la base de référence sans raisonnement ; dans certains cas (par exemple, Qwen 3.6 Plus), le raisonnement a légèrement réduit l'alignement.
Interprétabilité : Les chaînes de raisonnement étaient hautement interprétables et contenaient le signal évaluatif moteur des notes (un modèle textuel seul pouvait prédire la note à partir de la chaîne avec $r = ,82$ ). Les chaînes suivaient une structure cohérente : Perception $\rightarrow$ Évaluation de l'Originalité/Qualité $\rightarrow$ Justification.
Facteurs de divergence : La proportion de phrases d'« Originalité » dans une chaîne était corrélée à des notes de modèle plus basses par rapport aux humains, tandis que les phrases de « Qualité » étaient corrélées à des notes plus hautes.
Indépendance perceptuelle : L'identification correcte de l'objet n'était pas un prérequis pour un alignement élevé. Les dessins mal identifiés présentaient tout de même une forte corrélation modèle-humain ( $r = ,43$ contre $r = ,49$ pour les correspondances correctes). Notamment, l'alignement le plus élevé s'est produit pour les « Dessins sans consensus » (images que les humains ne pouvaient pas catégoriser), suggérant que les modèles et les humains convergent sur les caractéristiques structurelles et compositionnelles lorsque l'identité de l'objet est ambiguë.

Signification et revendications
L'article affirme fournir la première preuve que les LLM multimodaux à usage général peuvent égaler les jugements humains de la créativité visuelle dans un cadre zero-shot, étendant l'évaluation automatisée au-delà des tâches verbales vers le domaine figural sans entraînement spécifique à la tâche.

Les principales contributions incluent :

Validation de l'évaluation Zero-Shot : Démontrer que l'évaluation basée sur des prompts est suffisante pour l'évaluation de la créativité visuelle à travers divers types de stimuli.
Interprétabilité de l'évaluation : Révéler que les LLM évaluent la créativité via un processus de raisonnement cohérent en quatre étapes (perception, originalité, qualité, justification), offrant une vue transparente des mécanismes d'évaluation de l'IA.
Découplage de la reconnaissance et de l'évaluation : Établir que le score de créativité par les LLM n'est pas réductible à la reconnaissance d'objets ; les modèles peuvent évaluer la valeur créative même lorsqu'ils échouent à identifier le sujet spécifique d'un dessin.
Détection des biais : Souligner les biais spécifiques (complaisance envers le contenu généré par IA, sévérité envers les croquis) qui doivent être adressés dans les futurs pipelines d'évaluation automatisée.

Les auteurs concluent que, bien que les LLM multimodaux offrent un outil prometteur pour l'évaluation scalable de la créativité visuelle, leurs traces de raisonnement sont plus utiles pour auditer comment ils évaluent, plutôt que pour améliorer la précision brute des évaluations elles-mêmes. Les auteurs mettent en garde contre l'application de ces méthodes zero-shot à des tâches non validées et insistent sur la nécessité d'un calibrage prudent pour atténuer les biais inhérents. Une application web open-source implémentant ce pipeline est fournie pour faciliter la recherche ultérieure.

1. Le tour de magie du « Zero-Shot »

2. Le biais « Polissage vs Brut »

3. Le « Processus de pensée » (La Chaîne de Pensée / Chain of Thought)

4. L'IA a-t-elle besoin de savoir ce qu'elle regarde ?

Ce qu'il faut retenir

Articles similaires