💬 NLP

Rethinking Creativity Evaluation: A Critical Analysis of Existing Creativity Evaluations

Cet article analyse de manière critique quatre mesures courantes d'évaluation de la créativité à travers divers domaines, révélant leurs incohérences significatives, leurs limites spécifiques à chaque domaine et leur désalignement avec les jugements humains, soulignant ainsi le besoin urgent de cadres plus robustes et généralisables.

Auteurs originaux : Li-Chun Lu, Miri Liu, Pin-Chun Lu, Yufei Tian, Shao-Hua Sun, Nanyun Peng

Publié 2026-01-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Li-Chun Lu, Miri Liu, Pin-Chun Lu, Yufei Tian, Shao-Hua Sun, Nanyun Peng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un recruteur de talents essayant de trouver les écrivains, les résolveurs de problèmes et les scientifiques les plus créatifs au monde. Vous avez une pile géante d'inscriptions, mais vous avez besoin d'un moyen de trier rapidement les génies des "ennuyeux". Comme il y a trop d'inscriptions pour les lire à la main, vous décidez d'utiliser quatre outils automatisés différents (métriques) pour faire le tri à votre place.

Ce document est essentiellement un bulletin de notes sur ces quatre outils. Les auteurs les ont testés pour voir s'ils fonctionnent réellement, et la mauvaise nouvelle est la suivante : ils sont tous assez peu fiables.

Voici une décomposition des quatre outils qu'ils ont testés et de la raison pour laquelle ils ont échoué, en utilisant des analogies simples :

Les quatre outils testés

1. Le détecteur de "Copier-Coller" (Indice de Créativité)

Comment il fonctionne : Cet outil scanne Internet pour voir si une phrase a déjà été écrite auparavant. Si une phrase est unique et n'est apparue nulle part dans sa base de données massive, il attribue un score de "créativité" élevé.
Le Problème : C'est comme juger la créativité d'un chef uniquement par le nombre d'ingrédients qu'il a utilisés que personne d'autre n'a jamais achetés.
- En Écriture Créative, cela fonctionnait assez bien car des mots uniques signifient souvent une histoire fraîche.
- En Résolution de Problèmes et en Science, cela a échoué lamentablement. Une idée scientifique brillante peut utiliser des mots très communs et standards (comme "expérience" ou "données"), donc cet outil la considère comme ennuyeuse. À l'inverse, un écrivain peut utiliser des mots bizarres ou obscurs juste pour paraître sophistiqué, et cet outil le considère comme un génie. Il mesure la variété du vocabulaire, pas la nouveauté de l'idée.

2. Le "Compteur de Surprise" (Perplexité)

Comment il fonctionne : Cet outil devine à quel point un ordinateur serait "surpris" par le mot suivant dans une phrase. Si le texte est très prévisible, le score est bas. Si le texte est bizarre et inattendu, le score est élevé. L'idée est que créativité = surprise.
Le Problème : C'est comme juger un humoriste par le nombre de fois où le public pousse un cri de confusion.
- Parfois, un texte obtient un score élevé (très surprenant) simplement parce qu'il est grammaticalement désordonné ou absurde, et non parce qu'il est créatif.
- Parfois, une idée vraiment brillante et claire est très fluide et facile à lire, donc l'outil lui donne un score bas.
- Les auteurs ont constaté que des textes "créatifs" et "non créatifs" obtenaient souvent exactement les mêmes scores, ce qui rend l'outil inutile pour les distinguer.

3. Le "Scanner de Structure de Phrase" (Modèles Syntaxiques)

Comment il fonctionne : Cet outil examine le squelette des phrases (par exemple, "Le [Nom] [Verbe] le [Adjectif] [Nom]"). Il vérifie si l'auteur utilise les mêmes structures de phrases de manière répétitive.
Le Problème : C'est comme juger un peintre uniquement par la forme de ses coups de pinceau, en ignorant le tableau qu'il est en train de peindre.
- En Écriture Créative, il a détecté que l'IA utilise souvent des structures de phrases répétitives et formulaires (comme "Le voyage du héros commença quand...").
- Cependant, en Science et en Résolution de Problèmes, les experts ont souvent besoin d'utiliser un langage standard et formulé pour être clairs et précis. Cet outil les a pénalisés pour avoir été clairs, pensant qu'ils manquaient de créativité parce qu'ils suivaient les règles de grammaire.

4. Le "Juge IA" (LLM-as-a-Judge)

Comment il fonctionne : Cela consiste à utiliser une autre IA pour lire le travail et donner une note, tout comme un professeur humain le ferait.
Le Problème : C'est comme embaucher un élève pour noter les devoirs d'un autre élève. Ils sont incohérents et facilement dupés.
- Squeezable (Manipulable) : Si vous changez légèrement la question (par exemple, demander "Est-ce créatif ?" vs "Est-ce non créatif ?"), l'IA change complètement d'avis.
- Biaisé : Elle a tendance à choisir un côté (par exemple, dire toujours "Non, ce n'est pas créatif") indépendamment de la qualité réelle.
- Peu fiable : Lorsqu'on lui demande de noter le même essai trois fois, elle n'est d'accord avec elle-même que 40 % du temps. Elle procède essentiellement par devinettes.

La Vue d'Ensemble

Les auteurs ont testé ces outils sur trois types différents de créativité :

Écriture Créative (Histoires, poèmes).
Résolution de Problèmes (Trouver des moyens étranges d'utiliser des objets du quotidien).
Idéation de Recherche (Proposer de nouvelles théories scientifiques).

Le Résultat : Aucun outil unique ne fonctionnait pour les trois. Un outil capable de repérer une histoire créative était incapable de repérer une idée scientifique créative. Parfois, les outils étaient même en désaccord sur un même texte.

La Conclusion

Le document conclut que nous ne possédons actuellement aucune façon fiable de mesurer la véritable créativité de manière automatique.

Les outils actuels mesurent principalement des aspects superficiels comme le choix des mots, la longueur des phrases ou l'aspect "bizarre" du texte.
Ils échouent à mesurer l'idée réelle ou le concept derrière le texte.
Le fait qu'un ordinateur dise qu'une chose est "créative" sur la base de ces chiffres ne signifie pas qu'un humain sera d'accord.

Les auteurs disent essentiellement : "Nous devons arrêter de compter sur ces simples tours de passe-passe mathématiques. Nous devons construire de meilleurs systèmes qui comprennent réellement les idées, et pas seulement les mots, avant de pouvoir leur faire confiance pour juger la créativité humaine (ou artificielle)."

Résumé technique : Repenser l'évaluation de la créativité

Énoncé du problème

Bien que les grands modèles de langage (LLM) aient démontré une certaine compétence dans les tâches structurées telles que le raisonnement logique et la réponse aux questions, leur capacité à générer du contenu créatif reste limitée et difficile à évaluer. La créativité est intrinsèquement multidimensionnelle et spécifique à chaque domaine, pourtant il manque des mesures automatisées fiables capables de benchmarker efficacement les performances des LLM à travers divers domaines créatifs. Les méthodes d'évaluation existantes échouent souvent à s'aligner sur les perceptions humaines de la créativité, ce qui entraîne des incohérences dans la manière dont les productions « créatives » sont identifiées et mesurées. Ce document aborde la question critique suivante : Comment sélectionner des mesures d'évaluation qui reflètent fidèlement la créativité perçue par l'humain à travers différents domaines ?

Méthodologie

Les auteurs ont mené une analyse exhaustive de quatre métriques de créativité représentatives à travers trois domaines créatifs distincts :

Domaines :
- Écriture créative : Génération de contenu artistique et esthétique (ex. : intrigues de films, poèmes).
- Résolution de problèmes non conventionnels : Pensée fonctionnelle impliquant la rupture des biais cognitifs (ex. : la tâche MacGyver).
- Idéation de recherche : Synthèse logique de faits existants pour générer des idées scientifiques novatrices (ex. : soumissions de l'ICLR).
Jeux de données :
Pour chaque domaine, les auteurs ont constitué des jeux de données contenant des exemples appariés de productions « créatives » et « non créatives », étiquetés selon le jugement humain.
- Écriture créative : 150 récits écrits par des humains contre 150 récits générés par des LLM.
- Résolution de problèmes : 573 solutions non conventionnelles contre des solutions conventionnelles générées par LLM.
- Idéation de recherche : 513 articles acceptés contre 513 articles rejetés de l'ICLR 2024, filtrés selon les scores de solidité et de présentation afin d'isoler la créativité comme facteur de différenciation.
Métriques évaluées :
L'étude a évalué quatre métriques opérant à différents niveaux de granularité :
- Indice de Créativité (CI) : Mesure l'originalité au niveau des segments de phrases en calculant le chevauchement de n-grammes avec de vastes corpus Web (en utilisant l'algorithme DJ SEARCH/Infini-Gram).
- Perplexité (PPL) : Mesure l'imprévisibilité statistique au niveau des tokens, basée sur les probabilités de prédiction des modèles de langage.
- Templates syntaxiques : Évalue la diversité structurelle en détectant la dépendance aux schémas de classes grammaticales (POS) communs (ex. : CR-POS, taux de template, templates par token).
- LLM-as-a-Judge (Le LLM comme juge) : Utilise des LLM (spécifiquement Claude 3.7 Sonnet dans la meilleure configuration) avec un raisonnement par chaîne de pensée (CoT) et un prompting basé sur des rubriques pour fournir des évaluations holistiques de niveau conceptuel.

Résultats clés

L'analyse a révélé des incohérences significatives tant entre les domaines qu'entre les métriques :

Indice de Créativité (CI) :
- Sensibilité au domaine : Le CI distingue efficacement les textes créatifs des textes non créatifs dans l'Écriture créative, mais échoue à différencier dans la Résolution de problèmes et l'Idéation de recherche.
- Limites : Le CI mesure principalement la diversité lexicale plutôt que la nouveauté conceptuelle. Ses scores sont très sensibles aux choix d'implémentation, spécifiquement la plage de longueurs de n-grammes ( $L$ ) et la sélection du corpus de référence. De petits changements dans $L$ (ex. : 5–7 vs 5–11) ou le corpus peuvent radicalement altérer les scores, rendant parfois la distinction entre les productions humaines et celles des LLM négligeable.
Perplexité (PPL) :
- Incohérence : La PPL a montré des distributions de scores chevauchantes entre les ensembles créatifs et non créatifs dans tous les domaines. Dans certains cas (ex. : Écriture créative), le contenu généré par LLM présentait une perplexité plus élevée, tandis que dans d'autres (ex. : Idéation de recherche), les articles rejetés avaient une perplexité plus faible.
- Conclusion : La PPL reflète la fluidité et la confiance du modèle plutôt que la nouveauté ou la créativité.
Templates syntaxiques :
- Efficacité : Cette métrique a peiné dans les domaines où des idées novatrices sont exprimées via un langage formulique (ex. : Idéation de recherche et Résolution de problèmes).
- Observation : Dans l'Écriture créative, il a été constaté que les LLM s'appuient lourdement sur des structures syntaxiques répétitives (ex. : des templates de 8-grammes spécifiques pour les rebondissements scénaristiques), tandis que l'écriture humaine présente une plus grande variété structurelle. Cependant, la métrique n'a pas réussi à capturer la créativité conceptuelle dans d'autres domaines.
LLM-as-a-Judge :
- Performance : Bien que montrant une performance modérée de manière isolée, les juges LLM ont présenté une instabilité et un biais significatifs.
- Biais : Les modèles ont montré une tendance vers des prédictions unilatérales (ex. : classer la plupart des solutions comme « conventionnelles » ou les intrigues comme « non originales »).
- Instabilité : Les évaluations étaient très sensibles aux variations mineures de prompt (ex. : changer « conventionnel » en « non conventionnel » dans le prompt inversait les préférences du modèle). Des évaluations répétées de la même instance par le même juge ne montraient qu'environ 40 % de cohérence.
- Corrélation : Il y avait une faible corrélation (Pearson $r \approx 0,16$ ) entre les scores des LLM et les scores des experts humains dans l'Idéation de recherche.
Score de Nouveauté Sémantique Exploratoire (SNS) :
- Un pipeline expérimental utilisant des plongements (embeddings) sémantiques pour mesurer la distance conceptuelle a échoué à distinguer de manière cohérente les productions créatives des productions non créatives, soulignant la difficulté de capturer automatiquement la nouveauté au niveau des idées.

Contributions clés

Analyse critique des métriques existantes : Le papier démontre systématiquement que les métures automatisées actuelles (CI, PPL, Templates syntaxiques, LLM-as-a-Judge) manquent de généralisabilité et de cohérence à travers les domaines créatifs.
Identification de limitations spécifiques :
- Le CI mesure la rareté lexicale, non la nouveauté conceptuelle.
- La PPL mesure la fluidité, non la créativité.
- Les templates syntaxiques manquent l'innovation sémantique dans les contextes formuliques.
- Le LLM-as-a-Judge est sujet au biais, à la sensibilité au prompt et à une faible cohérence.
Cadre de diagnostic : L'étude fournit un socle diagnostique pour le domaine, clarifiant où et comment les métriques actuelles échouent — spécifiquement leur tendance à privilégier la nouveauté stylistique au détriment de la nouveauté conceptuelle.
Libération de ressources : Les auteurs ont publié les jeux de données et le code d'évaluation pour faciliter la recherche future.

Signification et affirmations

Le papier conclut que le paysage actuel de l'évaluation de la créativité est fragmenté et peu fiable. Les conclusions soulignent l'urgence de disposer de cadres d'évaluation plus robustes et généralisables qui s'alignent mieux sur les jugements humains de la créativité.

Les auteurs affirment modestement que leur travail ne propose pas une nouvelle métrique parfaite, mais constitue plutôt un socle diagnostique essentiel. En révélant les lacunes spécifiques des méthodes existantes, l'étude vise à :

Guider les praticiens pour qu'ils interprètent les métriques existantes avec la prudence appropriée.
Informer les chercheurs sur les lacunes conceptuelles spécifiques qui doivent être adressées dans les travaux futurs.
Souligner la nécessité de dépasser les motifs de surface (lexicaux ou syntaxiques) pour tendre vers des méthodes capables de capturer la nouveauté au niveau de l'idée, en exploitant potentiellement les avancées futures telles que les Modèles de Grands Concepts (LCM) et les architectures de chaîne de pensée continue.

En fin de compte, l'article soutient que l'avancement de l'évaluation de la créativité est essentiel pour combler l'écart entre la performance créative humaine et celle de la machine.