💬 NLP

CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

Ce document introduit CreativityPrism, un cadre d'évaluation évolutif et transdomaine qui évalue les grands modèles de langage à travers huit tâches de pensée divergente, d'écriture créative et de raisonnement logique en utilisant trois dimensions (qualité, nouveauté et diversité), révélant que si les modèles de pointe excellent dans l'écriture et le raisonnement, ils ne présentent aucun avantage significatif en matière de pensée divergente et que la performance se généralise rarement à travers les différentes dimensions créatives.

Auteurs originaux : Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et magique de générateurs de texte (Grands Modèles de Langage, ou LLM). Tout le monde pose la même question : « Ces machines sont-elles réellement créatives ? »

Le problème est que la « créativité » est un concept glissant. Parfois, cela signifie écrire une histoire drôle, parfois cela signifie résoudre un problème mathématique d'une manière inhabituelle, et parfois cela signifie trouver un nouvel usage pour un trombone. Avant ce papier, les chercheurs essayaient de mesurer la créativité avec des règles différentes selon les tâches, ou ils demandaient à des humains de noter chaque réponse, ce qui est lent et coûteux.

Entrez dans « CreativityPrism ».

Considérez CreativityPrism comme un nouveau prisme de haute technologie à travers lequel vous faites passer un faisceau de lumière (la production de l'IA). Au lieu de simplement voir une tache blanche, le prisme décompose la lumière en trois couleurs distinctes, révélant la véritable nature de la créativité de la machine.

Les trois couleurs de la créativité

Les auteurs soutiennent que pour comprendre si une machine est créative, il faut la mesurer de trois manières spécifiques :

La Qualité (la couleur « Est-ce que ça marche ? ») : C'est le fondement. Si une machine écrit une histoire qui n'a aucun sens ou résout un problème mathématique de manière incorrecte, peu importe à quel point l'idée est « nouvelle ». C'est juste du bruit. La qualité mesure si la production remplit réellement la tâche.
La Nouveauté (la couleur « À quel point est-ce bizarre ? ») : Cela mesure à quel point la réponse s'éloigne de l'ordinaire. La machine est-elle parvenue à une solution qu'aucun humain n'a jamais vue auparavant ? Ou a-t-elle simplement copié ce qui se trouve dans ses données d'entraînement ?
La Diversité (la couleur « Combien d'options ? ») : Cela mesure l'étendue. Si vous demandez à la machine 10 idées, sont-elles 10 idées totalement différentes, ou sont-elles juste 10 versions légèrement différentes de la même idée ?

L'analogie : Imaginez un chef cuisinier.

Qualité : La nourriture est bonne et n'est pas brûlée.
Nouveauté : Le chef invente une combinaison de saveurs que personne n'a jamais essayée (par exemple, chocolat et cornichons).
Diversité : Le chef peut préparer 10 types de desserts différents, et non pas 10 variations de gâteau au chocolat.
CreativityPrism vérifie les trois. Un chef qui prépare 100 versions différentes d'un gâteau au chocolat brûlé a une grande diversité, mais une faible qualité et une faible nouveauté.

Le grand test : 17 chefs en cuisine

Les auteurs ont soumis 17 des modèles d'IA les plus intelligents actuellement disponibles (provenant de sociétés comme OpenAI, Google, Anthropic et DeepSeek) à 8 défis différents répartis sur trois domaines :

La Pensée Divergente : Comme le « Test des usages alternatifs » (par exemple : « Que pouvez-vous faire avec une brique autre que construire un mur ? »).
L'Écriture Créative : Écrire des histoires ou des poèmes basés sur des instructions.
Le Raisonnement Logique : Résoudre des problèmes mathématiques ou écrire du code sous des contraintes strictes et étranges.

Ce qu'ils ont découvert (le coup de théâtre)

1. L'écart « Grand vs Petit »
Les modèles d'IA massifs et coûteux (les modèles « Frontière ») sont généralement meilleurs en Écriture Créative et en Raisonnement Logique. Ils sont comme des chefs étoilés capables de suivre des recettes complexes et de rédiger de magnifiques menus. Cependant, lorsqu'il s'agit de Pensée Divergente (trouver des idées sauvages et sans lien entre elles), l'écart entre les modèles super coûteux et les modèles plus petits et open-source presque disparaît. Les grands modèles ne sont pas nécessairement meilleurs pour « penser hors de la boîte » que les plus petits.

2. Le problème du « Spécialiste »
Voici la découverte la plus surprenante : Être bon dans un type de créativité ne signifie pas être bon dans un autre.

Un modèle peut être incroyable pour écrire un roman (Haute Qualité) mais très mauvais pour trouver des usages étranges pour une cuillère (Faible Nouveauté).
Un modèle peut générer 1 000 réponses différentes (Haute Diversité) mais aucune d'entre elles n'est réellement nouvelle ou utile (Faible Nouveauté).

Les auteurs ont constaté que la « Nouveauté » est la dimension la plus chaotique. Le fait qu'un modèle soit bon pour être « nouveau » dans un problème de mathématiques ne signifie pas qu'il le sera dans une histoire. Ce sont des compétences totalement différentes.

3. La solution du « Juge »
Puisque les humains sont trop lents pour noter tous ces tests, les auteurs ont utilisé une astuce ingénieuse : ils ont utilisé d'autres IA pour noter les réponses. Mais ils ne se sont pas contentés de faire confiance aveuglément aux IA ; ils ont d'abord fait noter un petit échantillon par des experts humains pour s'assurer que les « Juges IA » étaient réellement en accord avec les humains. C'est comme si un chef de cuisine goûtait quelques plats pour s'assurer que les sous-chefs notent correctement la nourriture avant de noter toute la cuisine.

En conclusion

CreativityPrism est un nouvel outil qui nous empêche de dire « Cette IA est créative » comme une affirmation unique et vague. Au lieu de cela, il nous dit : « Cette IA est excellente pour écrire de bonnes histoires, correcte pour résoudre des problèmes mathématiques de manière créative, mais pas très douée pour proposer des idées sauvées et sans lien direct. »

Il prouve que la créativité n'est pas un pouvoir unique, mais une collection de compétences différentes qui ne voyagent pas toujours ensemble. Pour construire des machines véritablement créatives, nous devons les entraîner spécifiquement pour ces différentes « couleurs » de la créativité, et non simplement espérer qu'elles réussissent tout par accident.

Résumé technique : CreativityPrism

Énoncé du problème

Malgré l'avancement rapide des grands modèles de langage (LLM) dans la génération de textes créatifs, il n'existe actuellement aucun cadre unifié, transdomaine et évolutif pour évaluer la créativité des LLM. Les méthodes d'évaluation existantes souffrent de deux limitations principales :

Fragmentation : La recherche actuelle est dispersée à travers des domaines spécifiques (par exemple, la pensée divergente, l'écriture créative, le codage, les mathématiques) avec des définitions étroites de la créativité. Les benchmarks se concentrent souvent sur une seule dimension (par exemple, la diversité lexicale ou les idées non conventionnelles) et varient selon les modèles testés, ce qui rend la comparaison transversale difficile.
Évolutivité : La créativité est intrinsèquement subjective, ce qui pousse de nombreux benchmarks existants à dépendre fortement de l'évaluation humaine. Cette approche est extrêmement coûteuse, lente et difficile à reproduire à grande échelle, créant un goulot d'étrangle pour l'itération rapide requise par la recherche moderne en IA.

Méthodologie

Les auteurs proposent CreativityPrism, un cadre d'évaluation transdomaine conçu pour consolider l'évaluation de la créativité en un pipeline automatique et évolutif.

Conception du cadre

Sélection des tâches : Le cadre intègre huit tâches réparties sur trois domaines distincts :
- Pensée divergente : Test d'usages alternatifs (AUT), Tâche d'association divergente (DAT) et Tests de pensée créative de Torrance (TTCT).
- Écriture créative : Test de pensée créative de Torrance (TTCW), Nouvelle créative et Indice de créativité.
- Raisonnement logique : Mathématiques créatives et NeoCoder (codage sous contraintes).
Taxonomie des dimensions : Au-delà de la simple agrégation de tâches, les auteurs catégorisent tous les indicateurs d'évaluation en trois dimensions théoriques de la créativité, fondées sur les tests de pensée créative de Torrance (TTCT) :
1. Qualité : La capacité à produire des réponses cohérentes, bien formées et fonctionnelles (ex: exactitude du code, fluidité narrative).
2. Nouveauté : La capacité à produire des sorties qui s'écartent des solutions communes ou existantes (ex: unicité par rapport aux corpus d'entraînement ou aux solutions de référence).
3. Diversité : L'étendue de la distribution des sorties, mesurant comment un modèle varie ses réponses à travers les générations (ex: distance sémantique entre les noms générés).
Évaluation évolutive (LLM-as-a-Judge) : Pour assurer l'évolutivité, le cadre utilise une évaluation automatique. Pour les indicateurs nécessitant un jugement subjectif, les auteurs emploient le paradigme LLM-as-a-Judge (le LLM comme juge). Crucialement, ils valident ces juges via le Test de l'Annotateur Alternatif (Calderon et al., 2025), garantissant que les LLM choisis comme juges s'alignent étroitement avec les annotations humaines de haute qualité (Fleiss Kappa $\ge$ 0,4) avant d'être déployés.

Configuration expérimentale

Modèles évalués : 17 LLM de pointe (SoTA) ont été testés, incluant des modèles de taille frontale (GPT-4.1, Claude 3, Gemini 2.0, DeepSeek-V3/R1) et des modèles ouverts déployables localement (familles Mistral, Qwen, Llama, OLMo).
Inférence : Des paramètres d'inférence standardisés ont été appliqués (Température 0,75, max tokens 4096), avec des ajustements spécifiques pour des tâches comme les Mathématiques Créatives (Température 0,0) et l'Indice de Créativité (Température 1,0).
Notation : Les indicateurs bruts ont été normalisés par min-max et agrégés dans les trois dimensions (Qualité, Nouveauté, Diversité) ainsi qu'en un score de créativité global.

Résultats clés

L'évaluation de 17 LLM a produit plusieurs conclusions significatives :

Écart de performance : Les modèles de pointe surpassent nettement les modèles ouverts déployables localement. Les meilleurs modèles frontaux mènent les meilleurs modèles ouverts d'environ 0,10 (15 %) à travers les dimensions de créativité.
- Cet écart est plus prononcé dans le Raisonnement Logique et l'Écriture Créative.
- L'écart est plus faible dans la Pensée Divergente, suggérant que ce domaine est moins priorisé dans les régimes actuels de post-entraînement par rapport au raisonnement et à l'écriture.
- La dimension Qualité présente la plus grande disparité de performance, probablement en raison de l'accent massif mis sur les tâches de raisonnement dans l'entraînement des modèles frontaux.
Manque de généralisation : Une haute performance dans une dimension ou un domaine créatif ne garantit pas le succès dans les autres.
- Les indicateurs de Nouveauté montrent des corrélations faibles ou même négatives avec d'autres indicateurs. Par exemple, un modèle peut générer des sorties très diverses (haute diversité) qui sont individuellement peu originales, ou produire une sortie unique et nouvelle sans aucune variation (haute nouveauté, faible diversité).
- Cette fragmentation confirme que la créativité n'est pas une capacité monolithique ; la « créativité » d'un modèle est hautement dépendante de la tâche et de la dimension.
Classements des modèles : Parmi les modèles ouverts, Qwen2.5-72B est apparu comme le meilleur performeur. Parmi les modèles frontaux, DeepSeek-V3 et GPT-4.1 ont démontré les capacités créatives globales les plus élevées.

Signification et contributions

L'article revendique les contributions suivantes :

Cadre unifié : Il introduit CreativityPrism, le premier cadre qui combine systématiquement huit tâches de trois domaines en un seul pipeline d'évaluation évolutif.
Taxonomie dimensionnelle : Il propose une taxonomie « Qualité, Nouveauté et Diversité », arguant que séparer l'« originalité » en « nouveauté » (profondeur/écart) et « diversité » (étendue/variance) est essentiel pour une évaluation nuancée des LLM.
Automatisation fiable : Il valide l'utilisation du LLM-as-a-Judge pour l'évaluation de la créativité grâce à des tests rigoureux d'alignement humain (Alternative Annotator Test), offrant une alternative évolutive à la notation manuelle.
Aperçus empiriques : Le benchmark révèle que les LLM actuels présentent des capacités créatives fragmentées, les modèles frontaux excellant dans la créativité pilotée par le raisonnement mais ne montrant aucun avantage significatif dans la pensée divergente. Cela souligne la nécessité de cadres transdomaines pour éviter des conclusions trompeuses sur les capacités des modèles.

Limites

Les auteurs reconnaissent plusieurs limites :

Modalité : Le cadre est actuellement limité au texte ; la créativité multimodale n'est pas couverte en raison de l'immaturité des méthodes d'évaluation automatique dans ce domaine.
Couverture des domaines : Des domaines hautement créatifs comme la découverte scientifique et la conception inventive sont exclus en raison de l'absence de mesures d'évaluation automatique fiables.
Validation humaine : Bien que les juges LLM aient été validés, les annotateurs humains étaient principalement des chercheurs en informatique plutôt que des experts en domaine de la créativité, et les tailles d'échantillon étaient limitées par les ressources.
Contamination des données : Les modèles dont la date de sortie est plus récente peuvent avoir un avantage sur les indicateurs de nouveauté si leurs données d'entraînement chevauchent les corpus de référence du benchmark.

En conclusion, l'article soutient qu'un cadre transdomaine et multidimensionnel comme CreativityPrism est essentiel pour toute évaluation significative de la créativité des LLM, car les évaluations à domaine ou métrique unique ne parviennent pas à capturer la complexité de la créativité machine.