Résumé technique : Pourquoi les grands modèles de langage et les humains convergent et divergent dans l'évaluation de la créativité

Énoncé du problème

Bien que les grands modèles de langage (LLM) soient de plus en plus déployés pour évaluer des idées créatives dans des contextes tant individuels qu'organisationnels, les preuves empiriques concernant leur alignement avec les jugements humains restent mitigées. La littérature existante présente des résultats contradictoires : certaines études suggèrent que les LLM peuvent approximer les jugements de créativité humains, tandis que d'autres indiquent un faible alignement ou des variations spécifiques aux modèles. Le problème central abordé par cette recherche est le manque de compréhension théorique et empirique concernant quels standards les LLM appliquent lors de l'évaluation de la créativité, où ces standards convergent ou divergent des standards humains, et comment ces différences se manifestent dans les résultats d'évaluation en aval. Les auteurs postulent que l'accord n'est pas une capacité binaire mais dépend de la preuve spécifique qu'un jugement exige et des standards que chaque modèle privilégie.

Méthodologie

La recherche utilise un plan de conception en trois études pour cartographier les standards d'évaluation des LLM et examiner leurs conséquences en aval.

Étude 1 : Cartographie des standards d'évaluation

• Objectif : Identifier les standards d'évaluation de la créativité utilisés par six LLM de pointe (GPT-4.1 mini, Grok 4 Fast, DeepSeek V3, ERNIE 3.5-8K, Claude Haiku 4.5 et Gemini 2.5 Flash-Lite) et les comparer aux standards humains établis.
• Procédure : En utilisant une mesure établie de l'évaluation de la créativité humaine (identifiant 26 standards distincts à travers sept dimensions), les auteurs ont incité chaque LLM à évaluer l'importance de chaque standard.
• Analyse : Les standards étaient considérés comme « importants » si leur intervalle de confiance à 95 % se situait au-dessus du point médian de l'échelle. Les auteurs ont analysé les standards agrégés des LLM et ont appliqué la théorie du consensus culturel pour déterminer si les modèles partageaient un standard universel ou présentaient des modèles spécifiques aux modèles.

Étude 2 : Conséquences en aval de la convergence

• Objectif : Tester si l'étendue des standards des LLM est corrélée à l'exactitude de leurs évaluations de la créativité par rapport aux humains.
• Procédure : 293 participants humains ont généré 1 103 idées créatives à travers trois tâches (deux scénarios commerciaux de type « in-basket » et une tâche environnementale). Trois évaluateurs humains formés et les six LLM ont évalué ces idées de manière indépendante.
• Analyse : Les auteurs ont calculé les corrélations de Pearson entre les évaluations agrégées et individuelles des LLM et les évaluations humaines (dérivées de la technique d'évaluation consensuelle). Ils ont testé si les modèles possédant des standards plus larges (plus alignés sur les standards humains) montraient une corrélation plus élevée avec les jugements humains.

Étude 3 : Conséquences en aval de la divergence

• Objectif : Étudier comment la divergence dans la dimension « contextuelle » (où les LLM et les humains diffèrent le plus) affecte les évaluations de la créativité.
• Procédure : Un plan expérimental 2 (Description du produit : produit seul vs produit avec contexte) × 2 (Source de l'évaluateur : humain vs LLM) a été utilisé avec 15 produits Kickstarter. Des informations contextuelles (ex. : prestige de la marque, positionnement sur le marché) ont été ajoutées aux descriptions de produits.
• Analyse : Des analyses de modération multiniveau ont testé si les informations contextuelles modifiaient les évaluations de la créativité différemment pour les humains versus les LLM.

Résultats clés

1. Les LLM s'appuient sur un sous-ensemble de standards plus étroit et centré sur l'idée

• Chevauchement partiel : Alors que les humains utilisent les 26 standards identifiés, le standard général des LLM n'en incorpore que 17 (chevauchement de 65,38 %).
• Convergence : Les LLM convergent le plus fortement avec les humains sur la dimension de la Nouveauté (tous les standards de nouveauté ont été inclus) et la dimension Hédonique.
• Divergence : La divergence la plus claire se produit dans la dimension Contextuelle. Les humains accordent un poids important aux facteurs sociaux, de marché et de réputation (ex. : « marque de renommée », « marché de masse », « mode »), tandis que les LLM excluent généralement ceux-ci, les traitant comme des preuves faibles de créativité. Seule la « crédibilité » a été marginalement incluse.
• Variabilité des modèles : Les LLM ne partagent pas un standard universel unique. La théorie du consensus culturel a révélé six clusters distincts (un par modèle).
  • Standards larges : GPT et Grok ont incorporé 20 standards chacun.
  • Standards modérés : DeepSeek et ERNIE ont incorporé 14 standards.
  • Standards étroits : Claude et Gemini ont incorporé respectivement 12 et 11 standards, restant étroitement ancrés à la nouveauté.

2. L'étendue des standards prédit l'alignement avec les jugements humains (Étude 2)

• Alignement agrégé : Il y avait une corrélation modérée ($r = 0,50$) entre les évaluations agrégées des LLM et les évaluations humaines.
• Hiérarchie des modèles : La force de l'alignement était directement corrélée à l'étendue des standards du modèle.
  • GPT et Grok (les plus larges) présentaient l'alignement le plus fort ($r \approx 0,50$).
  • DeepSeek et ERNIE (modérés) présentaient un alignement intermédiaire ($r \approx 0,46$).
  • Claude et Gemini (les plus étroits) présentaient l'alignement le plus faible ($r \approx 0,41$).
• Conclusion : Les modèles qui préservent une gamme plus large de standards humains distinguent mieux les idées que les humains jugent comme plus ou moins créatives.

3. L'information contextuelle induit une évaluation asymétrique (Étude 3)

• Sensibilité humaine : Fournir des informations contextuelles (ex. : prestige de la marque) a significativement augmenté les évaluations de la créativité par les humains ($b = 0,18, p < 0,001$).
• Insensibilité des LLM : Les mêmes informations contextuelles n'ont eu aucun effet significatif sur les évaluations des LLM ($b = 0,01, p = 0,367$).
• Spécificité : Cette insensibilité était la plus prononcée pour les variantes « marque de renommée », « marché de masse » et « mode » — les standards exacts que les LLM ont sous-pondérés dans l'Étude 1.
• Conclusion : Les LLM sont moins sensibles aux preuves contextuelles qui façonnent substantiellement les jugements de créativité humains, entraînant des écarts systématiques lorsque ces informations sont présentes.

Signification et contributions

Contributions théoriques

• Explication des preuves mitigées : L'article résout les incohérences de la littérature antérieure en démontant que l'alignement LLM-humain n'est pas une capacité monolithique « oui/non », mais dépend des standards d'évaluation spécifiques requis. L'alignement est élevé lorsque les tâches mettent l'accent sur les qualités intrinsèques (nouveauté) mais est faible lorsqu'elles nécessitent un jugement contextuel.
• Révision de la théorie de la créativité : Les résultats révèlent une divergence entre les théories formelles de la créativité (qui insistent sur la nouveauté et l'utilité) et les standards des LLM. Les LLM pondèrent de manière disproportionnée la nouveauté, probablement parce qu'elle est plus explicitement et systématiquement verbalisée dans leurs données d'entraînement, tandis que des standards comme l'utilité ou l'approbation sociale sont appliqués de manière plus tacite par les humains et sont donc moins visibles dans les corpus textuels.
• Hétérogénéité des modèles : La recherche conteste le traitement des « LLM » comme une catégorie unique, montrant que différents modèles appliquent des standards distincts et spécifiques aux modèles qui modifient considérablement la reconnaissance des idées créatives.

Implications pratiques

• Utilité dépendante du contexte : Les LLM sont des évaluateurs efficaces lorsque l'objectif est d'évaluer la qualité intrinsèque d'une idée (ex. : nouveauté, promesse conceptuelle) tout en minimisant les biais provenant des signaux sociaux ou de réputation (ex. : filtrage préliminaire de propositions scientifiques).
• Limites dans les contextations riches : Dans les domaines où l'adéquation au marché, les normes sociales ou la crédibilité des parties prenantes sont intégrales à la créativité (ex. : design de produit), les évaluations des LLM peuvent être incomplètes ou trompeuses à moins d'être complétées par un jugement humain.
• Stratégie de sélection : Les organisations doivent traiter le choix d'un LLM évaluateur comme une décision conséquente, en sélectionnant des modèles dont l'étendue spécifique des standards s'aligne sur les objectifs d'évaluation.

Limites et directions futures
Les auteurs reconnaissent que l'Étude 1 reposait sur des évaluations d'importance auto-déclarées, qui ne reflètent peut-être pas parfaitement les standards comportementaux dans tous les contextes. Ils notent également que l'étude s'est concentrée sur six modèles propriétaires, laissant des questions ouvertes pour les modèles open-source, spécialisés par domaine ou multimodaux. Enfin, l'article soulève la possibilité d'une boucle de rétroaction où l'interaction répétée avec des évaluateurs LLM pourrait éventuellement modifier les standards d'évaluation humains, un phénomène qui nécessite des recherches futures.