Résumé technique : Au-delà de la créativité divergente : Une évaluation basée sur l'humain de la créativité dans les grands modèles de langage

1. Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des tâches exigeant une créativité verbale, telles que la narration et la génération d'idées. Cependant, les benchmarks actuels pour évaluer la créativité des LLM manquent d'un fondement solide dans la théorie de la créativité humaine, qui définit la créativité comme la combinaison de la nouveauté et de l'adéquation.

La mesure standard pour évaluer la pensée divergente, la Tâche d'Association Divergente (DAT), mesure la créativité uniquement sur la base de la distance sémantique entre les mots générés (nouveauté). Les auteurs soutiennent que cette approche de nouveauté seule est défectueuse pour les LLM car :

• Elle ignore l'adéquation, une composante essentielle de la créativité humaine.
• Elle permet à des sorties stochastiques ou aléatoires d'obtenir des scores élevés, confondant le hasard avec la créativité.
• Des études antérieures ont montré que des bases de référence non créatives (par exemple, l'échantillonnage aléatoire) peuvent surpasser les LLM de pointe sur la DAT, invalidant ainsi la métrique pour l'évaluation des modèles.

Par conséquent, il est nécessaire d'établir un cadre d'évaluation capable de mesurer objectivement la créativité tout en respectant le double critère de nouveauté et d'adéquation contextuelle.

2. Méthodologie

Critique de la Tâche d'Association Divergente (DAT)

Les auteurs ont d'abord réévalué la DAT standard en utilisant une gamme de LLM de pointe (SotA).

• Tâche : Les modèles ont été incités à générer 10 noms aussi différents les uns des autres que possible.
• Notation : La nouveauté a été calculée comme la distance sémantique moyenne par paire des sept premiers mots valides.
• Décalage d'embedding : Alors que la DAT standard utilise les embeddings GloVe, les auteurs ont utilisé Sentence BERT (SBERT) pour atténuer les artefacts de fréquence qui gonflent les scores de nouveauté pour les mots rares.
• Bases de référence : Deux bases de référence non créatives ont été introduites :
  1. Agnostique à la tâche : Échantillonnage aléatoire de 10 noms à partir de WordNet.
  2. Sensible à la tâche : Inciter les modèles à maximiser explicitement le score DAT (optimisant directement l'objectif de test).

Introduction de la Tâche d'Association Divergente Conditionnelle (CDAT)

Pour remédier aux limites de la DAT, les auteurs proposent la CDAT, fondée sur la définition psychologique de la créativité exigeant à la fois la nouveauté et l'adéquation (Heinen et Johnson, 2018).

• Spécification de la tâche : Étant donné un nom de cueille (cue noun) spécifique, le modèle doit générer 10 noms mutuellement dissemblables qui sont sémantiquement associés au mot de cueille.
• Protocole d'évaluation :
  • Nouveauté : Mesurée comme la distance sémantique moyenne par paire parmi les mots générés (identique à la notation de la DAT).
  • Adéquation : Mesurée comme la similitude sémantique moyenne entre les mots générés et le mot de cueille.
  • Porte d'adéquation (Appropriateness Gate) : Un mécanisme de filtrage où les mots générés par un modèle doivent statistiquement excéder l'adéquation d'une base de référence aléatoire (agnostique à la tâche) pour être considérés comme valides. La nouveauté n'est scorée que si le modèle franchit cette porte.
  • Score final : La métrique principale est la moyenne du score de nouveauté, conditionnée au passage de la porte d'adéquation.
• Visualisation : Les auteurs analysent le compromis entre nouveauté et adéquation à l'aide d'un paysage 2D et d'une frontière de Pareto pour identifier les modèles non dominés offrant des équilibres optimaux.

Configuration expérimentale

• Modèles : Un ensemble diversifié de LLM SotA, propriétaires et open-source, de tailles et de familles variées.
• Conditions : Les évaluations ont été menées à trois réglages de température (0.5, 1.0, 1.5) et dans un réglage déterministe (0.0).
• Cues : 539 noms de cueille uniques dérivés du corpus Brown.
• Bases de référence : Incluaient Random (agnostique à la tâche) et Common (sensible à la tâche, incitant à une association maximale) pour l'analyse diagnostique 2D.

3. Résultats clés

Échec de la validité de la DAT

Sous l'évaluation basée sur SBERT, aucune famille de LLM n'a dépassé la base de référence agnostique à la tâche (aléatoire) dans les scores DAT, quel que soit le réglage de température. De plus, la base de référence sensible à la tâche (qui "triche" en optimisant le score) a systématiquement surpassé les générations de modèles standards. Cela confirme que la DAT est sensible à l'échantillonnage aléatoire et à la familiarité des prompts plutôt qu'à l'isolement d'une véritable capacité créative.

Résultats de la CDAT

Lorsqu'elle est évaluée sous la CDAT, des schémas distincts émergent concernant les familles de modèles et le compromis nouveauté-adéquation :

1. Passage de la porte : Tous les modèles ont passé la porte d'adéquation, validant que la nouveauté peut être mesurée de manière conditionnelle à l'alignement contextuel.
2. Divergence des familles de modèles :
   • Familles plus petites/basiques : Ont généralement obtenu des scores CDAT plus élevés, occupant des régions de nouveauté plus élevée mais d'adéquation plus faible.
   • Familles plus avancées/plus grandes : Ont tendance à favoriser une adéquation plus élevée au détriment d'une nouveauté plus faible, résultant en des scores CDAT plus conservateurs.
3. Frontière de Pareto : Les deux stratégies (haute nouveauté/faible adéquation vs équilibrée) apparaissent sur la frontière de Pareto non dominée, indiquant qu'aucune famille de modèles ne maximise simultanément les deux dimensions.
4. Effets de la température : Les effets de la température sont mitigés et spécifiques à chaque famille, sans tendance constante sur l'ensemble des modèles.

4. Contributions clés

• Évaluation critique de la DAT : L'article démontre que la DAT standard est invalide pour l'évaluation de la créativité des LLM car des bases de référence non créatives surpassent les modèles SotA, et que la métrique ne parvient pas à distinguer le hasard de la créativité.
• Proposition de la CDAT : Introduction de la Tâche d'Association Divergente Conditionnelle, qui opérationnalise la créativité comme une nouveauté conditionnée par l'adéquation contextuelle, séparant le bruit de la production créative.
• Profilage nuancé : La CDAT révèle des différences systématiques dans les profils de créativité entre les familles de modèles, montrant que les modèles plus petits présentent souvent une nouveauté brute plus élevée, tandis que les modèles plus grands et alignés privilégient l'adéquation, probablement en raison des changements d'alignement de l'entraînement et de la sécurité.

5. Signification et affirmations

Les auteurs affirment que la CDAT fournit une métrique simple, objective et interprétable par l'humain qui s'aligne sur les théories psychologiques établies de la créativité. En ancrant l'évaluation dans la nouveauté et l'adéquation, la CDAT évite les pièges des métriques de nouveauté seule.

L'article pose que le compromis observé — où les modèles avancés sacrifient la nouveauté pour l'adéquation — est probablement le résultat de processus d'entraînement et d'alignement qui déplacent les modèles vers des sorties plus conservatrices et prévisibles. Cependant, les auteurs maintiennent une position modeste, notant qu'il s'agit d'une interprétation corrélative nécessitant des études d'ablation causale supplémentaires (par exemple, sur les objectifs d'alignement et les politiques de décodage) pour confirmation.

Ce travail est présenté comme une opérationnalisation pragmatique pour quantifier une composante minimale de la créativité verbale divergente, ciblant spécifiquement les tâches de connaissances cristallisées et textuelles où les LLM sont le plus fréquemment déployés. Il ne prétend pas être un prédicteur universel de toutes les formes de créativité humaine, mais sert d'étape nécessaire vers des benchmarks plus rigoureux et fondés sur la théorie de la créativité artificielle.