💬 NLP

Automated Creativity Evaluation of Language Models Across Open-Ended Tasks

Cet article introduit un cadre évolutif et agnostique du domaine qui quantifie la créativité des grands modèles de langage à travers des tâches ouvertes en combinant l'entropie sémantique pour mesurer la nouveauté divergente avec un juge multi-agents basé sur la recherche pour évaluer l'accomplissement convergent de la tâche.

Auteurs originaux : Min Sen Tan, Zachary Kit Chun Choy, Syed Ali Redha Alsagoff, Nadya Yuki Wangsajaya, Mohor Banerjee, Swaagat Bikash Saikia, Alvin Chan

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Min Sen Tan, Zachary Kit Chun Choy, Syed Ali Redha Alsagoff, Nadya Yuki Wangsajaya, Mohor Banerjee, Swaagat Bikash Saikia, Alvin Chan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un recruteur essayant de juger à quel point un groupe de nouveaux écrivains, inventeurs et solutionneurs de problèmes par IA est « créatif ». Par le passé, juger la créativité revenait à essayer de noter une peinture avec une règle : c'était désordonné, cela nécessitait un expert humain pour chaque œuvre, et cela ne fonctionnait que pour des types d'art spécifiques.

Ce document présente un nouvel « Évaluateur de Créativité » automatisé qui fonctionne pour n'importe quel type de tâche ouverte, qu'il s'agisse de résoudre un puzzle ou d'écrire une histoire. Les auteurs décomposent la créativité en deux superpouvoirs distincts et les mesurent séparément : la Pensée Divergente (la capacité d'imaginer de nombreuses idées différentes) et la Pensée Convergente (la capacité de choisir la meilleure idée et de la faire fonctionner).

Voici comment leur système fonctionne, en utilisant des analogies simples :

1. Mesurer le « Rêve » (Créativité Divergente)

Le Problème : Comment savoir si une IA ne fait que répéter la même idée avec des mots différents, ou si elle explore réellement de nouveaux territoires ?
L'Ancienne Méthode : Compter les mots ou vérifier si les phrases semblent différentes en surface. C'est comme juger un chef par le nombre de mots différents qu'il utilise pour décrire une « soupe », même si elles ont toutes le même goût.
La Nouvelle Méthode (Entropie Sémantique) : Les auteurs utilisent un concept appelé Entropie Sémantique.

L'Analogie : Imaginez que vous demandiez à une IA : « Comment traverser une rivière ? »
- Une IA à faible créativité pourrait dire : « Construire un pont », « Faire un pont », « Édifier un pont ». Ces phrases semblent différentes mais signifient exactement la même chose. L'« entropie » (la variété) est faible.
- Une IA à haute créativité pourrait dire : « Construire un pont », « Faire voler un drone », « Nouer des lianes ensemble », « Attendre que l'eau gèle ». Ce sont des chemins véritablement différents. L'« entropie » est élevée.
Le Résultat : Cette méthode agit comme un « compteur de variété ». Elle ignore les changements de surface des mots et mesure combien de directions conceptuelles différentes l'IA explore. Le papier a révélé que ce compteur correspond bien mieux à ce que les humains considèrent comme « créatif » que les méthodes précédentes.

2. Mesurer le « Faire » (Créativité Convergente)

Le Problème : Générer des idées folles est facile ; s'assurer que ces idées résolvent réellement le problème est difficile. Une IA pourrait suggérer de « voler sur un dragon » pour traverser une rivière, ce qui est créatif mais inutile.
L'Ancienne Méthode : Utiliser un seul juge IA ou un humain pour lire la réponse. C'est lent, coûteux et difficile à mettre à l'échelle.
La Nouvelle Méthode (L'Équipe Multi-Agents basée sur la Récupération) : Les auteurs ont construit une équipe de « juges » IA spécialisés qui travaillent ensemble, mais avec une nuance pour économiser du temps et de l'argent.

L'Analogie : Imaginez un panel d'experts (un Responsable de la Sécurité, un Expert en Faisabilité et un Critique Littéraire) examinant un projet.
- Ancienne Méthode : Chaque fois qu'ils parlent, ils relisent l'intégralité de l'historique de la conversation depuis le début. C'est comme une réunion où tout le monde relit les 100 dernières pages de notes avant de prendre la parole. Cela devient énorme et coûteux.
- Nouvelle Méthode : L'équipe utilise un « système de classement intelligent ». Au lieu de tout relire, ils ne sortent que les notes spécifiques pertinentes pour le point actuellement discuté.
Le Résultat : Cette approche « basée sur la récupération » réduit les coûts de calcul de 63 % tout en étant aussi précise que des experts humains. Elle garantit que l'IA ne se contente pas de rêver de non-sens, mais qu'elle remplit réellement les exigences de la tâche.

3. La Grande Découverte : Deux Compétences Différentes

La découverte la plus surprenante de ce papier est que ces deux compétences — Rêver et Faire — ne croissent pas ensemble automatiquement.

L'Analogie : Pensez à une voiture. Vous pouvez avoir un moteur très puissant (Convergente/Exécution de la tâche) qui vous amène parfaitement à destination, mais cela ne signifie pas que le conducteur est doué pour l'exploration hors-piste (Divergente/Créativité).
La Découverte : À mesure que les modèles d'IA deviennent plus grands et plus intelligents pour suivre des instructions (Convergente), ils ne deviennent pas nécessairement meilleurs pour explorer des idées nouvelles et sauvages (Divergente). En fait, les modèles les plus grands et les plus « corrects » explorent parfois moins que les plus petits. Le papier suggère que l'entraînement actuel rend les IA meilleures pour être « correctes », mais pas nécessairement plus « créatives ».

4. Tester le Système

Les auteurs ont testé ce cadre sur trois « terrains de jeu » très différents :

MacGyver : Résoudre des problèmes physiques avec des objets du quotidien (ex : « Comment réparer une fuite avec une chaussette ? »).
HypoGen : Proposer de nouvelles idées de recherche scientifique.
BookMIA : Écrire des histoires créatives avec des points de départ et de fin spécifiques.
Dans ces trois cas, leur système a réussi à mesurer comment les idées de l'IA étaient « larges » et à quel point les solutions finales étaient « bonnes », prouvant ainsi son efficacité à travers différents types de créativité.

Résumé

Ce papier fournit une règle universelle et automatisée pour la créativité. Il sépare la capacité de générer de nombreuses idées uniques de la capacité de résoudre le problème correctement. Il démontre que, bien que l'IA devienne meilleure pour résoudre des problèmes, elle ne devient pas automatiquement plus imaginative, et que nous avons besoin de nouveaux outils pour mesurer et encourager cette « étincelle créative » spécifique.

Résumé Technique : Évaluation Automatisée de la Créativité des Modèles de Langage à travers des Tâches Ouvertes

Problématique

Bien que les grands modèles de langage (LLM) aient démontré des progrès significatifs en raisonnement et en génération, leur potentiel créatif reste difficile à quantifier systématiquement. Les cadres d'évaluation de la créativité existants souffrent de trois limitations primaires :

Couplage spécifique aux tâches : La plupart des métriques sont étroitement liées à des domaines spécifiques (ex. : codage, mathématiques), intégrant de fortes hypothèses de domaine qui limitent la généralisabilité.
Problèmes d'extensibilité : Le recours à des ensembles de réponses curatés, des rubriques conçues à la main et une annotation humaine extensive rend l'évaluation subjective, gourmande en ressources et peu évolutive.
Absence de métriques sans référence : Les méthodes automatisées actuelles échouent souvent à distinguer la diversité conceptuelle réelle des variations superficielles de surface (ex. : paraphrase).

Par conséquent, le domaine manque d'une méthode standardisée, automatisée et agnostique au domaine pour évaluer la créativité des LLM à travers diverses tâches ouvertes.

Méthodologie

Les auteurs proposent un cadre entièrement automatisé et généralisable au domaine qui découple l'appareil de mesure de la tâche créative elle-même. Le cadre opérationnalise la créativité en se basant sur la distinction de la science cognitive entre la pensée divergente et la pensée convergente (Guilford, 1950).

1. Créativité Divergente : Entropie Sémantique (SE)

Pour mesurer l'étendue et la nouveauté des idées (pensée divergente), les auteurs adaptent l'Entropie Sémantique, initialement proposée pour la détection d'hallucinations dans le QA à réponse unique (Farquhar et al., 2024).

Concept : Dans les tâches ouvertes, la masse de probabilité distribuée sur des idées sémantiquement distinctes reflète l'exploration par le modèle de chemins de solutions alternatifs plutôt qu'une erreur.
Implémentation :
- Pour une requête donnée, le modèle échantillonne $n=10$ solutions candidates.
- Ces générations sont regroupées par grappes (clustering) basées sur l'équivalence sémantique via l'implication bidirectionnelle.
- La SE est calculée comme l'entropie de la distribution de probabilité sur ces classes sémantiques : $H(x) = -\sum P(C_i|x) \log P(C_i|x)$ .
- Cette métrique opère au niveau du sens, évitant l'inflation due à la paraphrase superficielle qui affecte les métriques de diversité au niveau des mots (ex. : Distinct-n, Self-BLEU).

2. Créativité Convergente : Juge Multi-Agents Basé sur la Récupération

Pour mesurer l'accomplissement de la tâche, la faisabilité et l'adéquation au contexte (pensée convergente), les auteurs introduisent un nouveau cadre de jugement multi-agents basé sur la récupération.

Motivation : Les cadres de discussion multi-agents traditionnels (ex. : ChatEval) ajoutent l'historique complet de la discussion à chaque tour, ce qui fait croître le coût en tokens de manière prohibitive pour l'évaluation à grande échelle.
Mécanisme :
- Des agents spécialisés (Problème, Solution, Critère) analysent les tâches et enregistrent les informations sous forme de « fragments ».
- Au lieu de rejouer l'historique complet, les agents intègrent les fragments dans une base de données vectorielle.
- À chaque tour, les agents récupèrent uniquement les $k$ fragments antérieurs les plus pertinents via la similarité cosinus.
- Cette conception maintient la délibération multi-agents tout en réduisant l'utilisation de tokens d'environ 63 % par rapport à ChatEval, permettant une évaluation scalable sans sacrifier la précision.

3. Configuration Expérimentale

Le cadre a été validé à travers trois domaines qualitativement distincts :

MacGyver : Résolution de problèmes physiques non conventionnels (évaluant la faisabilité, la sécurité, l'efficacité).
HypoGen : Idéation de recherche scientifique (évaluant la faisabilité, l'exactitude scientifique, la pertinence).
BookMIA : Écriture créative (évaluant la cohérence, le réalisme, l'achèvement de l'intrigue).

Le protocole d'évaluation implique un processus en deux étapes : l'échantillonnage de multiples continuations de l'étape suivante pour calculer la SE (divergent), suivi d'un décodage glouton (greedy decoding) pour construire une solution finale pour le juge multi-agents (convergent).

Résultats Clés

Conclusions sur la Créativité Divergente

Validité : L'Entropie Sémantique montre l'accord le plus élevé avec les jugements humains de l'étendue des idées ( $\kappa = 0,56$ ) comparé à la similarité cosinus, Self-BLEU et les métriques Distinct-n.
Corrélations : La SE au niveau des étapes (step-level) présente une corrélation positive avec le nombre de clusters sémantiques uniques et une corrélation négative avec la similarité cosinus par paire, confirmant qu'elle capture une véritable diversité conceptuelle.
Comportement d'échelle : Contrairement aux métriques convergentes, la créativité divergente ne croît pas de manière monotone avec la taille ou la récence du modèle. Les modèles plus grands et plus récents (ex. : LLaMA 3.3, GPT-4o) présentent souvent une SE stable ou même diminuée par rapport à leurs homologues plus petits. Les auteurs suggèrent que les paradigmes d'entraînement actuels peuvent privilégier la correction de la solution au détriment de l'exploration créative.

Conclusions sur la Créativité Convergente

Performance : Le cadre multi-agents basé sur la récupération atteint une précision comparable aux annotateurs humains (ex. : 84,7 % contre 82,7 % pour GPT-4o vs Humain sur MacGyver) tout en étant nettement plus efficace.
Comportement d'échelle : La créativité convergente (accomplissement de la tâche) croît effectivement avec la taille du modèle, la récence et l'inclusion de capacités de raisonnement. Les modèles comme GPT-4o et LLaMA 3.1 70B surpassent systématiquement les modèles plus petits ou plus anciens.

Relation entre les Dimensions

Séparabilité empirique : Il existe une faible corrélation entre l'Entropie Sémantique (divergent) et les métriques de créativité convergente. Une grande diversité ne conduit pas intrinsèquement à un mauvais accomplissement de la tâche, et un haut niveau d'accomplissement de la tâche ne garantit pas une grande diversité.
Interprétation : Cela suggère que la « largeur créative » et la « correction de la tâche » sont des dimensions distinctes qui peuvent être optimisées indépendamment.

Signification et Revendications

L'article affirme établir un standard reproductible et généralisable pour l'évaluation automatisée de la créativité des LLM. Ses principales contributions sont :

Une métrique sans référence : Introduction de l'Entropie Sémantique comme une mesure robuste et agnostique aux tâches de la créativité divergente, qui s'aligne sur les jugements humains de nouveauté et de flexibilité.
Évaluation scalable : Développement d'un cadre multi-agents basé sur la récupération qui réduit les coûts de calcul de plus de 60 % tout en maintenant une haute fidélité d'évaluation, rendant possible le benchmarking à grande échelle.
Aperçu du comportement des modèles : Fournir des preuves empiriques que les paradigmes d'entraînement actuels des LLM optimisent le raisonnement structuré et la correction (convergent) mais n'élargissent pas nécessairement l'exploration créative (divergent).

Les auteurs concluent qu'en découplant la mesure de la tâche créative, leur cadre fournit une base pour étudier comment les choix architecturaux et d'entraînement façonnent le comportement créatif, ouvrant la voie au benchmarking scalable et au développement d'une « IA créative ».

Limites

Les auteurs reconnaissent que le cadre repose sur des jugements basés sur des LLM, ce qui comporte intrinsèquement les interprétations subjectives et les connaissances préalches encodées dans les modèles. Cela peut conduire à ce que des solutions non conventionnelles soient jugées incorrectement comme infaisables. De plus, la charge de calcul pour générer et regrouper de multiples sorties par tâche reste une contrainte pour les jeux de données extrêmement vastes.