Résumé technique : AGC-Bench : Mesurer la créativité artificielle générale

Problématique

La recherche sur la créativité débat depuis longtemps pour savoir si la capacité créative est une aptitude générale (analogue au facteur g de Spearman pour l'intelligence) ou un ensemble de compétences spécifiques à des domaines. Bien que les grands modèles de langage (LLM) soient de plus en plus sollicités pour des productions créatives, le domaine manque d'une infrastructure unifiée pour évaluer si la créativité d'un modèle se généralise à travers les domaines ou reste cloisonnée. Les évaluations existantes sont fragmentées entre des centaines de benchmarks hétérogènes aux protocoles de notation incompatibles, ce qui rend empiriquement impossible de déterminer si un modèle excellent en écriture créative possède également de fortes capacités en idéation scientifique, en humour ou en résolution de problèmes. De plus, le recours au « LLM-as-a-judge » (le LLM comme juge) introduit des biais systématiques de complaisance ou de sévérité qui obscurcissent les réelles différences de performance.

Méthodologie

1. Construction de l'AGC-Bench

Les auteurs introduisent l'AGC-Bench, un méta-benchmark construit via une revue systématique de la littérature sur la créativité de l'IA, conforme aux normes PRISMA.

• Revue de la littérature : À partir de 3 101 articles candidats (2018–2025), l'équipe a identifié 497 benchmarks uniques.
• Pipeline d'intégration (Onboarding) : Un flux de travail agentique a converti 78 de ces benchmarks en scénarios standardisés et exécutables de type HELM. Cela inclut 67 jeux de données textuels et 11 scénarios multimodaux.
• Taxonomie : Les jeux de données textuels ont été organisés en six domaines fondés sur la recherche humaine en créativité : Brainstorming, Résolution de problèmes, STEM, Récit/Narration, Langage figuratif et Humour.
• Échelle d'évaluation : 83 LLM de pointe (propriétaires et à poids ouverts) ont été évalués sur ces jeux de données. Chaque paire (modèle, jeu de données) a été notée sur $n=50$ éléments, avec une stabilité de rang confirmée par bootstrap.

2. Notation et Calibrage (Théorie de la réponse du juge)

Pour remédier au biais de notation automatisée, les auteurs ont appliqué la Théorie de la réponse du juge (JRT - Judge Response Theory) :

• Panel de trois juges : Une conception de type « 2 sur 3 » avec données manquantes planifiées a été utilisée, où chaque élément est évalué par deux des trois juges LLM de pointe (Gemini-3-Flash, Grok-4.1-Fast, GPT-4.1-mini).
• Calibrage bayésien : Un modèle de réponse graduée bayésien (GRM) a été ajusté pour récupérer les paramètres de sévérité et de discrimination par juge, corrigeant ainsi la complaisance ou la dureté systématiques.
• AGC-Judge : Un modèle Qwen3-30B-A3B-Instruct a été affiné sur 48 299 évaluations corrigées par la JRT pour créer AGC-Judge, un modèle de notation à poids ouverts qui reproduit l'ensemble des trois juges avec une grande précision ($\rho \ge 0,97$) tout en prédisant les évaluations sur des benchmarks inédits avec une haute fidélité ($\rho = 0,83$).

3. Analyse psychométrique

L'étude a employé une analyse factorielle sur la matrice des 83 modèles $\times$ 6 domaines pour tester l'existence d'un facteur de créativité générale.

• Validité externe : La validité de construit du benchmark a été ancrée par rapport à une sonde de raisonnement fluide pur ($G_f$) (analogies de chaînes de lettres contrefactuelles de Lewis-Mitchell), une batterie de tests de créativité notée par des humains (MuCE), et des interventions intra-modèles (inciter les modèles à « être créatifs » vs « être efficaces », et basculer les modes de raisonnement).
• Comparaison humaine : Un sous-ensemble de cinq tâches (AGC-Human) a permis une comparaison directe entre 224 participants humains et 125 évaluations de LLM.

Résultats clés

1. Existence d'un facteur de créativité générale (c)

L'analyse factorielle des 83 modèles a révélé un facteur de créativité unique et dominant, noté $c$, qui explique 81,5 % de la variance à travers les six domaines (alpha de Cronbach = 0,96).

• Séparabilité : Bien que $c$ soit corrélé avec le raisonnement fluide ($\rho = 0,55$) et la connaissance générale ($\rho = 0,62$), il reste statistiquement séparable de ces deux derniers. Il est également séparable de la taille du modèle, bien que le nombre total de paramètres soit modérément corrélé ($\rho = 0,69$).
• Robustesse : Le facteur persiste après avoir neutralisé le raisonnement fluide, à travers différentes familles de notation (basées sur des formules vs juges LLM), et lors de la sous-échantillonnage des modèles.

2. Variations de performance par domaine

Bien qu'un facteur général existe, la performance n'est pas uniforme.

• Classement (Leaderboard) : Les modèles propriétaires de pointe (ex: Claude Opus 4.7, GPT-5.4/5.5) dominent le composite global, les modèles à poids ouverts (ex: GLM-5.1) suivant de près.
• Dissociations : Certains modèles présentent des forces distinctes. Par exemple, kimi-k2.5 arrive en tête pour la Résolution de problèmes mais ne figure pas dans le top 5 pour les autres domaines, tandis que claude-opus-4.6-fast domine significativement le Langage figuratif.

3. Sensibilité aux prompts spécifiques à la créativité

Les expériences d'intervention ont démontré que le benchmark suit spécifiquement la créativité plutôt que le raisonnement général :

• Inciter les modèles à « être créatifs » a entraîné un gain de performance important ($d_z = +1,40$), tandis que l'activation des capacités de raisonnement n'a produit qu'un changement mineur ($d_z = +0,34$).

4. Créativité Humaine vs LLM

Sur le sous-ensemble apparié humain :

• Généralité de domaine : La créativité est nettement plus générale au niveau des domaines dans les LLM ($\alpha = 0,64$) que chez les humains ($\alpha = 0,42$).
• Plafond de performance : Le meilleur performeur humain dépasse encore le meilleur LLM de 0,12 écart-type, bien que les modèles de pointe approchent le niveau humain sur les tâches d'idéation et d'écriture créative.

Contributions clés

1. AGC-Bench : Un méta-benchmark à grande échelle comprenant 78 jeux de données (67 textuels, 11 multimodaux) unifiés sous un seul harnais d'évaluation, représentant une augmentation d'un ordre de grandeur par rapport aux travaux précédents.
2. AGC-Judge : Un modèle de notation à poids ouverts et affiné qui reproduit le consensus d'un panel de trois juges de pointe à une fraction du coût, permettant une évaluation de la créativité scalable et reproductible.
3. Infrastructure psychométrique : Un pipeline reproductible combinant une revue systématique PRISMA avec un onboarding agentique et un calibrage JRT, établissant un test formel pour l'hypothèse de la « Créativité Artificielle Générale ».
4. Preuve empirique : La première démonstration à grande échelle que la créativité des LLM est largement unidimensionnelle (un facteur $c$ général) tout en étant distincte de l'intelligence générale et du raisonnement.

Signification

Cet article constitue le premier test empirique pour savoir si la capacité créative dans les LLM est une capacité générale ou un ensemble de compétences spécifiques à des domaines. En extrayant un fort facteur de créativité générale ($c$), les auteurs suggèrent que la créativité dans l'IA, tout comme l'intelligence, peut être une capacité transférable qui évolue avec la taille du modèle et l'entraînement, plutôt qu'une propriété purement émergente de tâches spécifiques. La publication de l'AGC-Bench, du harnais d'intégration et de l'AGC-Judge offre à la communauté une infrastructure standardisée pour dépasser les évaluations fragmentées et mono-domaines vers une compréhension holistique de la créativité de l'IA. Les auteurs notent que si les modèles actuels approchent la performance humaine, le meilleur humain reste en tête, et que le benchmark manque actuellement de plafond théorique, servant de mesure relative par rapport à la frontière actuelle.