Technische Samenvatting: AGC-Bench: Het meten van Kunstmatige Algemene Creativiteit

Probleemstelling

Creativiteitsonderzoek debatteert al lang of creatieve bekwaamheid een algemeen vermogen is (analoog aan de g-factor van Spearman in intelligentie) of een verzameling domeinspecifieke vaardigheden. Hoewel Large Language Models (LLM's) steeds vaker worden gevraagd om creatieve output, ontbreekt het het vakgebied aan een uniforme infrastructuur om te evalueren of de creativiteit van een model generaliseert over domeinen heen of dat deze gesiloed blijft. Bestaande evaluaties zijn gefragmenteerd over honderden heterogene benchmarks met incompatibele scoringsprotocollen, wat het empirisch onmogelijk maakt om te bepalen of een model dat uitblinkt in creatief schrijven ook beschikt over sterke capaciteiten in wetenschappelijke ideatie, humor of probleemoplossing. Bovendien introduceert de afhankelijkheid van "LLM-als-rechter" systematische biases in laksheid en strengheid die werkelijke prestatieverschillen vertroebelen.

Methodologie

1. Constructie van AGC-Bench

De auteurs introduceren AGC-Bench, een meta-benchmark die is geconstrueerd via een PRISMA-conforme systematische review van de AI-creativiteitsliteratuur.

• Literatuuronderzoek: Vanuit 3.101 kandidaat-papers (2018–2025) identificeerde het team 497 unieke benchmarks.
• Onboarding Pipeline: Een agentic workflow heeft 78 van deze benchmarks omgezet in gestandaardiseerde, uitvoerbare HELM-stijl scenario's. Dit omvatte 67 tekstuele datasets en 11 multimodale scenario's.
• Taxonomie: De tekstuele datasets werden georganiseerd in zes domeinen geworteld in menselijk creativiteitsonderzoek: Brainstorming, Probleemoplossing, STEM, Verhaal/Narratief, Figuurlijk Taalgebruik en Humor.
• Evaluatieschaal: 83 frontier LLM's (proprietary en open-weight) werden geëvalueerd over deze datasets. Elk (model, dataset)-paar werd gescoord op $n=50$ items, waarbij de rangorde-stabiliteit werd bevestigd via bootstrapping.

2. Scoring en Kalibratie (Judge Response Theory)

Om de bias in automatische scoring aan te pakken, pasten de auteurs Judge Response Theory (JRT) toe:

• Drie-rechter Panelen: Er werd een "planned-missing 2-of-3" ontwerp gebruikt, waarbij elk item werd beoordeeld door twee van de drie frontier LLM-rechters (Gemini-3-Flash, Grok-4.1-Fast, GPT-4.1-mini).
• Bayesiaanse Kalibratie: Een Bayesiaans Graded Response Model (GRM) werd gefit om per-rechter strengheid en discriminatieparameters te herstellen, waardoor systematische laksheid of strengheid werd gecorrigeerd.
• AGC-Judge: Een Qwen3-30B-A3B-Instruct model werd gefinetuned op 48.299 JRT-gecorrigeerde beoordelingen om AGC-Judge te creëren, een open-weight scoring model dat het drie-rechter ensemble met hoge nauwkeurigheid repliceert ($\rho \ge 0.97$) terwijl het ratings op ongeziene benchmarks met hoge getrouwheid voorspelt ($\rho = 0.83$).

3. Psychometrische Analyse

De studie maakte gebruik van factoranalyse op de 83 modellen $\times$ 6 domeinen matrix om te testen op een algemene creativiteitsfactor.

• Externe Validiteit: De constructvaliditeit van de benchmark werd verankerd tegen een zuivere fluïde redeneerprobe ($G_f$) (Lewis-Mitchell counterfactual letter-string analogieën), een door mensen beoordeelde creativiteitsbatterij (MuCE), en binnen-model interventies (modellen instrueren om "creatief te zijn" versus "effectief te zijn", en het aan- of uitzetten van redeneermodi).
• Menselijke Vergelijking: Een subset van vijf taken (AGC-Human) maakte directe vergelijking mogelijk tussen 224 menselijke participanten en 125 LLM-evaluaties.

Belangrijkste Resultaten

1. Bestaan van een Algemene Creativiteitsfactor (c)

Factoranalyse over de 83 modellen onthulde een enkele, dominante creativiteitsfactor, aangeduid als $c$, die 81,5% van de variantie over de zes domeinen verklaart (Cronbach's $\alpha = 0.96$).

• Scheidbaarheid: Hoewel $c$ correleert met fluïde redeneren ($\rho = 0.55$) en algemene kennis ($\rho = 0.62$), blijft het statistisch scheidbaar van beide. Het is ook scheidbaar van model schaal, hoewel het totaal aantal parameters matig correleert ($\rho = 0.69$).
• Robuustheid: De factor blijft bestaan na het partiëren van fluïde redeneren, over verschillende scoring-families (formule-gebaseerd versus LLM-judge) en onder model-subsampling.

2. Domeinspecifieke Prestatievariaties

Hoewel een algemene factor bestaat, is de prestatie niet uniform.

• Leaderboard: Proprietary frontier modellen (bijv. Claude Opus 4.7, GPT-5.4/5.5) leiden het algemene composiet, met open-weight modellen (bijv. GLM-5.1) die er vlak achter volgen.
• Dissociaties: Specifieke modellen vertonen duidelijke sterktes. Zo voert kimi-k2.5 de lijst aan bij Probleemoplossing, maar staat het niet in de top 5 voor andere domeinen, terwijl claude-opus-4.6-fast de leiding neemt bij Figuurlijk Taalgebruik.

3. Gevoeligheid voor Creativiteit-specifieke Prompts

Interventie-experimenten toonden aan dat de benchmark specifiek creativiteit trackt in plaats van algemene redenering:

• Het instrueren van modellen om "creatief te zijn" resulteerde in een grote prestatieverbetering ($d_z = +1.40$), terwijl het inschakelen van redeneercapaciteiten een veel kleinere verschuiving produceerde ($d_z = +0.34$).

4. Menselijke versus LLM Creativiteit

Op de gekoppelde menselijke subset:

• Domein Generalisatie: Creativiteit is significant meer domein-generaal in LLM's ($\alpha = 0.64$) dan in mensen ($\alpha = 0.42$).
• Prestatieplafond: De beste menselijke performer leidt de beste LLM nog steeds met 0,12 standaarddeviaties, hoewel frontier modellen de menselijke prestaties op het gebied van ideatie en creatief schrijven naderen.

Belangrijkste Bijdragen

1. AGC-Bench: Een grootschalige meta-benchmark bestaande uit 78 datasets (67 tekstueel, 11 multimodaal) die verenigd zijn onder één enkel evaluatie-harnas, wat een orde van grootte groter is dan eerder werk.
2. AGC-Judge: Een open-weight, gefinetuned scoring model dat de consensus van een drie-rechter frontier panel reproduceert tegen een fractie van de kosten, wat schaalbare en reproduceerbare creativiteitsevaluatie mogelijk maakt.
3. Psychometrische Infrastructuur: Een reproduceerbare pipeline die een PRISMA systematische review combineert met agentic onboarding en JRT-kalibratie, waarmee een formele test wordt gevestigd voor de "Artificial General Creativity" hypothese.
4. Empirisch Bewijs: De eerste grootschalige demonstratie dat de creativiteit van LLM's grotendeels unidimensionaal is (een algemene $c$-factor) en toch onderscheidend is van algemene intelligentie en redeneren.

Betekenis

Het artikel biedt de eerste empirische test van de vraag of creatieve bekwaamheid in LLM's een algemeen vermogen is of een reeks domeinspecifieke vaardigheden. Door een sterke algemene creativiteitsfactor ($c$) te herstellen, suggereren de auteurs dat creativiteit in AI, net als intelligentie, een overdraagbare capaciteit kan zijn die schaalt met modelgrootte en training, in plaats van een puur emergente eigenschap van specifieke taken. De release van AGC-Bench, het onboarding-harnas en AGC-Judge biedt de gemeenschap een gestandaardiseerde infrastructuur om voorbij gefragmenteerde, enkelvoudige domein-evaluaties te bewegen naar een holistisch begrip van AI-creativiteit. De auteurs merken op dat hoewel huidige modellen de menselijke prestaties benaderen, de topmens nog steeds leidt, en dat de benchmark momenteel geen theoretisch plafond heeft, maar dient als een relatieve maatstaf tegen de huidige frontier.