🤖 AI

Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers

Dit artikel evalueert systematisch bestaande tests voor menselijke creativiteit voor het voorspellen van de prestaties van grote taalmodellen (LLM's) op het gebied van schrijven, divergent denken en wetenschappelijke ideatie, waarbij hun beperkte validiteit aan het licht komt en de Divergent Remote Association Test (DRAT) wordt geïntroduceerd als het eerste robuuste instrument dat wetenschappelijke ideatie kan voorspellen door zowel convergent als divergent denken gelijktijdig te beoordelen.

Oorspronkelijke auteurs: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische bibliotheek voor vol met zeer slimme robots (Large Language Models, of LLM's). Je wilt weten welke van hen echt "creatief" zijn. Maar hoe meet je creativiteit in een machine?

Al geruime tijd proberen wetenschappers dezelfde tests te gebruiken die ze op mensen toepassen om deze robots te beoordelen. Het is alsof je de beklimming van een boom door een vis meet, omdat je wilt weten hoe goed het dier is in klimmen. Dit artikel betoogt dat hoewel sommige van deze oude tests redelijk werken, ze vaak falen in het vertellen van het volledige verhaal, vooral wanneer het gaat om wetenschappelijke ideeën.

Hier is een eenvoudige uiteenzetting van wat de onderzoekers vonden en wat ze hebben gebouwd om het op te lossen.

1. Het Probleem: Het Gebruik van de Verkeerde Linialen

De onderzoekers keken naar twee hoofdtypes "creatietests" die mensen afleggen:

Divergent Denken: Iemand vragen om veel verschillende, rare antwoorden op een vraag te bedenken (zoals "noem 10 dingen die volledig van elkaar verschillen").
Convergent Denken: Iemand vragen om het ene juiste antwoord te vinden dat drie ongerelateerde dingen verbindt (zoals "cottage", "Zwitsers" en "cake" $\rightarrow$ "kaas").

Het team testte tientallen AI-modellen met deze menselijke tests. Ze ontdekten een paar verrassende dingen:

De "Slimheid"-Valstrik: Veel tests die leken creativiteit te meten, maten eigenlijk gewoon hoe "slim" of kennisrijk de robot was. Als een robot goed is in wiskunde en lezen, scoort het van nature hoog op deze tests, zelfs als het niet echt creatief is. Het is alsof je een student beoordeelt op een wiskundetoets en het een "creatietest" noemt, alleen maar omdat ze een hoge score behaalde.
Het "Wetenschappelijke" Blinde Vlekje: De meest schokkende bevinding was dat geen enkele van de bestaande menselijke tests betrouwbaar kon voorspellen of een AI goede wetenschappelijke ideeën kon bedenken. Je kunt een robot hebben die geweldig is in het schrijven van verhalen of het opsommen van willekeurige woorden, maar slecht in het uitvinden van een nieuwe wetenschappelijke theorie. De oude linialen werkten gewoon niet voor deze taak.
Het Paradox van Nieuwere Modellen: Naarmate AI-modellen nieuwer en krachtiger werden, werden ze eigenlijk slechter in divergent denken (het bedenken van unieke, rare ideeën). Ze werden stijver en standaard, alsof een fabriek hetzelfde koekje steeds opnieuw produceert, in plaats van een chef-kok die een nieuw recept uitvindt.

2. De Oplossing: Een Nieuwe Hybride Test (DRAT)

Omdat de oude tests faalden in het voorspellen van wetenschappelijke creativiteit, bedachten de auteurs een nieuwe test genaamd de Divergent Remote Association Test (DRAT).

Stel je de oude tests voor als twee aparte gereedschappen:

Gereedschap A (Divergent): Een sloopkogel die dingen uit elkaar slaat om te zien hoeveel verschillende stukken je krijgt.
Gereedschap B (Convergent): Een schroevendraaier die dingen vastdraait om de ene perfecte pasvorm te vinden.

Het probleem met wetenschappelijke creativiteit is dat je beide tegelijk nodig hebt. Je moet ideeën uit elkaar slaan om iets nieuws te vinden, maar daarna moet je ze vastdraaien om ervoor te zorgen dat ze echt zinvol zijn en bij het probleem passen.

Hoe DRAT werkt:
Stel je voor dat je de AI drie heel verschillende "ankerwoorden" geeft (zoals "hartslag", "pijpleiding" en "topologie").

De Uitdaging: De AI moet 10 woorden genereren die allemaal verschillend van elkaar zijn (Divergent).
De Vangst: Maar, elk van die 10 woorden moet ook metaforisch kunnen verbinden met alle drie de ankerwoorden (Convergent).

Het is alsof je een dichter vraagt om 10 volledig verschillende gedichten te schrijven, maar elk gedicht moet stiekem gaan over een specifieke, complexe machine. Als de AI dit kan, bewijst het dat het tegelijkertijd wild en logisch kan denken.

3. De Resultaten

Toen ze deze nieuwe DRAT-tool testten:

Het werkte! Het was de eerste test die succesvol kon voorspellen welke AI-modellen goed waren in het bedenken van wetenschappelijke ideeën.
Het was niet zomaar een som van delen: De onderzoekers probeerden de oude "sloop"-test en de oude "schroef"-test te combineren om te zien of dat zou werken. Dat deed het niet. De nieuwe DRAT-tool deed iets speciaals dat de twee oude tools op zichzelf niet konden. Het bewees dat je, om wetenschappelijke creativiteit te meten, de vaardigheid moet testen om tegelijkertijd wild en logisch te zijn.

De Grote Conclusie

Het artikel concludeert dat we niet zomaar oude menselijke tests kunnen gebruiken om AI-creativiteit te beoordelen.

Als je wilt weten of een AI goed is in verhalen schrijven, gebruik dan de "Divergent Association Task" (de rare woordenlijst).
Als je wilt weten of een AI goed is in divergent denken (vele opties opsommen), gebruik dan de "Conditional Divergent Association Task".
Maar als je wilt weten of een AI nieuwe wetenschap kan uitvinden, heb je de nieuwe DRAT-test nodig, omdat deze controleert of de machine tegelijkertijd wild verbeeldingsrijk en logisch verbonden kan zijn.

Kortom: Om het wetenschappelijke genie van een robot te meten, heb je een test nodig die het dwingt vuur te gooien (divergentie) terwijl het over een slakkenlijn loopt (convergentie). De oude tests vroegen het alleen om het een of het ander te doen.

Technische Samenvatting: Beoordeling van de Creativiteit van Grootte Taalmodellen

Probleemstelling
Het artikel behandelt het gebrek aan vastgestelde validiteit bij het gebruik van menselijke creativiteitstests om Grootte Taalmodellen (LLMs) te evalueren. Hoewel het gebruikelijk is om tests voor convergent denken (het vinden van één correct antwoord) en divergent denken (het genereren van unieke antwoorden) toe te passen op LLMs, blijft hun vermogen om daadwerkelijke creatieve prestaties in machines te voorspellen onbewezen. Bovendien falen bestaande tests vaak om te onderscheiden tussen algemene modelcapaciteit en specifieke creatieve vaardigheid, en vertonen ze inconsistent prestatiegedrag over verschillende creatieve domeinen. Opvallend is dat, terwijl scores voor creatief schrijven en wetenschappelijke ideatie bij LLMs in de loop van de tijd zijn gestegen, scores voor divergent denken zijn gedaald. Dit suggereert dat huidige evaluatiemetrics mogelijk niet het volledige spectrum van machinecreativiteit vastleggen, of dat ze verward worden met algemene capaciteit.

Methodologie
De auteurs voerden een grootschalige, systematische studie uit met 54 instructie-geoptimaliseerde LLMs van 10 aanbieders. Ze evalueerden bestaande geautomatiseerde creativiteitstests tegen zes benchmarks die drie doelconstructen bestrijken:

Creatief Schrijven: Chatbot Arena Creatief Schrijven, EQ-Bench Creatief Schrijven en Mazur Creatief Schrijven.
Divergent Denken: Hivemind en NoveltyBench.
Wetenschappelijke Ideatie: LiveIdeaBench.

Om de effectiviteit van tests rigoureus te beoordelen, introduceerden de auteurs twee evaluatiemetrics:

Validiteit: De ruwe Pearson-correlatie ( $r$ ) tussen een testscore en een benchmarkscore.
Specificiteit: De semi-partiële correlatie ( $r|g$ ) tussen een testscore en een benchmark, na het residualiseren van de benchmarkscore op een proxy voor algemene capaciteit ( $g$ ), gedefinieerd als een combinatie van Arena Overall Elo en MMLU-Pro-nauwkeurigheid. Deze metric isoleert de variantie in creatieve prestaties die niet al wordt verklaard door algemene modelcapaciteiten.

De studie bewees ook een theoretische bovengrens (de "validiteit-specificiteit grens") voor de maximale haalbare specificiteit die een test kan bereiken, gegeven zijn validiteit en de correlatie van de benchmark met algemene capaciteiten.

Belangrijkste Bijdragen

Systematische Evaluatie: De eerste grootschalige studie die de voorspellende kracht van menselijke creativiteitstests voor creatieve prestaties van LLMs beoordeelt over drie distincte constructen.
Evaluatiekader: De introductie van "specificiteit" als een kritische metric om ervoor te zorgen dat creativiteitstests creatieve vaardigheid meten, onafhankelijk van algemene intelligentie/capaciteit.
Theoretische Grenzen: Een bewijs dat de theoretische limiet (grens) vaststelt voor de gezamenlijke validiteit en specificiteit van elke creativiteitstest.
Empirische Bevindingen over Bestaande Tests:
- De Divergent Association Task (DAT) is de beste voorspeller van creatief schrijven.
- De Conditional DAT (CDAT) is de beste voorspeller van divergent denken.
- Geen enkele bestaande test voorspelt wetenschappelijke ideatie betrouwbaar.
- Tests zoals PACE (Parallel Association Chain Evaluation) tonen hoge validiteit maar lage specificiteit, wat aangeeft dat ze grotendeels fungeren als proxies voor algemene capaciteit in plaats van creativiteit onafhankelijk te meten.
Nieuw Testvoorstel (DRAT): De introductie van de Divergent Remote Association Test (DRAT), een nieuw instrument dat tegelijkertijd convergent en divergent denken beoordeelt.

Resultaten

Constructspecificiteit: De studie vond dat geen enkele test alle drie de constructen goed voorspelt. De effectiviteit van een test is sterk afhankelijk van het specifieke construct dat wordt gemeten.
Kloof in Wetenschappelijke Ideatie: Bestaande tests, inclusief die welke zowel originaliteit als geschiktheid meten (zoals CDAT), slaagden er niet in om significante validiteit of specificiteit voor wetenschappelijke ideatie te bereiken.
DRAT-prestaties: De DRAT, die het genereren van woorden vereist die maximaal verschillend van elkaar zijn (divergent) terwijl ze metaforisch toepasbaar zijn op meerdere ankerwoorden (convergent), behaalde significante validiteit ( $r = +0.57$ ) en specificiteit ( $r|g = +0.50$ ) in het voorspellen van wetenschappelijke ideatie.
Niet-lineaire Noodzaak: Regressieanalyse toonde aan dat de voorspellende kracht van DRAT niet kan worden hersteld door een lineaire combinatie van afzonderlijke DAT- en Remote Associates Test (RAT)-scores. Dit geeft aan dat het beoordelen van convergent en divergent denken binnen één instrument essentieel is voor het voorspellen van wetenschappelijke creativiteit.
Robuustheid: De DRAT-prestaties waren robuust over verschillende embedding-modellen en anker-setgroottes, waarbij wetenschappelijke termen als ankers betere resultaten opleverden dan willekeurige zelfstandige naamwoorden uit ConceptNet.

Betekenis en Beweringen
Het artikel beweert het eerste rigoureuze bewijs te leveren dat menselijke creativiteitstests niet uniform vertalen naar evaluatie van machinecreativiteit. Het betoogt dat:

Huidige tests vaak algemene capaciteit verwarren met creativiteit, wat het gebruik van specificiteitsmetrics noodzakelijk maakt.
Er aanzienlijke "ruimte" is voor het ontwerpen van betere tests, aangezien bestaande tests ver onder de theoretische validiteit-specificiteit-grens vallen.
Wetenschappelijke creativiteit bij LLMs een specifiek type cognitieve beoordeling vereist dat zowel convergent als divergent denken integreert, een gat dat wordt opgevuld door de DRAT.
De DRAT de eerste test is die wetenschappelijke ideatiecapaciteit bij LLMs significant voorspelt, en zo een nieuw instrument biedt voor onderzoekers om wetenschappelijke creativiteit in AI-systemen te evalueren en potentieel te verbeteren.

De auteurs concluderen dat hun bevindingen praktische richtlijnen bieden voor het selecteren van geschikte tests voor specifieke creatieve constructen en een nieuwe methodologie voorstellen om de meting van wetenschappelijke creativiteit in AI te bevorderen.

1. Het Probleem: Het Gebruik van de Verkeerde Linialen

2. De Oplossing: Een Nieuwe Hybride Test (DRAT)

3. De Resultaten

De Grote Conclusie

Technische Samenvatting: Beoordeling van de Creativiteit van Grootte Taalmodellen

Meer zoals dit