Technische Samenvatting: CreativityPrism

Probleemstelling

Ondanks de snelle vooruitgang van Large Language Models (LLM's) in het genereren van creatieve tekst, is er momenteel geen verenigd, domeinoverstijgend en schaalbaar framework om de creativiteit van LLM's te evalueren. Bestaande evaluatiemethoden lijden onder twee primaire beperkingen:

1. Fragmentatie: Huidig onderzoek is verspreid over specifieke domeinen (bijv. divergent denken, creatief schrijven, coderen, wiskunde) met nauwe definities van creativiteit. Benchmarks richten zich vaak op enkelvoudige dimensies (bijv. lexicale diversiteit of onconventionele ideeën) en variëren in de modellen die ze testen, wat vergelijking tussen modellen bemoeilijkt.
2. Schaalbaarheid: Creativiteit is inherent subjectief, wat ertoe leidt dat veel bestaande benchmarks zwaar leunen op menselijke evaluatie. Deze aanpak is even evenredig duur, traag en moeilijk te repliceren op schaal, wat een flessenhals vormt voor de snelle iteratie die vereist is in modern AI-onderzoek.

Methodologie

De auteurs stellen CreativityPrism voor, een domeinoverstijgend evaluatieframework dat ontworpen is om de beoordeling van creativiteit te consolideren in een schaalbare, automatische pijplijn.

Framework Design

• Taakselectie: Het framework integreert acht taken over drie afzonderlijke domeinen:
  • Divergent Denken: Alternative Uses Test (AUT), Divergent Association Task (DAT) en Torrance Tests of Creative Thinking (TTCT).
  • Creatief Schrijven: Torrance Test of Creative Writing (TTCW), Creative Short Story en Creativity Index.
  • Logisch Redeneren: Creatieve Wiskunde en NeoCoder (coderen onder beperkingen).
• Taxonomie van Dimensies: Voorbij eenvoudige taakaggregatie categoriseren de auteurs alle evaluatiemetrieken in drie theoretische dimensies van creativiteit, gebaseerd op de Torrance Tests of Creative Thinking (TTCT):
  1. Kwaliteit (Quality): Het vermogen om coherente, goed gevormde en functionele reacties te produceren (bijv. coderechtmatigheid, narratieve vloeiendheid).
  2. Nieuwheid (Novelty): Het vermogen om outputs te produceren die afwijken van veelvoorkomende of bestaande oplossingen (bijv. uniciteit vergeleken met trainingscorpora of referentiedatasets).
  3. Diversiteit (Diversity): De breedte van de outputdistributie, waarbij wordt gemeten hoe sterk een model zijn reacties varieert over verschillende generaties (bijv. semantische afstand tussen gegenereerde zelfstandige naamwoorden).
• Schaalbare Evaluatie (LLM-as-a-Judge): Om schaalbaarheid te garanderen, maakt het framework gebruik van automatische evaluatie. Voor metrieken die subjectieve beoordeling vereisen, gebruiken de auteurs een LLM-as-a-Judge paradigma. Cruciaal is dat zij deze judges valideren met de Alternative Annotator Test (Calderon et al., 2025), waarbij zij ervoor zorgen dat de gekozen LLM-judges nauw aansluiten bij hoogwaardige menselijke annotaties (Fleiss Kappa $\ge$ 0.4) voordat zij worden ingezet.

Experimentele Opzet

• Geëvalueerde Modellen: 17 State-of-the-Art (SoTA) LLM's werden getest, inclus\u00adbij frontier-scale modellen (GPT-4.1, Claude 3, Gemini 2.0, DeepSeek-V3/R1) en lokaal inzetbare open modellen (Mistral, Qwen, Llama, OLMo-families).
• Inference: Er zijn gestandaardiseerde inference-instellingen toegepast (Temperatuur 0.75, max tokens 4096), met specifieke aanpassingen voor taken zoals Creatieve Wiskunde (Temperatuur 0.0) en de Creativity Index (Temperatuur 1.0).
• Scoring: Ruwe metrieken werden via min-max normalisatie geaggregeerd in de drie dimensies (Kwaliteit, Nieuwheid, Diversiteit) en een algemene creativiteitsscore.

Belangrijkste Resultaten

De evaluatie van 17 LLM's leverde verschillende significante bevindingen op:

1. Prestatiekloof: Frontier-scale modellen presteren aanzienlijk beter dan lokaal inzetbare open modellen. De beste frontier-modellen leiden de beste open modellen met ongeveer 0.10 (15%) over de creatieve dimensies heen.

   • Deze kloof is het meest uitgesproken in Logisch Redeneren en Creatief Schrijven.
   • De kloof is kleiner in Divergent Denken, wat suggereert dat dit domein minder prioriteit krijgt in huidige post-training regimes vergeleken met redeneren en schrijven.
   • De Kwaliteit-dimensie vertoont de grootste prestatieverschil, waarschijnlijk door de zware nadruk op redeneertaken in de training van frontier-modellen.

2. Gebrek aan Generalisatie: Hoge prestaties in één creatieve dimensie of domein garanderen geen succes in andere.

   • Nieuwheid-metrieken vertonen zwakke of zelfs negatieve correlaties met andere metrieken. Bijvoorbeeld, een model kan zeer diverse outputs genereren (hoge diversiteit) die individueel onorigineel zijn (lage nieuwheid), of een enkele nieuwige output produceren zonder variatie (hoge nieuwheid, lage diversiteit).
   • Deze fragmentatie bevestigt dat creativiteit geen monolithische capaciteit is; de "creativiteit" van een model is sterk taak- en dimensieafhankelijk.

3. Model Ranglijsten: Onder de open modellen kwam Qwen2.5-72B als de beste presteerder naar voren. Onder de frontier-modellen vertoonden DeepSeek-V3 en GPT-4.1 de hoogste algemene creatieve capaciteiten.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. Verenigd Framework: Het introduceert CreativityPrism, het eerste framework dat acht taken uit drie domeinen systematisch combineert in één schaalbare evaluatiepijplijn.
2. Dimensionale Taxonomie: Het stelt een "Kwaliteit, Nieuwheid en Diversiteit" taxonomie voor, met het argument dat het scheiden van "originaliteit" in "nieuwheid" (diepte/afwijking) en "diversiteit" (breedte/variantie) essentieel is voor genuanceerde LLM-evaluatie.
3. Betrouwbare Automatisering: Het valideert het gebruik van LLM-as-a-Judge voor de beoordeling van creativiteit via rigoureuze menselijke alignment-testen (Alternative Annotator Test), wat een schaalbaar alternatief biedt voor handmatige beoordeling.
4. Empirische Inzichten: De benchmark laat zien dat huidige LLM's gefragmenteerde creatieve vermogens vertonen, waarbij frontier-modellen uitblinken in redeneringsgestuurde creativiteit maar geen significant voordeel laten zien in divergent denken. Dit benadrukt de noodzaak van domeinoverstijgende frameworks om misleidende conclusies over modelcapaciteiten te voorkomen.

Beperkingen

De auteurs erkennen enkele beperkingen:

• Modaliteit: Het framework is momenteel beperkt tot tekst; multimodale creativiteit wordt niet gedekt vanwege de onvolwassenheid van automatische evaluatiemethoden in dat gebied.
• Domeindekking: Hoogst creatieve domeinen zoals wetenschappelijke ontdekking en inventief ontwerp zijn uitgesloten vanwege een gebrek aan betrouwbare automatische evaluatiemetrieken.
• Menselijke Validatie: Hoewel de LLM-judges zijn gevalideerd, waren de menselijke annotatoren voornamelijk CS-onderzoekers in plaats van experts in het domein van creativiteit, en waren de steekproeven beperkt door middelen.
• Data Contaminatie: Modellen met een latere releasedatum kunnen een voordeel hebben op de nieuwheid-metrieken als hun trainingsdata overlap vertoont met de referentiecorpora van de benchmark.

Concluderend stelt het artikel dat een domeinoverstijgend, multidimensionaal framework zoals CreativityPrism essentieel is voor elke betekenisvolle beoordeling van de creativiteit van LLM's, aangezien single-domain of single-metric evaluaties er niet in slagen de complexiteit van machinecreativiteit te vatten.