Technische Samenvatting: Het heroverwegen van de evaluatie van creativiteit

Probleemstelling

Hoewel Large Language Models (LLM's) bekwaamheid hebben getoond in gestructureerde taken zoals logisch redeneren en vraagbeantwoording, blijft hun vermogen om creatieve inhoud te genereren beperkt en moeilijk te evalueren. Creativiteit is inherent multidimensionaal en domeinspecifiek, maar er is een gebrek aan betrouwbare, geautomatiseerde metrieken die de prestaties van LLM's over diverse creatieve domeinen effectief kunnen benchmarken. Bestaande evaluatiemethoden slagen er vaak niet in om aan te sluiten bij menselijke percepties van creativiteit, wat leidt tot inconsistenties in hoe "creatieve" outputs worden geïdentificeerd en gemeten. Dit artikel adresseert de kritische vraag: Hoe kunnen we evaluatiemetrieken selecteren die menselijk waargenomen creativiteit over verschillende domeinen accuraat weerspiegelen?

Methodologie

De auteurs voerden een uitgebreide analyse uit van vier representatieve creativiteitsmetrieken over drie verschillende creatieve domeinen:

1. Domeinen:

   • Creatief Schrijven: Generatie van artistieke en esthetische inhoud (bijv. filmplots, gedichten).
   • Onconventionele Probleemoplossing: Functioneel denken dat het doorbreken van cognitieve biases omvat (bijv. de MacGyver-taak).
   • Onderzoeksideatie: Logische synthese van bestaande feiten om nieuwe wetenschappelijke ideeën te genereren (bijv. ICLR paper-inzendingen).

2. Datasets:
   Voor elk domein hebben de auteurs datasets samengesteld met gepaarde voorbeelden van "creatieve" en "oncreatieve" outputs, gelabeld op basis van menselijke beoordeling.

   • Creatief Schrijven: 150 door mensen geschreven versus 150 door LLM gegenereerde narratieven.
   • Probleemoplossing: 573 onconventionele oplossingen versus door LLM gegenereerde conventionele oplossingen.
   • Onderzoeksideatie: 513 geaccepteerde papers versus 513 afgewezen papers van ICLR 2024, gefilterd op basis van scores voor degelijkheid (soundness) en presentatie om creativiteit als onderscheidende factor te isoleren.

3. Geëvalueerde Metrieken:
   De studie beoordeelde vier metrieken die opereren op verschillende niveaus van granulariteit:

   • Creativity Index (CI): Meet het originaliteitsniveau op zinsniveau door de n-gram overlap met grootschalige web-corpora te berekenen (met behulp van het DJ SEARCH/Infini-Gram algoritme).
   • Perplexity (PPL): Meet de statistische onverwachtheid op token-niveau op basis van taalmodel-voorspellingskansen.
   • Syntactische Templates: Evalueert structurele diversiteit door de afhankelijkheid van veelvoorkomende part-of-speech (POS) patronen te detecten (bijv. CR-POS, template rate, templates-per-token).
   • LLM-as-a-Judge: Gebruikt LLM's (specifiek Claude 3.7 Sonnet in de beste configuratie) met chain-of-thought (CoT) redenering en rubric-gebaseerde prompting om holistische, conceptuele beoordelingen te geven.

Belangrijkste Resultaten

De analyse onthulde significante inconsistenties, zowel over domeinen heen als tussen de metrieken:

• Creativity Index (CI):

  • Domeinsensitiviteit: CI onderscheidde creatieve van oncreatieve tekst effectief in Creatief Schrijven, maar faalde in het differentiëren in Probleemoplossing en Onderzoeksideatie.
  • Beperkingen: CI meet primair lexicale diversiteit in plaats van conceptuele nieuwheid. De scores zijn zeer gevoelig voor implementatiekeuzes, speciffelijk de reikwijdte van n-gram lengtes ($L$) en de selectie van het referentiecorpus. Kleine wijzigingen in $L$ (bijv. 5–7 versus 5–11) of het corpus kunnen de scores drastisch veranderen, waardoor het onderscheid tussen menselijke en LLM-outputs soms verwaarloosbaar wordt.

• Perplexity (PPL):

  • Inconsistentie: PPL vertoonde overlappende scoreverdelingen tussen creatieve en oncreatieve sets in alle domeinen. In sommige gevallen (bijv. Creatief Schrijven) had door LLM gegenereerde inhoud een hogere perplexiteit, terwijl in andere gevallen (bijv. Onderzoeksideatie) afgewezen papers een lagere perplexiteit hadden.
  • Conclusie: PPL reflecteert vloeiendheid en modelvertrouwen in plaats van nieuwheid of creativiteit.

• Syntactische Templates:

  • Effectiviteit: Deze metriek had moeite in domeinen waar nieuwe ideeën worden uitgedrukt via formule-achtige taal (bijv. Onderzoeksideatie en Probleemoplossing).
  • Observatie: In Creatief Schrijven werd gevonden dat LLM's zwaar leunden op repetitieve syntactische structuren (bijv. specifieke 8-gram templates voor plotwendingen), terwijl menselijk schrijven een grotere structurele variëteit vertoonde. Echter, de metriek slaagde er niet in om conceptuele creativiteit in andere domeinen te vangen.

• LLM-as-a-Judge:

  • Prestaties: Hoewel ze in isolatie een matige prestatie lieten zien, vertoonden LLM-judges aanzienlijke instabiliteit en bias.
  • Biases: Modellen vertoonden een neiging naar eenzijdige voorspellingen (bijv. het classificeren van de meeste oplossingen als "conventioneel" of plots als "niet-origineel").
  • Instabiliteit: Evaluaties waren zeer gevoelig voor kleine variaties in de prompt (bijv. het veranderen van "conventioneel" naar "onconventioneel" in de prompt draaide de voorkeuren van het model om). Herhaalde evaluaties van dezelfde instantie door dezelfde judge toonden slechts ~40% consistentie.
  • Correlatie: Er was een zwakke correlatie (Pearson $r \approx 0.16$) tussen LLM-scores en menselijke expert-scores in Onderzoeksideatie.

• Exploratory Semantic Novelty Score (SNS):

  • Een experimentele pipeline die gebruikmaakt van semantische embeddings om de conceptuele afstand te meten, slaagde er niet in om consistent onderscheid te maken tussen creatieve en oncreatieve outputs, wat de moeilijkheid benadrukt van het automatisch vastleggen van idee-niveau nieuwheid.

Belangrijkste Bijdragen

1. Kritische Analyse van Bestaande Metrieken: Het artikel demonstreert systematisch dat huidige geautomatiseerde metrieken (CI, PPL, Syntactische Templates, LLM-as-a-Judge) een gebrek aan generaliseerbaarheid en consistentie vertonen over creatieve domeinen.
2. Identificatie van Specifieke Beperkingen:
   • CI meet lexicale zeldzaamheid, geen conceptuele nieuwheid.
   • PPL meet vloeiendheid, geen creativiteit.
   • Syntactische templates missen semantische innovatie in formule-achtige contexten.
   • LLM-as-a-Judge is gevoelig voor bias, prompt-gevoeligheid en lage consistentie.
3. Diagnostisch Kader: De studie biedt een diagnostische grondslag voor het vakgebied door te verduidelijken waar en hoe huidige metrieken falen—met name in hun neiging om de nadruk te leggen op stilistische nieuwheid ten koste van conceptuele nieuwheid.
4. Publicatie van Resources: De auteurs hebben de gecureerde datasets en de evaluatiecode vrijgegeven om toekomstig onderzoek te faciliteren.

Betekenis en Claims

Het artikel concludeert dat het huidige landschap van creativiteitsevaluatie gefragmenteerd en onbetrouwbaar is. De bevindingen onderstrepen de dringende noodzaak voor robuustere, meer generaliseerbare evaluatiekaders die beter aansluiten bij menselijke oordelen over creativiteit.

De auteurs claimen bescheiden dat hun werk geen nieuwe, perfecte metriek voorstelt, maar eerder essentiële diagnostische grondslag biedt. Door de specifieke hiaten in bestaande methoden bloot te leggen, beoogt de studie:

• Praktijkgebruikers te leiden bij het interpreteren van bestaande metrieken met de nodige voorzichtigheid.
• Onderzoekers te informeren over de specifieke conceptuele hiaten die in toekomstig werk moeten worden geadresseerd.
• De noodzaak te benadrukken om verder te gaan dan oppervlakkige patronen (lexicaal of syntactisch) naar methoden die in staat zijn om idee-niveau nieuwheid te vangen, potentieel gebruikmakend van toekomstige ontwikkelingen zoals Large Concept Models (LCM) en continue chain-of-thought architecturen.

Uiteindelijk betoogt het artikel dat het verbeteren van de beoordeling van creativiteit essentieel is om de kloof tussen menselijke en machinale creatieve prestaties te dichten.