Technische Samenvatting: Voorbij Divergente Creativiteit: Een Mensgerichte Evaluatie van Creativiteit in Large Language Models

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet voor taken die verbale creativiteit vereisen, zoals storytelling en het genereren van ideeën. De huidige benchmarks voor het evalueren van de creativiteit van LLM's missen echter een solide fundering in de menselijke creativiteitstheorie, die creativiteit definieert als de combinatie van nieuwheid (novelty) en geschiktheid (appropriateness).

De standaardmetriek voor het beoordelen van divergent denken, de Divergent Association Task (DAT), meet creativiteit uitsluitend op basis van de semantische afstand tussen gegenereerde woorden (nieuwheid). De auteurs stellen dat deze benadering die enkel op nieuwheid is gericht, gebrekkig is voor LLM's omdat:

• Het geschiktheid negeert, een kerncomponent van menselijke creativiteit.
• Het stochastische of willekeurige outputs toestaat om hoge scores te behalen, waardoor willekeur wordt verward met creativiteit.
• Eerdere studies toonden aan dat niet-creatieve baselines (bijv. random sampling) state-of-the-art LLM's op de DAT kunnen overtreffen, wat de metriek voor modelevaluatie ongeldig maakt.

Als gevolg hiervan is er behoefte aan een evaluatiekader dat creativiteit objectief meet terwijl het voldoet aan de dubbele criteria van nieuwheid en contextuele geschiktheid.

2. Methodologie

Kritiek op de Divergent Association Task (DAT)

De auteurs hebben eerst de standaard DAT geëvalueerd met behulp van een reeks state-of-the-art (SotA) LLM's.

• Taak: Modellen werden geprompt om 10 zelfstandige naamwoorden te genereren die zo verschillend mogelijk van elkaar zijn.
• Scoring: Nieuwheid werd berekend als de gemiddelde paarwijze semantische afstand tussen de eerste zeven geldige woorden.
• Embedding Shift: Terwijl standaard DAT gebruikmaakt van GloVe-embeddings, gebruikten de auteurs Sentence BERT (SBERT) om frequentie-artefacten te mitigeren die de nieuwheidsscores voor zeldzame woorden opblazen.
• Baselines: Twee niet-creatieve baselines werden geïntroduceerd:
  1. Taak-agnostisch: Het willekeurig samplen van 10 zelfstandige naamwoorden uit WordNet.
  2. Taak-bewust: Het expliciet prompten van modellen om de DAT-score te maximaliseren (het direct optimaliseren van het testdoel).

Introductie van de Conditional Divergent Association Task (CDAT)

Om de beperkingen van de DAT aan te pakken, stellen de auteurs de CDAT voor, die is geworteld in de psychologische definitie dat creativiteit zowel nieuwheid als geschiktheid vereist (Heinen en Johnson, 2018).

• Taakspecificatie: Gegeven een specifieke cue (een zelfstandig naamwoord), moet het model 10 onderling ongelijksoortige zelfstandige naamwoorden genereren die semantisch geassocieerd zijn met de cue.
• Evaluatieprotocol:
  • Nieuwheid: Gemeten als de gemiddelde paarwijze semantische afstand tussen de gegenereerde woorden (identiek aan de DAT-scoring).
  • Geschiktheid: Gemeten als de gemiddelde semantische gelijkenis tussen de gegenereerde woorden en het cue-woord.
  • Geschiktheidsgate (Appropriateness Gate): Een filtermechanisme waarbij de gegenereerde woorden van een model statistisch gezien de geschiktheid van een willekeurige baseline (taak-agnostisch) moeten overtreffen om als geldig te worden beschouwd. Nieuwheid wordt alleen gescoord als het model deze gate passeert.
  • Eindscore: De primaire metriek is de gemiddelde nieuwheidsscore, voorwaardelijk op het passeren van de geschiktheidsgate.
• Visualisatie: De auteurs analyseren de trade-off tussen nieuwheid en geschiktheid met behulp van een 2D-landschap en een Pareto-front om niet-gedomineerde modellen te identificeren die een optimale balans bieden.

Experimentele Opzet

• Modellen: Een diverse set van propriëtaire en open-source SotA LLM's van verschillende groottes en families.
• Condities: Evaluaties werden uitgevoerd bij drie temperatuurinstellingen (0.5, 1.0, 1.5) en een deterministische instelling (0.0).
• Cues: 539 unieke cue-zelfstandige naamwoorden afgeleid van de Brown corpus.
• Baselines: Inclusief Random (taak-agnostisch) en Common (taak-bewust, prompten voor maximale associatie) baselines voor 2D-diagnostische analyse.

3. Belangrijkste Resultaten

Falen van de DAT-validiteit

Onder de SBERT-gebaseerde evaluatie overtrof geen enkele LLM-familie de taak-agnostische (willekeurige) baseline in DAT-scores bij enige temperatuur. Bovendien presteerde de taak-bewuste baseline (die "cheat" door te optimaliseren voor de score) consequent beter dan de standaard modelgeneraties. Dit bevestigt dat DAT gevoelig is voor willekeurige sampling en prompt-vertrouwdheid, in plaats van het isoleren van werkelijke creatieve bekwaamheid.

CDAT-bevindingen

Bij evaluatie onder CDAT kwamen er duidelijke patronen naar voren met betrekking tot modelfamilies en de trade-off tussen nieuwheid en geschiktheid:

1. Passeren van de Gate: Alle modellen passeerden de geschiktheidsgate, wat valideert dat nieuwheid gemeten kan worden onder de voorwaarde van contextuele afstemming.
2. Divergentie in Modelfamilies:
   • Kleinere/Basis Families: Bereikten over het algemeen hogere CDAT-scores, waarbij ze regio's van hogere nieuwheid maar lagere geschiktheid bezetten.
   • Geavanceerde/Grotere Families: Neigden naar hogere geschiktheid ten koste van lagere nieuwheid, wat resulteerde in meer conservatieve CDAT-scores.
3. Pareto-front: Beide strategieën (hoge nieuwheid/lage geschiktheid versus gebalanceerd) verschenen op het niet-gedomineerde Pareto-front, wat aangeeft dat geen enkele modelfamilie beide dimensies simultaan maximaliseert.
4. Temperatuur-effecten: De effecten van temperatuur waren gemengd en familie-specifiek, zonder consistente trend over alle modellen heen.

4. Belangrijkste Bijdragen

• Kritische Evaluatie van DAT: Het artikel toont aan dat de standaard DAT ongeldig is voor de evaluatie van de creativiteit van LLM's, omdat niet-creatieve baselines de SotA-modellen overtreffen en de metriek er niet in slaagt onderscheid te maken tussen willekeur en creativiteit.
• Voorstel van CDAT: Introductie van de Conditional Divergent Association Task, die creativiteit operationaliseert als nieuwheid voorwaardelijk op contextuele geschiktheid, waardoor ruis van creatieve output wordt gescheiden.
• Genuanceerd Profilering: CDAT onthult systematische verschillen in creatieve profielen tussen modelfamilies, waarbij het laat zien dat kleinere modellen vaak een hogere ruwe nieuwheid vertonen, terwijl grotere, gealigneerde modellen prioriteit geven aan geschiktheid, waarschijnlijk door verschuivingen in training en safety alignment.

5. Betekenis en Claims

De auteurs beweren dat CDAT een eenvoudige, objectieve en menselijk interpreteerbare metriek biedt die aansluit bij gevestigde psychologische theorieën van creativiteit. Door evaluatie te funderen in zowel nieuwheid als geschiktheid, vermijdt CDAT de valkuilen van metrieken die enkel op nieuwheid gericht zijn.

Het artikel stelt dat de geobserveerde trade-off — waarbij geavanceerde modellen nieuwheid opofferen voor geschiktheid — waarschijnlijk het gevolg is van trainings- en alignment-processen die modellen richting conservatieve, voorspelbare outputs verschuiven. De auteurs houden echter een bescheiden standpunt aan door te merken dat dit een correlationele interpretatie is die verdere causale ablatie-studies (bijv. over alignment-doelen en decoding-policies) vereist om dit te bevestigen.

Het werk wordt gepresenteerd als een pragmatische operationalisering voor het kwantificeren van een minimaal onderdeel van divergente verbale creativiteit, specif specifiek gericht op gecristalliseerde, tekstgebaseerde kennis-taken waar LLM's het meest frequent worden ingezet. Er wordt niet beweerd dat het een universele voorspeller is van alle vormen van menselijke creativiteit, maar het dient als een noodzakelijke stap naar meer rigoureuze, theoretisch gefundeerde benchmarks voor machinecreativiteit.