Technische Samenvatting: Geautomatiseerde Evaluatie van Creativiteit bij Taalmodellen over Open-Einde Taken

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijke vooruitgang hebben getoond in redeneren en generatie, blijft hun creatieve potentieel moeilijk systematisch te kwantificeren. Bestaande evaluatiekaders voor creativiteit lijden aan drie primaire beperkingen:

1. Taakspecifieke Koppeling: De meeste metrieken zijn nauw verbonden met specifieke domeinen (bijv. coderen, wiskunde), waarbij sterke domeinveronderstellingen zijn ingebed die de generaliseerbaarheid beperken.
2. Schaalbaarheidsproblemen: De afhankelijkheid van gecureerde antwoordensets, handmatig opgestelde rubrieken en uitgebreide menselijke annotatie maakt beoordeling subjectief, arbeidsintensief en niet schaalbaar.
3. Gebrek aan Referentievrije Metrieken: Huidige geautomatiseerde methoden slagen er vaak niet in om onderscheid te maken tussen genuante conceptuele diversiteit en oppervlakkige variaties op het niveau van de oppervlakte (bijv. parafrasering).

Als gevolg hiervan ontbreekt in het veld een gestandaardiseerde, geautomatiseerde en domein-agnostische methode om de creativiteit van LLM's over diverse open-einde taken te evalueren.

Methodologie

De auteurs stellen een volledig geautomatiseerd, domein-generaal framework voor dat het meetinstrument ontkoppelt van de creatieve taak zelf. Het framework operationaliseert creativiteit op basis van het cognitieve wetenschappelijke onderscheid tussen divergent en convergent denken (Guilford, 1950).

1. Divergente Creativiteit: Semantische Entropie (SE)

Om de breedte en nieuwheid van ideeën te meten (divergent denken), passen de auteurs Semantische Entropie aan, oorspronkelijk voorgesteld voor hallucinatiedetectie in single-answer QA (Farquhar et al., 2024).

• Concept: In open-einde taken reflecteert de verdeling van de waarschijnlijkheidsmassa over semantisch verschillende ideeën de exploratie van een model naar alternatieve oplossingspaden, in plaats van een fout.
• Implementatie:
  • Voor een gegeven query genereert het model $n=10$ kandidaat-oplossingen.
  • Deze generaties worden geclusterd op basis van semantische equivalentie middels bi-directionele implicatie (entailment).
  • SE wordt berekend als de entropie van de waarschijnlijkheidsverdeling over deze semantische klassen: $H(x) = -\sum P(C_i|x) \log P(C_i|x)$.
  • Deze metriek opereert op het niveau van betekenis, waardoor inflatie door oppervlakkige parafrasering wordt vermeden die invloed heeft op woordniveau-diversiteitsmetrieken (bijv. Distinct-n, Self-BLEU).

2. Convergente Creativiteit: Retrieval-Based Multi-Agent Judge

Om taakvoltooiing, haalbaarheid en context-gepastheid te meten (convergent denken), introduceren de auteurs een nieuw retrieval-gebaseerd multi-agent beoordelingsframework.

• Motivatie: Traditionele multi-agent discussieframeworks (bijv. ChatEval) voegen volledige discussiegeschiedenissen toe bij elke beurt, wat de tokenkosten prohibitief hoog maakt voor grootschalige benchmarking.
• Mechanisme:
  • Gespecialiseerde agenten (Probleem, Oplossing, Criterium) analyseren taken en leggen inzichten vast als "fragmenten".
  • In plaats van de volledige geschiedenis opnieuw af te spelen, embedden agenten fragmenten in een vector database.
    _Bij elke beurt halen agenten alleen de $k$ meest relevante eerdere fragmenten op via cosine similarity.
  • Dit ontwerp behoudt de multi-agent deliberatie terwijl het het tokengebruik met ongeveer 63% vermindert vergeleken met ChatEval, wat schaalbare evaluatie mogelijk maakt zonder in te boeten op nauwkeurigheid.

3. Experimentele Opzet

Het framework werd gevalideerd over drie kwalitatief verschillende domeinen:

• MacGyver: Onconventionele fysieke probleemoplossing (evalueren van haalbaarheid, veiligheid, effectiviteit).
• HypoGen: Wetenschappelijke onderzoeksideatie (evalueren van haalbaarheid, wetenschappelijke nauwkeurigheid, relevantie).
• BookMIA: Creatief schrijven (evalueren van coherentie, realisme, plotvoltooiing).

Het evaluatieprotocol omvat een tweefasenproces: het samplen van meerdere volgende-stap continuaties om SE te berekenen (divergent), gevolgd door greedy decoding om een definitieve oplossing te construeren voor de multi-agent judge (convergent).

Belangrijkste Resultaten

Bevindingen Divergente Creativiteit

• Validiteit: Semantische Entropie vertoont de hoogste overeenstemming met menselijke oordelen over de breedte van ideeën ($\kappa = 0.56$) vergeleken met cosine similarity, Self-BLEU en Distinct-n metrieken.
• Correlaties: Step-level SE correleert positief met het aantal unieke semantische clusters en negatief met pairwise cosine similarity, wat bevestigt dat het echte conceptuele diversiteit vastlegt.
• Scaling Gedrag: In tegenstelling tot convergente metrieken, schaalt divergente creativiteit niet monotoon met modelgrootte of recentheid. Grotere en recentere modellen (bijv. LLaMA 3.3, GPT-4o) vertonen vaak een stabiele of zelfs afgenomen SE vergeleken met kleinere tegenhangers. De auteurs suggereren dat huidige trainingsparadigma's de nadruk leggen op de correctheid van de oplossing boven creatieve exploratie.

Bevindingen Convergente Creativiteit

• Prestaties: Het retrieval-gebaseerde multi-agent framework bereikt een nauwkeurigheid die vergelijkbaar is met menselijke annotatoren (bijv. 84,7% vs. 82,7% voor GPT-4o vs. Mens op MacGyver) terwijl het aanzienlijk efficiënter is.
• Scaling Gedrag: Convergente creativiteit (taakvoltooiing) schalt wel met modelgrootte, recentheid en de inclusie van redeneervaardigheden. Modellen zoals GPT-4o en LLaMA 3.1 70B presteren consistent beter dan kleinere of oudere modellen.

Relatie tussen Dimensies

• Empirische Scheidbaarheid: Er is een zwakke correlatie tussen Semantische Entropie (divergent) en convergente creativiteitsmetrieken. Hoge diversiteit leidt niet inherent tot een slechte taakvoltooiing, noch garandeert een hoge taakvoltooiing een hoge diversiteit.
• Interpretatie: Dit suggereert dat "creatieve breedte" en "taakcorrectheid" afzonderlijke dimensies zijn die onafhankelijk geoptimaliseerd kunnen worden.

Betekenis en Claims

Het artikel beweert een reproduceerbare en generaliseerbare standaard te hebben gevestigd voor de geautomatiseerde evaluatie van LLM-creativiteit. De primaire bijdragen zijn:

1. Een Referentievrije Metriek: De introductie van Semantische Entropie als een robuuste, taak-agnostische maatstaf voor divergente creativiteit die overeenkomt met menselijke oordelen over nieuwheid en flexibiliteit.
2. Schaalbare Evaluatie: De ontwikkeling van een retrieval-gebaseerd multi-agent framework dat de computationele kosten met meer dan 60% verlaagt terwijl de evaluatiegetrouwheid hoog blijft, wat grootschalige benchmarking mogelijk maakt.
3. Inzicht in Modelgedrag: Het leveren van empirisch bewijs dat huidige LLM-trainingsparadigma's optimaliseren voor gestructureerd redeneren en correctheid (convergent), maar niet noodzakelijkerwijs de creatieve exploratie (divergent) uitbreiden.

De auteurs concluderen dat door de meting te ontkoppelen van de creatieve taak, hun framework een fundament biedt voor het bestuderen van hoe architecturale en trainingskeuzes creatief gedrag vormen, wat de weg vrijmaakt voor schaalbare benchmarking en de ontwikkeling van "creatieve AI".

Beperkingen

De auteurs erkennen dat het framework steunt op LLM-gebaseerde oordelen, die inherent de subjectieve interpretaties en voorkennis bevatten die in de modellen zijn gecodeerd. Dit kan ertoe leiden dat onconventionele oplossingen onterecht als niet-haalbaar worden beschouwd. Daarnaast blijft de computationele overhead voor het genereren en clusteren van meerdere outputs per taak een beperking voor extreem grote datasets.