Are LLMs becoming similarly creative? Evidence from three years of models

Technische Samenvatting: "Worden LLM's even creatief? Bewijs uit drie jaar aan modellen"

Probleemstelling
Hoewel talrijke benchmarks de prestaties van Large Language Models (LLM's) volgen op taken met verifieerbare antwoorden, is er een gebrek aan longitudinale gegevens over de prestaties van LLM's bij open eind-taken waarbij creativiteit, originaliteit en diversiteit van cruciaal belang zijn. Bestaand onderzoek suggereert dat hoewel LLM's individueel creatief kunnen lijken, ze vaak een collectieve homogeniteit vertonen, waarbij ze outputs produceren die over verschillende modellen en tijd heen vergelijkbaar zijn. Het blijft echter onduidelijk of deze homogeniteit een tijdelijk artefact is van ontwikkelende technologie of een onvermijdelijk kenmerk van statistische taalmodellen. Huidige benchmarks (bijv. MMLU, HELM) richten zich op expliciete criteria met verifieerbare antwoorden en slagen er niet in om trends in de diversiteit of originaliteit van creatieve outputs in de loop van de tijd vast te leggen.

Methodologie
De auteurs voerden een voorlopige temporele analyse uit van de diversiteit van LLM-outputs via een vierstaps-proces:

1. Prompt Selectie: Twee complementaire sets van open eind-prompts werden geselecteerd om creatief gedrag uit te lokken:
   • Alternate Uses Task (AUT): Een gestandaardiseerde psychometrische beoordeling van divergent denken waarbij modellen onconventionele toepassingen voor alledaagse objecten genereren.
   • Infinity-Chat100: Een collectie van 100 real-world open eind-gebruikersvragen verdeeld over zes categorieën, inclusief creatieve contentgeneratie, brainstormen en ideevorming.
2. Dataverzameling: De prompts werden uitgevoerd tegen 68 modellen die werden uitgebracht tussen maart 2023 en juli 2026, representatief voor 12 grote modelproviders (33 closed-weight en 34 open-weight). Alle generaties gebruikten een temperatuur en top-p van 1.0 om stochastische sampling te behouden.
3. Semantische Embedding: De reacties werden geëmbed via het all-MiniLM-L6-v2 sentence-transformer model. Voor de AUT werd alle toepassingen voor één enkel object als één vector geëmbed; voor Infinity-Chat werd elke reactie individueel geëmbed.
4. Regressieanalyse: De studie berekende de cosinusafstanden tussen de embeddings van cross-family modelparen (modellen van verschillende providers) om semantische divergentie te meten. Deze paren werden gegroepeerd in negen temporele bins gebaseerd op releasedata. Er werd een Ordinary Least Squares (OLS) regressie uitgevoerd op de gemiddelde cosinusafstand tegen de bin-index. Om bias door ongelijke representatie van families te mitigeren, voerden de auteurs 1.000 iteraties van familie-gebalanceerde resampling uit om een distributie van hellingsgraad-schattingen te genereren.

Belangrijkste Bijdragen

• Longitudinaal Framework: Dit artikel biedt het eerste framework voor het volgen van de evolutie van creatieve outputs van LLM's in de loop van de tijd, waarmee het verder gaat dan statische momentopnames van modelgedrag.
• Dual-Task Analyse: Door een gecontroleerde psychometrische taak (AUT) te combineren met real-world gebruikersvragen (Infinity-Chat100), beoordeelt de studie creativiteit in zowel gestructureerde als ongestructureerde contexten.
• Kwantitatief Bewijs van Convergentie: De studie levert empirisch bewijs dat de outputs van LLM's in de loop van de tijd steeds gelijker worden, wat de aanname uitdaagt dat nieuwere modellen inherent een grotere creatieve diversiteit bieden.

Resultaten
De analyse onthult een statistisch significante afname van de diversiteit in modeloutputs over de driejarige observatieperiode:

• Trend: Zowel de AUT- als de Infinity-Chat-datasets vertonen een consistente negatieve helling in de cross-family cosinusafstand over de tijd, wat wijst op een toenemende semantische gelijkenis (homogeniteit).
• Grootte: De daling is het meest uitgesproken in de Alternate Uses Task, waar de gemiddelde cross-family afstand daalde van ongeveer 0,50 in de vroegste release-bin naar onder de 0,40 in de meest recente. De Infinity-Chat-dataset vertoonde een geleidere maar consistente daling van ~0,34 naar ~0,32.
• Robuustheid: Alle 1.000 resampling-iteraties produceerden negatieve hellingen voor beide datasets, wat bevestigt dat de trend robuust is over verschillende combinaties van modellen uit elke familie.

Betekenis en Claims
Het artikel stelt dat LLM's minder creatief worden in taken die open eind-reacties vereisen, wat suggereert dat er een convergentie plaatsvindt in de creatieve substantie tussen modellen. De auteurs betogen dat als deze trend aanhoudt, "LLM-gestuurde homogenisering progressief de menselijke agency in mens-AI co-creatieve arbeid kan verminderen."

De studie frameert deze bevindingen als een voorlopige analyse die zorgvuldige overweging vereist van de rol van LLM's in het menselijke creatieve proces. Het benadrukt een potentiële "AI-creativiteitsparadox": terwijl modellen individueel creatief kunnen lijken, worden hun geaggregeerde outputs steeds minder divers, wat potentieel het bereik van ideeën dat gebruikers tegenkomen beperkt en de downstream menselijke creativiteit negatief kan beïnvloeden. De auteurs geven expliciet aan dat hun werk voorlopig is en roepen op tot toekomstig onderzoek om de onderliggende mechanismen (zoals gedeelde trainingsdata of distillatie) en de specifieke factoren die deze convergentie drijven te onderzoeken.