Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity
Dit artikel onthult dat hoewel grote taalmodellen (LLM's) overeenstemmen met menselijke creativiteitsbeoordelingen op intrinsieke kwaliteiten zoals nieuwheid, ze significant uiteenlopen vanwege hun afhankelijkheid van nauwere, modelspecifieke standaarden en hun ongevoeligheid voor contextuele informatie, waardoor de keuze voor een specifieke LLM-evaluator een consequente beslissing is voor creativiteitsbeoordeling.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je in een enorme, luidruchtige kunstgalerie bent waar iedereen probeert te raden welke schilderijen "creatief" zijn. Sommige mensen kijken alleen naar de verf en de penseelstreken. Anderen kijken naar wie het geschilderd heeft, hoeveel het kost, of of het op dit moment trendy is. Al heel lang zijn mensen de enige rechters in deze galerie. Maar nu is er een nieuw soort rechter gearriveerd: het Large Language Model, of LLM. Denk aan een LLM als een superintelligente robot die bijna elk boek, artikel en website ooit geschreven heeft gelezen. Omdat het model zoveel weet over wat mensen zeggen, hoopten we dat het creativiteit net zo kon beoordelen als een mens dat doet. Maar hier is het mysterie: soms is de robot het met ons eens, en soms lijkt het alsover dat hij naar een compleet ander schilderij kijkt. Wetenschappers willen weten: wanneer denkt de robot zoals wij, en wanneer raakt hij verdwaald in zijn eigen hoofd? Dit artikel duikt in die vraag om te zien of we deze digitale rechters kunnen vertrouwen om de winnaars in onze creativiteitswedstrijden te kiezen.
De onderzoekers gingen op zoek naar de exacte regels die deze robotrechters volgen. Ze vroegen niet alleen: "Is dit creatief?" In plaats daarvan vroegen ze de robots om de belangrijkheid te rangschikken van 26 verschillende zaken waar mensen gewoonlijk naar kijken, zoals "is het nieuw?", "is het nuttig?" of "is het beroemd?". Ze testten zes van de meest populaire LLM's (GPT, Grok, DeepSeek, ERNIE, Claude en Gemini) en vergeleken hun antwoorden met wat echte mensen zeggen.
Hier is de grote verrassing die ze ontdekten: de robots denken niet allemaal hetzelfde, en ze denken ook niet precies zoals wij. Terwijl mensen een breed net gebruiken om creatieve ideeën te vangen — door te kijken naar zowel het idee zelf als de wereld eromheen (zoals de reputatie of markttrends) — kijken de robots voornamelijk alleen naar het idee zelf. Specifiek zijn de robots geobsedeerd door nieuwheid. Als een idee nieuw, vreemd of onverwacht is, houden de robots ervan. Ze houden ook van dingen die leuk of artistiek zijn. Maar als het gaat om "contextuele" aanwijzingen — zoals of een product van een bekend merk is, of het een commerciële hit is, of dat het modieus is — negeren de robots deze eigenlijk volledig. Voor een mens kan een bekend merk een idee creatiever doen lijken; voor een robot is dat slechts ruis.
De studie ontdekte ook dat niet alle robots hetzelfde zijn gebouwd. Sommige modellen, zoals GPT en Grok, hebben een "breder net". Ze kijken naar meer van de 26 menselijke standaarden, waardoor hun oordelen goed overeenkomen met de menselijke opinies. Anderen, zoals Claude en Gemini, hebben een "smaller net". Ze houden zich strikt aan de kern van het idee en negeren bijna alles wat eromheen komt. Dit betekent dat als je een smalle robot vraagt om een creatief idee te beoordelen, hij de plank mogelijk mis kan slaan in vergelijking met wat een mens zou denken, simpelweg omdat hij de sociale of marktcontext negeert die voor mensen belangrijk is.
Om dit te bewijzen, voerden de onderzoekers nog twee tests uit. In de eerste test lieten ze mensen en robots meer dan 1.100 ideeën beoordelen. Ze ontdekten dat de robots met de "bredere netten" de menselijke scores veel beter matchen dan de robots met de "smallere netten". In de tweede test lieten ze mensen en robots exact dezelfde productbeschrijvingen zien, maar bij sommige beschrijvingen voegden ze een zin toe over het merk of het marktsucces van het product. De menselijke beoordelingen schoten omhoog toen ze die extra context zagen; zij vonden het product creatiever vanwege die informatie. De robots? Hun beoordelingen veranderden nauwelijks. Ze waren volledig blind voor de sociale aanwijzingen die de mensen beïnvloedden.
Dus, wat betekent dit voor de toekomst? Het suggereert dat we niet alle AI-rechters als hetzelfde kunnen behandelen. Als je wilt weten of een idee echt origineel en fris is, kan een robot een geweldige hulp zijn. Maar als je wilt weten of een idee zal slagen in de echte wereld, past bij een merk of mensen aan het praten krijgt, kan een robot de essentie volledig missen. Het artikel suggerecht dat het kiezen van de juiste AI-rechter een grote zaak is: verschillende modellen passen verschillende regels toe, dus ze zullen verschillende winnaars kiezen. We moeten voorzichtig zijn met de aanname dat de robot het hele plaatje ziet, want hij kijkt vaak door een zeer specifieke, smalle lens.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.