How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

Technische Samenvatting: Hoe LLM's Creativiteit Zien: Zero-Shot Scoring van Visuele Creativiteit met Interpreteerbare Redenering

Probleemstelling
Het evalueren van de originaliteit van visuele afbeeldingen blijft een belangrijke flessenhals in creativiteitsonderzoek. Hoewel geautomatiseerde scoring met behulp van Large Language Models (LLM's) effectiviteit heeft aangetoond in verbale domeinen (bijv. de Alternate Uses Task), is de toepassing ervan op visuele creativiteit minder gevestigd. Bestaande benaderingen in het figuurlijke domein vertrouwen vaak op taakspecifieke training of fine-tuning op grote datasets van door mensen beoordeelde voorbeelden, wat de generaliseerbaarheid beperkt. Bovendien is er een gebrek aan begrip over de latente processen waarmee AI-modellen tot hun beoordelingen komen. De centrale vraag die wordt behandeld is of algemene, multimodale LLM's kunnen dienen als "zero-shot" rechters van visuele creativiteit — zonder fine-tuning, exemplaren of extra training — en of hun expliciete redeneerketens een interpreteerbare inkijk bieden in hun evaluatielogica.

Methodologie
Het onderzoek maakte gebruik van een ontwerp met twee studies om zes multimodale LLM's (Gemini 3 Flash, Gemma 4 31B IT, GPT-5.4 Mini, GLM-5v Turbo, Kimi K2.5 en Qwen 3.6 Plus) te evalueren over twee verschillende visuele creativiteitsdatasets:

1. AI-gegenereerde afbeeldingen: 992 afbeeldingen gemaakt door DALL-E 3 vanuit menselijke geschreven woordprompts, beoordeeld door menselijke experts op een schaal van 1–5.
2. Handgetekende schetsen: 1.500 schetsen van het AuDrA-platform, waarbij deelnemers onvolledige startvormen hebben uitgebreid. Deze werden beoordeeld met behulp van een Judge Response Theory (JRT) model om continue creativiteitsscores af te leiden.

Studie 1: Zero-Shot Alignment
Alle zes de modellen werden getest in een zero-shot setting, waarbij ze alleen een afbeelding en een tekstprompt ontvingen met de instructie om creativiteit te beoordelen op een schaal van 1–5. De studie mat:

• Alignment (Afstemming): Pearson-correlaties tussen modelbeoordelingen en menselijke criteriascores.
• Complexiteitscontrole: Partiële correlaties waarbij werd gecontroleerd voor "randdichtheid" (een proxy voor visuele complexiteit) om te waarborgen dat modellen niet simpelweg elaboratie belonen.
• Bias-analyse: Onderzoek naar de verdeling van beoordelingen om lenigheid- of strengheidsbiases te identificeren ten opzichte van menselijke beoordelaars.

Studie 2: Redeneerketen-analyse
Drie redeneer-gevoelige modellen (GLM-5v Turbo, Kimi K2.5, Qwen 3.6 Plus) werden opnieuw geëvalueerd met ingeschakelde redenering. De studie analyseerde de expliciete "chains of thought" die werden geproduceerd vóór de uiteindelijke beoordeling:

• Ketenvatting (Chain Validation): Een apart tekstueel LLM probeerde de uiteindelijke beoordeling te voorspellen op basis van de redeneerketen alleen (waarbij numerieke cijfers waren verwijderd) om te verifiëren of de keten het evaluatieve signaal bevatte.
• Procescodering: Redeneerketens werden gedecomposed in zinnen en geclassificeerd in vier evaluatieve dimensies: Perceptie (beschrijven van inhoud), Originaliteit (oordelen over nieuwheid), Kwaliteit (oordelen over esthetiek/compositie) en Rechtvaardiging (het verankeren van de beoordeling).
• Perceptuele Accuraatheid: De bekwaamheid van modellen om het afgebeelde object in schetsen te identificeren werd vergeleken met menselijke consensuslabels om te bepalen of fouten in objectherkenning de creativiteitsafstemming beïnvloedden.

Belangrijkste Resultaten

• Zero-Shot Haalbaarheid: Alle zes de modellen vertoonden substantiële afstemming met menselijke beoordelingen op beide datasets zonder fine-tuning. Correlaties varieerden van $r = .57$ tot $.68$ voor AI-gegenereerde afbeeldingen en van $r = .29$ tot $.68$ voor handgetekende schetsen. Gemini 3 Flash vertoonde de sterkste afstemming over beide datasets ($r = .68$).
• Voorbij Visuele Complexiteit: Partiële correlaties waarbij werd gecontroleerd voor randdichtheid bleven robuust, wat aangeeft dat modellen hogere-orde creatieve kenmerken detecteren in plaats van simpelweg visuele elaboratie te belonen.
• Systematische Biases: Modellen vertoonden een "lenigheidbias" naar gepolijste AI-gegenereerde afbeeldingen (ze beoordeelden deze hoger dan mensen) en een "strengheidsbias" naar schrale handgetekende schetsen (ze beoordeelden deze lager), wat wijst op een voorkeur voor outputs die lijken op hun eigen trainingsdistributie.
• Impact van Redenering: Het activeren van redeneerketens verbeterde de afstemming met menselijke beoordelingen niet vergeleken met de niet-redenerende baseline; in sommige gevallen (bijv. Qwen 3.6 Plus) verminderde redenering de afstemming zelfs licht.
• Interpreteerbaarheid: Redeneerketens waren zeer interpreteerbaar en bevatten het evaluatieve signaal dat de beoordelingen aanstuurde (een tekstueel model kon de beoordeling voorspellen op basis van de keten met $r = .82$). De ketens volgden een consistente structuur: Perceptie $\rightarrow$ Originaliteit/Kwaliteit beoordeling $\rightarrow$ Rechtvaardiging.
• Divergentie-drivers: De proportie "Originaliteit"-zinnen in een keten correleerde met lagere modelbeoordelingen ten opzichte van mensen, terwijl "Kwaliteit"-zinnen correleerden met hogere beoordelingen.
• Perceptuele Onafhankelijkheid: Correcte objectidentificatie was geen vereiste voor een hoge afstemming. Misidentificaties van tekeningen vertoonden nog steeds een sterke model-mens correlatie ($r = .43$ versus $r = .49$ voor correcte matches). Opvallend genoeg vond de hoogste afstemming plaats bij "No-Consensus Drawings" (afbeeldingen die mensen niet konden categoriseren), wat suggereert dat modellen en mensen convergeren op structurele en compositorische kenmerken wanneer de identiteit van het object ambigu is.

Betekenis en Claims
Het artikel claimt het eerste bewijs te leveren dat algemene multimodale LLM's de menselijke beoordeling van visuele creativiteit kunnen evenaren in een zero-shot setting, waarbij de geautomatiseerde beoordeling wordt uitgebreid van verbale taken naar het figuurlijke domein zonder taakspecifieke training.

Kernbijdragen zijn onder meer:

1. Validatie van Zero-Shot Scoring: Aantonen dat prompt-gebaseerde evaluatie voldoende is voor de beoordeling van visuele creativiteit over diverse stimulustypen heen.
2. Interpreteerbaarheid van Evaluatie: Onthullen dat LLM's creativiteit evalueren via een consistent, vierfasig redeneerproces (perceptie, originaliteit, kwaliteit, rechtvaardiging), wat een transparant beeld biedt van AI-evaluatiemechanismen.
3. Ontkoppeling van Herkenning en Evaluatie: Vaststellen dat de creativiteitsscore door LLM's niet reduceerbaar is tot objectherkenning; modellen kunnen de creatieve waarde beoordelen zelfs wanneer ze het specifieke onderwerp van een tekening niet identificeren.
4. Bias Detectie: Het benadrukken van specifieke biases (lenigheid naar AI-gegenereerde inhoud, strengheid naar schetsen) die moeten worden geadresseerd in toekomstige geautomatiseerde scoring-pipelines.

De auteurs concluderen dat hoewel multimodale LLM's een veelbelovende tool bieden voor schaalbare visuele creativiteitsbeoordeling, hun redeneersporen het meest waardevol zijn voor het auditen van hoe ze evalueren, in plaats van voor het verbeteren van de ruwe nauwkeurigheid van de beoordelingen zelf. De auteurs waarschuwen tegen het toepassen van deze zero-shot methoden op niet-gevalideerde taken en benadrukken de noodzaak van zorgvuldige kalibratie om inherente biases te mitigeren. Een open-source webapp die deze pipeline implementeert, is beschikbaar om verder onderzoek te faciliteren.