How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

Sintesi Tecnica: Come gli LLM vedono la creatività: Valutazione Zero-Shot della creatività visiva con ragionamento interpretabile

Definizione del problema
Valutare l'originalità delle immagini visive rimane un collo di bottiglia significativo nella ricerca sulla creatività. Sebbene la valutazione automatizzata tramite Large Language Models (LLM) abbia dimostrato efficacia nei domini verbali (ad esempio, il compito dei usi alternativi), la sua applicazione alla creatività visiva è meno consolidata. Gli approcci esistenti nel dominio figurale spesso si affidano a un addestramento specifico per il compito o al fine-tuning su grandi dataset di esempi valutati da esseri umani, limitandone la generalizzabilità. Inoltre, manca una comprensione dei processi latenti attraverso i quali i modelli di IA giungono alle loro valutazioni. La questione centrale affrontata è se gli LLM multimodali general-purpose possano fungere da giudici "zero-shot" della creatività visiva — senza fine-tuning, esempi o addestramento aggiuntivo — e se le loro catene di ragionamento esplicite offrano una finestra interpretabile sulla loro logica di valutazione.

Metodologia
La ricerca ha impiegato un design a due studi per valutare sei LLM multimodali (Gemini 3 Flash, Gemma 4 31B IT, GPT-5.4 Mini, GLM-5v Turbo, Kimi K2.5, Qwen 3.6 Plus) attraverso due distinti dataset di creatività visiva:

1. Immagini generate dall'IA: 992 immagini create da DALL-E 3 da prompt testuali scritti da esseri umani, valutate da esperti umani su una scala da 1 a 5.
2. Schizzi disegnati a mano: 1.500 schizzi dalla piattaforma AuDrA, in cui i partecipanti hanno esteso forme di partenza incomplete. Questi sono stati valutati utilizzando un modello di Teoria della Risposta del Giudice (JRT) per derivare punteggi di creatività continui.

Studio 1: Allineamento Zero-Shot
Tutti i sei modelli sono stati testati in un contesto zero-shot, ricevendo solo un'immagine e un prompt testuale che istruiva il modello a valutare la creatività su una scala da 1 a 5. Lo studio ha misurato:

• Allineamento: Correlazioni di Pearson tra le valutazioni del modello e i punteggi dei criteri umani.
• Controllo della complessità: Correlazioni parziali controllando la "densità dei bordi" (un proxy per la complessità visiva) per garantire che i modelli non stessero semplicemente premiando l'elaborazione.
• Analisi dei bias: Esame delle distribuzioni delle valutazioni per identificare bias di lenità o severità rispetto ai valutatori umani.

Studio 2: Analisi della catena di ragionamento
Tre modelli capaci di ragionamento (GLM-5v Turbo, Kimi K2.5, Qwen 3.6 Plus) sono stati rivalutati abilitando il ragionamento. Lo studio ha analizzato le "catene di pensiero" esplicite prodotte prima della valutazione finale:

• Validazione della catena: Un LLM separato, basato solo sul testo, ha tentato di predire la valutazione finale basandosi esclusivamente sulla catena di ragionamento (con i numeri rimossi) per verificare se la catena contenesse il segnale valutativo.
• Codifica del processo: Le catene di ragionamento sono state scomposte in frasi e classificate in quattro dimensioni valutative: Percezione (descrizione del contenuto), Originalità (giudizio sulla novità), Qualità (giudizio su estetica/composizione) e Giustificazione (ancoraggio della valutazione).
• Accuratezza percettiva: La capacità dei modelli di identificare l'oggetto raffigurato negli schizzi è stata confrontata con le etichette di consenso umano per determinare se gli errori di riconoscimento dell'oggetto influenzassero l'allineamento della creatività.

Risultati Chiave

• Fattibilità Zero-Shot: Tutti i sei modelli hanno mostrato un allineamento sostanziale con le valutazioni umane su entrambi i dataset senza fine-tuning. Le correlazioni sono variate da $r = .57$ a $.68$ per le immagini generate dall'IA e da $r = .29$ a $.68$ per gli schizzi disegnati a mano. Gemini 3 Flash ha dimostrato l'allineamento più forte su entrambi i dataset ($r = .68$).
• Oltre la complessità visiva: Le correlazioni parziali controllando la densità dei bordi sono rimaste robuste, indicando che i modelli rilevano caratteristiche creative di livello superiore piuttosto che premiare semplicemente l'elaborazione visiva.
• Bias sistematici: I modelli hanno mostrato un "bias di lenità" verso le immagini generate dall'IA più rifinite (valutandole più altiamente degli esseri umani) e un "bias di severità" verso gli schizzi più sparsi (valutandoli più bassamente), suggerendo una preferenza per gli output simili alla propria distribuzione di addestramento.
• Impatto del ragionamento: L'attivazione delle catene di ragionamento non ha migliorato l'allineamento con le valutazioni umane rispetto alla baseline senza ragionamento; in alcuni casi (ad esempio, Qwen 3.6 Plus), il ragionamento ha leggermente ridotto l'allineamento.
• Interpretabilità: Le catene di ragionamento erano altamente interpretabili e contenevano il segnale valutativo che guidava le valutazioni (un modello testuale puro poteva predire la valutazione dalla catena con $r = .82$). Le catene seguivano una struttura coerente: Percezione $\rightarrow$ Valutazione di Originalità/Qualità $\rightarrow$ Giustificazione.
• Driver di divergenza: La proporzione di frasi di "Originalità" in una catena correla con valutazioni del modello più basse rispetto agli umani, mentre le frasi di "Qualità" correlano con valutazioni più alte.
• Indipendenza percettiva: L'identificazione corretta dell'oggetto non era un prerequisito per un alto allineamento. I disegni identificati erroneamente mostravano comunque un forte allineamento modello-umano ($r = .43$ rispetto a $r = .49$ per i match corretti). Notevolmente, l'allineamento più alto si è verificato per i "Disegni senza consenso" (immagini che gli umani non potevano categorizzare), suggerendo che modelli e umani convergano su caratteristiche strutturali e compositive quando l'identità dell'oggetto è ambigua.

Significato e Rivendicazioni
Il paper sostiene di fornire la prima prova che gli LLM multimodali general-purpose possono eguagliare i giudizi umani della creatività visiva in un contesto zero-shot, estendendo la valutazione automatizzata oltre i compiti verbali al dominio figurale senza addestramento specifico per il compito.

I contributi chiave includono:

1. Validazione della Valutazione Zero-Shot: Dimostrare che la valutazione basata su prompt è sufficiente per la valutazione della creatività visiva attraverso diversi tipi di stimoli.
2. Interpretabilità della Valutazione: Rivelare che gli LLM valutano la creatività attraverso un processo di ragionamento coerente in quattro fasi (percezione, originalità, qualità, giustificazione), offrendo una visione trasparente dei meccanismi di valutazione dell'IA.
3. Decoupling tra Riconoscimento e Valutazione: Stabilire che la valutazione della creatività da parte degli LLM non è riducibile al riconoscimento dell'oggetto; i modelli possono valutare il valore creativo anche quando falliscono nell'identificare il soggetto specifico di un disegno.
4. Rilevamento dei Bias: Evidenziare i bias specifici (lenità verso i contenuti generati dall'IA, severità verso gli schizzi) che devono essere affrontati nelle future pipeline di valutazione automatizzata.

Gli autori concludono che, sebbene gli LLM multimodali offrano uno strumento promettente per la valutazione scalabile della creatività visiva, le loro tracce di ragionamento sono più preziose per l'audit di come valutano, piuttosto che per migliorare l'accuratezza pura delle valutazioni stesse. Gli autori mettono in guardia contro l'applicazione di questi metodi zero-shot a compiti non validati ed enfatizzano la necessità di una calibrazione attenta per mitigare i bias intrinseci. Viene fornita un'app web open-source che implementa questa pipeline per facilitare ulteriore ricerca.