Sintesi Tecnica: Oltre la Creatività Divergente: Una Valutazione Basata sull'Uomo della Creatività nei Large Language Models

1. Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati in compiti che richiedono creatività verbale, come la narrazione e la generazione di idee. Tuttavia, i benchmark attuali per la valutazione della creatività degli LLM mancano di un solido fondamento nella teoria della creatività umana, che definisce la creatività come la combinazione di novità e appropriatezza.

La metrica standard per valutare il pensiero divergente, il Divergent Association Task (DAT), misura la creatività esclusivamente sulla base della distanza semantica tra le parole generate (novità). Gli autori sostengono che questo approccio basato solo sulla novità sia fallace per gli LLM perché:

• Ignora l'appropriatezza, un componente centrale della creatività umana.
• Permette a output stocastici o casuali di ottenere punteggi elevati, confondendo la casualità con la creatività.
• Studi precedenti hanno dimostrato che baseline non creative (ad esempio, il campionamento casuale) possono superare gli LLM allo stato dell'arte (SotA) nel DAT, invalidando la metrica per la valutazione dei modelli.

Di conseguenza, esiste la necessità di un framework di valutazione che misuri oggettivamente la creatività aderendo al duplice criterio di novità e appropriatezza contestuale.

2. Metodologia

Critica del Divergent Association Task (DAT)

Gli autori hanno prima rivalutato lo standard DAT utilizzando una gamma di LLM allo stato dell'arte (SotA).

• Task: I modelli sono stati istruiti a generare 10 sostantivi il più diversi possibile tra loro.
• Scoring: La novità è stata calcolata come la distanza semantica media a coppie tra i primi sette termini validi.
• Spostamento dell'Embedding: Mentre il DAT standard utilizza gli embedding GloVe, gli autori hanno utilizzato Sentence BERT (SBERT) per mitigare gli artefatti di frequenza che gonfiano i punteggi di novità per le parole rare.
• Baseline: Sono state introdotte due baseline non creative:
  1. Agnostica rispetto al task: Campionamento casuale di 10 sostantivi da WordNet.
  2. Consapevole del task: Istruire i modelli a massimizzare esplicitamente il punteggio DAT (ottimizzando direttamente l'obiettivo del test).

Introduzione del Conditional Divergent Association Task (CDAT)

Per affrontare i limiti del DAT, gli autori propongono il CDAT, fondato sulla definizione psicologica di creatività che richiede sia novità che appropriatezza (Heinen e Johnson, 2018).

• Specificazione del Task: Dato un particolare sostantivo stimolo (cue), il modello deve generare 10 sostantivi mutuamente dissimili che siano semanticamente associati allo stimolo.
• Protocollo di Valutazione:
  • Novità: Misurata come la distanza semantica media a coppie tra le parole generate (identica alla valutazione del DAT).
  • Appropriatezza: Misurata come la somiglianza semantica media tra le parole generate e la parola stimolo.
  • Gate di Appropriatezza: Un meccanismo di filtraggio in cui le parole generate da un modello devono superare statisticamente l'appropriatezza di una baseline casuale (agnostica rispetto al task) per essere considerate valide. La novità viene punteggiata solo se il modello supera questo gate.
  • Punteggio Finale: La metrica primaria è il punteggio medio di novità, condizionato al superamento del gate di appropriatezza.
• Visualizzazione: Gli autori analizzano il trade-off tra novità e appropriatezza utilizzando un panorama 2D e una frontiera di Pareto per identificare i modelli non dominati che offrono equilibri ottimali.

Setup Sperimentale

• Modelli: Un set diversificato di LLM SotA, sia proprietari che open-source, di varie dimensioni e famiglie.
• Condizioni: Le valutazioni sono state condotte a tre impostazioni di temperatura (0.5, 1.0, 1.5) e in un setting deterministico (0.0).
• Stimoli (Cues): 539 sostantivi stimolo unici derivati dal corpus Brown.
• Baseline: Includevano Random (agnostica rispetto al task) e Common (consapevole del task, che richiede la massima associazione) per l'analisi diagnostica 2D.

3. Risultati Chiave

Fallimento della Validità del DAT

Sotto la valutazione basata su SBERT, nessuna famiglia di LLM ha superato la baseline agnostica rispetto al task (casuale) nei punteggi DAT a qualsiasi temperatura. Inoltre, la baseline consapevole del task (che "bara" ottimizzando il punteggio) ha costantemente superato le generazioni standard dei modelli. Ciò conferma che il DAT è sensibile al campionamento casuale e alla familiarità del prompt piuttosto che isolare una reale capacità creativa.

Risultati del CDAT

Valutati sotto il CDAT, sono emersi pattern distinti riguardanti le famiglie di modelli e il trade-off novità-appropriatezza:

1. Superamento del Gate: Tutti i modelli hanno superato il gate di appropriatezza, validando il fatto che la novità può essere misurata condizionatamente all'allineamento contestuale.
2. Divergenza delle Famiglie di Modelli:
   • Famiglie più piccole/basiche: Generalmente hanno ottenuto punteggi CDAT più elevati, occupando regioni di maggiore novità ma di minore appropriatezza.
   • Famiglie più avanzate/grandi: Tendono a favorire una maggiore appropriatezza a scapito di una minore novità, risultando in punteggi CDAT più conservativi.
3. Frontiera di Pareto: Entrambe le strategie (alta novità/bassa appropriatezza vs. bilanciata) sono apparse sulla frontiera di Pareto non dominata, indicando che nessuna singola famiglia di modelli massimizza simultaneamente entrambi i parametri.
4. Effetti della Temperatura: Gli effetti della temperatura sono stati misti e specifici per ogni famiglia, senza un trend costante tra tutti i modelli.

4. Contributi Principali

• Valutazione Critica del DAT: Il paper dimostra che il DAT standard è invalido per la valutazione della creatività degli LLM poiché le baseline non creative superano i modelli SotA, e la metrica non riesce a distinguere tra casualità e creatività.
• Proposta del CDAT: Introduzione del Conditional Divergent Association Task, che operazionalizza la creatività come novità condizionata all'appropriatezza contestuale, separando il rumore dall'output creativo.
• Profiling Sfumato: Il CDAT rivela differenze sistematiche nei profili di creatività tra le famiglie di modelli, mostrando che i modelli più piccoli spesso esibiscono una maggiore novità grezza, mentre i modelli più grandi e allineati danno priorità all'appropriatezza, probabilmente a causa dei cambiamenti nei processi di training e di allineamento.

5. Significato e Rivendicazioni

Gli autori affermano che il CDAT fornisce una metrica semplice, oggettiva e interpretabile dall'uomo che si allinea con le stabilite teorie psicologiche della creatività. Fondando la valutazione sia sulla novità che sull'appropriatezza, il CDAT evita le insidie delle metriche basate solo sulla novità.

Il paper postula che il trade-off osservato — dove i modelli avanzati sacrificano la novità per l'appropriatezza — sia probabilmente il risultato dei processi di training e di allineamento che spostano i modelli verso output più conservativi e prevedibili. Tuttavia, gli autori mantengono una posizione modesta, sottolineando che questa è un'interpretazione correlazionale che richiede ulteriori studi di ablazione causale (ad esempio, sugli obiettivi di allineamento e sulle policy di decoding) per confermarla.

Il lavoro è presentato come un'operazionalizzazione pragmatica per quantificare una componente minima della creatività verbale divergente, mirando specificamente ai compiti di conoscenza cristallizzata e testuale dove gli LLM sono più frequentemente impiegati. Non si pretende che sia un predittore universale di tutte le forme di creatività umana, ma serve come passo necessario verso benchmark della creatività artificiale più rigorosi e fondati sulla teoria.