Are LLMs becoming similarly creative? Evidence from three years of models

Sintesi Tecnica: "Gli LLM stanno diventando altrettanto creativi? Evidenze da tre anni di modelli"

Problema
Mentre numerosi benchmark tracciano le prestazioni dei Large Language Model (LLM) su compiti con risposte verificabili, esiste una mancanza di dati longitudinali riguardanti le prestazioni degli LLM su compiti aperti dove la creatività, l'originalità e la diversità sono fondamentali. La ricerca esistente suggerisce che, sebbene gli LLM possano apparire individualmente creativi, spesso esibiscono un'omogeneità collettiva, producendo output che sono simili tra loro attraverso diversi modelli e nel tempo. Tuttavia, rimane il dubbio se questa omogeneità sia un artefatto temporaneo dello sviluppo tecnologico o una caratteristica inevitabile dei modelli linguistici statistici. Gli attuali benchmark (ad esempio, MMLU, HELM) si concentrano su criteri espliciti con risposte verificabili e non riescono a catturare i trend nella diversità o nell'originalità degli output creativi nel tempo.

Metodologia
Gli autori hanno condotto un'analisi temporale preliminare della diversità degli output degli LLM utilizzando un processo in quattro fasi:

1. Selezione dei Prompt: Sono stati selezionati due set complementari di prompt aperti per stimolare il comportamento creativo:
   • Alternate Uses Task (AUT): Un test psicometrico standardizzato del pensiero divergente in cui i modelli generano usi non convenzionali per oggetti comuni.
   • Infinity-Chat100: Una collezione di 100 query reali di utenti su temi aperti, suddivise in sei categorie, tra cui generazione di contenuti creativi, brainstorming e ideazione.
2. Raccolta Dati: I prompt sono stati testati su 68 modelli rilasciati tra marzo 2023 e luglio 2026, rappresentativi di 12 principali fornitori di modelli (33 a pesi chiusi e 34 a pesi aperti). Per tutte le generazioni è stata utilizzata una temperatura e un top-p di 1.0 per mantenere il campionamento stocastico.
3. Embedding Semantico: Le risposte sono state trasformate in vettori utilizzando il modello sentence-transformer all-MiniLM-L6-v2. Per l'AUT, tutti gli usi per un singolo oggetto sono stati incorporati come un unico vettore; per l'Infinity-Chat, ogni risposta è stata incorporata singolarmente.
4. Analisi di Regressione: Lo studio ha calcolato le distanze del coseno tra gli embedding di coppie di modelli cross-family (modelli di diversi fornitori) per misurare la divergenza semantica. Queste coppie sono state raggruppate in nove bin temporali basati sulle date di rilascio. È stata eseguita una regressione Ordinary Least Squares (OLS) sulla media della distanza del coseno rispetto all'indice del bin. Per mitigare il bias derivante dalla rappresentazione diseguale delle famiglie, gli autori hanno eseguito 1.000 iterazioni di ricampionamento bilanciato per famiglia per generare una distribuzione di stime della pendenza.

Contributi Chiave

• Framework Longitudinale: Questo articolo fornisce il primo framework per tracciare l'evoluzione degli output creativi degli LLM nel tempo, andando oltre gli snapshot statici del comportamento dei modelli.
• Analisi a Doppia Task: Combinando un compito psicometrico controllato (AUT) con query reali degli utenti (Infinity-Chat100), lo studio valuta la creatività sia in contesti strutturati che non strutturati.
• Evidenza Quantitativa di Convergenza: Lo studio offre prove empiriche che gli output degli LLM stanno diventando sempre più simili nel tempo, sfidando l'assunto che i nuovi modelli offrano intrinsecamente una maggiore diversità creativa.

Risultati
L'analisi rivela una diminuzione statisticamente significativa della diversità degli output dei modelli durante il periodo di osservazione di tre anni:

• Trend: Sia i dataset AUT che Infinity-Chat mostrano una pendenza negativa costante nella distanza del coseno cross-family nel tempo, indicando una crescente similitudine semantica (omogeneità).
• Magnitudo: Il declino è più pronunciato nell'Alternate Uses Task, dove la distanza media cross-family è scesa da circa 0,50 del primo bin di rilascio a meno di 0,40 nel più recente. Il dataset Infinity-Chat ha mostrato un declino più lieve ma costante da ~0,34 a ~0,32.
• Robustezza: Tutte le 1.000 iterazioni di ricampionamento hanno prodotto pendenze negative per entrambi i dataset, confermando che il trend è robusto attraverso diverse combinazioni di modelli di ciascuna famiglia.

Significato e Rivendicazioni
L'articolo sostiene che gli LLM stiano diventando meno creativi nei compiti che richiedono risposte aperte, suggerendo una convergenza nella sostanza creativa tra i modelli. Gli autori sostengono che, se questo trend dovesse persistere, "l'omogeneizzazione guidata dagli LLM potrebbe diminuire progressivamente l'agenzia umana nel lavoro co-creativo uomo-IA".

Lo studio inquadra questi risultati come un'analisi preliminare che richiede una considerazione attenta del ruolo degli LLM nel processo creativo umano. Evidenzia un potenziale "paradosso della creatività dell'IA": mentre i modelli possono apparire individualmente creativi, i loro output aggregati stanno diventando meno diversificati, potenzialmente limitando l'intervallo di idee che gli utenti incontrano e impattando negativamente sulla creatività umana a valle. Gli autori dichiarano esplicitamente che il loro lavoro è preliminare e invitano la ricerca futura a esaminare i meccanismi sottostanti (come i dati di addestramento condivisi o la distillazione) e i fattori specifici che guidano questa convergenza.